JP4002875B2 - 立体画像表示装置 - Google Patents

立体画像表示装置 Download PDF

Info

Publication number
JP4002875B2
JP4002875B2 JP2003323531A JP2003323531A JP4002875B2 JP 4002875 B2 JP4002875 B2 JP 4002875B2 JP 2003323531 A JP2003323531 A JP 2003323531A JP 2003323531 A JP2003323531 A JP 2003323531A JP 4002875 B2 JP4002875 B2 JP 4002875B2
Authority
JP
Japan
Prior art keywords
lens
display device
dimensional
image
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003323531A
Other languages
English (en)
Other versions
JP2005091623A (ja
Inventor
木 亜矢子 高
和 樹 平
山 雄 三 平
島 理恵子 福
首 達 夫 最
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2003323531A priority Critical patent/JP4002875B2/ja
Priority to KR1020040013461A priority patent/KR100759502B1/ko
Priority to CNB200410087412XA priority patent/CN1289939C/zh
Priority to US10/940,780 priority patent/US7830601B2/en
Publication of JP2005091623A publication Critical patent/JP2005091623A/ja
Application granted granted Critical
Publication of JP4002875B2 publication Critical patent/JP4002875B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses

Description

本発明は、立体画像表示装置に関する。
多数の視差画像を表示するインテグラルフォトグラフィ法(以下、IP法ともいう)あるいは光線再生法と呼ばれる、立体像を何らかの方法で記録しこれを立体像として再生する方法が知られている。左右の眼から物体を見たときに、近い距離にあるA点をみた時の左右の眼と成す角度をα、遠い距離にあるB点をみた時の左右の眼となす角度をβとすると、αとβはその物体と観察者の位置関係に応じて異なる。この(α―β)を両眼視差と呼び、人はこの両眼視差に敏感で立体視をすることができる。
近年、眼鏡無しの立体ディスプレイの開発が進んでいる。これらの多くは通常の2次元ディスプレイを用いるが、そのディスプレイの前面、あるいは背面に何らかの光線制御素子を置くことにより、先に述べた両眼視差を利用し、観察者から見た時、あたかもディスプレイから前後数cmの距離の物体から光線が出ているようにディスプレイからの光線の角度を制御することにより、可能となる。背景にはディスプレイの高精細化により、ディスプレイの光線を数種類の角度(視差と呼ぶ)に振り分けても、ある程度高精細の画像を得ることができるようになったためである。
眼鏡無しの立体ディスプレイのうち、水平方向に関して視差を与える場合のディスプレイの構成の概略について説明する。このディスプレイは、2次元画像表示装置と観測者との間に光線制御素子が設けられている。ある観察方向からみた場合の画像情報を2次元画像表示装置に多数表示しておき、表示面の前面に設けたスリット、ピンホール、マイクロレンズ、あるいはレンチキュラーなどの開口部と遮断部とを有するアレイ板(光線制御素子)越しに、画像を観測者が観測することで,観測方向に応じた立体画像が表示されるものである。この立体ディスプレイは、多視差表示が可能なため,観察者が動いても、その位置に応じた画像をみることができる。すなわち、運動視差の表示が可能であるため、自然な立体視が可能である。また、立体像を再生する光線が、実物体が実際に配置された場合と同様の経路をたどるため、視野闘争の問題も生じない点で優れている。
ところで、視差画像を作成し、開口部越しに各画素情報として視差画像を表示する方法には大別して立体像を再生する光線を画素側から発生させることによって画像マッピングを行う方法と観測者の視点位置から画素に向けて光線を逆にたどることにより画像マッピングを行う方法の2種類がある。ここでは、前者の方法を用いて画像マッピングをIP法とし、後者の方法を多視差のステレオスコープ、パララックスバリア法と呼んで区別する。
IP法の光線束は観測者の目の位置に向かっているのではなく、観測者の方向に向かって視差数分、すべての開口部からほぼ等間隔に射出している。そのため、観測者が動いた時の運動視差に優れる分、本来の2次元表示のディスプレイに比べて視点位置を固定した場合のある角度における構成画素数が少なく、観察者の目の位置に向かって光線を射出している立体ディスプレイに比べて解像度が落ちる。文字表示、レンズやスリットに対して斜めの成分を持つ球表示などある一定の解像度が必要な場合、レンチキュラー(平面上のスリット)+表示装置で形成される平行投影の3次元ディスプレイにおいて、レンチキュラーのピッチによって決まる解像度が限界となるため、細かい文字表現、滑らかな曲線表示が困難であった。2次元文字あるいは、2次元画像を3次元ディスプレイに表示する工夫がなされている例が、以下にみられる。
レンチキュラーレンズを用いた画像表示方法において、立体画像の表示位置を明確にできると共に立体画像の奥行きを任意に設定できる画像表示方法が提案されている(例えば、特許文献1参照)。この方法においては、n面の原画像の各画像を、レンチキュラーレンズによる拡大方向に1/nに縮小し、縮小した画像をレンチキュラーレンズのレンズピッチPの幅のほぼ1/nの幅となるストライプ状の画像に分割し、当該ストライプ画像をレンチキュラーレンズの各単位レンズ下に順次振り分けるようにして合成画像を形成すると共に、この合成画像をレンチキュラーレンズを通して所定の結像面上にほぼn倍に拡大されて結像されるようにレンチキュラーレンズの倍率に基づいてレンチキュラーレンズから所定の距離に配置することにより、立体画像の表示位置を明確にすることができると共にこのときn面の原画像間に所望のぶれを設ければ立体画像の奥行きを所望の値に設定できる。上記特許文献1に記載の方法は、任意の表示位置に文字を作成する方法を述べているが、文字の解像度向上については述べていない。
次に、左眼および右眼用映像信号を圧縮処理して伝送するディジタル立体放送において、キャラクタなどをテロップ表示するようなテロップ表示装置に関するものであって、立体映像の立体感を損なうことなく、立体放送番組視聴中に緊急放送などのテロップを画面に表示できるテロップ表示装置が提供されている(例えば、特許文献2参照)。このテロップ表示装置は、アンテナを介してチューナによってディジタル放送を受信し、分離回路で映像データとテロップデータと音声データとを分離する。CPUがテロップデータのあることを判別すると、テロップデータ有無表示回路を点灯させ、視聴者がそれを見てリモコンから指令を与える。すると、右眼用映像と左眼用映像とに基づく立体映像を表示している映像表示部を切換えて視差の付加されたテロップ情報が映像表示部に表示される。このテロップ表示装置は、回路方式について述べており、文字表示の最適位置については述べていない。
最後に、3次元画像が表示可能な3次元表示デバイスに、2次元画像を表示することができる画像表示装置が知られている(例えば、特許文献3参照)。この画像表示装置は、3次元表示デバイスと、この3次元表示デバイスを制御する制御部とを備えている。制御部は、2次元画像データに対応する描画パターンを取得し、描画パターンを3次元表示デバイスに表示する。描画パターンは、描画パターンを3次元表示デバイスに表示したときの色が2次元画像データを2次元表示デバイスに表示したときの色と擬似的に同一となるように構成されている。上記画像表示装置は、視差画像の振り分けを水平方向のR,G,Bのサブピクセルで行った場合、文字が色を帯びてしまうという問題点を解決するために、画像マッピングを工夫したもので、解像度向上については述べていない。
IP法において、表示面から離れた位置に立体を再現するようにすると、開口部あるいはレンズを介して割り当てられた光線束が広がることにより、解像度が急激に低下するという問題点がある(非特許文献1参照)。
特開平07−49466号公報 特開平10−327430号公報 特開2001−333437公報 H. Hoshino, F. Okano, H. Isono and I. Yuyama "Analysis of resolution limitation of integral photography"J. Opt. Soc. Am, A15 (1998) 2059-2065.
IP法において、表示面から離れた位置に立体を再現するようにすると、開口部あるいはレンズを介して割り当てられた光線束が広がることにより、解像度が急激に低下するという問題点について以下に説明する。
立体ディスプレイの解像度を表す尺度として、β(cycle per radian: cpr)を用いる。βは1radianあたり光線の明暗を何サイクル表示できるかという指標である。図20に示すように、IP法において、ディスプレイ近傍の立体像における解像度βnyqはナイキスト周波数と呼ばれ、観測者から開口部までの距離と、レンズ越しに見える画素ピッチで決定される。開口部ピッチをp、観測者と開口部あるいはレンズまでの距離Lとすると、開口部ピッチpで制限される解像度βnyqは、
βnyq =L/(2p) (1)
となる。
次に、図21に示すように、表示面から離れた位置、すなわち観測者64からz離れた位置に物体73を再現するようにすると、光線制御素子68の開口部62あるいはレンズを通して割り当てられた光線束67が広がることにより、解像度が急激に低下する。物体73を表示装置61から飛び出した領域、あるいは奥行き領域に再現する場合、その像を再現するためにひとつのスリットから出ている光線群より計算される解像度の最大値をαimaxとおくと、観測点からみた物体の空間周波数は
βimax =αimax ×z/|L−z| (2)
となる。なお、Lは、観測者64と光線制御素子68の距離である。実際の解像度は上記(1)、(2)を比較した場合の低い方となるため、
Βimax=min(βimax、βnyq ) (3)
と表される。ここで、(1)式より開口部ピッチpが小さくなるほど、すなわち表示面の精細度が高いほど立体像の解像度が増加することがわかる。しかし、表示面自体の画素ピッチを狭くすることは、プロセス変更などが生じ、容易に実現はできないという問題点がある。なお、図21において、光線制御素子68はスリットであり、開口部62と遮断部63からなる。
また、立体像73が表示面近傍の場合はβnyqがβimaxより小さくなるため、支配的である。また、立体像73が表示面から離れるほど、(2)式のzが小さくなるため、βimax の解像度が支配的である。例えば、ある視差数、視域角に関しての(1)式、(2)式から決まる解像度を図18に示す。図18において、横軸zは観測者64から立体表示物73までの距離で、Z=1.5mがディスプレイ61の場所である。縦軸は解像度で、(1)式で決まるレンズピッチで決まる解像度βnyqと、(2)式で決まるレンチキュラーレンズ中のひとつのレンズから放射される光線密度から決まる解像度βimaxを示す。図18より、表示面近傍、すなわち、飛び出し量z=0.12m、奥行き量z=0.13mに表現した物体はレンズピッチからきまるβnyqがβimaxより小さくなるため、支配的となり、zより飛び出し量が大きい領域と、zより奥行き量が大きい領域では、開口部からの光線密度から決まるβimaxが支配的になることがわかる。
図18から、文字など、解像度が必要とされる2次元画像において、ナイキスト周波数以上の解像度では表示できないので、レンズピッチを1ドットとするかなりサイズの大きな文字を表示しなければならないという問題点がある。
また、文字の構成ドット数として、12×12以上であると文字が見やすくなるという調査結果がある(例えば、井戸 健二 他、「高精細LCDにおける文字の読みやすさに関する人間工学的研究」東芝レビューvol.57 No.6(2002)、参照)。そこで、例えば、レンズピッチを1.5mmとすると、12ポイントの文字を表現しようとすれば、ひとつの文字サイズは、1.5×12=60mmとなり、かなり大きくなるため、表示できる文字数も少なくなってくる。
図19に、3次元(立体)表示装置を上側からみた光線軌跡と構成を示す。この3次元表示装置は、図19(a)において、2次元表示装置1と、レンチキュラーレンズ等の光線制御素子2と、観測者のひとつの瞳4について示してある。最大解像度となる2次元文字の表示位置として、2次元表示装置1上に示すものとする。2次元表示装置1上に示した2次元文字を図19(b)に示す。図19(a)においては、表示位置1に対して、真正面にいる観測者に向かう本来、瞳4に入るべき光線である主光線7の様子を示す。例えば、視差数が11視差の場合、図19(c)に示すように、中央の6視差の光線7だけが瞳4に入る。そこで、瞳4に入る主光線7のみによるイメージ像は、レンズ幅に応じて広がるため、図19(d)に示すように、解像度が足りなくなり、文字としてくずれたものとなる。また、同様に、レンチキュラーレンズ2をスリットに変えた場合でも、サンプリング点が少なく、文字認識が困難となる。
本発明は、上記事情を考慮してなされたものであって、3次元画像を表示することができるとともに、2次元画像を表示した場合の解像度を増加させることのできる立体画像表示装置を提供することを目的とする。
本発明の一態様による立体画像表示装置は、表示面内に複数の画素が配列された2次元表示装置と、前記表示面の前面あるいは背面に設けられ複数の開口部あるいは複数のレンズが並んで配置され前記画素からの光線を制御する光線制御部と、を備え、前記光線制御部から2次元文字または2次元画像表示位置までの距離zは、画像作製時の視距離をL、前記開口部またはレンズのピッチをlp、視域角を2θ、前記画素のピッチをpとすると、
飛び出し領域において、
0<z<L×D/(2(1+D))
奥行き領域において
0<z<L×D/(2(1−D))
を満たし、Dは
Figure 0004002875
と表されることを特徴とする。
なお、前記複数の開口部あるいはレンズが並んで配置された平面から2次元パターン表示手段までのギャップが、視距離での観測者に向かう光線の軌跡を2次元パターン表示手段の画素に結像する焦点距離以上の場合には、文字表示あるいは2次元画像を2次元パターン表示装置から飛び出し領域に表示し、該複数の開口部あるいはレンズが並んで配置された平面から2次元パターン表示手段までのギャップにおいて、視距離で観測者に向かう光線の軌跡を2次元パターン表示手段の画素に結像するための焦点距離よりも短い場合には、文字表示あるいは2次元画像を奥行き領域に表示することが好ましい。
なお、前記視距離にいる観測者の位置において、一つの開口部あるいは一つのレンズを介して一つの主光線と二つ以上の隣り合う隣接視差画像が見える場合に、前記一つの開口部あるいは一つのレンズに対して見える視差数をxとすると、前記開口部あるいはレンズ部と2次元パターン表示装置のギャップが、前記レンズ部の焦点距離以上の場合には、前記飛び出し領域内の位置znoptに表示し、前記開口部あるいはレンズ部と2次元パターン表示装置のギャップが、前記レンズ部の焦点距離よりも短い場合には、前記奥行き領域内の位置zfoptに表示し、前記位置znoptおよび位置zfoptは、
nopt=z/(2x)
fopt=z/(2x)
と表され、ここで、zおよびzは、
=L×D/(1+D)
=L×D/(1−D)
であることが好ましい。
なお、前記視距離にいる観測者の位置において、一つの開口部あるいは一つのレンズを介して二つの主光線と二つ以上の隣り合う隣接視差画像が見える場合に、前記一つの開口部あるいは一つのレンズに対して見える視差数をxとすると、前記開口部あるいはレンズ部と2次元パターン表示装置のギャップが、前記レンズ部の焦点距離以上の場合には、前記飛び出し領域内の位置znoptに表示し、前記開口部あるいはレンズ部と2次元パターン表示装置のギャップが、前記レンズ部の焦点距離よりも短い場合には、前記奥行き領域内の位置zfoptに表示し、前記位置znoptおよび位置zfoptは、
nopt=z/x
fopt=z/x
と表され、ここで、zおよびzは、
=L×D/(1+D)
=L×D/(1−D)
であることが好ましい。
なお、前記位置znoptおよび前記位置zfoptは、
/6<znopt<4z/10
/6<zfopt<4z/10
の範囲にあることが好ましい。
なお、前記光線制御部はレンズからなり、このレンズと前記2次元表示装置との間のギャップの厚みgが、レンズの焦点距離をfとすると、
f+1.24×(fcosθ×p)/lp<g<f+3×(fcosθ×p)/lp
あるいは
f―1.24×(fcosθ×p)/lp<g<f―3×(fcosθ×p)/lp
の範囲にあることが好ましい。
なお、前記光線制御部と前記2次元表示装置との間のギャップは、立体表示領域と文字表示領域とにおいて異なるように構成されていることが好ましい。
本発明によれば、3次元画像を表示することができるとともに、2次元画像を表示した場合の解像度を増加させることができる。
以下、図面を参照して、本発明の実施形態をより詳細に説明する。
(第1実施形態)
本発明の第1実施形態による立体画像表示装置の構成を図1(a)、(b)に示す。図1(a)は、第1実施形態による立体画像表示装置の構成を示す平面図である。この実施形態による立体画像表示装置は、2次元画像表示装置1と、光線制御素子2とを備えている。2次元画像表示装置1は、例えば、液晶表示装置であって、複数の画素を有し2次元画像を表示する表示面を備えている。光線制御素子2は、2次元画像表示装置1の前面に設けられ複数のレンズを有し上記表示面の複数の画素からの光線の方向を制御する。
本実施形態の立体画像表示装置においては、文字表示あるいは2次元画像を表示する時に、光線制御素子2から表示される2次元画像の表示位置までの距離zoptは、以下の条件を満たしている。
0<zopt<L/(2(1+D)) (4)
ここで、Lは観測者から光線制御素子2までの距離すなわち視距離を示し、Dはデプスファクタと呼ばれ、次の(5)式から求められる。
Figure 0004002875
ここで、lpは光線制御素子2のレンズピッチ、pは画素ピッチ、θは視域角の半分を示す。以下、(4)式と、(5)式の導出について説明する。
先に述べたように、IP(インテグラルフォトグラフィ)方式はある開口部から観測者の位置に関係なく、光線制御素子により、ある複数の決まった視差角度に光線を振り分けることにより、両眼視差を利用して立体視させる方式である。レンチキュラーレンズを光線制御素子として利用する場合、図1(a)における視差画像の割り当て方法として、レンチキュラーレンズ2を表示装置1の前面に置き、レンズの焦点を表示装置1のピクセル位置におくことにより、レンズ2の曲率により、角度に応じた平行光線を一つのレンズ2から放射する。この時、視域角を2θ、視差数をNとすると、1視差あたりの視域角度は、
1視差あたりの視域角度=2θ/N (6)
となる。
ところで、隣接視差からの光線は、通常、瞳に一本しか入らないと考えられていた。1本以上入ることをクロストークと呼び、画質を劣化させる原因となる。しかし、液晶ディスプレイの高精細化が進み、10視差以上の多視差も実現できるようになり、1視差あたりの視域角度が小さくなってきている。視差数の増加に加えて、2次元画像表示装置1としての液晶表示装置の画素幅、モアレ防止用拡散フィルム、レンズのデフォーカスの影響も加味して光線が広がり、人間の瞳4の中に隣接視差画像も見えてくる。
図1(a)において、符号11は2次元画像表示装置1の表示面における視差画像を示し、符号19は飛び出し領域に表示した2次元の文字または画像を示す。画像11には、RNA、MA、LNA、RNB、MB、LNBからなる視差画像がある。MAはあるレンズ2のメイン画像であり、RNAはメイン画像MAの右側に隣接する画像であり、LNAは、メイン画像MAの左側に隣接する画像である。MBは、画像MAをメイン画像とするレンズ2の隣のレンズのメイン画像であり、RNBはメイン画像MBの右側に隣接する画像であり、LNBは、メイン画像MBの左側に隣接する画像である。
図1(b)に、主光線7による像と隣接視差による像の瞳4に入ってくる割合を示す。図1(b)は、一つのレンズからの光線として、本来割り当てられた視差角度の主光線を中心として、互いに主光線に接する二つの隣接視差画像光線が見えている場合を示している。隣り合う主光線間に見える主光線も含めた視差数をx(視差)とし、主光線7の占める割合をY0(=1視差)、片側の隣接視差画像の占める割合をY1(視差)とすると、
主光線による像:隣接視差光線による像=1:2*Y1=1:(x−1)
となる。クロストーク量として、隣接視差画像のみえる割合とすると
クロストーク量=x−1/ x (7)
となる。図1(b)をから分かるように、隣接視差画像のみえる位置に、隣り合う主光線の点を補間する点の情報を表示すると、解像度の向上した文字を見ることができる。
まず、隣接視差画像が主光線7を補間する場合、隣接視差光線は少なくとも、図1において隣り合う主光線7の中点より主光線に近い側を通らなければならない。なぜなら、立体表示位置での隣接視差光線と主光線とのずれtが、レンズピッチlの半分より大きくなると、隣り合うレンズからの隣接視差光線9が観測者4の目の位置で交差することになり、像としては二重像にみえるからである。そこで、図1(a)の幾何学的条件より、2次元文字あるいは画像を表示する最適位置zoptは、あるレンズからの隣接視差光線9が隣接するレンズからの主光線7と交わる飛び出し位置をzとすると、
opt<z/2 (8)
となる条件が必要である。ここで、zの求め方を述べる。そこで、zの定義として、発明を解決する手段のところで述べたが、視距離で3次元ディスプレイを見た場合、レンズピッチから決まる解像度(ナイキスト周波数)と、一つのレンズから放射される光線密度から決まる解像度が同じになるところである。本実施形態において、主光線7と隣接視差画像の光線9の視差角度は常に同じなので、正面からだけではなく、見る角度を変えても、2次元文字あるいは画像を得ることができる。
非特許文献1 の( 6 ) 式より、デプスファクタD を
D = α i m a x / β n y q ( 9 )
と定義する。( 3 ) 式より、 n0 は飛び出し量の場合、次の式を満たす。
α i m a x × zn0 / | L − zn0| = β n y q (10)
ここで、図1(a)に視距離Lを示したが、視距離とは観察者4と光線制御素子2との距離である。視距離とは、3次元体画像を表示するために、2次元表示装置に表示する2次元マッピングデータを作成する時の計算上の視距離で画像データに固有の値であり、任意の観察者の位置を示しているわけではない。ここで、飛び出し領域において、
βnyq=βimax
となる位置zは、L−zno>0の条件から、(10)式を変形して、
D×zno/(L−zno)=1
すなわち、
D×zno=L−zno
したがって、
no=L/(1+D) (11)
となる。基準を観測者4からの位置ではなく、表示面上、あるいは表示面下の光線制御素子2からの飛び出し量zに書き直すと
L−z no =L×D/(1+D)
を満たす飛び出し量が、図1に示すzとほぼ同等となる。
非特許文献1の(36)より、最大のピクセルピッチにおいて、
Figure 0004002875
となる。すなわち、(6)式になる。
そこで、(8)式に(11)式を代入して、2次元文字の最適位置は、前述したように、
0<zopt<L/(2(1+D))
Figure 0004002875
となる。
今まで、飛び出し領域において、隣接視差画像が主光線どうしの間を補間する位置になるように、飛び出し位置を決めることについて述べてきた。
次に、具体的な文字を用いて、飛び出し領域に表示した立体文字と、観測者の目に入る像が左右同じ方向のものなので、なめらかで見やすい表示となることについて、図4を用いて説明する。文字表示領域の奥行き限界については、後に説明する。
図4(a)に、飛び出し領域に2次元文字、あるいは2次元画像を表示した時に、それらが、2次元表示装置1上の視差番号のどこに投影されるか、また、観測者の瞳4上でどのようにみえるかを示した。ただし、主光線7の視差番号を6視差、隣接する左の隣接視差番号を5視差、隣接する右の隣接視差番号を7視差とする。中央のレンズをB、左のレンズをA、右のレンズをCとする。
2次元表示装置1である液晶ディスプレイ上で、
5A 6A 7A …5B 6B 7B…5C 6C 7C
の順にマッピングされた画像データは、飛び出し領域の立体表示物体において
7A 6A 5A …7B 6B 5B…7C 6C 5C
の位置に相当する。観察者の目の位置でもそれらの位置関係が保たれるため、瞳4に入ってくる光線は隣接視差画像データも含んで
7A 6A 5A …7B 6B 5B…7C 6C 5C
となり、立体表示物体で、正しい補間画像が見られる。なお、図4(a)において、符号3は隣接視差光線が主光線同士の間隔の1/2以内である領域を示し、符号5は主光線7が主に見える領域を示し、符号6は隣接視差が主に見える領域を示し、符号9は、隣接視差光線の中央部の軌跡を示し、符号10は隣接視差光線の広がりによる主光線7が見える領域を示し、符号11は2次元表示装置1の表示面に表示される視差画像を示し、符号13は2次元文字を表示する位置とその視差番号割り当てを示し、符号15は隣接視差画像と主光線7が交わる位置を示す。
図4(b)、(c)、(d)に、例として、Eという文字を表したときに、それらが2次元表示装置1上でどのようにあらわされるか(図4(b)参照)、また、観測者の目にどのように映るか(図4(d)参照)も示す。図4(c)より、主光線はEという文字の中を一つしか通っていないが、隣接視差光線を含めると3本の視差光線がEという文字の中に通っている。図4(12)にそれらを2次元表示装置上に投影したパタ―ン像を示すが、レンチキュラーレンズの中の一つのレンズにおいて、左右の視差画像が反対になった像となる。これらをレンズ越しに観測者の位置からみると、図4(d)のように、飛び出し領域に示した文字と同じように、正常な文字として観測できる。また、隣接視差画像が主光線を補って、字として認識できることが分かる。
以上の説明においては、表示される画像は、飛び出し領域すなわち光線制御素子2と観測者との間の領域に形成されていたが、2次元表示装置1の後ろ領域、すなわち奥行き領域に形成される場合について説明する。
図5に、奥行き領域に2次元文字あるいは2次元画像を表示した時に、2次元表示装置1上の視差番号にどのように投影されるか、また、観測者の瞳4上でどのようにみえるかを示した。主光線7の視差番号を6視差、隣接する左の隣接視差番号を5視差、隣接する右の隣接視差番号を7視差とする。中央のレンズをB、左のレンズをA、右のレンズをCとする。
2次元表示装置1上で、視差番号は、
5A 6A 7A …5B 6B 7B…5C 6C 7C
の順となっていると、それらは、奥行き領域の立体表示位置で
5A 6A 7A …5B 6B 7B…5C 6C 7C
となる。観察者の目4の位置ではそれらの位置関係が反対になるから
7A 6A 5A …7B 6B 5B…7C 6C 5C
となり、立体表示物体の2次元文字と、眼4に入る光線が左右の隣接視差番号が逆になるため、正しい補間画像が見られない。
今までは、レンズの中心を通る光線を考えてきたため、飛び出し領域の文字表示は隣接視差画像のイメージは正しいが、奥行き領域の文字表示は左右逆転すると述べた。これらの条件は、レンズの焦点距離と、レンズ2の表面から2次元表示装置1までの距離(以下ギャップと呼ぶ)が等しい場合について考えてきた。しかし、レンズをデフォーカスさせた場合は、上記の中央だけの光線軌跡だけを考えると不十分である。
(第2実施形態)
次に、本発明の第2実施形態による立体画像表示装置を、図6乃至図8を参照して説明する。この実施形態の立体画像表示装置は、レンズの厚みを考慮したものである。
図6に、レンズの焦点距離と、レンズ2の表面から2次元表示装置1までの距離g(以下ギャップgと呼ぶ)が等しい場合についてのレンチキュラーを上面からみた場合について示す。図6において、符号11は2次元表示面での視差番号を示し、符号29はレンズの中心位置からの画像を示し、符号30はレンズの端からの画像を示す。図6より、隣接視差画像の光線を考えない場合、眼4に入ってくる主光線の軌跡には2次元表示装置において、6視差しか入ってこない。一つのレンズ2からの光線密度が高い場合は、先の議論で述べたように、隣接視差画像が眼にはいってくる。
次に、ギャップgがレンズの焦点距離と等しくない場合について述べる。まず、図7に示すように、ギャップgがレンズの焦点距離より長い場合について考える。図7に示すように隣接視差画像を左右逆転したものが、観測者の目に入ってくるため、レンズ1個あたりの像としては2次元表示装置1としての液晶表示装置の配列とは左右反対の画像となる。これは、図4で述べたように、飛び出し領域の場合は液晶表示装の配列と立体像が左右逆転しているため、上記の関係と同一であるので、飛び出し領域に表示すると、隣接視差画像が主光線を補間するようになる。ここで、近軸領域の場合、デフォーカスされる領域は幾何学的な関係で表される。
図7中で、レンズの焦点距離をf、レンズピッチlp、ギャップgの増加分Δx、2次元パターン表示領域でのデフォーカスされる画素ピクセル数をΔp、視域角2θ、2次元表示装置1のピクセルピッチをpとおくと、球面レンズとした場合、三角形の相似式より
g=f+Δx
fcosθ: lp=Δx:Δp×p
となる。したがって、
Δp=lp×Δx/(fcosθ×p) (13)
となる。以上で、簡単に、2次元表示装置1上のデフォーカス領域を見積もることができる。
次に、図8に示すように、ギャップgがレンズ2の焦点距離より短い場合について考える。図8から分かるように、隣接視差画像の左右の像関係がそのまま観測者の目4に入ってくるため、レンズ1個あたりの像としては液晶表示装置1の配列と同じ画像となる。これは、図5で述べたように、奥行き領域の場合は液晶表示装置1の配列と立体像が左右同方向である。そのため、上記の関係と同一であるので、奥行き領域に表示すると、隣接視差画像が主光線を補間するようになる。図8より、ギャップgが焦点距離より短い場合は、奥行き領域に表示しても、左右反転せず、隣接視差画像が主光線どうしの間を補うものとして、表示することができる。
図7と同様に、2次元表示装置1のデフォーカス領域を近軸領域で幾何学的条件より求めると
g=f−Δx
fcosθ: lp=Δx:Δp×p
となる。したがって、
Δp=lp×Δx/(fcosθ×p) (14)
が得られる。
図7、図8より、第2実施形態で示した立体画像表示装置において、光線制御素子2の面から2次元表示装置1までのギャップが、視距離Lでの観測者に向かう光線の軌跡を2次元表示装置1の画素に結像するレンズ2の焦点距離以上の場合には、文字表示あるいは2次元画像を2次元表示装置1からみて観測者側の飛び出し領域に表示し、ギャップgが、視距離Lで観測者に向かう光線の軌跡を2次元表示装置1の画素に結像するレンズ2の焦点距離よりも短い場合には、文字表示あるいは2次元画像を奥行き領域に表示すると、滑らかな文字表示を行うことができる。
奥行き領域に表示した場合も、図1の飛び出し領域と同様に、光線制御素子2から2次元画像を表示するための最適な距離zfoptは、隣接視差画像の光線と隣接主光線が交わる位置のz座標zの半分以上の奥行き領域になると、2重像になりやすいという問題点がある。そのため、
fopt < z/2 (14)
を満たすことにより、正しい位置に正しい補間画像を補うことができる。ここで、zを満たす式を求める。
まず、奥行き領域において、βnyq=βimaxとなる条件を満たす位置をzとする。ここで、図5に視距離をLで示したが、視距離とは観察者の位置であるが、3次元立体画像装置の2次元表示装置1における2次元マッピングデータを作成する時に必要となるものである。
奥行き領域において、βnyq=βimaxとなる位置zは、視距離Lでの観測者からの距離をzfoとすると
fo―L>0より
(10)式を変形して、
D×zfo /(zfo−L)=1
すなわち、
D×zfo=zfo −L
したがって、
fo =L/(1−D)
となり、基準を観測者からの位置ではなく、表示面上、あるいは表示面下の光線制御素子からの飛び出し量に書き直すと
=zfo −L=L×D/(1−D)
となる。
以上まとめると、第1実施形態と同様に、
飛び出し領域において、
0<Z<L×D/(2(1+D))
奥行き領域において
0<Z<L×D/(2(1−D))
ここで、デプスファクタDが
Figure 0004002875
となる位置に文字表示を行うことにより、隣接視差画像を利用した滑らかな文字表示を行うことができる。
(第3実施形態)
次に、本発明の第3実施形態による立体画像表示装置を、図1を参照して説明する。図1において、Xは1レンズピッチあたりにみえている視差数で、Y0は主光線がみえている視差数で1視差、Y1は片側の隣接視差画像がみえている割合である。
X>3 Y1=1
1<X<3 Y1=(X−1)/2
0<x<1と Y1=0 (15)
となる。
次に、図3を用いて、隣接視差画像の見える割合と、最適な表示位置との関係について説明する。レンズピッチをlp、隣接視差光線の中心軌跡と、文字あるいは2次元画像の表示位置での交点のずれ量をtとする。表示位置の最適飛び出し量をznoptとし、あるレンズからの隣接視差光線が隣りのレンズからの主光線と交わる飛び出し位置をzとすると、三角形の相似形の関係より
nopt:z=t:lp (16)
となる。ここで、隣接視差画像の像が目の水平方向の位置で正しい位置に見えるためには、tの位置が主光線の見える範囲の半分と隣接視差光線の見える範囲の半分を足した位置にあるとよい。しかし、隣り合う主光線の中心は、隣接視差画像どうしの画像を同時に見ることになるために、ぼけが多くなる領域である。そのため、隣接視差画像の割り当てとしては、先ほどのtの位置が、主光線の見える範囲の半分の位置、すなわち、主光線と隣接視差画像の境界の位置にある文字の情報を示すと、見やすい位置にある座標を示すことになるためよい。図3に、X=2.4視差、4視差の例を示した。すなわち、
t:lp=0.5:x (17)
となれば正しい位置に、正しい補間画像を示す。ここで、(16)式、(17)式を合わせて
nopt=t×z/lp (18)
=z/2x (19)
の表示位置に、文字を表すと、正しい位置を補間することができる。
例えば、図1に示した主光線7と隣り合う視差光線が3つ均等にみえる場合について考える。
主光線による像:隣接視差光線による像=Y0:Y1=1:1
主光線と隣接視差光線が均等にみえるとして、Y0+2*Y1=x
すなわち、3Y0=x
(7)式より、クロストーク量=66%
となる。このように、クロストーク量66%の場合、(19)式にX=3を代入すると
opt=z/6 (20)
の位置に置くとよい。
例えば、隣接視差を含めて、一つのレンズから2.4視差見える場合について考える。
(18)式に、x=2.4を代入すると
nopt= z/4.8
となる。
ここで、クロストーク量の測定方法について述べる。xは1レンズピッチあたりに見えている視差数である。例えば、クロストーク量の測定として、R(赤)、G(緑)、B(青)のサブ画素をレンチキュラーレンズの垂直方向には同色で、水平方向には異なった色で隣接視差に書き込む。そして、隣接するレンチキュラーレンズの同じ視差番号に同様に色を書き込む。観測者の位置で、フォトダイオードを水平方向に動かし、R、G、Bのそれぞれの波長が強く出る領域を調べることにより、クロストーク量を求めることができる。また、観測者がそれらの色の帯びを主観評価することによっても、クロストーク量を大体求めることができる。
(第4実施形態)
次に、本発明の第4実施形態による立体画像表示装置を説明する。観測者が主光線を2個みる位置にいる場合、すなわち、レンズの中心位置に視差画像間のブラックマトリックスをみていることがある。図2に観測者の目に映る視差画像を示すが、その場合の表示位置の最適な位置について説明する。図2において、主光線が2視差あるので、隣接視差画像が見える条件として、X>2視差である。
図2(b)より、隣接視差画像の位置は、次の関係式を満たす時、文字表示の解像度が増す。
t:lp=u:x=1:x (21)
また、xはひとつのレンズからみえる視差画像数である。(21)式を(18)式に代入すると、
nopt=z/x (22)
となる。
レンズの中心がブラックマトリックス上にある条件において、一つのレンズから3視差分が見える場合についての文字表示の最適位置を(22)式を用いて計算する。
nopt=z/3 (23)
となる。
このように、(20)式と(23)式は同じ3視差分がみえているにもかかわらず、文字表示位置の最適領域は異なってくる。このように、レンズの中央部が画素の中央であるか画素と画素の間にあるかは、IP方式の場合、観測者から立体表示ディスプレイをみる場合の視差角度に応じて、画面内に両者が存在する。厳密には、上記2条件に応じて、表示位置を変えることが望ましい。しかし、画面中央にブラックマトリックスがみえる場合は輝度が小さいため、画面中央に画素の中心がくる(20)式を主に考えるとよい。なお、今後のシミュレーション結果は(20)式を用いていく。
ここで、隣接視差画像がみえると、クロストークといって、3次元画像を劣化させる原因となる。本来は見えないようにする画像である。例えば、凹凸の激しい3次元画像の隣接視差画像は、必ずしも隣接視差画像が、主光線を補うわけではないからである。しかし、2次元文字表示のように、隣接視差画像と主光線の間に相関がある場合、第1乃至第3実施形態で述べたように、解像度向上に利用することができる。
次に、立体画像表示装置の特徴である、光線密度、レンチキュラーの焦点距離との関係において、本発明の主たる効果をより最適に利用する方法を述べる。
まず、ひとつのレンチキュラーレンズから射出される光線密度と解像度向上について述べる。
図26に本発明の一実施形態の一実施例を示す。図29より、ピクセルの中心においての、隣接視差画像の成す角度は2θ/Nとなるが、あるピクセルの中心視差画像と隣接視差画像との境界とのなす角度はその半分となるため、θ/Nである。十分小さい角度の時は
tanθ=θ
となるため、N視差、視域角度2θ、視距離L、レンズピッチlpとすると、視距離Lでの隣接視差画像のみえる幅Wrは、図3の幾何学的条件より、
Wr=2×L×tan(θ/N)−lp (24)
となる。例えば、32視差、視域角度2θ=10度、視距離L=1m、レンズピッチlp=1.4mmとすると、Wr=1.32mmとなる。上記より、隣接視差画像間の角度が小さいほど、すなわち、光線密度αimaxが大きければ大きいほど、同一瞳に隣接視差画像が入ってくる割合が高くなることがわかる。
そのため、一つのレンチキュラーレンズから射出される光線密度が大きいほど、3次元表示の解像度を向上するとともに、本発明を用いることにより、2次元表示の解像度も向上させることができる。
図26においては、レンチキュラーレンズの表面から2次元表示装置までのギャップがレンチキュラーレンズの焦点距離に等しいときにも、光線密度が大きくなると隣接視差画像が瞳に入ってくることを示している。このような場合の文字表示の最適値について述べる。デフォーカスを考慮しない場合、画素の中央部からの光線のみを考えればよい。図4よりレンチキュラーレンズによるデフォーカスを考慮しなくとも、すなわち、主光線と隣接視差画像の中心位置だけを考慮した場合、飛び出し領域に文字表示を行ったときには、主光線と隣接視差画像の関係は2次元表示装置上の視差番号の関係と左右逆転している。また、瞳に入ってくる視差番号は2次元表示装置の視差番号と左右逆転している。そのため、瞳に入ってくる隣接視差画像と主光線との関係は飛び出し領域に表示した場合は整合性がとれる。これにより、レンチキュラーレンズの表面から2次元表示装置までの距離であるギャップがレンチキュラーレンズの焦点距離に等しい場合、飛び出し領域に文字表示を行うと良いことが分かる。
(第5実施形態)
次に、本発明の第5実施形態による立体画像表示装置を説明する。
第1乃至第4実施形態においては、2次元文字の解像度向上について説明してきたが、実際の立体表示装置において、2次元文字を表示した場合、解像度が向上する位置について実験を行った結果を示す。
図12の横軸は一つの開口部あたりの最大光線密度αimaxである(視差数/視域角)とし、縦軸はβnyq=βimaxにおける飛び出し量をz(図1参照)と、最適な飛び出し量zoptとの比(zopt/z)とした。奥行き領域の場合はzをzで置き換える。図12において、2次元表示装置を2種類用いることにより、サブピクセル幅を2種類変えたものも調べた。これらより、実際の2次元表示装置では、飛び出し領域においては
0.18<zopt/z<1/4 (25)
の時に、文字として認識しやすいということがわかった。
また、奥行き領域の場合は
1/4<zopt/z<0.42 (26)
の時に、文字として認識しやすい。
ここで、文字表示においては、隣接視差画像がみえればみえるほど、補間する座標も増加するため、文字として滑らかさが増す。しかし、立体表示装置のクロストークも低減したいため、ある範囲を設ける。ひとつのレンズから見える視差画像が1.24視差から3視差まで見えるように設計する。これは左右対称として、片側の隣接視差画像は0.12視差から1視差分の隣接視差画像がみえる場合である。
X=1.24あるいはx=3を(19)式に代入すると、
飛び出し領域の場合は
/6<znopt<4Z/10 (27)
奥行き領域の場合は
/6<zfopt<4z/10 (28)
となる。(27)式、(28)式は、実験値である(25)式、(26)式を含んでいる。そこで、立体表示と文字表示を両立する条件として、(27)、(28)を考えてよい。
次に、本実施形態の立体画像表示装置の実際のギャップの値について、以下に説明する。先に述べた隣接視差画像が0.12視差以上から1視差以下まで見えるという条件をレンズ表面から2次元パターン表示装置までのギャップの変化分に関連づけて示す。上記は、ひとつのレンズから2視差以上5視差以下である条件に相当する。
先に述べたように、図7では、ギャップが焦点距離より大きい場合について示し、(13)式に近軸領域のギャップgの変化分Δxとデフォーカス視差数Δpについて示した。
g=f+Δx
fcosθ:lp=Δx:Δp×p
ΔPn=lp×Δx/(fcosθ×p) (13)
において、
1.24<Δp<3 (29)
となる条件である。ここで、レンズの焦点距離をf、レンズピッチlp、ギャップgの増加分Δx、2次元パターン表示領域でのデフォーカスされる画素ピクセル数をΔp、視域角2θ、2次元表示装置のピクセルピッチをpとする。
Δxについて解くと
1.24×(fcosθ×p)/lp<Δx< 3×(fcosθ×p)/lp
の範囲でギャップの値をかえる。このときの文字表示の飛び出し位置、あるいは奥行き位置は(27)式、(28)式となる。よってギャップの値gとしては、上記に焦点距離を加えればよい。すなわち、
f+1.24×(fcosθ×p)/lp<g<f+3×(fcosθ×p)/lp
あるいは
f―1.24×(fcosθ×p)/lp<g<f―3×(fcosθ×p)/lp
がよい。
また、文字の大きさについては、補間する画素数に応じて、決まる。すなわち、主光線の隣に左右1個ずつの隣接視差画像がみえる場合は、解像度が3倍に上がると考えてよい。レンズピッチによる最小線幅を、視差画像をもたない2次元表示で、レンチキュラーレンズの幅を最小ドットとした時の12ポイントの文字とした。すなわち、
レンズピッチによる最小文字幅=lp×12
となる。これは、視差画像をもたない、飛び出しも奥行きもない2次元表示面に示したものと同じ解像度といってよい。文字の隣接視差画が0.12視差以上1視差以下みえるとすると、一つのレンズから1.24視差以上、3視差以下みえるということである。
理想的には、解像度が1.24倍以上3倍以下になるとかんがえられるため、最小文字幅としては
1/3<(本発明による最小文字幅)/( レンズピッチによる最小文字幅)<1/1.24
0.33<(本発明による最小文字幅)/( レンズピッチによる最小文字幅)<0.81
となる。実測値について、いくつかを図13に示す。図13より、
0. 33<(本発明による最小文字幅)/( レンズピッチによる最小文字幅)<0.7
となる。予測値と実際の最小文字幅がほぼ一致していることがわかった。また、2次元表示面に示した文字の解像度よりは大幅に解像度が増していることがわかった。
今まで、ギャップの厚みがレンズのデフォーカスに影響することについて述べた。そこで、観測者が立体表示装置を見る視差角度に応じて、ギャップの値が変わることを示す。
図9に、本発明の一実施例による立体画像表示装置の平面図を示す。観測者から立体表示装置をみた場合、正面のギャップに比べて、画面端のギャップの値が大きくなることを示している。そこで、光学シミュレーションにより、レンズ面に入射する角度が0度、5度、10度の場合、2次元パターン表示面の焦点領域がどのぐらいデフォーカスされるかについて調べる。図23の横軸にレンズの厚み、縦軸に2次元パターン表示面の焦点領域の視差数について示す。例えば、○で囲んだ領域に関して、視差角度が0度、5度の場合にレンズの焦点距離とギャップの値が同一であり、デフォーカスが0と小さくても、視差角度が10度の場合は、2次元表示装置となる液晶表示装置の2視差分のデフォーカスとなっている。これらより、中央部で立体表示を行い、端部で文字表示を行うようにすると中央部ではクロストークが少なく、端部では隣接視差画像を利用したなめらかな文字表示を行うことができるといえる。また、このように、ディスプレイの左右方向の斜めから見る場合は、視差画像を作成する場合はギャップの長さが長くなっていることを考慮に入れる。すなわち、視差画像の割り付けもギャップの長さを考慮して作成するとよい。
図10に本発明の一実施例による立体画像表示装置を側面からみた場合の例を示す。観測者がディスプレイを上方斜め、あるいは下方斜めからみる場合について示す。
観測者が上下方向に仰角θeyeの方向でディスプレイを見た時、レンズ表面から2次元パターン表示装置までのギャップが正面からみた場合に比べて、大きくなっていることがわかる。
図11に、仰角θeyeと(斜めからみたギャップ/正面からみたギャップ)の関係について示す。仰角20度ぐらいで斜めからみたギャップは5%変化する。このように、仰角により、所望のギャップを得ることができる。また、垂直方向にはレンズの曲面がないので、見る位置により、焦点が結ばれる視差画像の画素位置が垂直方向にしか変化しない。すなわち、焦点が結像される位置も垂直方向に長くなったとしても、見る位置は同じ視差番号になるので、視差マッピングの再計算を行わなくてもよい。
(第6実施形態)
本発明の第6実施形態による立体画像表示装置を、図22を参照して説明する。文字表示位置をテロップ表示のように例えば画面下側に固定している場合、画面下側のみギャップを第5実施形態のように厚くするか、薄くすることにより、文字表示においては隣接視差画像を積極的に見せ、立体表示領域においては、隣接視差画像を見せないように、ギャップをレンズの焦点とほぼ同一にする。また、この時、文字表示領域のギャップは、観測者の位置からみて、画面中央と画面端のギャップの厚みが変化する。これは、中央にいる観測者からみて、画面中央と画面端の1レンズあたりみえる視差画像数Xが変化する。そこで、画面上における文字表示領域に依存して、X視差を求め、文字表示位置を微調整すると、より見やすい文字表示ができる。
また、レンズのデフォーカスについては、拡散フィルム挿入により促進される。拡散フィルムは、規則的な配列構造が重なったときに生じる縦じまのモアレを防止するために用いられることがある。
レンズの表面から2次元表示装置までの間に拡散フィルムを挿入しなかった場合のギャップと文字の最適位置についてのシミュレーション結果と実測結果を図24に示す。また、拡散フィルムを入れた場合のギャップと文字の最適位置についてのシミュレーション結果と実測値を図25に示す。図24、図25とも、視差角度10度に対する実測値で画面の端に表示した場合に相当する。手順としては、レンズの厚み、拡散フィルムによるレンズのデフォーカスをシミュレーション、実験により見積もる。第3実施形態で説明した式を用いて、目に入る隣接画像の割合によって、文字の表示位置の算出を行う。
図24からわかるように、ギャップが焦点距離と等しくなり、クロストークが低減する領域では、文字の最適位置は画面上から離れることになり、像としてもぼけてくるので、隣接視差画像を利用した文字表示としては適さない領域である。
次に、図25からわかるように、拡散フィルムを挿入することにより、1レンズ内に含まれる視差画像が増加し、文字の最適位置が画面側に近づくことを示している。図25の場合、拡散フィルムの役割としては、1レンズ内にみえる視差画像数が0.5視差増加する条件とした。
図24、図25に実測値も10度measとして示す。実測値とシミュレーション値がほぼ一致していることがわかる。
(第7実施形態)
次に、本発明の第7実施形態による立体画像表示装置を説明する。
今まで、解像度向上について述べたが、本実施形態においては、正常な立体像を見ることができる視域について述べる。すなわち、本実施形態においては、文字の視距離の変更による視域拡大の実施例について示す。
例えば、立体画像表示装置は、多人数でみえる視距離にすることが多く、画像作成時の視距離として1m以上を設定する場合が多い。一方、文字が小さくなればなるほど、視距離が離れると、文字に対する画角が小さくなり、文字認識しにくくなるという問題点がある。そこで、文字の大きさ、観測者の位置に応じた視距離を設定すると、より文字認識がしやすくなる。特許文献2より、文字に対する画角は30分以上が望ましい。
例えば、視距離1mで、文字幅を7mmと設定した場合について画角を計算すると19分となり、見づらくなる。そこで、立体表示は1mのままで、文字表示のみ観測者がディスプレイから70cmの距離に移動すると、画角が30分となり見やすくなる。ここで、観測者がディスプレイに近い距離に移動しただけでは、図14に示す位置35では、視域が非常に狭くなり、左右の眼の一方に偽像が入る危険性がある。そこで、図15に示すように、観測者4が近い距離で文字をみる場合、文字作成時の視距離も短くし、視域角が同じで視域方向を中央に寄せることにより、ディスプレイに近い距離でのディスプレイ方向の視域が広くなり、偽像のみえない良好な文字表示ができる。上記は、同じレンチキュラーレンズを使用しても、2次元表示装置上への画像マッピングを変更することにより可能なため、設計が非常に自由である。また、画像の立体表示の場合は多くの人数で見られる方がよいので、視距離は1m以上のままでよい。なお、図14、図15において、符号34は立体画像作製時の視距離を示し、符号35は2次元文字を表示する位置を示し、符号65は正常な3次元画像がみえる視域を示し、符号67は光線を示す。
図16に、図14と図15を1画面中で合成したものを示す。例えば、図16に示すように、文字表示を下段に表示するようにすると、上側の立体表示は図14の多人数でみられる長い視距離とし、下側の文字は図15の観測者の位置に応じた視距離にした文字を表示することにより、小さな文字でも認識できるようになる。ここで、文字表示の視距離をLcharaとすると、文字表示位置は下記のように設定する。
飛び出し領域においては、
0<z<Lchara×D/(2(1+D))
奥行き領域において
0<z<Lchara×D/(2(1−D))
ここで、Dはデプスファクタであって、レンズ2のピッチをlp、視域角を2θ、ピクセルピッチをpとすると、
Figure 0004002875
となる。
図16は、図22と異なり、レンズのギャップ厚は変えないで、視域を広くすることを目的とする。また視差角度が鋭角になるほど、ギャップは厚くなるので、ギャップ厚に応じて、画面内でギャップに応じた視差割り当てを行うとよい。
図17に本発明の一実施形態による立体画像表示装置による表示例を示す。
以上説明したように、本発明の実施形態によれば、レンチキュラーレンズを通して、文字、あるいは2次元画像の解像度を向上させることができるので、立体表示と同一画面での表示が可能である。
本発明の2次元表示装置としては、液晶ディスプレイ、有機ELディスプレイ、FED(Field emission display)など平面ディスプレイに関して述べているが、これに限定されるものではない。
本発明は、光線制御素子としてレンチキュラーレンズを用いており、レンチキュラーレンズのように見る場所によって、遮光部がなく連続な画像が得られる立体表示装置においてより有効である。
本発明は、光線制御素子としてスリットを用いている場合、モアレ低減などのために、開口部が画素幅より大きく設定してある場合などにおいて、隣接視差画像が見えやすくなっている立体表示装置において、より有効である。
本発明は、光線制御素子であるレンチキュラーレンズ、あるいはスリットが2次元表示装置に対して、モアレ防止のため、斜めであっても本発明は適用可能である。
本発明は単眼に入る隣接視差画像が主光線を補うようにした。左右の目でそれぞれ足りない光線を補う方法もある。ただし、単眼で補っている場合に比べて、左右の像のアンバランスにより疲労が生じる可能性があるため、単眼で文字認識できるようにした方が望ましい。
最後に、上記実施形態においては、文字の最適位置について、代表値を述べたもので、代表値近傍が文字の見やすい領域となることは云うまでもない。
以上説明したように、各実施形態によれば、2次元文字、あるいは2次元画像をレンチキュラーレンズ越しにみた場合の解像度を2〜3倍に増加することができるため、より多くの文字を表示することができる。
また、3次元表示と同時に2次元文字を表示することができるため、画面上での場所を選ばない表示ができる。また、観測者と3次元表示装置との距離、2次元文字の長さに応じて、視域角を変えることにより、最も見やすい2次元文字を表示させることができる。
本発明の第1実施形態による立体画像表示装置の構成を示す図。 観測者が主光線を2個見る位置にいる場合の観測者の目に映る視差画像を示す模式図。 第3の実施形態による文字の最適表示位置の構成を示す図。 第1実施形態において、2次元文字または2次元画像を表示した場合に2次元表示装置上の視差番号のどこに投影されかを説明する図。 第1実施形態において、2次元文字を奥行き領域に表示した場合の光線の軌跡を示す図。 レンズの焦点距離とギャップが等しい場合の立体画像表示装置の平面図。 レンズの焦点距離よりギャップが厚い場合の立体画像表示装置の平面図。 レンズの焦点距離よりギャップが短い場合の立体画像表示装置の平面図。 本発明の一実施例による立体画像表示装置の上面図。 本発明の一実施例による立体画像表示装置を側面からみた図。 立体画像表示装置を見る角度とギャップの変化割合を示した図。 最適な表示位置と1レンズピッチから光線密度との関係を示す図。 最小文字幅/レンズピッチによる最小文字幅と1レンズピッチからの光線密度との関係を示す図。 3次元画像表示領域と偽像のみえない視域領域の関係を示す図。 3次元画像表示領域と2次元文字の偽像のみえない視域領域の関係を示す図。 本発明の一実施例による立体画像表示装置の表示例を示す図。 本発明の一実施例による立体画像表示装置の表示例を示す図。 立体画像表示装置に表示した物体の飛び出し方向、奥行き方向の位置と解像度の関係を示す図。 立体画像表示装置において、2次元文字あるいは2次元画像を表示面に表示した時の光線の軌跡図。 IP法のナイキスト周波数による解像度を説明する平面図。 IP法のひとつのレンズから射出される光線密度による解像度を説明する平面図。 本発明の第6実施形態による立体画像表示装置を説明する図。 レンズの厚みと2次元表示装置の表示面における視差数との関係を示すグラフ。 文字の最適位置とギャップの関係を拡散フィルム無しでシミュレーション、および実測した関係を示すグラフ。 文字の最適位置とギャップの関係を拡散フィルムありでシミュレーション、および実測した関係を示すグラフ。 本発明の一実施形態において、観測者の位置で左右の隣接視差光線の見える範囲を示す水平断面図。
符号の説明
1 2次元表示装置
2 レンチキュラーレンズ
3 隣接視差光線と隣接主光線が交わる点の飛び出し量の1/2以内である領域
4 観測者の瞳(観測者)
5 主光線が主に見える領域
6 隣接視差が主に見える領域
7 主光線の中央部の軌跡
8 主光線の広がりによる主光線がみえる領域
9 隣接視差光線の中央部の軌跡
10 隣接視差光線の広がりにより隣接視差光線がみえる領域
11 2次元表示面での視差番号(視差画像)
19 飛び出し領域に表示した2次元文字、あるいは2次元画像
12 2次元画像表示装置上の画像パターン
13 2D文字を表示する位置とその視差番号割り当て
14 2D文字を表示する位置でのイメージ像
15 隣接視差画像と主光線が交わる位置
16 瞳位置で見える2D文字の視差番号割り当て
17 瞳位置で見える2D文字のイメージ
18 観察者の位置でみえる主光線と隣接視差光線が表す水平方向の像
29 レンズの中心位置からの画像
30 レンズの端からの画像、
34 立体画像作成時の視距離
35 2D文字をみる観測者の位置
36 観測者の目に入る画像端から視差光線
61 2次元画像表示装置
62 開口部
63 遮断部
64 観測者
65 正常な画像が見える視域
66 視域角の半分θ
67 光線
68 開口部と遮断部を有するスリットあるいはレンズアレイ
69 左眼
70 右眼
71 近くにある物体
72 遠くにある物体
73 立体表示しようとする物体像

Claims (7)

  1. 表示面内に複数の画素が配列された2次元表示装置と、
    前記表示面の前面に設けられ複数のレンズが並んで配置され前記画素からの光線を所定の視差角度に振り分けるように制御する光線制御部と、
    を備え、
    前記光線制御部から2次元文字または2次元画像の表示位置までの距離zは、画像作製時の視距離をL、前記レンズのピッチをlp、視域角を2θ、前記画素のピッチをpとすると、
    飛び出し領域において、
    0<z<L×D/(2(1+D))
    奥行き領域において
    0<z<L×D/(2(1−D))
    を満たし、Dは
    Figure 0004002875
    と表されることを特徴とする立体画像表示装置。
  2. 前記複数のレンズが並んで配置された平面から前記2次元表示装置までのギャップが、視距離での観測者に向かう光線の軌跡を前記2次元表示装置の画素に結像する焦点距離以上の場合には、文字表示あるいは2次元画像を前記2次元表示装置から飛び出し領域に表示し、前記複数のレンズが並んで配置された平面から前記2次元表示装置までのギャップが、視距離で観測者に向かう光線の軌跡を前記2次元表示装置の画素に結像するための焦点距離よりも短い場合には、文字表示あるいは2次元画像を奥行き領域に表示することを特徴とする請求項1記載の立体画像表示装置。
  3. 前記視距離にいる観測者の位置において、一つのレンズを介して一つの主光線と二つ以上の隣り合う隣接視差画像が見える場合に、前記一つのレンズに対して見える視差数をxとすると、前記レンズと前記2次元表示装置のギャップが、前記レンズ部の焦点距離以上の場合には、前記飛び出し領域内の位置znoptに表示し、前記レンズ部と前記2次元表示装置のギャップが、前記レンズ部の焦点距離よりも短い場合には、前記奥行き領域内の位置zfoptに表示し、前記位置znoptおよび位置zfoptは、
    nopt=z/(2x)
    fopt=z/(2x)
    と表され、ここで、zおよびzは、
    =L×D/(1+D)
    =L×D/(1−D)
    であることを特徴とする請求項2記載の立体画像表示装置。
  4. 前記視距離にいる観測者の位置において、一つのレンズを介して二つの主光線と二つ以上の隣り合う隣接視差画像が見える場合に、前記一つのレンズに対して見える視差数をxとすると、前記レンズと前記2次元表示装置のギャップが、前記レンズの焦点距離以上の場合には、前記飛び出し領域内の位置znoptに表示し、前記レンズと前記2次元表示装置のギャップが、前記レンズの焦点距離よりも短い場合には、前記奥行き領域内の位置zfoptに表示し、前記位置znoptおよび位置zfoptは、
    nopt=z/x
    fopt=z/x
    と表され、ここで、zおよびzは、
    =L×D/(1+D)
    =L×D/(1−D)
    であることを特徴とする請求項2記載の立体画像表示装置。
  5. 前記位置znoptおよび前記位置zfoptは、
    /6<znopt<4z/10
    /6<zfopt<4z/10
    の範囲にあることを特徴とする請求項3または4記載の立体画像表示装置。
  6. 前記レンズと前記2次元表示装置との間のギャップの厚みgが、レンズの焦点距離をfとすると、
    f+1.24×(fcosθ×p)/lp<g<f+3×(fcosθ×p)/lp
    あるいは
    f―1.24×(fcosθ×p)/lp<g<f―3×(fcosθ×p)/lp
    の範囲にあることを特徴とする請求項3または請求項4記載の立体画像表示装置。
  7. 前記光線制御部と前記2次元表示装置との間のギャップは、立体表示領域と文字表示領域とにおいて異なるように構成されていることを特徴とする請求項3または請求項4記載の立体画像表示装置。
JP2003323531A 2003-09-16 2003-09-16 立体画像表示装置 Expired - Fee Related JP4002875B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003323531A JP4002875B2 (ja) 2003-09-16 2003-09-16 立体画像表示装置
KR1020040013461A KR100759502B1 (ko) 2003-09-16 2004-02-27 입체화상 표시장치
CNB200410087412XA CN1289939C (zh) 2003-09-16 2004-03-01 立体图像显示装置
US10/940,780 US7830601B2 (en) 2003-09-16 2004-09-15 Stereoscopic image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003323531A JP4002875B2 (ja) 2003-09-16 2003-09-16 立体画像表示装置

Publications (2)

Publication Number Publication Date
JP2005091623A JP2005091623A (ja) 2005-04-07
JP4002875B2 true JP4002875B2 (ja) 2007-11-07

Family

ID=34270032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003323531A Expired - Fee Related JP4002875B2 (ja) 2003-09-16 2003-09-16 立体画像表示装置

Country Status (4)

Country Link
US (1) US7830601B2 (ja)
JP (1) JP4002875B2 (ja)
KR (1) KR100759502B1 (ja)
CN (1) CN1289939C (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4227076B2 (ja) * 2004-05-24 2009-02-18 株式会社東芝 立体画像を表示する表示装置及び立体画像を表示する表示方法
JP2006163547A (ja) * 2004-12-03 2006-06-22 Canon Inc 立体画像生成プログラム、立体画像生成システム及び立体画像生成装置。
EP1708010A1 (en) * 2005-03-28 2006-10-04 Kabushiki Kaisha Toshiba Image display apparatus
ES2860754T3 (es) * 2005-04-29 2021-10-05 Koninklijke Philips Nv Un aparato de visualización estereoscópica
JP5036253B2 (ja) * 2005-08-31 2012-09-26 株式会社東芝 三次元画像表示用要素画像アレイの作成方法、作成装置、および作成プログラム
US7742046B2 (en) 2005-08-31 2010-06-22 Kabushiki Kaisha Toshiba Method, device, and program for producing elemental image array for three-dimensional image display
WO2007039855A2 (en) * 2005-10-04 2007-04-12 Koninklijke Philips Electronics N.V. A 3d display with an improved pixel structure (pixelsplitting)
WO2007052216A1 (en) * 2005-11-04 2007-05-10 Koninklijke Philips Electronics N.V. Rendering of image data for multi-view display
US7800703B2 (en) * 2005-12-13 2010-09-21 Koninklijke Philips Electronics N.V. Display device
JP4702072B2 (ja) * 2006-01-20 2011-06-15 カシオ計算機株式会社 投影装置、投影装置の測距仰角制御方法及びプログラム
JP2010503009A (ja) * 2006-08-31 2010-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動立体ディスプレイデバイス
JP4403162B2 (ja) 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
KR101352115B1 (ko) * 2007-03-07 2014-01-24 엘지디스플레이 주식회사 3차원 영상용 광학필름과 이를 이용한 3차원 영상 표시장치
KR101339870B1 (ko) * 2007-07-26 2013-12-11 삼성전자주식회사 영상처리장치 및 영상처리방법
KR100935892B1 (ko) * 2008-03-19 2010-01-07 유한회사 마스터이미지쓰리디아시아 입체영상용 디스플레이 패널의 수평 방향/수직 방향 정렬을수행하는 접합 장치
JP4608563B2 (ja) * 2008-03-26 2011-01-12 富士フイルム株式会社 立体画像表示装置および方法並びにプログラム
JP5342796B2 (ja) * 2008-03-27 2013-11-13 株式会社東芝 三次元画像表示方法および装置
KR101497511B1 (ko) * 2008-09-19 2015-03-02 삼성전자주식회사 평면 영상과 입체 영상을 동시에 표현하는 영상 표시 장치
JP5514219B2 (ja) * 2008-10-28 2014-06-04 コーニンクレッカ フィリップス エヌ ヴェ 三次元表示システム
WO2010073191A1 (en) * 2008-12-22 2010-07-01 Koninklijke Philips Electronics N.V. Autostereoscopic display device
US8537469B2 (en) * 2009-03-04 2013-09-17 Securency International Pty Ltd Methods for producing lens arrays
CN101604070B (zh) * 2009-07-21 2014-05-14 友达光电股份有限公司 立体显示器以及立体显示系统
KR101081753B1 (ko) * 2009-12-10 2011-11-09 한국과학기술연구원 3차원 디스플레이 장치
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US8446461B2 (en) * 2010-07-23 2013-05-21 Superd Co. Ltd. Three-dimensional (3D) display method and system
WO2012021129A1 (en) * 2010-08-10 2012-02-16 Sony Computer Entertainment Inc. 3d rendering for a rotated viewer
CN102378016A (zh) * 2010-08-20 2012-03-14 纬创资通股份有限公司 根据不同视角播放相对应的立体影像的方法及其处理系统
TWI405676B (zh) * 2010-12-21 2013-08-21 Hiti Digital Inc 提高定位精準度的立體影像列印裝置及其列印方法
JP5746908B2 (ja) * 2011-05-06 2015-07-08 株式会社東芝 医用画像処理装置
WO2012157585A1 (ja) * 2011-05-19 2012-11-22 株式会社東芝 医用画像診断装置及び画像処理装置
JP2012253690A (ja) * 2011-06-06 2012-12-20 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US9465226B2 (en) 2011-08-09 2016-10-11 Sony Computer Entertainment Inc. Automatic shutdown of 3D based on glasses orientation
JP5100875B1 (ja) * 2011-08-31 2012-12-19 株式会社東芝 視域調整装置、映像処理装置および視域調整方法
TW201330594A (zh) * 2011-11-23 2013-07-16 Corning Inc 用以減輕自動立體顯示中之波紋效應的稜鏡陣列
WO2013105240A1 (ja) 2012-01-11 2013-07-18 株式会社 東芝 液晶光学素子及び立体画像表示装置
KR101316795B1 (ko) * 2012-02-02 2013-10-11 한국과학기술연구원 시역 평탄화 및 동적 크로스토크 최소화를 위한 무안경식 3차원 영상표시장치
CN103631022A (zh) * 2013-03-21 2014-03-12 葛美玲 立体影像与细微图文并列之清晰显示方法
US20150381794A1 (en) * 2014-06-30 2015-12-31 Arthur Melvin Shulenberger Viewing adapter for smartphone or similiar electronic device
KR20170045276A (ko) * 2014-08-25 2017-04-26 솔리디디디 코포레이션 오토스테레오스코픽 비디오 디스플레이에 대한 향상된 인지 이미지 깊이
US20170078653A1 (en) * 2015-09-15 2017-03-16 Qualcomm Incorporated Systems and methods for producing a surround view
CN105866865A (zh) * 2016-05-27 2016-08-17 京东方科技集团股份有限公司 一种显示面板、显示装置
CN106095134B (zh) * 2016-06-07 2019-01-18 苏州佳世达电通有限公司 一种电子装置及其记录与显示方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4987487A (en) * 1988-08-12 1991-01-22 Nippon Telegraph And Telephone Corporation Method of stereoscopic images display which compensates electronically for viewer head movement
DE4312918A1 (de) * 1993-04-14 1994-10-20 Hertz Inst Heinrich Wiedergabeeinrichtung
JPH0749466A (ja) 1993-08-04 1995-02-21 Sony Corp 画像表示方法
JP3409810B2 (ja) * 1993-09-09 2003-05-26 ソニー株式会社 画像出力方法
JPH0915532A (ja) * 1995-06-29 1997-01-17 Canon Inc 立体画像表示方法及びそれを用いた立体画像表示装置
US6061179A (en) * 1996-01-23 2000-05-09 Canon Kabushiki Kaisha Stereoscopic image display apparatus with two-/three-dimensional image display switching function
JPH09318911A (ja) * 1996-05-27 1997-12-12 Canon Inc 立体画像表示装置
JP3423189B2 (ja) 1997-05-27 2003-07-07 三洋電機株式会社 ディジタル立体放送によるテロップ表示装置
JP2000047138A (ja) * 1998-07-27 2000-02-18 Mr System Kenkyusho:Kk 画像表示装置
JP3770459B2 (ja) 2000-05-23 2006-04-26 シャープ株式会社 画像表示装置、画像表示方法および記録媒体

Also Published As

Publication number Publication date
CN1289939C (zh) 2006-12-13
CN1598644A (zh) 2005-03-23
US7830601B2 (en) 2010-11-09
JP2005091623A (ja) 2005-04-07
KR20050027905A (ko) 2005-03-21
KR100759502B1 (ko) 2007-09-18
US20050057807A1 (en) 2005-03-17

Similar Documents

Publication Publication Date Title
JP4002875B2 (ja) 立体画像表示装置
JP4403162B2 (ja) 立体画像表示装置および立体画像の作製方法
KR100710853B1 (ko) 입체화상을 표시하는 표시장치 및 입체화상을 표시하는표시방법
JP3955002B2 (ja) 映像表示装置
JP5316909B2 (ja) 立体画像表示装置、及び表示パネル
KR101188429B1 (ko) 색분리 현상을 제거한 고해상도 표시 패널 및 이를 이용한입체 영상 표시 장치
JP3887276B2 (ja) 立体画像再生装置
KR100598758B1 (ko) 입체 표시 장치
JP5364666B2 (ja) 立体画像表示装置、方法およびプログラム
JP4331224B2 (ja) 三次元画像表示装置及び三次元画像の表示方法
US20080218433A1 (en) Optical sheet for three-dimensional image and three-dimensional image display device using the same
US7511716B2 (en) High-resolution micro-lens 3D display with shared sub-pixel color signals
JP2005331844A (ja) 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP2004280052A (ja) 画像表示装置、携帯端末装置、表示パネル及び画像表示方法
JP2005086414A (ja) 立体表示装置および画像表示方法
JP2008527456A (ja) マルチビューディスプレイ装置
CN108432245A (zh) 自动立体显示设备和显示方法
WO2015198606A1 (en) Image data redundancy for high quality 3D
KR20150055442A (ko) 입체 영상 표시 장치
KR20160028596A (ko) 입체 영상 표시 장치
KR20120082364A (ko) 삼차원 영상 표시 장치
JP2005031367A (ja) 立体画像表示装置
JP2004191570A (ja) 三次元画像表示装置
JP2013182209A (ja) 立体画像表示装置、立体画像表示方法、および制御装置
KR102515026B1 (ko) 무안경 입체 영상 표시장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070820

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees