JP4403162B2 - 立体画像表示装置および立体画像の作製方法 - Google Patents

立体画像表示装置および立体画像の作製方法 Download PDF

Info

Publication number
JP4403162B2
JP4403162B2 JP2006268600A JP2006268600A JP4403162B2 JP 4403162 B2 JP4403162 B2 JP 4403162B2 JP 2006268600 A JP2006268600 A JP 2006268600A JP 2006268600 A JP2006268600 A JP 2006268600A JP 4403162 B2 JP4403162 B2 JP 4403162B2
Authority
JP
Japan
Prior art keywords
image
parallax
display device
dimensional
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006268600A
Other languages
English (en)
Other versions
JP2008089787A (ja
Inventor
木 亜矢子 高
山 雄 三 平
本 澄 彦 山
根 真 弘 関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006268600A priority Critical patent/JP4403162B2/ja
Priority to US11/896,413 priority patent/US8106940B2/en
Publication of JP2008089787A publication Critical patent/JP2008089787A/ja
Application granted granted Critical
Publication of JP4403162B2 publication Critical patent/JP4403162B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、立体画像表示装置および立体画像の作製方法に関する。
多数の視差画像を表示するインテグラルフォトグラフィー法(以下、IP法とも云う)あるいは光線再生法と呼ばれる、立体像を何らかの方法で記録しこれを立体像として再生する方法が知られている。左右の眼から物体を見たときに、近い距離にあるA点をみた時の左右の眼と成す角度をα、遠い距離にあるB点をみた時の左右の眼となす角度をβとすると、αとβはその物体と観察者の位置関係に応じて異なる。この(α―β)を両眼視差と呼び、人はこの両眼視差に敏感で立体視をすることができる。
近年、眼鏡無しの立体画像表示装置の開発が進んでいる。これらの多くは通常の2次元表示装置(以下、2D表示装置とも云う)を用いるが、その2次元表示装置の前面、あるいは背面に何らかの光線制御素子を置くことにより、先に述べた両眼視差を利用し、観察者から見た時、あたかも2次元表示装置の表示面から前後数cmの距離の物体から光線が出ているように2次元画像表示装置からの光線の角度を光線制御素子によって制御することにより、可能となる。背景には2次元画像表示装置の高精細化により、2次元画像表示装置の光線を数種類の角度(視差と呼ぶ)に振り分けても、ある程度、高精細の画像を得ることができるようになったためである。
インテグラルイメージング(略してII)方式の表示装置においては、一つのレンズから射出される光線は要素画像群の数に相当し、その数を視差数と呼ぶ。それぞれのレンズにおいて、視差光線は観測者の位置によらず、視域角内で等間隔の角度分布に射出される。
II法を用いた立体画像表示装置において、飛び出し方向、奥行き方向に表示した立体物体の解像度について、非特許文献1に詳しく解説されている。非特許文献1では、一つのレンズあるいは射出瞳から、一つの要素画像が見える理想的な立体画像表示装置について述べている。そのため、レンズのデフォーカスなどにより、一つのレンズあるいは射出瞳に対して、複数の要素画像が見える表示劣化が起こった場合については述べていない。
また、左右のクロストークを画像処理で低減する方法が知られている(例えば、特許文献1参照)。この方法は、二つの視差画像間の画像処理によりクロストークを低減させる方法であって具体的な処理としては平均化処理をしており、多重像の防止については述べられていない。
また、クロストークを利用した2次元画像の解像度を向上させる方法が知られている(特許文献2参照)。この方法はクロストークにより2次元画像の解像度が向上する場合について述べており、クロストークが立体画像を劣化させることに対する対策については述べられていない。(特許文献1)
また、レンズ裏置き+バリア印刷により、焦点がぼけるレンズの端部を使わないという構造が知られている(特許文献3参照)。この構造はクロストークを常に低減する手法ではあるが、完全にクロストークがなくなるわけではなく、黒く印刷することにより、モアレが生じる場合がある。
非特許文献2には、II方式の立体表示方法は平行投影のため、観測者がII方式の3次元画像を見る場合は、透視投影で見るため、ゆがみが生じることについて述べられている。
H. Hoshino, F. Okano, H. Isono and I. Yuyama "Analysis of resolution limitation of integral photography"J. Opt. Soc. Am, A15 (1998) 2059-2065. 特開2001−298754号公報 特開2005−91623号公報 特開平09−101481号公報 SID004Digest 1438p(2004)
立体画像表示装置の光線制御素子にレンズアレイを使用した場合、クロストークと呼ばれる、本来の視差光線に隣接視差画像の情報が混入する現象が生じる場合がある。
ここで、クロストークが生じる原因について、図27、図28を参照して説明する。図27は、レンズ2の焦点距離が、レンズ2と2次元表示装置1との間よりも短い場合で、クロストークが2視差分生じている例を示す。図28は、図27の場合と逆で、レンズ2の焦点距離が、レンズ2と2次元表示装置1との間よりも長い場合で、クロストークが2視差分生じている例を示す。このように、クロストークはレンズのデフォーカスによって生じる場合がある。図27および図28において、符号21はブラックマトリクス、符号22はサブピクセル(例えば赤、青、または緑の画素)の幅の開口率、符号23はサブピクセルの幅、符号24はクロストーク2視差でレンズの集光中心がサブピクセル中心となる光線軌跡、符号25はクロストーク2視差でレンズの集光中心がサブピクセル間となる光線軌跡をそれぞれ示す。
また、モアレ低減のために、通常の水平垂直方向の画素を持つ2次元表示装置に対して斜めにレンズを置き、3次元表示装置を作成する場合があり、クロストークが2視差以上必然的に生じる場合もある。
さらに、レンズ自体の球面収差などにより、光線射出方向によって生じる場合などがある。
図29を参照して、立体画像において、クロストークが2視差以上生じた場合の観測者の目に入る立体画像について説明する。図29において、符号1は2次元表示装置、符号2はレンチキュラーレンズ、符号3aは飛び出し限界位置、符号7、7、7は、レンズ2、2、2に対応する要素画像、符号12は立体物体の画像パターン、符号11は2次元表示装置1上に投影され割り当てられた立体物体の画像パターン、11はレンズ2に対応する要素画像群の画像パターン、11はレンズ2に対応する要素画像群の画像パターン、11はレンズ2に対応する要素画像群の画像パターン、符号13は主視差光線、14は隣接視差光線を示す。
主視差光線13を観測者の正面に位置するとする。この主視差光線13の隣接視差光線14が、主視差光線13に対応するレンズ、例えばレンズ2の隣接レンズ2の主視差光線13と交わる位置はレンズピッチから決まるナイキスト周波数と光線強度から決まる周波数が一致する位置3aであって、飛び出し限界と呼ぶ。レンズ2の表面からこの飛び出し限界までの距離を飛び出し限界値Znoという。また、奥行き方向にも同じ位置が存在し、奥行き限界と呼ぶ(非特許文献1参照)。
特許文献2より、立体画像のレンズ表面からの距離が飛び出し限界値以内では、多重像は生じにくい。なぜなら、図30に示すように、クロストークにより生じた隣接視差光線14の画像は、隣接レンズどうしの画像位置の内部を補間するような位置にあることが多いので、クロストークが生じても目立たず、座標の折り返しのような現象が起きないため、多重像が生じにくい。
しかし、図29に示すように、飛び出し限界値Znoより観測者側に飛び出した位置において、あるいは奥行き限界位置よりも奥行き方向の位置において、クロストークが生じた場合を考える。飛び出し領域IIの部分に置いた立体画像例を図29に示すが、画像CとDの間に画像A、Eが混入しており、画像CとDの間にない立体物体の画像が見える。そのため、画像Aの近傍の画像が、主視差光線の他、隣接視差光線で左右2度見えるため、多重像が生じるか、多重像の繰り返しピッチが狭いと画像がはっきりせず、ボケて見えるという問題点があることがわかった。
なお、図29において、レンズアレイ2と2次元表示装置1間の距離gと、レンズ2の焦点距離fの関係で、g=fの場合、観測者に向かう光線において、ひとつの視差画像の情報のみ射出される。しかし、観測者がレンズを見る位置、立体画像表示装置の製造の精度などにより、必ずしも一つのレンズから一つの視差情報のみが、観測者の目に入ってくるとは限らない(図27、28参照)。
一つのレンズから複数の視差画像が見えるクロストークが生じた場合、レンズの背後にある2次元表示装置1の複数の要素画像の左右の位置関係と、実際に観測者の目に見える要素画像の左右の位置関係は、f<g(図27の場合)であれば、2次元表示装置1上の要素画像と目に見える要素画像の左右の位置関係は逆となり、f>g(図28の場合)であれば、2次元表示装置上の要素画像と目に見える要素画像の左右の位置関係は同一となる(特開2005−91623号公報参照)。このため、図29に示した要素画像の見え方は、f>g(図28の場合)の場合を示している。
また、クロストークが多いことが原因ではないが、レンチキュラーレンズの1個から、2視差の要素画像が見えることがあり、表示劣化が起こる問題について図31を参照して説明する。
II方式は観測者の目に合わせて要素画像を射出しているわけではない。そのため、図31(a)、(b)、(c)に示すように、立体画像表示装置の水平位置によって、光線の方向がレンズ2の背後にある2次元表示装置1のどの部分から射出されているかにより異なる。そこで、図31の観測者101が見る立体物体17がどのように見えるかを示す像19を示し、図31(18)にそれぞれ、観測者100が水平面の位置に応じ、どの要素画像を観測しているかを示す。例えば、光線方向がサブピクセルの中央にある場合は、m視差の画像あるいはm−1視差の画像が見える位置があるが、光線方向がサブピクセル間のブラックマトリックスにある場合は、m視差、m−1視差の両方の画像が見えることになる(図31(b)参照)。非特許文献2により、II方式の立体画像作成方法においては、水平方向は平行投影であるため、飛び出し方向であるz位置が大きくなればなるほど、水平方向に若干広がった立体画像を見ることになる。そのため、図31(c)に示すように、m視差とm−1視差が1レンズ内に同時に見える水平位置では、立体画像の一部が重なったような立体物体を見ることになる。なお、図31(a)、(b)、(c)において、符号1は2次元表示装置、符号2はレンチキュラーレンズ、符号13は主視差光線、符号16は2次元表示装置1上に割り当てられた視差番号、符号17は立体物体、符号19は立体物体17に関する観測者が見るm視差番号の画像パターン、符号20は立体物体17に関する観測者が見るm−1視差番号の画像パターンを示す。
上記表示阻害は、図29からわかるように、主視差光線と隣接視差光線の関係において、隣接レンズの主視差光線の間に、隣接視差光線の画像がない飛び出し限界位置3aよりも観測者側で立体物体が一部重なったような立体画像を一部の領域で見ることになり、観測者が立体物体として違和感を覚えるという表示阻害がある。
本発明は、上記事情を考慮してなされたものであって、クロストークによる多重像およびボケが発生するのを防止することのできる立体画像表示装置および立体画像の作製方法を提供することを目的とする。
本発明の第1の態様による立体画像表示装置は、複数の画像がマトリクス状に配置された表示面を有する2次元表示装置と、前記2次元表示装置の表示面の前面に設けられ、複数の画素からなる要素画像に対応したレンズが複数並んで配置され前記画素からの光線を制御する光線制御素子と、を備え、前記2次元表示装置は、立体画像の一部または全部の位置が飛び出し限界値Znoを示す位置よりも観測者に近い側にある場合、または奥行き限界値Zfoを示す位置よりも観測者から遠い側にある場合に、一つの視差方向に2以上3よりも少ない要素画像が射出されるときに、2視差毎の要素画像のうち1視差の要素画像に黒を表示するようにしたことを特徴とする。
また、本発明の第2の態様による立体画像表示装置は、複数の画像がマトリクス状に配置された表示面を有する2次元表示装置と、前記2次元表示装置の表示面の前面に設けられ、複数の画素からなる要素画像に対応したレンズが複数並んで配置され前記画素からの光線を制御する光線制御素子と、を備え、前記2次元表示装置は、立体画像の一部または全部の位置が飛び出し限界値Znoを示す位置よりも観測者に近い側にある場合、または奥行き限界値Zfoを示す位置よりも観測者から遠い側にある場合に、一つの視差方向に2以上3よりも少ない要素画像が射出されるときに、2視差毎の要素画像のうち1視差の要素画像に、立体物体の画像パターンと相関性のない背景画像を表示するようにしたことを特徴とする。
また、本発明の第3の態様による立体画像表示装置は、複数の画像がマトリクス状に配置された表示面を有する2次元表示装置と、前記2次元表示装置の表示面の前面に設けられ、複数の画素からなる要素画像に対応したレンズが複数並んで配置され前記画素からの光線を制御する光線制御素子と、を備え、前記2次元表示装置は、立体画像の一部または全部の位置が飛び出し限界値Znoを示す位置よりも観測者に近い側にある場合、または奥行き限界値Zfoを示す位置よりも観測者から遠い側にある場合に、一つの視差方向に3以上の要素画像が射出されるときに、3視差毎の要素画像のうち2視差の要素画像に黒を表示するようにしたことを特徴とする。
また、本発明の第4の態様による立体画像の作製方法は、複数の画像がマトリクス状に配置された表示面を有する2次元表示装置と、前記2次元表示装置の表示面の前面に設けられ、複数の画素からなる要素画像に対応したレンズが複数並んで配置され前記画素からの光線を制御する光線制御素子と、
を備えている立体画像表示装置の立体画像の作製方法において、立体物体の飛び出しおよび奥行き座標位置を取得するステップと、前記座標位置の中うち、前記表示面に垂直な方向の座標において、前記立体物体の視差画像中、2視差ごとに1視差の画像に黒または前記立体物体の背後にある画像パターンを挿入するステップと、を備えたことを特徴とする。
また、本発明の第5の態様による立体画像の作成方法は、複数の画像がマトリクス状に配置された表示面を有する2次元表示装置と、前記2次元表示装置の表示面の前面に設けられ、複数の画素からなる要素画像に対応したレンズが複数並んで配置され前記画素からの光線を制御する光線制御素子と、を備えている立体画像表示装置における、それぞれの視差画像がデプスマップを有する視差画像群を用い立体画像の作製方法であって、前記デプスマップにおいて飛び出し限界値より飛び出し位置が大きい場合かまたは奥行き限界値より奥行き位置にある画像に対して、2視差ごとの前記要素画像のうち1視差の画像を黒、あるいは前記立体物体の背後にある画像パターンを挿入するステップを備えたことを特徴とする。
本発明によれば、クロストークによる多重像およびボケが発生するのを防止することができる。
以下、図面を参照して、本発明の実施形態をより詳細に説明する。
(第1実施形態)
本発明の第1実施形態による立体画像表示装置を、図1を参照して説明する。図1は、本実施形態の立体画像表示装置において、観測者の目に入る立体画像の画像パターンを説明する図であって、本実施形態の立体画像表示装置の上面図である。
本実施形態の立体画像表示装置は、画素がマトリクス状に配置された2次元表示装置1と、この2次元表示装置1の表示面の前面に設けられ2次元表示装置1からの光線を制御する光線制御素子として、複数のレンズからなるレンチキュラーレンズ2と、を備えている。
図1において、観測者はレンチキュラーレンズ2の表面120から視距離Lだけ離れている視距離面100に位置し、表示面の中央部に向かっている。観測者が見る視差画像の光線軌跡を主視差光線13と呼び、図1では実線で示す。その主視差光線13と隣接する視差情報を持つ画像の光線軌跡を隣接視差光線14と呼び、点線で示す。クロストークがない場合は観測者から隣接視差光線14は見えない。
本実施形態の立体画像表示装置においては、立体画像表示装置によって表示される立体画像の一部または全部の位置zが飛び出し限界値Znoを示す位置3aよりも観測者に近い側にある場合(z>Zno)すなわち、図1に示す領域IIにある場合、または奥行き限界値Zfoを示す位置3bよりも観測者から遠い側にある場合(z<Zfo)に、クロストークが2視差以上3視差より少ないときに(一つの視差方向に2以上3よりも少ない要素画像が射出されるときに)、2視差毎の要素画像のうち1視差の要素画像に黒を表示するようにした構成となっている。なお、位置zは、レンチキュラーレンズ2のレンズの表面120を0とし、このレンズから観測者側に向かう方向を正とし、観測者と反対側に向かう方向を負としてある。したがって、奥行き限界値Zfoは負の値となっている。なお、位置zが飛び出し限界値Zno以内(図1に示す領域I)または奥行き限界値Zfo以内であれば、多重像は生じにくい。これは、クロストークにより生じた隣接視差光線の画像は、隣接レンズどうしの画像位置の内部を補間するような位置にあることが多いので、クロストークが生じても目立たず、座標の折り返しのような現象が起きないため、多重像が生じにくいと考えられる。
本実施形態の立体画像表示装置において、立体物体の一水平方向の画像パターン12が画像A、A、B、B、C、C、D、D、E、E、F、F、Gからなっているとする。この場合、2次元表示装置1上での立体物体の画像パターン11は、レンチキュラーレンズ2のレンズ2に対する要素画像群のパターン11として要素画像D、C、Aを含み、レンチキュラーレンズ2のレンズ2に対する要素画像群のパターン11として要素画像E、D、Bを含み、レンチキュラーレンズ2のレンズ2に対する要素画像群のパターン11として要素画像F、E、Cを含むように構成される。このような2次元表示装置1上の要素画像に対して、2視差毎の要素画像のうち1視差の要素画像、すなわち図1においては、要素画像D、A、E、B、F、Cを黒表示(図1では濃淡を付けて表示)する。すると、視距離面100の位置にいる観測者が見る、レンズ2の要素画像7は、黒表示するように修正された要素画像D、修正されない要素画像C、黒表示するように修正された要素画像Aから構成され、レンズ2の要素画像7は、黒表示するように修正された要素画像E、修正されない要素画像D、黒表示するように修正された要素画像Bから構成され、レンズ2の要素画像7は、黒表示するように修正された要素画像F、修正されない要素画像E、黒表示するように修正された要素画像Cから構成される。要素画像A、B、C、D、E、F、Gは主視差光線13に対応する主視差画像であり、湯素画像A、B、C、E、Fは、隣接視差光線14に対応する隣接視差画像となっている。
このように、本実施形態においては、観測者に観測される立体物体の画像パターンは2視差ごとに1視差分を黒表示し、特に、隣接視差画像を黒表示している。これにより、図 29に示す従来の場合と異なり、主視差光線13の両脇に見える隣接視差光線14による画像が黒く表示され、例えば主視差画像CとDの間に隣接視差画像A、Eが黒く表示され、本来の視差光線のみが観測者に見えることになり、多重像およびボケを防止できる。
なお、上記飛び出し限界値Zno、奥行き限界値Zfoは非特許文献1より、
no=L×D/(1+D)
fo=−L×D/(1−D)
であり、ここでDは、Lを視距離、lをレンズのピッチ、2θを視域角、pを2次元表示装置1の画素ピッチとすると、
Figure 0004403162
と表される。
次に、より具体的に、隣接視差光線を黒く表示することによるクロストークの低減度合いについて説明する。
2次元表示装置の垂直方向の画素列に対して、平行な光軸を有するレンズが複数個並んで配置された縦レンチキュラーレンズを光線制御素子として用いた場合の観測者の水平位置に対する1サブピクセルに相当する視差光線の光線強度の相対値について、クロストークが2視差の場合において考える。
縦レンチキュラーレンズを、マトリクス状に配置された画素をもつ2次元表示装置上に置き、立体画像表示装置を実現する場合を考える。図2に、この立体画像表示装置の要素画像のマッピングの一例を示す。図2より、1レンズあたりの要素画像を、R1、G1、B1としているが、それぞれ赤の1視差画像、緑の1視差画像、青の1視差画像を表している。図2に示した符号56が観測者の目に届く光線のレンズアレイによる集光面積である。集光面積56が水平方向に幅が大きいほど、観測者の目に届く視差光線に複数の要素画像57の情報が混入するため、クロストークが大きくなる。経験値として、クロストークが2視差を超えた状態になると、立体画像としては劣化していく傾向となる。図2はクロストークが2視差の場合の集光面積56を示している。
ここでクロストーク2視差とは、従来技術で説明した図27、図28に示すように、レンズのデフォーカス等により、レンズ2の焦点距離がレンズと2次元表示装置とのギャップに一致せず、レンズから射出される要素画像が2次元画像表示装置の2視差分となることを想定する。図1では、特に、左右方向において要素画像と同じ方向のクロストーク画像が見える場合であるので、図27に示すように、レンズ2の焦点距離がレンズと2次元表示装置とのギャップより短い場合に相当する。
従来の立体画像表示装置において、クロストークが2視差の場合の水平相対位置による光線強度を計算で求めた結果を図3に示す。計算条件は以下のようである。2次元表示装置にはサブピクセル間に配線を隠蔽するためのブラックマトリックスがあるが、ブラックマトリックスの割合は10%、開口率は90%とする。また、すべての視差光線の輝度については、輝度100%とする。そこで、ひとつの視差光線の輝度は、クロストーク2視差の場合は、ブラックマトリックスも考慮すると、最大45%になる。
従来は、図3に示すように、例えば水平相対位置の0から1の部分では最大3視差分見えるところが生じていることがわかる。
これに対して、本実施形態の立体画像表示装置のように、2視差のうち1視差分黒表示した場合の輝度分布の計算結果を図4に示す。図4を図3と比較すると、従来ではすべての水平相対位置で2視差以上見えていたが、本実施形態のように2視差のうち1視差分黒表示を行うと2視差分見える領域が全体の半分に低減することがわかる。
ここで、グラフには示さないが、元々のクロストーク量が1.5視差以下の場合は、2視差分見える領域がなくなることが図4に示す結果より類推することができる。
また、1レンズ内の要素画像2個のうち、1個黒くすることはどういうことかを具体的に説明する。通常、要素画像は、それぞれの視差画像のあるレンズ位置の1要素となっている。例えば、あるレンズの要素画像は、1視差、2視差、3視差、…、2n(=N)視差の、そのレンズ位置における画像を表示している。隣接レンズの要素画像は、視差画像としては一つ座標がずれた位置の、1視差、2視差、3視差、…、2n(=N)視差の、そのレンズ位置における画像を表示している。すなわち、要素画像において、2個のうち、交互に1個を黒挿入するということは、常に、2視差、4視差、…、2n(=N)視差の全体画像を黒くすることと等価である。
例えば、12視差の場合、通常視差画像としては
1視差、2視差、3視差、4視差、…、12視差
存在するが、上記視差画像のうち、
2視差、4視差、…、6視差を全画面黒くする、すなわち視差画像の段階で黒くすることにより、クロストークによる多重像およびボケを防止した立体画像を得ることができる。
また、もう一つの作成方法として、立体表示を行うための視差画像の合成が終了した段階で、要素画像を2個のうち、1個を黒くしてもよい。この場合も本実施形態と同様の効果を得ることができる。
次に、本実施形態の立体画像表示装置における、視差画像マッピングの一例を図5に示す。例えば、視差数が12視差の場合、通常要素画像として水平方向に
1視差、2視差、3視差、4視差、…、12視差
と並ぶ。そこで、図5に示すように、例えば偶数視差を黒くすると
1視差、黒、3視差、黒、5視差、…、黒
となる。これらの操作により、クロストークを低減することができる。
また、本実施形態の変形例による立体画像表示装置の視差画像マッピングの一例を図6に示す。本変形例の立体画像表示装置は、光線制御素子として、2次元表示装置の垂直方向の画素列に対して、光軸が傾斜した配置のレンズアレイを有する構造を用いたものである。この変形例において、視差数が16視差とし、例えば、偶数視差を黒くするようにすると、図6に示すように、ある規則性をもった画素を黒くすることにより、実現できることがわかる。
以上説明したように、本実施形態によれば、クロストークによる多重像およびボケが発生するのを防止することができる。
(第2実施形態)
次に、本発明の第2実施形態による立体画像表示装置の図7を参照して説明する。
第1実施形態のように、2視差のうち1視差に黒を挿入する、すなわち1視差を黒表示すると、画面位置により見る視差数が異なるため、黒挿入した部分は暗くなり、その他の部分は明るいままであるとモアレが生じやすくなる。
そこで、本実施形態の立体画像表示装置においては、第1実施形態と異なり、立体物体の画像パターン12とは相関性のない背景画像を2視差ごとに1視差入れる。これにより、違和感の少なく、多重像、あるいはボケを防止した立体画像を得ることができる。例えば、図7においては、立体物体の画像パターン12のうち、隣接視差光線54に対応する視差画像A、B、C、D、E、Fを立体物体の画像パターン12とは相関性のない背景画像(図7中102)と置き換える。
具体的には、12視差の場合、通常、要素画像としては中央位置での要素画像群は、水平方向に、
1視差、2視差、3視差、4視差、…、12視差
と並ぶ。これに対して本実施形態においては、要素画像群は
1視差、背景、3視差、背景、4視差、…、背景
となる。黒を挿入した場合は場所による輝度変化が起こり、モアレが生じ、画像劣化が起こる場合がある。これに対して、本実施形態のように、背景画像を挿入すれば、背景がある程度輝度に分布を持ったものであると、観測者の方向による輝度が平均化され、モアレは起こりにくくなるというメリットがある。なお、図7において、符号7、7、7は、それぞれレンズ2、2、2の要素画像であり、符号11は2次元表示装置1上での立体物体の画像パターンであり、符号11はレンチキュラーレンズ2のレンズ2に対する要素画像群のパターンであり、符号11はレンズ2に対する要素画像群のパターンであり、符号11はレンズ2に対する要素画像群のパターンである。
本実施形態においては、隣接視差光線に対応する視差画像A、B、C、D、E、Fが、立体物体の画像パターン12と相関性のない背景画像に置き換わるので、主視差光線13間は背景画像が挿入された隣接視差光線54となり、クロストークが発生せず、このため多重像およびボケが発生しない。
(第3実施形態)
次に、本発明の第3実施形態による立体画像表示装置を、図8を参照して説明する。
クロストークは少なければ少ない方が良いため、クロストークがあっても2〜3視差以内であることが良い。ここで、2視差の場合は第1および第2実施形態のように、2視差画像ごとに1視差画像分、黒を挿入すれば多重像は防止できる。
しかし、クロストークが3視差以上になると図8に示すように、主視差光線13である中央の視差光線に一番近い隣接視差光線だけでなく、2番目に近い隣接視差光線も主視差光線の両脇に出てくる。
このため、本実施形態の立体画像表示装置は、図8に示すように、3視差ごとに2視差黒挿入を行う。例えば、2次元表示装置1に割り当てられる立体物体の画像パターン11のレンズ2bに対応する要素画像11bにおいては、主視差光線13に対応する要素画像Dの両側の隣接光線に対応する要素画像B、E、G、Zを黒表示する。これにより、観測者は主視差光線13のみ見ることができ、多重像を防止できる。ただし、3視差に2視差黒挿入を行うと、かなり視差光線が間引かれるため、光線密度が高いもの、すなわちN(視差数)/2θ(視域角)が比較的高いものに有効である。黒の挿入の代わりに、背景画像を挿入すると、背景画像の方が立体物体より目立ってくるので、3視差に2視差間引く場合は黒を挿入する方がよい。なお、図8において、符号7、7、7は、それぞれレンズ2、2、2の要素画像であり、符号11は2次元表示装置1上での立体物体の画像パターンであり、符号11はレンチキュラーレンズ2のレンズ2に対する要素画像群のパターンであり、符号11はレンズ2に対する要素画像群のパターンであり、符号11はレンズ2に対する要素画像群のパターンである。
本実施形態も、クロストークによる多重像およびボケが発生するのを防止することができる。
(第4実施形態)
次に、本発明の第4実施形態による立体画像表示装置を説明する。
立体物体の画像パターンに対応する視差光線に黒を挿入し、光線数を間引いた場合は、輝度が暗くなる。例えば、2視差ごとに1視差黒を挿入した場合、輝度は平均で1/2になる。
そこで、本実施形態の立体画像表示装置においては、第1または第3実施形態の立体画像表示装置において、隣接視差光線に黒を挿入したところのみ、輝度補正を行うようにした構成となっている。輝度補正値としては、図9に示すように輝度と階調(グレースケール)の関係がある。そこで、飛び出し限界、あるいは奥行き限界を超えた立体物体を抽出し、その立体物体に対して、輝度を2倍にするための階調増加率を計算して、輝度補正を行うとよい。また、立体物体の輝度がもともと高く2倍にすると輝度が100%を超える場合は、立体物体以外の輝度を1/2にし、全体の輝度バランスを調整することもできる。あるいは、もう一つの方法として、立体物体の輝度がもともと高く2倍にすると輝度が100%を超える場合は、立体物体以外の輝度を1/2にし、さらに、バックライトで2倍の輝度にすることにより、全体の輝度をもとの輝度と同じようにすることもできる。上記は静止画の場合特に、2重像、輝度バランスが目立つため、行った方がよい。
本実施形態も、クロストークによる多重像およびボケが発生するのを防止することができる。
次に、上記第1乃至第4実施形態による立体画像表示装置におけるクロストーク低減の処理を説明する。
図10は立体物体200A、200Bが立体画像表示装置の表示面、すなわち、図1に示すレンチキュラーレンズ2の表面120に対してどのような位置にあるかを示した概略図である。図10には、飛び出し位置が、飛び出し限界値Zno以上に存在する立体物体26と飛び出し限界値以内にある立体物体27が示されている。図10に示す立体物体26,27のうち、立体物体26についてクロストーク低減の処理を施す。
次に、図11は、別の立体物体28が表示面120に対してどのような位置にあるかを示した概略図である。図11は飛び出し位置が、飛び出し限界値以内と飛び出し限界値以上にまたがって存在する立体物体28が示されている。図11に示す立体物体28もクロストーク低減の処理を施す。
図10に示すように配置された立体物体26、27において、視差画像(、もしくはカメラ画像)を作成(、もしくは取得)する際に、図12に示すように、立体物体26のみをモデルの段階でm視差ないしそれ以上必要な視差数の視差画像(、もしくはカメラ画像)を作成(、もしくは取得)する。このように作成(、もしくは取得)した図12に示す複数の視差画像(、もしくはカメラ画像)群を、以後、特定立体視差画像群と呼ぶ。上記特定立体視差画像群の作成と同時に、図13に示すように、通常どおり、立体物体26、立体物体27と背景画像を含んだm視差ないしそれ以上必要な視差数の視差画像(、もしくはカメラ画像)を作成(、もしくは取得)する。この図13に示す複数の視差画像群(、もしくはカメラ画像)を以後、通常視差画像群(、もしくはカメラ画像)と呼ぶ。なお、図12、13の視差画像群(、もしくはカメラ画像)は立体物体26、27を上面からみた場合を示している。
図12に示すように、立体物体26において、視差画像(、もしくはカメラ画像)を作成(、もしくは取得)した特定立体視差画像群に関して、偶数視差と奇数視差に分け、両者のどちらかを黒にする。図32に示す上記特定の視差画像を黒にした視差画像群(、もしくはカメラ画像)を以後、特定黒挿入視差画像群と呼ぶ。図32に示す特定黒挿入視差画像(、もしくはカメラ画像)と図13に示す通常視差画像(、もしくはカメラ画像)を合成する。その際、黒が挿入された視差画像(、もしくはカメラ画像)を通常視差画像(、もしくはカメラ画像)に書き込むことにより、図33に示す飛び出し限界、奥行き限界を超えた立体物体のうち、2視差のうち1視差を黒表示した視差画像群ができる。最後に、図1に示す3Dディスプレイのレンズ背面にある2次元表示装置1に表示する要素画像アレイに、図33に示す視差画像群をレンダリングすることにより、クロストーク低減可能な3Dディスプレイ用画像ができる。
また、図12に示した立体物体26において、視差画像(、もしくはカメラ画像)を作成(、もしくは取得)した特定立体視差画像群に関して、偶数視差と奇数視差に分け、両者のどちらかを削除した視差画像群を図14に示す。次に、図15に示すように、立体物体26をモデルの段階で削除し、立体物体27と背景画像を含んだm視差ないしそれ以上必要な複数の視差数の視差画像群(、もしくはカメラ画像)を作成(、もしくは取得)する。この図15に示す視差画像群を以後、背景視差画像群と呼ぶ。図14に示す一部の視差画像を削除した特定立体視差画像と図15に示す背景視差画像(、もしくはカメラ画像)を合成する。その際、図14に示す特定立体視差画像(、もしくはカメラ画像)を図15に示す背景視差画像(、もしくはカメラ画像)に上書きすることにより、図34に示す背景画像を挿入した第2実施形態立体画像表示装置のレンダリング後の画像を作成(、もしくは取得)することができる。なお、図14、15の視差画像(、もしくはカメラ画像)は立体物体26、27を上面からみた場合を示している。
また、図10において、視差画像(、もしくはカメラ画像)を作成(、もしくは取得)する際に、図13の特定立体視差画像群と図15の背景視差画像群を取得する。次に、図16、図17に示すように、偶数視差の時、あるいは奇数視差の時に交互に図16と図17に示す視差画像(、もしくはカメラ画像)を選択することにより、図34のような背景画像を挿入したレンダリング後の画像を作成(、もしくは取得)することができる。なお、図16、17の視差画像(、もしくはカメラ画像)は立体物体26、27を上面からみた場合を示している。
これまでは立体画像において、図10、図11に示すようにモデルの段階で、クロストークを低減する手法を用いる方法について述べた。別の手法として、13に示すように、既にm視差ないしそれ以上必要な視差数の視差画像(=カメラ画像)が存在し、かつ、それぞれの視差画像(=カメラ画像)におけるデプスマップが図18に示すように存在する場合がある。その場合は図13の通常視差画像群において、飛び出し限界位置以上、奥行き限界以上に表示面から離れている位置にある領域を図18に示すデプスマップより座標を抽出する。その後、偶数視差、あるいは奇数視差において、その座標位置に黒を挿入した図19に示すような視差画像群を作り、それらをレンダリングすることにより、第1実施形態の立体画像表示装置におけるレンダリング後の画像を作成することができる。
以上説明したことにより、本発明の一実施形態による立体画像の作製方法は、複数の画像がマトリクス状に配置された表示面を有する2次元表示装置と、前記2次元表示装置の表示面の前面に設けられ、複数のレンズが並んで配置され前記画素からの光線を制御する光線制御素子と、を備えている立体画像表示装置において、
立体物体の飛び出しおよび奥行き座標位置を取得するステップと、
前記座標位置の中うち、前記表示面に垂直な方向の座標において、前記立体物体の視差画像中、2視差ごとに1視差の画像に黒または前記立体物体の背後にある画像パターンを挿入するステップと、
を備えるように構成することができる。
また、本発明の一実施形態による立体画像の作製方法は、それぞれの視差画像がデプスマップを有する視差画像群を用いて立体画像作製する立体画像の作製方法において、
前記デプスマップにおいて飛び出し限界値より飛び出し位置が大きい場合かまたは奥行き限界値より奥行き位置にある画像に対して、2視差ごとの要素画像のうち1視差の画像を黒、あるいはその立体物体の背後にある画像パターンを挿入するステップを備えるように構成することができる。
また、上記第1乃至第2実施形態の立体画像表示装置においては、2視差画像に対して1視差分黒の挿入を行っている。すなわち図20に示すように、1個のレンズ例えばレンズ2aからの光線は黒挿入または背景挿入しない視差光線37と、黒挿入または背景挿入した視差光線38とからなり、観測者200の目に入る視差光線の強度は小さくなる。そこで、問題となるのは視距離Lにおいて、左右の眼間距離weye比べて、光線強度より決まる視距離での光線ピッチが広くなった場合、立体画像を両目で認識できなくなる。この現象はもともとの視域角度が広い場合に起こりやすい。
そこで、1個のレンズ当たりの全要素画像数をN、1個のレンズ当たり射出される視域角度を2θ、左右の眼の眼間距離をweyeとしたとき
2×TAN(2θ/N)×L< weye (1)
となるような視差数、視域角の場合に2視差中1視差に黒挿入、あるいは背景画像挿入して立体表示を行うようにする。このようにすることにより、表示劣化が起こらない。
従来の画像表示装置、すなわち黒挿入または背景挿入を行わない立体画像表示装置の表示と、上記実施形態の立体画像表示装置の表示、すなわち黒挿入した表示とで、視距離での光線間隔がどのようになったかを図21に示す。従来に比べて、黒挿入を行うと、同じ視距離でも光線強度が2倍になっていることが図21よりわかる。また、(1)式および図21より、光線間隔が眼間距離65mmより大きくなるのは、視域角度45度12視差で視距離500mm以上である。よって、視域角度45度12視差で視距離500mm以下で立体画像をみるようにすればよい。
図21に視差数、視域角による、ある視距離での光線間隔を求めたが、眼間距離が65mm以下にするためには、同じ視差数の場合、視域角が大きければ大きいほど視距離を短くしなければならないことがわかる。
従来の技術では、図31に示すように、観測者が立体物体をみた場合、飛び出し限界より飛び出した位置、あるいは奥行き限界より奥行き位置にある物体について、m−1視差、m視差と水平方向の位置で観測される視差画像が移り変わる時に、m−1視差とm視差が両方見える位置で、2重像になることについて述べた。
そのため、第1実施形態のように、2視差画像のうち1視差画像を黒くすることにより、図22(a)、(b)、(c)に示すように、2重に重なる部分が目立たなくなる。そこで、より目立たなくするためには、立体物体の幅が、観測者から見た場合、2視差ごとに1視差黒挿入を行った場合、m−1視差、m視差のみにまたがった水平位置であると、立体物体の不連続部をより目立たせなくすることができる(図22(b)、(c)参照)。なお、図22(a)、(b)、(c)において、符号1は2次元表示装置、符号2はレンチキュラーレンズ、符号13は主視差光線、符号16は2次元表示装置1上に割り当てられた視差番号、符号17は立体物体、符号19は立体物体17に関する観測者が見るm視差番号の画像パターン、符号20は立体物体17に関する観測者が見るm−1視差番号の画像パターンを示す。
図25よりその条件を求める。図25より、立体物体17の飛び出し量z、幅w、視距離Lとすると、
w<2×TAN(2θ/N)×(L−z)
を満たすようにすると良い。図25は従来の立体物体の2重像に見えない立体物体を示し、図26は本発明の一実施形態において、2重像に見えない立体物体を示す。図25より、クロストーク量が2視差程度である場合、ある任意の視差画像が隣接する視差画像よりも主要に見える領域は、観測者200からあるレンズの中心方向に光線軌跡を伸ばした場合、あるm視差の視差画像の右隣に存在するブラックマトリックスに到達する位置から、あるm視差の視差画像の左隣に存在するブラックマトリックスに到達する位置までの範囲となる。そして、図25において、上記範囲より左側に立体物体17がある場合はm−1視差画像が主要に見える領域となり、上記範囲より右側に立体物体17がある場合はm+1視差が主要に見える領域となる。
第1実施形態の場合のように2視差ごとに黒を挿入した場合、クロストークによる多重像を防ぐことができることについて述べてきた。図26において、m視差画像、m+2視差画像に黒を挿入した場合、すなわち視差光線38に対応する視差画像に黒を挿入した場合は、m−1視差画像(視差光線37に対応する視差画像)が主要に見える領域は、図25のwの幅のほぼ2倍にあたる広い範囲となる。具体的な範囲について図26を用いて説明する。
1レンズあたりの全要素画像数をN、1レンズあたり射出される視域角度を2θ、立体物体17の飛び出し量z、幅w、視距離Lとする。θが十分小さく、tan(2θ/N)=2θ/Nが成り立つ領域であると仮定すると、1視差分が主要に見える領域は、全体の視域角を視差数で割った値である(2θ/N)の角度分である。
そのため、図25に示す三角形の相似関係より、
Tan(2θ/N)=w/(L−z)
w=Tan(2θ/N)×(L−z)
図26において、m視差画像、m−2視差画像を黒くすることにより、m−1視差画像が主要に見える領域が2倍となるため、
2w= 2×Tan(2θ/N)×(L−z)
の範囲の立体物体17を多重像にならずに表示できる。
図25および図26より、黒挿入を行った方が、不連続を見せないための立体物体17の幅が広くできることがわかる。
具体的な効果については、図22、図23を用いて説明する。図23より、飛び出しが50mmの場合、従来は視距離500mmでは立体物体の水平幅が20mm以下でないと図31のような不連続面が見える。しかし、クロストーク2視差程度で、第1実施形態のように2視差中1視差に黒挿入することにより、立体物体の水平幅が40mm以下のものにおいて、不連続なく立体画像を見ることができ、その不連続面も図22(c)に示すように、二重に見えるような劣化は大きく低減する。
もうひとつの具体例として、図24を用いて説明する。図24より、飛び出し位置の場合はディスプレイから離れれば離れるほど、不連続なくみえる立体物体の限界幅が狭くなるが、奥行き位置の場合はディスプレイから離れれば離れるほど、不連続がみえる立体物体の限界幅が大きくなっていることがわかる。
インテラクティブで立体画像表示装置用の立体情報の計算を行う際にも、画像劣化が目立たない程度で、視差画像を間引きすると計算負荷が低減し、処理速度が向上するというメリットがある。
以上説明したように、本発明の各実施形態によれば、飛び出し位置が飛び出し限界を超えた場合、奥行き位置が奥行き限界を超えた場合の多重像を抑制し、クロストークによるぼけを防止することにより、見かけ上解像度限界のz方向の距離を伸ばすことができる。また、クロストーク低減によるモアレを飛び出し位置によって黒挿入、あるいは背景を挿入する位置を限定することにより、目立たなくさせる立体表示装置を提供することができる。
第1実施形態による立体画像表示装置を説明する図。 2次元表示装置、縦方向のレンズアレイを組み合わせた立体画像表示装置における要素画像のマッピングの一例を示す図。 視差画像に黒を挿入しない立体画像表示装置の光線輝度と水平相対位置の関係を示す図。 第1実施形態の立体画像表示装置の光線輝度と水平相対位置の関係を示す図。 第1実施形態の立体画像表示装置における要素画像を示す図。 第1実施形態の一変形例による立体画像表示装置における要素画像を示す図。 第2実施形態の立体画像表示装置を説明する図。 第3実施形態の立体画像表示装置を説明する図。 本発明の一実施形態による立体画像表示装置における輝度とサブピクセルのグレースケールの関係を示す図。 本発明の一実施形態による立体画像表示装置におけるモデルベースの立体物体を示す図。 本発明の一実施形態による立体画像表示装置におけるモデルベースの立体物体を示す図。 本発明の一実施形態による立体画像表示装置におけるレンダリングプロセスを説明する図。 本発明の一実施形態による立体画像表示装置におけるレンダリングプロセスを説明する図。 本発明の一実施形態による立体画像表示装置におけるレンダリングプロセスを説明する図。 本発明の一実施形態による立体画像表示装置におけるレンダリングプロセスを説明する図。 本発明の一実施形態による立体画像表示装置におけるレンダリングプロセスを説明する図。 本発明の一実施形態による立体画像表示装置におけるレンダリングプロセスを説明する図。 本発明の一実施形態による立体画像表示装置におけるレンダリングプロセスを説明する図。 本発明の一実施形態による立体画像表示装置におけるレンダリングプロセスを説明する図。 2視差中1視差に黒挿入、背景挿入した場合の観測者の目に入る光線強度が弱くなることを説明する図。 本発明の一実施形態による立体画像表示装置における視距離と観測者の単眼での光線間隔を示す図。 本発明の一実施形態による立体画像表示装置の他の効果を説明する図。 本発明の一実施形態による立体画像表示装置における視距離に対する飛び出し量Zと立体物体の水平幅の関係を示す図。 本発明の一実施形態による立体画像表示装置における飛び出し、奥行き位置に対する、飛び出し量Zと立体物体の水平幅の関係を示す図。 従来の立体画像表示装置において、立体物体の任意の視差画像が隣接視差画像よりも主に見える範囲を説明する図。 本発明の一実施形態による立体画像表示装置において、立体物体の任意の視差画像が隣接視差画像よりも主に見える範囲を説明する図。 レンズと2次元表示装置の表示面とのギャップが短い場合におけるレンズのデフォーカスによるクロストークが生じる1例を示す図。 レンズと2次元表示装置の表示面とのギャップが長い場合におけるレンズのデフォーカスによるクロストークが生じる1例を示す図。 従来の立体画像表示装置を説明する図。 従来の立体画像表示装置を説明する図。 従来の立体画像表示装置の視差が移り変わる時の立体物体の見え方を説明する図。 本発明の一実施形態による立体画像表示装置におけるレンダリングプロセスを説明する図。 本発明の一実施形態による立体画像表示装置におけるレンダリングプロセスを説明する図。 本発明の一実施形態による立体画像表示装置におけるレンダリングプロセスを説明する図。
符号の説明
1 2次元表示装置
2 レンチキュラーレンズ
、2、2 レンズ
3a 飛び出し限界位置
正面にいる観測者がみるクロストーク2視差におけるレンズ2の要素画像
正面にいる観測者がみるクロストーク2視差におけるレンズ2の要素画像
正面にいる観測者がみるクロストーク2視差におけるレンズ2の要素画像
11 2次元表示画像上に投影され割り当てられる立体物体の画像パターン
11 レンズ2に対する要素画像群のパターン
11 レンズ2に対する要素画像群のパターン
11 レンズ2に対する要素画像群のパターン
12 立体物体の画像パターン
13 主視差光線
14 黒挿入した隣接視差光線
16 2次元表示装置上に割り当てられた視差番号
17 立体物体
18 正面にいる観測者がみる画像の視差番号
19 立体物体17において観測者が見るm視差番号の画像パターン
20 立体物体17において観測者が見るm−1視差の画像パターン、
21 ブラックマトリックス
22 サブピクセル幅の開口率
23 サブピクセル幅
24 クロストーク2視差でレンズの集光中心がサブピクセル中心となる光線軌跡
25 クロストーク2視差でレンズの集光中心がサブピクセル間となる光線軌跡
26 飛び出し限界より前、あるいは奥行き限界より奥の立体物体
27 飛び出し限界より奥、あるいは奥行き限界より前の立体物体
28 飛び出し限界をまたがっている立体物体
37 黒挿入、あるいは背景画像を挿入しない視差光線
38 黒挿入、あるいは背景画像を挿入した隣接視差光線
101 観測者
102 背景画像

Claims (9)

  1. 複数の画像がマトリクス状に配置された表示面を有する2次元表示装置と、
    前記2次元表示装置の表示面の前面に設けられ、複数の画素からなる要素画像に対応したレンズが複数並んで配置され前記画素からの光線を制御する光線制御素子と、
    を備え、
    前記2次元表示装置は、立体画像の一部または全部の位置が飛び出し限界値Znoを示す位置よりも観測者に近い側にある場合、または奥行き限界値Zfoを示す位置よりも観測者から遠い側にある場合に、一つの視差方向に2以上3よりも少ない要素画像が射出されるときに、2視差毎の要素画像のうち1視差の要素画像に黒を表示するようにしたことを特徴とする立体画像表示装置。
  2. 複数の画像がマトリクス状に配置された表示面を有する2次元表示装置と、
    前記2次元表示装置の表示面の前面に設けられ、複数の画素からなる要素画像に対応したレンズが複数並んで配置され前記画素からの光線を制御する光線制御素子と、
    を備え、
    前記2次元表示装置は、立体画像の一部または全部の位置が飛び出し限界値Znoを示す位置よりも観測者に近い側にある場合、または奥行き限界値Zfoを示す位置よりも観測者から遠い側にある場合に、一つの視差方向に2以上3よりも少ない要素画像が射出されるときに、2視差毎の要素画像のうち1視差の要素画像に、立体物体の画像パターンと相関性のない背景画像を表示するようにしたことを特徴とする立体画像表示装置。
  3. 複数の画像がマトリクス状に配置された表示面を有する2次元表示装置と、
    前記2次元表示装置の表示面の前面に設けられ、複数の画素からなる要素画像に対応したレンズが複数並んで配置され前記画素からの光線を制御する光線制御素子と、
    を備え、
    前記2次元表示装置は、立体画像の一部または全部の位置が飛び出し限界値Znoを示す位置よりも観測者に近い側にある場合、または奥行き限界値Zfoを示す位置よりも観測者から遠い側にある場合に、一つの視差方向に3以上の要素画像が射出されるときに、3視差毎の要素画像のうち2視差の要素画像に黒を表示するようにしたことを特徴とする立体画像表示装置。
  4. 飛び出し限界、あるいは奥行き限界を超えた立体物体を抽出し、前記立体物体に対して、輝度を2倍にするための階調増加率を計算して輝度を補正することを特徴とする請求項1または3記載の立体画像表示装置。
  5. 1レンズあたりの全要素画像数をN、1レンズあたり射出される視域角度を2θ、観察者の左右の眼の眼間距離をWeyeとすると、
    2×L×TAN(2θ/N)×L/2< Weye
    となるような視差数、視域角の時に前記黒表示を行うことを特徴とする請求項1記載の立体画像表示装置。
  6. 立体画像の前記レンズ表面からの距離zとし、視距離Lとすると、前記立体画像の幅wが
    2×TAN(2θ/N)×(L−z)
    の値より小さい場合に前記黒表示を行うことを特徴とする請求項1記載の立体画像表示装置。
  7. 画像作製時の視距離をL、前記レンズのピッチをlp、視域角を2θ、前記要素画素のピッチをpとすると、前記飛び出し限界値Znoおよび奥行き限界値Zfoは、
    no = L×D/(1+D)
    fo = −L×D/(1−D)
    と表され、ここでDは、
    Figure 0004403162
    であることを特徴とする請求項1乃至6のいずれかに記載の立体画像表示装置。
  8. 複数の画像がマトリクス状に配置された表示面を有する2次元表示装置と、
    前記2次元表示装置の表示面の前面に設けられ、複数の画素からなる要素画像に対応したレンズが複数並んで配置され前記画素からの光線を制御する光線制御素子と、
    を備えている立体画像表示装置の立体画像の作製方法において、
    立体物体の飛び出しおよび奥行き座標位置を取得するステップと、
    前記座標位置の中うち、前記表示面に垂直な方向の座標において、前記立体物体の視差画像中、2視差ごとに1視差の画像に黒または前記立体物体の背後にある画像パターンを挿入するステップと、
    を備えたことを特徴とする立体画像の作製方法。
  9. 複数の画像がマトリクス状に配置された表示面を有する2次元表示装置と、
    前記2次元表示装置の表示面の前面に設けられ、複数の画素からなる要素画像に対応したレンズが複数並んで配置され前記画素からの光線を制御する光線制御素子と、
    を備えている立体画像表示装置における、それぞれの視差画像がデプスマップを有する視差画像群を用い立体画像の作製方法であって
    前記デプスマップにおいて飛び出し限界値より飛び出し位置が大きい場合かまたは奥行き限界値より奥行き位置にある画像に対して、2視差ごとの前記要素画像のうち1視差の画像を黒、あるいは前記立体物体の背後にある画像パターンを挿入するステップを備えたことを特徴とする立体画像の作製方法。
JP2006268600A 2006-09-29 2006-09-29 立体画像表示装置および立体画像の作製方法 Expired - Fee Related JP4403162B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006268600A JP4403162B2 (ja) 2006-09-29 2006-09-29 立体画像表示装置および立体画像の作製方法
US11/896,413 US8106940B2 (en) 2006-09-29 2007-08-31 Stereoscopic image display apparatus and stereoscopic image producing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006268600A JP4403162B2 (ja) 2006-09-29 2006-09-29 立体画像表示装置および立体画像の作製方法

Publications (2)

Publication Number Publication Date
JP2008089787A JP2008089787A (ja) 2008-04-17
JP4403162B2 true JP4403162B2 (ja) 2010-01-20

Family

ID=39260705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006268600A Expired - Fee Related JP4403162B2 (ja) 2006-09-29 2006-09-29 立体画像表示装置および立体画像の作製方法

Country Status (2)

Country Link
US (1) US8106940B2 (ja)
JP (1) JP4403162B2 (ja)

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4331224B2 (ja) * 2007-03-29 2009-09-16 株式会社東芝 三次元画像表示装置及び三次元画像の表示方法
JP2009077234A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 三次元画像処理装置、方法及びプログラム
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101502419B1 (ko) * 2008-07-11 2015-03-13 삼성디스플레이 주식회사 다시점 영상 표시방법, 이를 수행하기 위한 표시장치
JP5485288B2 (ja) * 2008-11-25 2014-05-07 テトラビュー, インコーポレイテッド 高解像度三次元撮像のシステムおよび方法
JP2010164668A (ja) * 2009-01-14 2010-07-29 Seiko Epson Corp 電気光学装置及び電子機器
US8504640B2 (en) * 2009-06-02 2013-08-06 Motorola Solutions, Inc. Device recruitment for stereoscopic imaging applications
JP5726087B2 (ja) * 2009-11-12 2015-05-27 ネプラス株式会社 パララックスバリアフィルタ
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
JP5235976B2 (ja) * 2010-05-31 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 映像再生方法、および映像再生装置
US20150015946A1 (en) * 2010-10-08 2015-01-15 SoliDDD Corp. Perceived Image Depth for Autostereoscopic Displays
JP5289416B2 (ja) 2010-11-10 2013-09-11 株式会社東芝 立体画像表示装置、方法およびプログラム
KR101689253B1 (ko) * 2010-11-18 2016-12-26 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
WO2012073795A1 (ja) * 2010-11-30 2012-06-07 シャープ株式会社 表示装置およびその駆動方法、並びに電子装置
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
KR20120114022A (ko) * 2011-04-06 2012-10-16 삼성디스플레이 주식회사 입체 영상 표시 장치
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
JP5715539B2 (ja) * 2011-10-06 2015-05-07 株式会社ジャパンディスプレイ 表示装置および電子機器
KR101953686B1 (ko) * 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
KR101924058B1 (ko) * 2012-04-03 2018-11-30 엘지전자 주식회사 영상표시장치 및 그 동작방법
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
JP6213812B2 (ja) 2012-07-31 2017-10-18 Tianma Japan株式会社 立体画像表示装置及び立体画像処理方法
JP6380881B2 (ja) * 2012-07-31 2018-08-29 Tianma Japan株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
JP6308513B2 (ja) 2012-07-31 2018-04-11 Tianma Japan株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
CN104427326A (zh) * 2013-09-06 2015-03-18 北京三星通信技术研究有限公司 集成成像显示系统中的三维显示方法和设备
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
JP2015095779A (ja) 2013-11-12 2015-05-18 ソニー株式会社 画像処理装置、画像処理方法及び電子機器
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9503705B2 (en) * 2013-12-12 2016-11-22 Lenovo (Singapore) Pte. Ltd. Stereoscopic image generation
JP2015162718A (ja) * 2014-02-26 2015-09-07 ソニー株式会社 画像処理方法、画像処理装置及び電子機器
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
WO2015164868A1 (en) 2014-04-26 2015-10-29 Tetravue, Inc. Method and system for robust and extended illumination waveforms for depth sensing in 3d imaging
CN105093541A (zh) * 2014-05-22 2015-11-25 华为技术有限公司 显示装置
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
EP3186961A1 (en) * 2014-08-25 2017-07-05 Soliddd Corp. Improved perceived image depth for autostereoscopic video displays
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9507241B1 (en) 2015-11-17 2016-11-29 Lenovo (Singapore) Pte, Ltd. Adjustable camera field of view
EP3423858B1 (en) 2016-02-29 2023-12-06 nLIGHT, Inc. 3d imaging system and method
EP3293680A1 (en) 2016-09-12 2018-03-14 Authentic Vision GmbH Sheet-like product and method for authenticating a security tag
US11164058B2 (en) * 2017-03-22 2021-11-02 Dai Nippon Printing Co., Ltd. Information recording object
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US11212512B2 (en) 2017-12-28 2021-12-28 Nlight, Inc. System and method of imaging using multiple illumination pulses
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021241496A1 (ja) * 2020-05-26 2021-12-02 日本精機株式会社 ヘッドアップディスプレイ装置
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
EP4262198A1 (en) * 2020-12-14 2023-10-18 Kyocera Corporation Three-dimensional display device, image display system, and moving body
CN114842781A (zh) * 2021-02-01 2022-08-02 宏碁股份有限公司 显示驱动装置及其操作方法
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN114549870A (zh) * 2022-02-17 2022-05-27 山东大学 一种基于质心点搜索的动态点云快速全局运动匹配方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101481A (ja) 1995-10-06 1997-04-15 Toppan Printing Co Ltd レンチキュラー・ディスプレイ
CA2326180A1 (en) * 1998-03-27 1999-10-07 Hideyoshi Horimai Three-dimensional image display
KR100304784B1 (ko) * 1998-05-25 2001-09-24 박호군 편광과광띠를이용한다자시청용3차원영상표시장치
WO2001056265A2 (de) * 2000-01-25 2001-08-02 4D-Vision Gmbh Verfahren und anordnung zur räumlichen darstellung
JP2001298754A (ja) 2000-04-11 2001-10-26 Tomohiko Hattori 立体画像におけるクロストーク消去方式および装置
JP4002875B2 (ja) 2003-09-16 2007-11-07 株式会社東芝 立体画像表示装置

Also Published As

Publication number Publication date
US20080079805A1 (en) 2008-04-03
US8106940B2 (en) 2012-01-31
JP2008089787A (ja) 2008-04-17

Similar Documents

Publication Publication Date Title
JP4403162B2 (ja) 立体画像表示装置および立体画像の作製方法
JP4002875B2 (ja) 立体画像表示装置
JP3966830B2 (ja) 立体表示装置
JP4714115B2 (ja) 立体映像表示装置および立体映像表示方法
KR101629479B1 (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP3955002B2 (ja) 映像表示装置
JP3944188B2 (ja) 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP4271155B2 (ja) 三次元画像表示装置
KR100658545B1 (ko) 입체 화상 재생 장치
JP4327758B2 (ja) 立体画像表示装置
KR101188429B1 (ko) 색분리 현상을 제거한 고해상도 표시 패널 및 이를 이용한입체 영상 표시 장치
JP6099892B2 (ja) 映像表示装置
JP2008228199A (ja) 立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造
JP5269027B2 (ja) 三次元画像表示装置および画像処理装置
JP2009509177A (ja) オートステレオスコピック視域の角度範囲の制御
EP2801200B1 (en) Display processor for 3d display
JP2010524309A (ja) 三次元表示する方法および構成
JP2008510408A (ja) ビューモードの検出
JP2008249809A (ja) 三次元画像表示装置及び三次元画像の表示方法
JPWO2004043079A1 (ja) 立体映像処理方法及び立体映像表示装置
CN113302549B (zh) 自动立体显示器
CN208257981U (zh) 一种基于子像素的led裸眼3d显示装置
JP4631812B2 (ja) 多視点映像表示装置、多視点映像撮像装置、及び多視点映像生成装置
KR20150055442A (ko) 입체 영상 표시 장치
KR20160028596A (ko) 입체 영상 표시 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091030

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees