JP6308513B2 - 立体画像表示装置、画像処理装置及び立体画像処理方法 - Google Patents

立体画像表示装置、画像処理装置及び立体画像処理方法 Download PDF

Info

Publication number
JP6308513B2
JP6308513B2 JP2013089532A JP2013089532A JP6308513B2 JP 6308513 B2 JP6308513 B2 JP 6308513B2 JP 2013089532 A JP2013089532 A JP 2013089532A JP 2013089532 A JP2013089532 A JP 2013089532A JP 6308513 B2 JP6308513 B2 JP 6308513B2
Authority
JP
Japan
Prior art keywords
image
stereoscopic
eye
crosstalk
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013089532A
Other languages
English (en)
Other versions
JP2014045473A (ja
Inventor
長谷川　雄史
雄史 長谷川
幸治 重村
幸治 重村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianma Japan Ltd
Original Assignee
Tianma Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianma Japan Ltd filed Critical Tianma Japan Ltd
Priority to JP2013089532A priority Critical patent/JP6308513B2/ja
Priority to CN201310326072.0A priority patent/CN103595988B/zh
Priority to CN201710090451.2A priority patent/CN107071382B/zh
Priority to CN201710090813.8A priority patent/CN107105213B/zh
Priority to US13/955,275 priority patent/US9280951B2/en
Priority to EP13178737.6A priority patent/EP2693759B1/en
Publication of JP2014045473A publication Critical patent/JP2014045473A/ja
Application granted granted Critical
Publication of JP6308513B2 publication Critical patent/JP6308513B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明は、立体画像表示技術、特に観察者が移動した際にも違和感を与えない立体画像に変換する立体画像表示装置等に関する。
近年、立体画像を視聴可能なテレビジョンが一般市場で販売されている。これに伴って立体画像用コンテンツの量も増加しており、立体画像を視聴する環境は整備されつつある。立体画像用テレビジョンは、一般的に観察者が立体画像表示用の眼鏡をかけることにより、左右の眼に視差の異なる画像を投影して観察者へ立体画像を視聴させている。しかし、立体画像表示用の眼鏡をかけることに不快感を持つ観察者は多く、眼鏡が不要である立体画像表示装置が望まれている。また、眼鏡式の立体画像表示装置をモバイル用途として利用する際には、外出先に立体画像表示装置と立体画像表示用の眼鏡を持ち運ぶ必要があって不便であり、モバイル用途ではなおさら眼鏡が不要な立体画像表示装置が望まれている。
立体画像表示用の眼鏡が不要な立体画像表示装置は、立体画像を投影する空間領域を分割し、分割した空間領域ごとに視差の異なる画像を投影することで、観察者の左右の眼に視差の異なる画像を投影する方式が一般的である。立体画像表示装置の立体表示パネルにレンチキュラレンズやパララックスバリアを備えることで、分割した空間領域ごとに視差の異なる画像を投影している。
これらの方式の立体画像表示装置は、立体画像表示用の眼鏡を装着する必要がなく、煩わしさがない点で優れており、特にモバイル用途での利用が期待されている。しかし、これらの方式では視差の異なる画像は空間的に分離して投影されるため、観察者が正常に立体画像を視認できる空間領域は限定される。観察者が正常に立体画像を視認できる空間領域は、観察者の左眼の位置が左眼用画像の投影される空間領域内にあり、観察者の右眼の位置が左眼用画像の投影される空間領域内にある場合となる。観察者の左右の眼の位置がこの空間領域から外れると、左眼用画像と右眼用画像が重なり、二重像となった映像が観察者へ投影されるという問題がある。
ここで、立体表示パネルによって分割される空間領域について図を参照し説明する。はじめに、立体表示パネルにパララックスバリアを用いたときの空間領域について説明する。図８４に、パララックスバリア方式の立体画像表示装置において、観察者の左右の眼に視差の異なる画像を投影する光学モデルの一例を示す。図８４は、観察者の頭上から見た断面図であり、観察者の両眼（右眼５５Ｒと左眼５５Ｌ）が表示装置の表示面より最適観察距離ＯＤほど離れた観察面３０に位置し、かつ観察者の両眼中心と表示パネルの中心とが一致する位置関係となっている。
画像表示パネル（図示なし）は、マトリックス状に配列された画素となる光変調素子群から構成されており（例えば液晶パネル）、図８４には、交互に並ぶ右眼用画素４Ｒと左眼用画素４Ｌのうち、画像表示パネル両端と中心との各画素のみを図示している。空間領域を分割して画像を投影する手段として機能するパララックスバリア６は、観察者から見て表示パネルの奥に配置されている。パララックスバリア６は、細い縦縞状の多数のスリット６ａが形成されたバリア（遮光板）であり、画像表示パネルの左眼用画素４Ｌと右眼用画素４Ｒとが並ぶ方向に対して、バリアの長手方向が直交するように配置されている。パララックスバリアの更に奥には光源（図示なし：いわゆるバックライト）が設置され、光源から出た光はスリット６ａを通過し、画像表示パネル内の画素において強度が変調され観察者に向けて投影される。右眼用画素４Ｒ及び左眼用画素４Ｌの投影方向は、スリット６ａの存在により制限される。
ここで、各々のスリット６ａから出た光のうち最も近い画素を通る光の軌跡を光線２０として図示すると、全ての右眼用画素４Ｒの投影像が重なる右眼領域７０Ｒ（右眼用画像の投影される空間領域）と、全ての左眼用画素４Ｌの投影像が重なる左眼領域７０Ｌ（左眼用画像の投影される空間領域）とが得られる。右眼領域７０Ｒでは右眼用画素４Ｒからの投影像しか観察できず、また左眼領域７０Ｌでは左眼用画素４Ｌからの投影像しか観察できない。そのため、観察者の右眼５５Ｒが右眼領域７０Ｒ内に位置し、左眼５５Ｌが左眼領域７０Ｌ内に位置しているとき、左右の眼に視差画像を投影すると観察者は立体画像として視認する。逆にいえば、観察者は、右眼５５Ｒが右眼領域７０Ｒ内に位置し、かつ左眼５５Ｌが左眼領域７０Ｌ内に位置しているときに所望の立体画像を観察できる。
図８４の表示装置は、観察面３０において、右眼領域７０Ｒ及び左眼領域７０Ｌの幅が最大になるように、各右眼用画素４Ｒ及び左眼用画素４Ｌ（幅Ｐ）の最適観察距離ＯＤにおける投影像（幅Ｐ'）が全て重なるように設計されている。この投影像の幅Ｐ'は、主にスリット６ａと画素との距離ｈ、画素ピッチＰ、最適観察距離ＯＤにより決定できる。幅Ｐ'を広げれば、右眼領域７０Ｒ及び左眼領域７０Ｌの幅は広がるが、観察者の両眼は各々を任意の位置に置くことは不可能なので、立体画像を視認できる立体視域は必ずとも広がるわけではない。両眼の間隔をｅとすると、幅Ｐ'は両眼間隔ｅと等しくなるように設計することが好ましい。幅Ｐ'が両眼間隔ｅよりも小さな場合には、立体視が行える領域は幅Ｐ'に制限される。また、幅Ｐ'が両眼間隔ｅよりも大きな場合においては、両方の眼が右眼領域７０Ｒ又は左眼領域７０Ｌに位置する領域が増えるだけである。なお、図８４には、遠隔観察距離ＦＤ、近接観察距離ＮＤ、スリット幅Ｓが記載されている。
また、図８５に、パララックスバリア６が、観察者から見て表示パネルの手前に配置されている場合の光学モデルを示す。観察者の表示パネルの奥に配置されている例と同様に、観察者は最適観察距離ＯＤに位置し、観察面３０において、左右各画素（幅Ｐ）の投影像（幅Ｐ'）は重なるように設計されている。各々の画素から出た光のうち最も近いスリット６ａを通る光の軌跡を光線２０として図示することで、全ての右眼用画素４Ｒの投影像が重なる右眼領域７０Ｒと、全ての左眼用画素４Ｌの投影像が重なる左眼領域７０Ｌとが得られる。
次に、パララックスバリアの代わりにレンチキュラレンズを用いたときに分割される空間領域を、図８６に示す。図８６は、図８５においてパララックスバリア６がレンチキュラレンズ３へ代わっただけである。なお、図８６には、シリンドリカルレンズ幅Ｌが記載されている。
次に、レンチキュラレンズ方式の光学モデルを用いて、観察者が正常に立体画像を視認できる領域（正視領域）から外れて３Ｄクロストーク領域に位置する場合について考察する。図８７は、観察者が右に移動したため、右眼５５Ｒが右眼領域７０Ｒと左眼領域７２Ｌとの境目に位置し、左眼５５Ｌが右眼領域７０Ｒと左眼領域７０Ｌとの境目に位置したときの、観察者の頭上から見た断面図である。
このとき、観察者の右眼５５Ｒの位置には、右眼用画素４Ｒから出た光の中で、最も近いシリンドリカルレンズ３ａの主点（頂点）を通る光線２０と、左眼用画素４Ｌから出た光の中で２番目に近いシリンドリカルレンズ３ｂの主点（頂点）を通る光線２１との、両方が投影される。つまり、図８７においては、観察者は右眼５５Ｒで右眼用画素４Ｒと左眼用画素４Ｌとの両方からの投影像を観察することになり、立体画像を観察すると右眼用画素４Ｒと左眼用画素４Ｌが重なって二重像となり（いわゆる３Ｄクロストーク）所望の立体画像を視認できない。ここで、右眼領域７０Ｒと左眼領域７２Ｌとの境目領域、及び、右眼領域７０Ｒと左眼領域７０Ｌとの境目領域が、３Ｄクロストーク領域となる。
以上より、立体画像表示用の眼鏡が不要である立体画像表示装置は、観察者の観察位置によっては３Ｄクロストークによる二重像の問題が発生するため、観察者へ違和感を与えてしまい、立体画像表示装置の普及を妨げる原因となっていた。
上記の問題を解決するために、時分割式の立体画像表示装置において、液晶の遅れによって発生する３Ｄクロストークにより、立体画像コンテンツの左眼用画像（Ｌ画像）及び右眼用画像（Ｒ画像）内の輝度値が変化する画像範囲に対して、黒側補正データや白側補正データを追加することで３Ｄクロストークの影響を軽減する方法が提案されている。また、黒側補正データ及び白側補正データにローパスフィルタ等の画像ぼかし処理を施して、なだらかな補正データを追加することで、人間の眼に二重像が視認されにくいようにして、３Ｄクロストークによる二重像の影響を軽減する方法が提案されている（特許文献１）。
また、立体画像コンテンツの基の画像データから、３Ｄクロストークにより混入する画像成分を減算した画像データを生成し、その画像データを表示することで、３Ｄクロストークによる二重像の影響を軽減する方法が提案されている（特許文献２、３）。３ＤクロストークによりＬ画像にＲ画像の画像成分がα％だけ混入する場合には、式（１）により、画像データの補正処理を実施している。
Ｌｆ（ｘ，ｙ）＝Ｌｃ（ｘ，ｙ）−α×Ｒｃ（ｘ，ｙ） 式（１）
ここで、Ｌｆ（ｘ，ｙ）は、補正処理後のＬ画像の輝度値を示す。Ｌｃ（ｘ，ｙ）は，元データとなる立体画像コンテンツのＬ画像の輝度値を示す。αは３Ｄクロストーク量（混入する画像成分の割合）を、Ｒｃ（ｘ，ｙ）は元データとなる立体画像コンテンツのＲ画像の輝度値を、それぞれ示す。
また、３Ｄクロストークによる二重像が投影される観察位置では、２視点の画像データの内、どちらか一方の画像データを黒色画像に変換して、他方の画像データだけを投影することで、３Ｄクロストークによる二重像の影響を軽減する方法が提案されている（特許文献４）。
また、観察者の観察位置を計測し、その観察位置に応じて、多視点の視差画像を生成するサブピクセル内の輝度調整処理を実施することで、３Ｄクロストークによる二重像を軽減する立体画像表示装置が提案されている（非特許文献１）。
また、液晶シャッタ眼鏡方式の立体画像表示装置において、視差量に基づいて立体画像コンテンツの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）とにローパスフィルタ等で画像ぼかし処理を実施して、眼鏡のシャッタ切替時の遅れによって発生する３Ｄクロストークの二重像の影響を軽減する方法が提案されている（特許文献５）。
また、液晶シャッタ眼鏡方式の立体画像表示装置において、メガネシャッタのタイミング、液晶パネルのタイミング、バックライトのタイミングのずれ（変化スピード）により生じる３Ｄクロストークの二重像の影響を軽減するために、画像データの輝度値のダイナミックレンジを広げて、３Ｄクロストークによる二重像が表示される時間を短縮する方法が提案されている（非特許文献２）。
また、立体画像表示装置の表示方式（液晶シャッタ眼鏡、偏光式眼鏡）に合わせて、３Ｄクロストークによる二重像の影響を軽減する画像データへ切替えることで、様々な表示方式の立体画像表示装置を使用しても３Ｄクロストークの二重像の影響を軽減する方法が提案されている（特許文献６）。
また、同じ視差の立体画像コンテンツを表示しても、立体画像表示装置と観察者の観察位置との距離によって、観察者が観察する立体画像コンテンツの視差は変化する。立体画像表示装置と観察者の観察位置との距離が近すぎると、立体画像コンテンツの視差が大きくなり、立体画像を視認できなくなる問題を解決するために、立体画像表示装置と観察者の観察位置との距離に応じて、立体画像コンテンツの視差を調整して立体画像を表示する方法が提案されている（特許文献７）。
また、立体画像表示装置は、飛び出し表示される立体画像コンテンツが画枠に隠れて、部分的に表示されると、観察者へ画枠歪みと呼ばれる違和感を与える。平面画像表示の場合では、画枠より画像コンテンツが後方にあるため、観察者はコンテンツの全景が見えていないと視認できるが、立体画像表示の場合では、画枠より立体画像コンテンツが前方に表示されていても、画枠によって部分的に立体画像コンテンツが隠れて表示されるので、観察者へ違和感を与える。そこで、多眼方式の立体画像表示装置において画枠歪みの問題を解決するために、画枠歪みの原因となる立体表示領域外に表示される立体画像コンテンツを透明にして非表示化する方法が提案されている（特許文献８）。
また、立体画像の閲覧による疲労を軽減するために、立体画像となる画像データをぼかし処理する方法が提案されている（特許文献９）。
また、人間の眼では、それが持つピント機能により、遠くにある物体を見るとボケが発生する。しかし、立体画像表示装置で立体画像を表示する場合には、同一平面上のパネルから立体画像を投影するために、人間の眼が持つピント機能によるボケが発生しない。この状態を軽減するために、観察者の観察位置を計測して、立体画像となる画像データのぼかし処理を実施する方法が提案されている（特許文献１０）。
特開２０１１−１６６７４４号公報 特開２００１−２９８７５４号公報 特開２００２−０９５０１０号公報 特開２００８−０８９７８７号公報 特開２０１１−０４０９４６号公報 特開２０１２−０３９５９２号公報 特開２０１２−０４４３０８号公報 特開２００５−２５２４５９号公報 特開２０１１−０８２８２９号公報 特開２０１１−２４４３４９号公報
立体画像表示用の眼鏡が不要な裸眼の立体画像表示装置は、観察者の観察位置によっては３Ｄクロストークによる二重像の影響が大きく発生するため、観察者へ違和感を与えてしまうだけでなく、低画質の立体画像表示装置の場合には映像酔いや眼精疲労など生理的な不安定感を招く１つの要因となり、裸眼の立体画像表示装置の普及を妨げる原因となっていた。
これらの問題を解決する方法として、特許文献１が提案されているが、特許文献１は観察者の観察位置を考慮して画像データのぼかし量を調整していないため、観察者の観察位置が移動すると、３Ｄクロストークによる二重像の影響を軽減する画像ぼかし処理が実施できないという課題を有する。
また、特許文献２、３は、画像データから３Ｄクロストークにより混入する画像成分を減算して、３Ｄクロストークによる二重像の影響を軽減しているが、減算による画像処理方法では３Ｄクロストーク量が小さく、混入する画像成分がわずかなときにしか適用できない。３Ｄクロストーク量が大きいと基の画像データから混入する画像成分を減算できずに、混入する画像成分を完全に除去できない画像範囲が現れる。したがって、観察者の観察位置が移動して、３Ｄクロストーク量が大きくなると、３Ｄクロストークによる二重像の影響を軽減できないという課題を有する。
また、特許文献４では、片方の画像データを黒色画像に変換することで、３Ｄクロストークによる二重像の影響は除去できるが、もう片方の画像データだけが観察者に投影されるため、観察者に投影される画像データの輝度値が低下するという課題を有する。更に、特許文献４には、輝度値低下の対策としてバックライトの出力を増加することが記載されているが、消費電力が多くなること及びバックライトの寿命が短くなること等の課題を有する。また、２視点の画像データ（右眼用画像と左眼用画像）を観察者へ投影する立体画像表示装置では、片方の画像データを黒色画像に変換すると、観察者のもう片方の眼に黒色画像のみが投影される可能性があるため、特許文献４の画像処理方法は適用できないという課題を有する。
また、非特許文献１では、観察者の観察位置を計測し、その観察位置に応じて、多視点の視差画像を生成するサブピクセルの輝度調整処理を実施することで、３Ｄクロストークによる二重像を軽減できるが、サブピクセルオーダーでの輝度調整処理が必要となり、処理が煩雑になるという課題を有する。また、特許文献４と同様に、２視点の画像データ（右眼用画像と左眼用画像）を観察者へ投影する立体画像表示装置では、サブピクセルの輝度調整処理によって輝度値が低下すると、観察者のもう片方の眼に輝度値が低下したサブピクセルのみが投影される可能性があるため、非特許文献１の画像処理方法は適用できないという課題を有する。
また、特許文献５と非特許文献２では、液晶シャッタ眼鏡式の立体画像表示装置における３Ｄクロストークの二重像の影響を軽減できるが、裸眼式の立体画像表示装置における３Ｄクロストークの対策を考慮しておらず、観察者の観察位置を考慮して画像データのぼかし量を調整していないため、観察者の観察位置が移動すると、３Ｄクロストークによる二重像の影響を軽減する画像ぼかし処理が実施できないという課題を有する。
また、特許文献６では、立体画像表示装置の表示方式に合わせて、３Ｄクロストークの影響を軽減する画像データへ切替えて表示する方法が開示されているが、裸眼式の立体画像表示装置の表示方式を考慮していないため、裸眼式の立体画像表示装置では、３Ｄクロストークによる二重像の影響を軽減できないという課題を有する。
また、特許文献７では、立体画像表示装置と観察者の観察位置との距離に応じて、立体画像コンテンツを視差調整処理する方法が提案されているが、レンチキュラレンズやパララックスバリアを使用して右眼用画像と左眼用画像とを空間的に分離して投影する裸眼式の立体画像表示装置において出現する３Ｄクロストークによる二重像の影響を軽減する画像フィルタ処理方法（視差調整量の算出方法）が考慮されていないため、３Ｄクロストークによる二重像の影響を軽減できないという課題を有する。
また、特許文献８では、画枠歪みの原因となる立体表示領域外に表示される立体画像コンテンツを透明にして非表示化する方法を提案しているが、レンチキュラレンズやパララックスバリアを使用して右眼用画像と左眼用画像とを空間的に分離して投影する裸眼式の立体画像表示装置において出現する３Ｄクロストークによる二重像の影響を軽減する画像フィルタ処理方法（透明化による非表示化方法）が考慮されていないために、３Ｄクロストークによる二重像の影響を軽減できないという課題を有する。
また、特許文献９では、立体画像となる画像データをぼかし処理する方法が提案されているが、レンチキュラレンズやパララックスバリアを使用して右眼用画像と左眼用画像とを空間的に分離して投影する裸眼式の立体画像表示装置において出現する３Ｄクロストークによる２重像の影響を軽減する画像フィルタ処理方法（画像ぼかし）が考慮されていないため、３Ｄクロストークによる２重像の影響を軽減できないという課題を有する。
また、特許文献１０では、観察者の観察位置を計測して、立体画像となる画像データのぼかし処理を方法が提案されているが、レンチキュラレンズやパララックスバリアを使用して右眼用画像と左眼用画像とを空間的に分離して投影する裸眼式の立体画像表示装置において出現する３Ｄクロストークによる２重像の影響を軽減する画像フィルタ処理方法（画像ぼかし）が考慮されていないため、３Ｄクロストークによる２重像の影響を軽減できないという課題を有する。
そこで、本発明は、上述した問題を解決し、裸眼式の立体画像表示装置であっても、３Ｄクロストークによる二重像の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置等を提供することを目的とする。
本発明に係る立体画像表示装置は、
少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第1の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
が存在する立体表示パネル部を備えるとともに、
観察者の観察位置を計測する観察者位置計測部と、
計測された前記観察位置に対する前記立体表示パネル部の相対位置を算出する相対位置算出部と、
前記相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出するものであって、前記相対位置に応じて前記正視領域と前記逆視領域と前記３Ｄクロストーク領域とに分類し、前記３Ｄクロストーク領域における画像データに対して前記正視領域又は前記逆視領域よりも大きい前記画像フィルタ値を付与する画像フィルタ値算出部と、
この画像フィルタ値に従って画像データに画像フィルタ処理を実施する画像フィルタ処理部と、
を備えたことを特徴とする。
本発明に係る画像処理装置は、
少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から前記第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
が存在する立体表示パネルへ、
画像データを出力する画像処理装置において、
前記観察者の観察位置に対する前記立体表示パネルの相対位置を算出する相対位置算出部と、
前記相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出するものであって、前記相対位置に応じて前記正視領域と前記逆視領域と前記３Ｄクロストーク領域とに分類し、前記３Ｄクロストーク領域における画像データに対して前記正視領域又は前記逆視領域よりも大きい前記画像フィルタ値を付与する画像フィルタ値算出部と、
前記画像フィルタ値に従って画像データに画像フィルタ処理を実施する画像フィルタ処理部と、
を備えたものである。
本発明に係る立体画像処理方法は、
少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第1の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から前記第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
が存在する立体表示パネルを、
用いた立体画像処理方法において、
前記観察者の観察位置を計測し、
この観察位置に対する前記立体表示パネルの相対位置を算出し、
この相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出し、このとき前記相対位置に応じて前記正視領域と前記逆視領域と前記３Ｄクロストーク領域とに分類し、前記３Ｄクロストーク領域における画像データに対して前記正視領域又は前記逆視領域よりも大きい前記画像フィルタ値を付与し、
この画像フィルタ値に従って画像データに画像フィルタ処理を実施し、
この画像フィルタ処理を実施された前記画像データを前記立体表示パネルへ出力する、
ことを特徴とする。
本発明によれば、観察者の観察位置が移動しても、３Ｄクロストークによる二重像の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる効果がある。
実施形態１の立体画像表示装置の構成図 立体画像表示装置の外観図 観察者の観測位置と立体表示パネルとの相対位置の座標系を示す図 立体画像表示装置の３Ｄクロストーク特性データを示す図 ３Ｄクロストーク特性データと光学モデルとの関係図 ３Ｄクロストーク特性データと光学モデルとの関係図 光学モデルの拡大図 正視領域・逆視領域・３Ｄクロストーク領域の領域幅と視野角の関係図 ガウスフィルタ形状を示す図 画像フィルタ（ガウスフィルタ）を示す図 画像フィルタ（ガウスフィルタ）を示す図 視野角に対する画像フィルタの窓幅値を示す図 ３Ｄクロストーク量に対する各種値の関係表を示す図 視野角に対する画像フィルタの窓幅値を示す図 立体画像表示装置の３Ｄクロストーク特性データを示す図 視野角に対する画像フィルタの窓幅値を示す図 立体画像表示装置の３Ｄクロストーク特性データを示す図 視野角に対する画像フィルタの窓幅値を示す図 画像データ保管部内に保管される画像データの図 立体画像処理方法のフローチャート図 立体画像表示装置の外観図 画像処理装置の構成図 ８視点での光学モデル図 ４視点での光学モデル図
実施形態２の立体画像表示装置の構成図 ３Ｄデバイス特性データのうち立体画像表示装置の輝度特性データを示す図 ３Ｄデバイス特性データのうち立体画像表示装置の３Ｄクロストーク特性データを示す図 Ｒ画像の視野角に対する画像フィルタの窓幅値を示す図 Ｌ画像の視野角に対する画像フィルタの窓幅値を示す図 ３Ｄクロストーク量に対する各種値の関係表を示す図 Ｒ画像の視野角に対する画像フィルタの窓幅値を示す図 Ｌ画像の視野角に対する画像フィルタの窓幅値を示す図 観察者の両眼の相対位置に対応した画像フィルタ値の算出条件表を示す図 Ｒ画像の視野角に対する画像フィルタの窓幅値を示す図 Ｌ画像の視野角に対する画像フィルタの窓幅値を示す図 ３Ｄクロストークによる二重像の画像表示状態を示す図 実施形態１の画像フィルタ処理により二重像を軽減した画像表示状態を示す図 実施形態２の画像フィルタ処理により二重像を軽減した画像表示状態を示す図 立体画像処理方法のフローチャート図
実施形態３の立体画像表示装置の構成図 相対位置における二重像が現れる画像範囲を示す図 画像フィルタ処理の実施判定表を示す図 観察者の右眼・左眼に投影される画像表示状態を示す図 立体画像コンテンツの画像表示状態を示し、左眼・右眼にそれぞれ投影される画像表示状態を示す図 立体画像コンテンツの画像表示状態を示し、Ｌ画像及びＲ画像に適用するフィルタ処理内容を示す図 立体画像コンテンツの画像表示状態を示し、左眼・右眼にそれぞれ投影されるフィルタ処理後の画像表示状態を示す図 観察者の右眼・左眼に投影される画像表示状態を示す図 画像表示状態と３Ｄクロストーク特性データの関係図 立体画像処理方法のフローチャート図
実施形態４の立体画像表示装置の構成図 温度低下による光学モデルの変化を示す図 温度上昇による光学モデルの変化を示す図 低温時の立体画像表示装置の３Ｄクロストーク特性データを示す図 温度低下による光学モデルの変化を示す図 低温時の光学モデルの拡大図 正視領域・逆視領域・３Ｄクロストーク領域と視野角の関係図 立体画像処理方法のフローチャート図
実施形態５の立体画像表示装置の構成図 視差画像と視差値の関係図 視差値とＬＲ画像の関係図 視差画像から算出した重み付け値を示す図 立体画像処理方法のフローチャート図
実施形態６の立体画像表示装置の構成図 立体画像の中央部に球物体が飛び出し表示される場合のＬ画像とＲ画像を示す図 図６１のＬ画像とＲ画像の混合により発生した３Ｄクロストークによる二重像を示す図 Ｌ画像に適用する画像フィルタ形状を示す図 Ｒ画像に適用する画像フィルタ形状を示す図 Ｌ画像に適用する画像フィルタ値を示す図 Ｒ画像に適用する画像フィルタ値を示す図 Ｌ画像に適用する画像フィルタ値を示す図 左右非対称な画像フィルタ処理を適用したＬ画像とＲ画像を示す図 図６８のＬ画像とＲ画像の混合により発生した３Ｄクロストークによる二重像を示す図 左右対称な画像フィルタ処理を適用したＬ画像とＲ画像を示す図 図７０のＬ画像とＲ画像の混合により発生した３Ｄクロストークによる二重像を示す図 シフトセンサによる仮想カメラの設置図 トーインによる仮想カメラの設置図 Ｌ画像に適用する画像フィルタ形状を示す図 Ｒ画像に適用する画像フィルタ形状を示す図 立体画像処理方法のフローチャート図
実施形態７の立体画像表示装置の構成図 視野角に対する視差許容値を示す図 ３Ｄクロストーク量に対する各種値の関係表を示す図 視野角に対する視差許容値を示す図 視野角に対するコンテンツの視差最大値を示す図 視野角に対する視差調整処理後の視差最大値を示す図 視差調整量により変更された視差画像データ群の図 画素移動によって生成したＲ'画像の図 立体画像処理方法のフローチャート図
パララックスバリアの光学モデル図 パララックスバリアの光学モデル図 レンチキュラレンズの光学モデル図 ３Ｄクロストーク領域を説明する光学モデル図 実施形態８の立体画像表示装置の構成図 視野角に対する仮想的なカメラの視点位置を示す図 立体画像コンテンツと仮想的なカメラの視点位置との概念図 立体画像表示装置と視野角との概念図 視野角に対する仮想的なカメラの視点位置を示す図 視野角に対する画像フィルタの窓幅値を示す図 視野角に対する仮想的なカメラの視点位置の概念図 視野角に対する仮想的なカメラの視点位置の概念図 視野角に対する４視点の仮想的なカメラの視点位置を示す図 立体画像処理方法のフローチャート図 視野角に対する仮想的なカメラの視点位置を示す図 視野角に対する画像フィルタの窓幅値を示す図 視野角に対する仮想的なカメラの視点位置を示す図 視野角に対する仮想的なカメラの視点位置を示す図
以下、添付図面を参照しながら、本発明を実施するための形態（以下「実施形態」という。）について説明する。
［実施形態１］
実施形態１の立体画像表示装置の構成について下記に説明する。図１は立体画像表示装置１１の構成図である。立体画像表示装置１１は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像フィルタ値算出部１０４と、画像データ保管部１０５と、画像フィルタ処理部１０６と、立体表示パネル部１０７とを備えるものである。また、相対位置算出部１０２、画像フィルタ値算出部１０４、画像フィルタ処理部１０６を統合した処理部を、画像処理部１５１とする。
図２に、立体画像表示装置１１の外観図を示す。図３に、観察者１０の観測位置と立体表示パネル１０７ａとの相対位置の座標系を示す。立体表示パネル１０７ａは立体表示パネル部１０７の一部であり、カメラ１０１ａは観察者位置計測部１０１の一部である。立体画像表示装置１１は、立体表示パネル１０７ａの上部にカメラ１０１ａが設置されており、カメラ１０１ａによって観察者１０を撮影することで観察者１０の観察位置を計測する。また、カメラ１０１ａと立体表示パネル１０７ａの設置位置は固定されているため、カメラ１０１ａで観察者１０を撮影することで、観察者１０の観察位置と立体表示パネル１０７ａとの相対的な位置を算出できる。
立体表示パネル１０７ａは、少なくとも第１視点用のサブ画像を表示するサブ画素及び第２視点用の画像を表示するサブ画素を含む画素がマトリクス上に複数に配列された電気光学手段としての表示パネルと、前記それぞれの画像を所定の異なる方向に分離可能な光線分離手段から構成される。一例として、電気光学手段としての表示パネルは、液晶方式、有機ＥＬ方式、プラズマ方式などを用いることができ、光線分離手段としてレンチキュラレンズ、パララックスバリア、液晶レンズなどを用いることができる。本実施形態では表示パネル２とレンチキュラレンズ３との組合せを用いて説明することとする（図５参照）。なお、特許請求の範囲に記載の「第１の方向」の一例が図３におけるＸ軸方向であり、同じく「光学手段」の一例が前述の光線分離手段である。
また、立体表示パネル１０７ａの後方部には、画像処理部１５１、デバイス特性データ保管部１０３、画像データ保管部１０５の機能を実現する計算機器１５０が設置されている。
以下に、立体画像表示装置１１に含まれる各部の機能を説明する。
観察者位置計測部１０１は、立体表示パネル１０７ａに表示する立体画像コンテンツを観察している観察者の位置を計測する機能を有する。観察者位置計測は立体表示パネル１０７ａの上部に設置されたカメラ１０１ａで観察者を撮影することで、観察者１０の右眼と左眼の位置を計測する。観察者１０の観察位置の計測はカメラ１０１ａの撮像面に水平方向（Ｘ軸、Ｙ軸）の位置だけでなく、カメラ１０１ａに対して奥行き方向（Ｚ軸）の位置も計測する。カメラ１０１ａに対して奥行き方向の距離を計測する方式は多数提案されている。
その一つ目は、光パタン投影方式であり、カメラとは異なる視点から観察者へ赤外線等の光パタンを投影して、その変位量から三角測量の原理によって奥行き距離を計測するものである。光パタン投影方式を採用した計測機器は、近年、家庭用ゲーム機やＰＣ周辺機器として製品化されている。
その二つ目は、ＴＯＦ（Time of Flight）方式であり、カメラから観察者へ近赤外線の正弦波光を照射し、観察者から反射された正弦波光がカメラまでに到達する光飛行の時間差から、奥行き距離を計測するものである。近年、ＴＯＦセンサの性能向上は目覚しく、小型で安価なカメラにより奥行き距離が計測できるようになりつつある。
その三つ目は、多眼カメラ方式であり、異なる視点にカメラを２台以上設置する。奥行き距離の計測は、任意視点の画像から観察者の特徴点を検出し、異なる視点の画像から特徴点に対応する点を探索して三角測量の原理から奥行き距離を算出する。
その四つ目は、レンズの焦点情報を利用した方式であり、被写界深度の異なる光学系レンズを利用して様々な焦点で撮影した多焦点画像群から観察者の奥行き距離を計測する。
以上、奥行き距離の計測方式を４つ挙げたが、本実施形態１はいずれの方式も採用できる。また、これ以外の計測方式でも良く、例えば、観察者の顔のサイズを予め保存しておき、カメラで撮影された観察者の顔画像サイズと比較することで奥行き距離を計測しても良い。
撮影画像から観察者の顔を検出する処理は、予め顔画像の特徴量（目や鼻、口、顎など）からテンプレートデータを生成しておき、撮影画像とテンプレートデータをマッチングすることで観察者の顔を検出する。テンプレートデータは、観察者の顔画像からサポートベクターマシン（ＳＶＭ）やベクトル量子化などの機械学習手法を利用して生成する。これらの顔検出機能は、汎用のソフトウェアを利用することも可能である。また、顔検出機能ソフトウェアは、奥行き情報を使用することで、顔の向きを考慮した顔検出処理も実現できるため、検出精度はさらに向上する。
以上の処理により、観察者１０の顔を検出して、右眼・左眼の位置を計測する。その他の例としては、カメラを利用せずに、加速度センサやジャイロセンサを利用しても良い。予め立体画像表示装置１１に各種のセンサを設置しておき、センサから得られる位置情報を参照することで、観察者１０の観察位置を計測する。
相対位置算出部１０２は、立体表示パネル１０７ａから観察者１０の観察位置までの相対位置を算出する機能を有する。図３に示すように、相対位置は立体表示パネル１０７ａの中心を原点として、立体表示パネル１０７ａ面上の横方向をＸ軸、立体表示パネル１０７ａ面上の縦方向をＹ軸、立体表示パネル１０７ａ面上に垂直な方向をＺ軸とおき、観察者１０の観察位置までの相対位置を算出する。この相対位置は、観察者位置計測部１０１で計測された観察者の右眼・左眼の位置から、カメラ１０１ａの設置位置から立体表示パネル１０７ａの設置位置までの距離を引算して算出する。また、視野角θは相対位置（Ｘ軸、Ｙ軸、Ｚ軸の座標値）から算出する。視野角θとＸ軸、Ｙ軸、Ｚ軸の座標値との関係式は式（２）となるので、視野角θは式（３）より算出される。
ｔａｎθ＝Ｘ／Ｚ 式（２）
θ＝ｔａｎ−１（Ｘ／Ｚ） 式（３）
デバイス特性データ保管部１０３は、立体表示パネル１０７ａの視野角に対する３Ｄクロストーク特性データを保管する機能を有する。図４に３Ｄクロストーク特性データの一例を示す。３Ｄクロストーク特性データの横軸は視野角θを、縦軸は３Ｄクロストーク量を表す。３Ｄクロストーク量は、右眼用画像（Ｒ画像）に左眼用画像（Ｌ画像）が混合する割合を表す（逆の混合も表す：Ｌ画像にＲ画像が混合する割合）。３Ｄクロストーク特性データは、立体表示パネル１０７ａのデバイス特性によって異なる値をとり、立体表示パネル１０７ａの設計条件及び製造条件に基づき算出することが可能である。また、３Ｄクロストーク用の評価装置で立体表示パネル１０７ａを計測しても３Ｄクロストーク特性データを得ることができる。この場合、立体表示パネル１０７ａの中心であるＸ軸原点だけでなく（図３の座標系参照）、パネル外側の所定の±Ｘ（後述の図５における距離ＷＰ）のポイントで算出又は測定することが望ましい。本明細書では以降、３Ｄクロストーク特性データの図面を活用して説明するが、便宜上Ｘ軸原点の図面をベースに説明することとする。
立体画像表示装置１１では、３Ｄクロストーク特性データに依存して右眼領域・左眼領域・３Ｄクロストーク領域が決定される。一例として、観察者１０が立体画像を正常に視認できる３Ｄクロストーク量の閾値をβ２以下と定義すれば、視野角θ０〜θ１の領域が右眼領域、視野角θ２〜θ４の領域が３Ｄクロストーク領域、視野角θ５〜θ６の領域が左眼領域となる。
この場合の立体画像表示装置１１における観察者１０の左右両眼に右眼用画像と左眼用画像を投影する光学モデルを、図５に示す。図５では、視野角θ２〜θ４の部分が３Ｄクロストーク領域となるため、図８６と比較すると右眼領域７０Ｒ及び左眼領域７０Ｌは狭まる。右眼５５Ｒにとっては、右眼領域７０Ｒが正視領域であり、左眼領域７０Ｌと７２Ｌが逆視領域で、それ以外の領域が３Ｄクロストーク領域となる。なお、図５には、最適観察距離ＯＤ、遠隔観察距離ＦＤ、近接観察距離ＮＤ、シリンドリカルレンズ幅Ｌ、画素の幅Ｐ、立体表示パネルの中心画素の位置から両端画素の位置までの幅ＷＰなどが記載されている。
その他の一例として、上記３Ｄクロストーク量の閾値をβ１以下と定義すれば、図４より視野角θ１〜θ５の領域が３Ｄクロストーク領域となり、それ以外の視野角は右眼領域・左眼領域となる。この場合の立体画像表示装置１１の光学モデルを、図６に示す。図６では視野角θ１〜θ５の部分が３Ｄクロストーク領域となるため、図５よりも一段と右眼領域７０Ｒ及び左眼領域７０Ｌは狭まる。右眼５５Ｒにとっては、図５と同様に右眼領域７０Ｒが正視領域、左眼領域７０Ｌ，７２Ｌが逆視領域であり、それ以外の領域が３Ｄクロストーク領域となる。以上より、３Ｄクロストーク特性データに依存して、正視領域・逆視領域・３Ｄクロストーク領域が決定されることを示した。
なお、３Ｄクロストーク量の閾値については、立体画像表示装置１１の光学測定と主観評価から決定することができる。３Ｄクロストークを光学的に測定できる装置としては、例えばコノスコープ方式やゴニオメータ方式やフーリエ方式など各種あり、これらの方式を備えた測定装置で視野角度に対する輝度分布を測定し、以下の式（４）より３Ｄクロストーク量（３ＤＣＴ（θ））を算出することができる。
３ＤＣＴ（θ）＝（Ｙ（ＬＢＲＷ）−Ｙ（ＬＢＲＢ））／（Ｙ（ＬＷＲＢ）−Ｙ（ＬＢＲＢ）） 式（４）
ここで、Ｙ（ＬＢＲＷ）は左眼画像を黒とし、右眼画像を白としたときの輝度、Ｙ（ＬＢＲＢ）は左眼画像を黒とし、右眼画像を黒としたときの輝度、Ｙ（ＬＷＲＢ）は左眼画像を白とし、右眼画像を黒としたときの輝度である。
上記した、いずれの測定装置で測定しても定性的な結果には大きな差は見られないが、定量的な数値については測定方式や装置仕様によって異なる。一般的な測定結果と主観的な立体視域の評価結果とを照合すると、３Ｄクロストーク量が概ね１０％以下であれば立体視は可能であり、この値を上記３Ｄクロストーク量の閾値として用いることができる。
図７に、図６における領域８０の拡大図を示す。Ｚ軸上の任意の値であるＺ１とＺ２における右眼領域７０Ｒ・左眼領域７２Ｌ・３Ｄクロストーク領域の領域幅は異なる。Ｚ軸の位置に依存して正視領域・逆視領域・３Ｄクロストーク領域の領域幅は変化する。
また、図８に、Ｚ軸上の任意の値Ｚ１における正視領域・逆視領域・３Ｄクロストーク領域の領域幅と視野角の関係図を示す。右眼５５Ｒを基準にすると、視野角θ０〜θ１の領域が逆視領域に、視野角θ１〜θ５の領域が３Ｄクロストーク領域に、視野角θ５〜θ６の領域が正視領域となる。また、視野角θ３の位置で最も３Ｄクロストーク量が大きくなり、視野角θ２〜θ４の領域は図４より３Ｄクロストーク量がβ２以上の領域となる。
画像フィルタ値算出部１０４は、前記デバイス特性データに基づき視野角に対して立体画像表示に適した画像フィルタ値を算出する機能を有する。画像フィルタ値には、立体画像コンテンツの画像データのぼかし処理（平滑化処理、ローパスフィルタ処理などとも呼ばれる。）を実施するためのフィルタ形状を適用する。画像ぼかし処理を実施する代表的なフィルタ形状としては、平均化フィルタ、メディアンフィルタ、ガウシアンフィルタ等が挙げられる。以下の一例では、ガウシアンフィルタを使用する例を記載する。
図９に、立体画像コンテンツの画像データに適用するガウシアンフィルタ形状を示す。図９は、２次元のガウシアンフィルタ形状を示し、Ｘ軸は画像データの横軸方向に、Ｙ軸は画像データの縦軸方向に対応する。ガウシアンフィルタは、ガウス分布関数の式（４）から算出する。ここで分散値σ２は任意の値であり、σの値が大きいとガウシアンフィルタの形状は、なだらかになり、画像ぼかし処理の効果も増大する。
Figure 0006308513
 式（５）
画像フィルタ値はガウシアンフィルタを離散化した値となる。画像フィルタ値を形成する各画素の位置（ｘ，ｙ）に、式（５）より算出した値ｆ（ｘ，ｙ）を代入することで画像フィルタ値を算出する。
図１０及び図１１に、ガウシアンフィルタから生成された画像フィルタ値の例を示す。画像フィルタの窓幅についてＸ軸方向の値をＷｘとし、Ｙ軸の方向の窓幅についてＷｙとすると、図１０は画像フィルタの窓幅を３×３画素（Ｗｘ＝３、Ｗｙ＝３）にした例であり、図１１は画像フィルタの窓幅を５×５画素（Ｗｘ＝５、Ｗｙ＝５）にした例である。以下の説明では便宜上Ｗ（Ｗ＝Ｗｘ＝Ｗｙ）とする。画像フィルタの窓幅値Ｗが大きいと、画像ぼかし処理の効果も増大する。
このように画像ぼかし処理にガウシアンフィルタを使用する場合には、ガウス分布関数の分散値σの値と、画像フィルタの窓幅値Ｗとによって、画像フィルタ値が特定される。従って、画像フィルタ値算出部１０４では、分散値σの値と、画像フィルタの窓幅値Ｗと、を算出すれば良い。ここで、画像フィルタ値の算出では、分散値σの値は任意の定数とおき（例えばσ＝１とおく）、画像フィルタの窓幅値Ｗだけを算出するようにしても良い。以下に、前記デバイス特性データに基づき視野角に対する画像フィルタ値を算出する例として、ガウス分布関数の分散値σの値を１とおき、画像フィルタの窓幅値Ｗだけを算出する例を記載する。
図１２に、立体画像表示装置１１のデバイス特性データ（図４参照）に基づき、観察者１０の観察位置がＺ１上の位置にある場合の、視野角θに対する画像フィルタの窓幅値Ｗ（θ）を算出した結果を示す。図１２では、図４で前述した３Ｄクロストーク量の閾値をβ１としたときの画像フィルタの窓幅値Ｗ（θ）が、逆視領域θ０〜θ１及び正視領域θ５〜θ６と、３Ｄクロストーク領域θ１〜θ５とでは、異なる値になることを示している。
図１３は、この３Ｄクロストーク量に対する二重像の発生・３Ｄクロストークによる立体画像への影響・視野角範囲・領域名（逆視領域、３Ｄクロストーク領域、正視領域）・画像フィルタの窓幅値Ｗ（θ）の関係を示した表である。以下、図１２及び図１３を用いて正視領域θ５〜θ６、逆視領域θ０〜θ１、３Ｄクロストーク領域θ１〜θ５の各領域に対する画像フィルタの窓幅値Ｗ（θ）について説明する。
正視領域θ５〜θ６における画像フィルタの窓幅値Ｗ（θ）には、１を代入する。観察者が正視領域にいる際には、３Ｄクロストークによる二重像の影響は出現せず、立体画像コンテンツを正常に視認できるため、画像フィルタによるぼかし処理は実施しなくて良い。画像フィルタの窓幅値Ｗ（θ）が１であれば、ガウシアンフィルタによる画像フィルタ処理をしても立体画像コンテンツの画像データは変化しない。当然ながら、画像フィルタ処理による計算量を削減するため、画像フィルタの窓幅値Ｗ（θ）に１を代入せずに、画像フィルタ処理の実施を中止する命令値を代入しても良い。
逆視領域θ０〜θ１における画像フィルタの窓幅値Ｗ（θ）にも、１を代入する。逆視領域では、立体画像コンテンツの視差値が反転して表示される逆視の影響が生じる。このため、逆視領域では、Ｌ画像とＲ画像を入れ替えて表示することで、逆視の影響を解決しても良い。Ｌ画像とＲ画像を入れ替えることで、逆視領域θ０〜θ１においても正視領域θ５〜θ６と同様に立体画像コンテンツを正常に視認できる。
３Ｄクロストーク領域θ１〜θ５においては、３Ｄクロストーク量に応じて画像フィルタの窓幅値Ｗ（θ）が細分化されている。３Ｄクロストーク量がβ１〜β２（視野角範囲θ１〜θ２）の範囲では、軽度な二重像が発生し、観察者へ違和感を与えるものの立体画像は視認可能である。これに対して３Ｄクロストーク量がβ２以上（視野角範囲θ２〜θ３）の範囲では、二重像の影響が増大し、観察者が立体画像を視認することはほぼ不可能となる。したがって、二重像の影響の大きさに従い、画像フィルタの窓幅値Ｗ（θ）の設定を行うことが望ましい。
具体的には、図４のデバイス特性データから３Ｄクロストーク量を参照して、その量に適した画像フィルタの窓幅値Ｗ（θ）を設定する。図１２及び図１３の画像フィルタの窓幅値Ｗ（θ）は、３Ｄクロストーク量が閾値β１以上の場合では画像フィルタの窓幅値Ｗ（θ）を任意に定めた窓幅値Ｗ１以下とし、３Ｄクロストーク量が閾値β２以上の場合では画像フィルタの窓幅値Ｗ（θ）を任意に定めた視差値Ｗ２以下とする条件で算出している。
なお、画像フィルタの窓幅値Ｗ（θ）の算出条件となる窓幅値Ｗ１，Ｗ２は、多くの観察者に対する主観評価によって特定することが一般的であるが、観察者の好みに応じて任意に設定することもできる。例えば、観察者が特定されるモバイル機器等の立体画像表示装置では、観察者が初めてモバイル機器を利用する際に、窓幅値Ｗ１，Ｗ２を観察者の好みに応じて設定できるようにしても良い。画像フィルタの窓幅値Ｗ（θ）が大きいと、画像ぼかし処理の効果が増大するため、３Ｄクロストークによる二重像の影響は軽減されるが、立体画像コンテンツの画像品質は低下する。また反対に、画像フィルタの窓幅値Ｗ（θ）が小さいと、画像ぼかし処理の効果が減少するため、立体画像コンテンツの画像品質は保たれるが、３Ｄクロストークによる二重像の影響は軽減されない。したがって、窓幅値Ｗ１，Ｗ２を特定する主観評価実験では、評価者へ様々な種類の立体画像コンテンツ（視差値、コントラスト、明るさ、色味の空間周波数の異なる立体画像コンテンツ）を提示して、主観評価によって得られる結果を集計することが望ましい。また、立体画像表示の安全性を高めるために、窓幅値Ｗ２を主観評価の集計値よりも若干大きな値に設定しても良い。観察者に対する主観評価の実験結果は、様々な文献に示されており、これらの文献から窓幅値Ｗ１，Ｗ２を特定しても良い。
３Ｄクロストーク領域の画像フィルタの窓幅値Ｗ（θ）は、視野角θ１における窓幅値が１である点と、視野角θ２における窓幅値Ｗ１の点と、３Ｄクロストーク領域の中心位置となる視野角θ３における窓幅値Ｗ２の点と、視野角θ４における窓幅値Ｗ１の点と、視野角θ５における窓幅値が１である点と、を通るように線で補間して繋ぐことで各々の視野角θに対する画像フィルタの窓幅値Ｗ（θ）を算出する。点群同士を補間する線については、図１２のように２次補間（多項式補間）を使用しても良いし、図１４ように線形補間を使用しても良い。また、画像フィルタの窓幅値Ｗ（θ）は整数であることが望ましいので、小数値を四捨五入することで整数値に近似しても良い。
図１２、図１３及び図１４では、画像フィルタの窓幅値Ｗ（θ）の算出条件として３Ｄクロストーク量の閾値β１，β２を設定した例を示したが、３Ｄクロストーク量の閾値は二つだけに限定されずに、より多くの閾値を設定しても良い。
図１５及び図１６に、３Ｄクロストーク量の閾値β１，β２に新たな閾値β３を追加した例を示す。図１５は３Ｄクロストーク特性データを示し、閾値β１，β２の間に閾値β３を追加している。ここで、閾値β３に対応する３Ｄクロストーク特性データの視野角はθ７，θ８となる。図１６は視野角θに対する画像フィルタの窓幅値Ｗ（θ）を示し、画像フィルタの窓幅Ｗ（θ）の算出条件に視野角θ７，θ８における窓幅値Ｗ３を追加している。図１６の画像フィルタの窓幅値Ｗ（θ）は新たに追加された窓幅値Ｗ３の点を加えて、点群同士を線で補間して繋ぐことで各々の視野角θに対する画像フィルタの窓幅値Ｗ（θ）を算出する。
その他の例として、図１７及び図１８に、図４で示した３Ｄクロストーク量の閾値をβ１だけに変更した例を示す。図１７は３Ｄクロストーク特性データを示し、閾値β１に対応する３Ｄクロストーク特性データの視野角はθ１，θ５になる。図１８は視野角θに対する画像フィルタの窓幅値Ｗ（θ）を示し、画像フィルタの窓幅値Ｗ（θ）の算出条件は視野角θ３における窓幅値Ｗ２のみとなる。これより、視野角θ１における窓幅値が１である点と、視野角θ３における窓幅値Ｗ２の点と、視野角θ５における窓幅値が１である点と、を通るように線で補間して繋ぐと、画像フィルタの窓幅値Ｗ（θ）は図１８のように直線となる。
また、上記の例では観察者の観察位置がＺ１上の位置にある場合の画像フィルタの窓幅値Ｗ（θ）の算出方法を示したが、上記の算出方法は観察者の観察位置がＺ１上の位置にある場合のみに限定されるものではなく、観察者の観察位置がその他の位置（例えばＺ２）にいる場合についても同様の算出方法が使用できる。以上より、画像フィルタ値算出部１０４は、視野角に対する画像フィルタの窓幅値Ｗ（θ）を、デバイス特性データに基づく閾値の算出条件から算出することで、立体画像表示装置１１に適した画像フィルタ値を算出する。
また、上記の例では、Ｗ＝Ｗｘ＝Ｗｙとして正方形型の画像フィルタを使用した例を示したが、Ｗｙは必ずしもＷｘと同じ値でなくても良い。３Ｄクロストークによる二重像の影響はＸ軸方向に顕著に現れるため、Ｗｘ＞Ｗｙとした長方形型の画像フィルタを使用しても良い。なお、Ｗｙの値は立体画像コンテンツの画像データに応じて変更することも可能である。
また、上記の例では、ガウシアンフィルタの分散値σ＝１とし、画像フィルタの窓幅値Ｗ（θ）を算出して画像フィルタ値を特定する方法を示したが、反対に画像フィルタの窓幅値Ｗ（θ）を定数（例えば２０×２０画素）とおき、ガウシアンフィルタの分散値σを算出して画像フィルタ値を特定しても良い。σの算出方法は、画像フィルタの窓幅値Ｗ（θ）と同様に、観察者の主観評価実験により、３Ｄクロストーク量の閾値β１，β２に対応するσ１，σ２を特定し、σ１，σ２から視野角θに対する分散値σ（θ）を算出する。これより、３Ｄクロストーク量が大きくなるにつれて分散値σの値を大きくし、画像ぼかしの効果を増大させる。また、当然ながら、ガウスフィルタの分散値σと画像フィルタの窓幅値Ｗとの両方を変数とおき、両方の値を算出して画像フィルタ値を特定しても良い。この算出方法の一例としては、初めに分散値σ（θ）の値を固定して、画像フィルタの窓幅値Ｗ（θ）を算出し、次に算出した画像フィルタの窓幅値Ｗ（θ）に適した分散値σ（θ）を上記と同様の方法で算出する。
画像データ保管部１０５は、画像データを保存又は受信する機能を有する。図１９に、画像データ保管部１０５に保管する画像データの一例を示す。図１９には、立体画像コンテンツの画像データとしてＬ画像及びＲ画像が保管されている。Ｌ画像は左眼領域に投影される左眼用画像であり、Ｒ画像は右眼領域に投影される右眼用画像である。ＬＲ画像（Ｌ画像とＲ画像）の各画素値には輝度値（ＲＧＢ値）が保持されており、このＬＲ画像が立体表示パネル１０７ａ上に表示される。
また、画像データ保管部１０５には、予めに様々な画像フィルタ値で、画像フィルタ処理された後のＬＲ画像の画像データ群を保管しておいても良い。立体画像表示処理時に画像データ保管部１０５から画像フィルタ処理された後の画像データを取得することで、立体画像表示処理時の画像フィルタ処理時間を短縮する。
画像フィルタ処理部１０６は、画像フィルタ値算出部１０４で算出した画像フィルタ値に従って、画像データ保管部１０５に保管されている画像データへ、画像フィルタ処理を実施する機能を有する。画像フィルタ処理では、画像データの各画素に、画像フィルタ値をコンボリューションする。これより、立体画像コンテンツの画像データであるＬ画像及びＲ画像から、画像フィルタ処理された後の立体画像コンテンツの画像データとなるＬｆ画像及びＲｆ画像を生成する。
立体表示パネル部１０７は、画像フィルタ処理された画像データを前記相対位置に応じて右眼・左眼に投影する機能を有する。立体表示パネル部１０７では、画像フィルタ処理されたＬｆ画像及びＲｆ画像を取得して、立体表示パネル１０７ａによりＬｆ画像及びＲｆ画像を投影することで、立体画像コンテンツを表示する。
本実施形態１の立体画像表示装置１１における立体画像処理方法のフローチャートについて、図２０を参照して説明する。
ステップＳ１０１は、観察者位置計測部１０１を使用して観察者の観察位置を計測する。
ステップＳ１０２は、相対位置算出部１０２を使用して観察者１０の観察位置と立体表示パネル１０７ａとの相対位置を算出する。ステップＳ１０２では、相対位置として、立体表示パネル１０７ａの中心位置を原点とした際の観察者１０の観察位置（Ｚ軸方向の距離Ｚｐと視野角θｐ）を算出する。
ステップＳ１０３は、ステップＳ１０２で算出した距離Ｚｐと視野角θｐに対応する３Ｄクロストーク特性データと３Ｄクロストーク特性データの閾値β１，β２とを、デバイス特性データ保管部１０３から取得する（一例として図４参照）。また、３Ｄクロストーク特性データの閾値β１に対応する画像フィルタの窓幅の最大値Ｗ１と、閾値β２に対応する画像フィルタの窓幅の最大値Ｗ２とを取得する（一例として図１３参照）。
ステップＳ１０４は、画像フィルタ値算出部１０４を使用して、ステップＳ１０３で取得した３Ｄクロストーク特性データから、ステップＳ１０２で算出した相対位置となる視野角θｐに対する画像フィルタの窓幅値Ｗｐを算出する。
一例として図１２を参照して算出方法を記す。最初に、ステップＳ１０３で取得した３Ｄクロストークデータの閾値β１，β２から、正視領域の視野角範囲θ５〜θ６と、逆視領域の視野角範囲θ０〜θ１と、３Ｄクロストーク領域の視野角範囲θ１〜θ５とを特定する。次に、正視領域の視野角範囲θ５〜θ６及び逆視領域の視野角範囲θ０〜θ１における画像フィルタの窓幅値Ｗ（θ）を１とする。その次に、３Ｄクロストーク領域の視野角範囲θ１〜θ５における画像フィルタの窓幅値Ｗ（θ）を決定する。具体的には、視野角θ１及び視野角θ５における画像フィルタの窓幅値が１である点と、視野角θ２及び視野角θ４における画像フィルタの窓幅値がＷ１の点と、視野角θ３における画像フィルタの窓幅値がＷ２の点と、を線で補間して繋ぐことで、視野角範囲θ１〜θ５における画像フィルタの窓幅値Ｗ（θ）を決定する。以上のように、視野角範囲θ０〜θ６における画像フィルタの窓幅値Ｗ（θ）をあらかじめ求めた上で、ステップＳ１０２で算出した相対位置となる視野角θｐに対する画像フィルタの窓幅値Ｗｐを算出する。次に、画像ぼかし処理を実施する任意の画像フィルタ形状（ガウシアンフィルタ等）を適用して、算出した画像フィルタの窓幅値Ｗｐから画像フィルタ値を算出する。
ステップＳ１０５は、画像データ保管部１０５から立体画像コンテンツである画像データを取得する（一例として図１９を参照）。
ステップＳ１０６は、画像フィルタ処理部１０６を使用して、ステップＳ１０４で算出した画像フィルタ値に従って、ステップＳ１０５で取得した画像データに画像フィルタ処理を実施する。ステップＳ１０６の画像フィルタ処理では、画像データの各画素に、画像フィルタ値をコンボリューションして、画像フィルタ処理後の画像データを生成する。
ステップＳ１０７は、立体表示パネル部１０７を使用して、ステップＳ１０６で画像フィルタ処理した画像データを立体表示パネル１０７ａ上に立体画像表示する。
ステップＳ１０８は、立体画像表示処理を中止するか、連続的に実行するかを設定する。立体画像表示装置１１の電源がＯＦＦされたときや、観察者１０によって立体画像表示の中断が指示されたときには、立体画像表示処理を中止する。立体画像表示処理を中止するイベントが無ければ、立体画像表示処理を連続的に実行する。ステップＳ１０８で立体画像表示処理が中止された場合は、立体画像表示処理を終了する。ステップＳ１０８で立体画像表示処理が連続的に実行される場合は、ステップＳ１０１の処理に戻り、ステップＳ１０１〜ステップＳ１０８までの処理を繰り返して実行する。
以上より、観察者１０の観察位置とデバイス特性データに基づき算出された画像フィルタ値に従って、画像データの画像フィルタ処理を実施することにより、３Ｄクロストークによる二重像の影響を軽減して、観察者１０の観察位置が移動しても観察者１０へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。
また上記のフローチャートでは、立体画像表示処理時に観察者１０の観察位置と立体表示パネル１０７ａの相対位置、すなわち、立体表示パネル１０７ａの中心位置を原点とした際の観察者１０の観察位置（Ｚ軸方向の距離Ｚｐと視野角θｐ）を算出し、視野角θｐに対する画像データの画像フィルタの窓幅値Ｗｐを算出して、画像データの画像フィルタ処理を実施する例を記載したが、予め画像フィルタの窓幅値Ｗｐによって画像フィルタ処理された画像データ群を用意しておくことで、立体画像表示処理時の計算時間を短縮しても良い。複数の画像フィルタの窓幅値Ｗ（θ）を用いて画像フィルタ処理された画像データ群を予め用意することも可能である。
この場合には、立体画像表示処理前に予めステップＳ１０３〜ステップＳ１０６の処理を実施しておき、画像フィルタ処理された視野角範囲θ０〜θ６における画像データ群を、画像データ保管部１０５に保存しておく。立体画像表示処理時には、ステップＳ１０２より相対位置となる視野角θｐを算出した後に、画像データ保管部１０５の視野角範囲θ０〜θ６における画像データ群の中から相対位置視野角θｐと関連する画像データを取得する。次に、取得した画像データをステップＳ１０７と同様に立体表示パネル１０７ａ上に立体画像表示する。これより、画像フィルタ値の算出処理と画像データの画像フィルタ処理との計算時間を大幅に短縮することができ、観察者１０の観察位置の変化が頻繁に発生する場合には好適である。
ただし、この立体画像処理方法を実現するには、立体画像表示処理前に画像データが取得できること、画像データ保管部１０５の記録容量が大きいこと、が必要条件となる。したがって、立体画像表示装置１１の使用状況に応じて、立体画像表示の処理方法を選択しても良い。
本実施形態１の外観図（図２）では、画像処理部１５１、観察者位置計測部１０１、画像データ保管部１０５及び立体表示パネル部１０７が一つの立体画像表示装置１１内に存在する例を示したが、これらの部位をアプリケーションに応じて分離し、分離した個々の装置を統合することで立体画像表示装置１１の機能を実現しても良い。
図２１に、立体画像表示装置１１を三つの装置に分離した例を示す。一番目は立体表示パネル部１０７の装置であり、二番目は観察者位置計測部１０１と画像処理部１５１とデバイス特性データ保管部１０３を統合した画像処理装置１６０であり、三番目は画像データ保管部１０５の装置である。三つの装置をＨＤＭＩ（登録商標）やＤＶＩなどの画像入出力ケーブル１６３、又はＵＳＢやＬＡＮなどのデータ通信ケーブル若しくはＷ−ＬＡＮなどの無線通信で接続し、各種のデータを送受信することで、立体画像表示装置１１の機能を実現できる。
図２２に、画像処理装置１６０の構成図を示す。画像処理装置１６０は、観察者位置計測部１０１、相対位置算出部１０２、デバイス特性データ保管部１０３、画像フィルタ値算出部１０４、画像フィルタ処理部１０６、画像データ受信部１６１及び画像データ送信部１６２を備えるものである。ここで、観察者位置計測部１０１、相対位置算出部１０２、デバイス特性データ保管部１０３、画像フィルタ値算出部１０４、画像フィルタ処理部１０６は、前述の立体画像処理装置１１の各構成部と同様の機能を有する。
画像データ受信部１６１は、画像処理装置１６０の外部にある画像データ保管部１０５から送信される画像データを受信して、画像フィルタ処理部１０６に送信する機能を有する。また、画像データ送信部１６２は、画像フィルタ処理部１０６から送信される画像データを立体表示パネル部１０７へ送信する機能を有する。画像データ受信部１６１及び画像データ送信部１６２の一例としては、ＨＤＭＩやＤＶＩケーブル等により、画像処理装置１６０へ画像データを送受信するための接続端子とデータ転送機器となる。
上記は三つの装置に分離した例を示したが、分離形態はこれに限定されるものではない。本実施形態１は、３Ｄクロストークによる二重像の影響を軽減する画像処理部１５１に特徴があるため、画像処理部１５１と観察者位置計測部１０１との組み合わせで上述したような単独の画像処理装置１６０として提供することができる。
本実施形態１の立体画像表示装置１１の光学モデル図（図５）では、立体表示パネル１０７ａから二つの異なる視点の画像（Ｌ画像、Ｒ画像）を投影する例を示したが、視点数は二つに限定されるものではなく、多視点の画像を立体表示パネルから投影しても良い。多視点の画像を投影する場合には、観察者が両眼で観察している隣接視点画像全てに画像フィルタ処理を実施してもよいし、逆視が発生する画像同士だけを選択して画像フィルタ処理を実施してもよい。また、これらの画像フィルタ処理の選択に際しては、立体画像表示装置の視点数や隣接視点画像の視差量の大きさに応じて選択することができる。
図２３に、多視点の一例として８視点の立体画像表示装置を示す。３Ｄクロストークは、正視領域内における７０Ｖ１画像−７０Ｖ２画像間、７０Ｖ２画像−７０Ｖ３画像間、７０Ｖ３画像−７０Ｖ４画像間、・・・、７０Ｖ７画像−７０Ｖ８画像間の７組、及び、逆視領域となる７２Ｖ１画像−７０Ｖ８画像、７１Ｖ８画像−７０Ｖ１画像の２組で発生する。一般的に８視点に用いる画像は、ある程度の運動視差を踏まえた画像群となるため、隣接視点画像間の視差量は小さいコンテンツが多い。視差量が小さくなると３Ｄクロストークによる二重像の影響は弱まる。したがって、このような場合は、正視領域内の７組には画像フィルタ処理を実施せずに、観察者の左眼又は右眼が上記２組の逆視領域にある場合にのみ画像フィルタ処理を施すことが望ましい。
ただし、８視点であっても、正視領域内の隣接視点画像間の視差量が大きいコンテンツを観察する場合や、隣接視点画像間の視差量がさほど大きくない場合でも、観察者の観察距離に応じて隣接視点画像間に画像フィルタ処理を実施することが望ましい。特に、観察者の観察距離によっては、左眼に７０Ｖ４画像、右眼に７０Ｖ５画像といった第１隣接視点画像を観察するのではなくて、左眼に７０Ｖ４画像、右眼に７０Ｖ６画像といった第２隣接視点画像、又は、第３隣接視点画像若しくは第４隣接視点画像を観察する状況が生じる。このときに、第２隣接、第３隣接、第４隣接と次数が大きくなるについて、両眼間に入力される画像の視差量が大きくなり、３Ｄクロストークに対する影響が強くなる。このように、観察者の観察位置を計測することで、どの視点画像が観察者の左眼と右眼に位置するかが検出できるため、対象とする次数の視点画像間に対して画像フィルタ処理を実施すれば良い。
図２４に、多視点の他の一例として４視点の立体画像表示装置を示す。３Ｄクロストークは、正視領域内における７０Ｖ１画像−７０Ｖ２画像間、７０Ｖ２画像−７０Ｖ３画像間、７０Ｖ３画像−７０Ｖ４画像間の３組、及び、逆視領域となる７２Ｖ１画像−７０Ｖ４画像間、７１Ｖ４画像−７０Ｖ１画像間の２組で発生する。一般的に４視点の画像は、視点間の視差量が大きいコンテンツも少なくなく、視点間移動時にいわゆるフリッピング効果が発生する。したがって、このような場合には、フリッピング抑制効果も兼ねて、観察者の左眼が上記３Ｄクロストーク領域内にあるときは左眼に投影される画像データに対して画像フィルタ処理を実施し、観察者の右眼が上記３Ｄクロストーク領域内にあるときは右眼に投影される画像データに対して画像フィルタ処理を実施することが望ましい。ただし、４視点でも視差量が小さいコンテンツではこの限りでは無く、逆視領域のみに画像フィルタ処理をすれば良いことは言うまでもない。
その他の例としては、観察者の左眼が７０Ｖ１画像と７０Ｖ２画像との３Ｄクロストーク領域にあり、右眼が７０Ｖ３画像の正視領域にある場合は、７０Ｖ１画像及び７０Ｖ２画像だけを画像フィルタ処理して画像をぼかし、３Ｄクロストークによる二重像の影響を軽減する。この画像フィルタ処理を実施すると、観察者の左眼に投影される画像フィルタ処理後の７０Ｖ１画像及び７０Ｖ２画像は画像フィルタ処理によって画像がぼけてしまうが、観察者の右眼に投影される７０Ｖ３画像は画像ぼけが生じない。したがって、画像フィルタ処理によって３Ｄクロストークによる二重像の影響を軽減しても、観察者の片方の眼では、画像ぼけが無く、画像品質が保たれた状態で立体画像コンテンツを鑑賞できる。
なお、図２３及び図２４の両方又は一方には、視点１の領域７０Ｖ１、視点２の領域７０Ｖ２、視点３の領域７０Ｖ３、視点４の領域７０Ｖ４、視点５の領域７０Ｖ５、視点６の領域７０Ｖ６、視点７の領域７０Ｖ７、視点８の領域７０Ｖ８、視点１の領域７２Ｖ１、視点８の領域７１Ｖ８、視点４の領域７１Ｖ４、視点１用画素４Ｖ１、視点２用画素４Ｖ２、視点３用画素４Ｖ３、視点４用画素４Ｖ４、視点５用画素４Ｖ５、視点６用画素４Ｖ６、視点７用画素４Ｖ７、視点８用画素４Ｖ８が記載されている。
また、上記した画像フィルタ処理は多視点方式に限らず、インテグラル方式や超多眼方式など様々な裸眼立体方式に適用できるのは言うまでもない。ここで、理想的なインテグラル方式では、逆視領域が存在しないが、この場合でも隣接視点間の視差量が所定値より大きい場合には、正視領域内の隣接視点画像間で画像フィルタ処理を実施することが有効となる。
換言すると、本実施形態１の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保管するデバイス特性データ保管部と、前記デバイス特性データに基づき視野角に対して立体画像表示に適した画像フィルタ値を算出する画像フィルタ値算出部と、画像データを保存又は受信する画像データ保管部と、前記画像フィルタ値に従って前記画像データの画像フィルタ処理を実施する画像フィルタ処理部と、画像フィルタ処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部を備えるものである。
本実施形態１によれば、観察者の観察位置とデバイス特性データに基づき算出された画像フィルタ値に従って、画像データの画像フィルタ処理を実施することにより、３Ｄクロストークによる二重像の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。
［実施形態２］
本実施形態２では、立体画像コンテンツの画像データごとに異なる画像フィルタ値を算出することで、画像フィルタ処理によって立体画像コンテンツの画像データがぼけても、観察者が視認する立体画像コンテンツの画像品質の低下を抑制する画像フィルタ処理を実施して、３Ｄクロストークによる二重像の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。
図２５に、立体画像表示装置１２の構成図を示す。立体画像表示装置１２は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像フィルタ値算出部１０４と、画像データ保管部１０５と、画像フィルタ処理部１０６と、立体表示パネル部１０７とを備えるものである。また、相対位置算出部１０２、画像フィルタ値算出部１０４、画像フィルタ処理部１０６を統合した処理部を、画像処理部１５２とする。
以下に、立体画像表示装置１２に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像データ保管部１０５と、立体表示パネル部１０７とは、実施形態１と同様である。
画像フィルタ値算出部１０４は、前記デバイス特性データに基づき、視野角に対して立体画像表示に適した画像フィルタ値を算出する機能を有する。実施形態１では、立体画像コンテンツの画像データであるＬ画像とＲ画像に対して同一の画像フィルタ値を算出したが、本実施形態２では立体画像コンテンツの画像データごとに異なる画像フィルタ値を算出する。
以下の画像フィルタ値算出部１０４では、ガウシアンフィルタの分散値σを定数とおき、画像フィルタの窓幅値Ｗを算出する例を記載する。図２６に、デバイス特性データ保管部１０３に保管されている３Ｄデバイス特性データを示す。図２６Ａは、視野角θに対する左眼用画像と右眼用画像の輝度特性データを示す。図２６Ｂは、この輝度特性データから式（４）にて算出した、視野角θに対する３Ｄクロストーク特性データを示す。なお、デバイス特性データには、３Ｄクロストーク特性データのみを保管しても良い。
図２７に、３Ｄクロストーク特性データ（図２６Ｂ）に基づき、立体画像コンテンツのＲ画像における視野角θに対する画像フィルタの窓幅値ＷＲ（θ）を算出した結果を示す。また、図２８に、３Ｄクロストーク特性データ（図２６Ｂ）に基づき、立体画像コンテンツのＬ画像における視野角θに対する画像フィルタの窓幅値ＷＬ（θ）を算出した結果を示す。ここで、図２７及び図２８においては、画像フィルタの窓幅値が輝度特性データ（又は３Ｄクロストーク特性データ）と対応することを示すために、図２６Ａに示した輝度特性データを併せて示す。
図２９は、この３Ｄクロストーク量に対する二重像の発生・３Ｄクロストークによる立体画像への影響・視野角範囲・領域名（逆視領域、３Ｄクロストーク領域、正視領域）・Ｌ画像における画像フィルタの窓幅値ＷＬ（θ）・Ｒ画像における画像フィルタの窓幅値ＷＲ（θ）の関係を示した表である。
以下、図２７、図２８及び図２９を用いて、正視領域θ５〜θ６、逆視領域θ０〜θ１、３Ｄクロストーク領域θ１〜θ５の各領域に対するＬ画像及びＲ画像における画像フィルタの窓幅値ＷＬ（θ），ＷＲ（θ）について説明する。なお、図２９に示す正視領域θ５〜θ６、逆視領域θ０〜θ１は、右眼を基準した場合の領域名であり、左眼を基準とした場合には、正視領域がθ０〜θ１となり、逆視領域がθ５〜θ６となる。このため、正視領域と逆視領域を便宜上、非３Ｄクロストーク領域としても良い。
正視領域θ５〜θ６と逆視領域θ０〜θ１における画像フィルタの窓幅値ＷＬ（θ），ＷＲ（θ）には、実施形態１と同様に１を代入する。当然ながら、画像フィルタ処理による計算量を削減するために、画像フィルタの窓幅値に１を代入せずに、画像フィルタ処理の実施を中止する命令値を代入しても良い。
３Ｄクロストーク領域θ１〜θ５においては、３Ｄクロストーク量に応じて画像フィルタの窓幅値ＷＬ（θ），ＷＲ（θ）が細分化されている。３Ｄクロストーク量がβ１〜β２（視野角範囲θ１〜θ２，θ４〜θ５）の範囲では、軽度な二重像が発生し、観察者へ違和感を与えるものの立体画像は視認可能である。これに対して、３Ｄクロストーク量がβ２以上（視野角範囲θ２〜θ３，θ３〜θ４）の範囲では、二重像の影響が増大し、観察者が立体画像を視認することはほぼ不可能となる。したがって、二重像の影響の大きさに従い、画像フィルタの窓幅値ＷＬ（θ），ＷＲ（θ）の設定を行うことが望ましい。
具体的には、図２６Ｂの３Ｄクロストーク特性データからの３Ｄクロストーク量を参照して、その量に適した画像フィルタの窓幅値ＷＬ（θ），ＷＲ（θ）を設定する。図２６Ｂの３Ｄクロストーク特性データより、視野角範囲θ１〜θ２では、観察者へ投影される画像データの主体がＬ画像であり、Ｒ画像の画像成分が少しだけ混入している。このため、Ｒ画像にだけ画像フィルタ処理を実施してＲ画像を少量ぼかし、Ｌ画像は画像品質を保つために画像フィルタ処理を実施せずにそのまま保存する。したがって、図２７のＲ画像における画像フィルタの窓幅値ＷＲ（θ）は、Ｙ（ＬＷＲＢ）のカーブに対応するように１から窓幅値Ｗ１までの値を代入し、図２８のＬ画像における画像フィルタの窓幅値ＷＬ（θ）は、１の値を代入する。
視野角範囲θ２〜θ３では、観察者へ投影される画像データの主体がＬ画像であり、Ｒ画像の画像成分が多く混入し、Ｌ画像とＲ画像の画像成分がほぼ同等になる。このため、Ｌ画像とＲ画像に画像フィルタ処理を実施して画像をぼかして保存する。したがって、図２７のＲ画像における画像フィルタの窓幅値ＷＲ（θ）と、図２８のＬ画像における画像フィルタの窓幅値ＷＬ（θ）とには、窓幅値Ｗ１〜Ｗ２の値が代入される。
視野角範囲θ３〜θ４では、観察者へ投影される画像データの主体がＲ画像であり、Ｌ画像の画像成分が多く混入し、Ｌ画像とＲ画像の画像成分がほぼ同等になる。このため、Ｒ画像とＬ画像に画像フィルタ処理を実施して画像をぼかして保存する。したがって、図２７のＲ画像における画像フィルタの窓幅値ＷＲ（θ）と、図２８のＬ画像における画像フィルタの窓幅値ＷＬ（θ）とには、窓幅値Ｗ１〜Ｗ２の値が代入される。
視野角範囲θ４〜θ５では、観察者へ投影される画像データの主体がＲ画像であり、Ｌ画像の画像成分が少しだけ混入している。このため、Ｌ画像にだけ画像フィルタ処理を実施して画像を少しぼかし、Ｒ画像は画像品質を保つために画像フィルタ処理を実施せずにそのまま保存する。したがって、図２７のＲ画像における画像フィルタの窓幅値ＷＲ（θ）には窓幅値１の値が代入され、図２８のＬ画像における画像フィルタの窓幅値ＷＬ（θ）には、Ｙ（ＬＢＲＷ）のカーブに対応するように１〜Ｗ１の値が代入される。なお、画像フィルタの窓幅値ＷＬ（θ），ＷＲ（θ）の算出条件となる窓幅値Ｗ１，Ｗ２は、実施形態１と同様に観察者に対する主観評価結果から特定する。
Ｒ画像における３Ｄクロストーク領域の画像フィルタの窓幅値ＷＲ（θ）は、視野角θ１における窓幅値が１である点と、視野角θ２における窓幅値がＷ１である点と、３Ｄクロストーク領域の中心位置となる視野角θ３における窓幅値がＷ２である点と、視野角θ４における窓幅値がＷ１の点と、視野角θ４における窓幅値が１である点と、視野角θ５における窓幅値が１である点とを、線で補間して繋ぐことで各々の視野角θに対する画像フィルタの窓幅値ＷＲ（θ）を算出する。Ｌ画像に対しても同様の方法で、視野角θに対する画像フィルタの窓幅値ＷＬ（θ）を算出する。
上記の例では、視野角範囲θ２〜θ３ではＬ画像における画像フィルタの窓幅値ＷＬ（θ）に窓幅値Ｗ１〜Ｗ２の値を代入したが、画像データの画像品質を保つために画像フィルタの窓幅値ＷＬ（θ）に１の値を代入して、Ｌ画像への画像フィルタ処理は実施せずにそのまま保存しても良い。これより、３Ｄクロストークの影響を軽減する効果は弱まるが、視野角範囲θ２〜θ３においても画像品質を保った状態で立体画像コンテンツを表示できる。この場合におけるＲ画像の視野角に対する画像フィルタの窓幅値ＷＲ（θ）を図３０に、Ｌ画像の視野角に対する画像フィルタの窓幅値ＷＬ（θ）を図３１に示す。
また、上記の例では、輝度特性データ又は３Ｄクロストーク特性データを参照して、画像フィルタの窓幅値ＷＬ（θ），ＷＲ（θ）を算出する例を示したが、この特性データに加えて、観察者の右眼と左眼それぞれの相対位置を考慮して、画像フィルタの窓幅値ＷＬ（θ），ＷＲ（θ）を算出しても良い。観察者の右眼と左眼それぞれの相対位置を考慮せずに、３Ｄクロストーク特性データだけを参照すると、３Ｄクトストークによる二重像の影響を軽減する処理が優先して実施されるため、右眼と左眼それぞれの観察位置から算出された画像フィルタの窓幅値を比較して、大きくなる方の窓幅値が画像フィルタ値として適用される。
この際の画像フィルタの窓幅値ＷＬ（θ），ＷＲ（θ）を算出する例を、図３２に示す。観察者の左眼が視野角範囲θ１〜θ２（３Ｄクロストーク領域）にあり、右眼が視野角範囲θ５〜θ６（正視領域）にある場合に、３Ｄクロストークによる二重像の影響を軽減するため、Ｒ画像に対して画像ぼかしが実施される。観察者の右眼では、３Ｄクロストークによる二重像の影響が軽減され、Ｌ画像を主体とする画像データが観察者へ投影されるが、観察者の右眼には、画像がぼけて画像品質が低下したＲ画像が投影されてしまう。このような問題を解決するために、３Ｄクロストーク特性データだけでなく、観察者の両眼の相対位置も考慮して、画像フィルタ値を算出する。
例えば、観察者の左眼が視野角範囲θ１〜θ２（３Ｄクロストーク領域）にあり、右眼が視野角範囲θ５〜θ６（正視領域）にある場合には、右眼の相対位置を考慮して、Ｒ画像には画像フィルタ処理を実施せず、その代わりにＬ画像に画像フィルタ処理を実施して、Ｌ画像だけをぼかすことで、３Ｄクロストークによる二重像の影響を軽減する。
図３２に、観察者の両眼の相対位置を考慮して画像フィルタ値を算出するための条件表を示す。
観察者の左眼が３Ｄクロストーク領域にあり、右眼が正視領域にあるときは、Ｌ画像だけをぼかすため、Ｒ画像の窓幅値ＷＲ（θ）を１とおき、Ｌ画像の窓幅値ＷＬ（θ）を１〜Ｗ５の値となるように画像フィルタ値を算出する。
ここで、Ｗ５は、図２７及び図２８に示すＷ２より大きい値に設定する。これは、両眼の相対位置を考慮するために、Ｒ画像よりもＬ画像の方が輝度値の高い３Ｄクロストーク画像となっても、輝度値の高いＬ画像のみをぼかして、３Ｄクロストークによる二重像の影響を軽減することに起因する。
観察者の左眼が３Ｄクロストーク領域にあり、右眼が逆視領域にあるときは、Ｒ画像だけをぼかすため、Ｌ画像の窓幅値ＷＬ（θ）を１とおき、Ｒ画像の窓幅値ＷＲ（θ）を１〜Ｗ５の値となるように画像フィルタ値を算出する。
観察者の左眼が正視領域にあり、右眼が３Ｄクロストーク領域にあるときは、Ｒ画像だけをぼかすため、Ｌ画像の窓幅値ＷＬ（θ）を１とおき、Ｒ画像の窓幅値ＷＲ（θ）を１〜Ｗ５の値となるように画像フィルタ値を算出する。
観察者の左眼が逆視領域にあり、右眼が３Ｄクロストーク領域にあるときは、Ｌ画像だけをぼかすため、Ｒ画像の窓幅値ＷＲ（θ）を１とおき、Ｌ画像の窓幅値ＷＬ（θ）を１〜Ｗ５の値となるように画像フィルタ値を算出する。
観察者の左眼と右眼が３Ｄクロストーク領域にあるときは、Ｌ画像とＲ画像のどちらか一方の画像を選択して、画像ぼかしを実施するため、Ｒ画像の窓幅値ＷＲ（θ）又はＬ画像の窓幅値ＷＬ（θ）のどちらか一方の窓幅値を１〜Ｗ５の値となるように画像フィルタ値を算出する。
図３２の条件表におけるＲ画像の視野角θに対する画像フィルタの窓幅値ＷＲ（θ）を図３３に、Ｌ画像の視野角θに対する画像フィルタの窓幅値ＷＬ（θ）を図３４に示す。
観察者の左眼が視野角範囲θ１〜θ３にあっても、右眼が正視領域にあってＲ画像が投影されている場合には、Ｒ画像はそのまま保存し、Ｌ画像だけに画像ぼかしを実施する。視野角範囲θ１〜θ３ではＬ画像を主体とした画像が投影されるため、Ｌ画像の画像フィルタの窓幅値ＷＬ（θ）を広くし、画像ぼかし効果を高めることで、３Ｄクロストークによる二重像の影響を軽減する。
ここで、図３３の視野角θ４及び図３４の視野角θ２における画像フィルタの窓幅値Ｗ４と、図３３の視野角θ５及び図３４の視野角θ１における画像フィルタの窓幅値Ｗ５とは、実施形態１と同様に観察者に対する主観評価によって特定することが一般的である。主観評価以外の特定方法としては、画像フィルタの窓幅値Ｗ４，Ｗ５を、画像フィルタの窓幅値Ｗ１，Ｗ２を参照して、式（１１）及び式（１２）から算出しても良い。
Ｗ４＝Ｗ２＋Ｗ２−Ｗ１ 式（１１）
Ｗ５＝Ｗ２＋Ｗ２−１ 式（１２）
画像フィルタ処理部１０６は、画像フィルタ値算出部１０４で算出した画像フィルタ値に従って、画像データ保管部１０５に保管されている画像データに画像フィルタ処理を実施する機能を有する。図３５に、３ＤクロストークによりＬ画像とＲ画像が混合した二重像の画像表示状態を示す。図３６に、実施形態１の画像フィルタ処理により、Ｌ画像とＲ画像の両方に画像フィルタ処理を実施して、３Ｄクトストークによる二重像の影響を軽減した画像表示状態を示す。図３７に、本実施形態２の画像フィルタ処理により、Ｒ画像だけに画像フィルタ処理を実施して、３Ｄクロストークによる二重像の影響を軽減した画像表示状態を示す。
実施形態１の画像フィルタ処理を実施した場合には、画像フィルタ処理によるぼかし効果が大きくなるに従って、３Ｄクロストークによる二重像の影響は軽減できるが、立体画像コンテンツの画像品質が低下する。しかし、本実施形態２の画像フィルタ処理を適用した場合には、画像フィルタ処理によるぼかし効果が大きくなっても、立体画像コンテンツの画像品質の低下が少なく、３Ｄクロストークによる二重像の影響を軽減した画像データを観察者へ投影できる。
以上より、立体画像コンテンツの画像データごとに画像フィルタ値を算出し、異なる画像フィルタ値を適用することで、立体画像コンテンツの片一方の画像データにおける画像品質を保った状態で３Ｄクロストークによる二重像の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない、立体画像表示装置を提供できる。
なお、本実施形態２においても、実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体画像表示装置に適用できる。また、本実施形態２の画像処理部１５２を単独の画像処理装置として提供し、立体表示パネル部１０７等と組み合わせて立体画像表示装置の機能を実現できることは言うまでもない。
本実施形態２の立体画像表示装置１２における立体画像処理方法のフローチャートについて、図３８を参照して説明する。
ステップＳ２０１〜ステップＳ２０３は、実施形態１と同様である。
ステップＳ２０４は、画像フィルタ値算出部１０４を使用して、ステップＳ２０２で取得した観察者の両眼の位置関係から、画像フィルタ値の算出条件を判定する。算出条件は図３２の算出条件表を参照して、画像フィルタ処理を実施する画像をＬ画像又はＲ画像にするか否かを判定する。
ステップＳ２０５は、画像フィルタ値算出部１０４を使用することにより、ステップＳ２０４の判定結果を参照して、ステップＳ２０３で取得した３Ｄクロストーク特性データから、ステップＳ２０２で算出した相対位置となる視野角θｐに対する、画像フィルタの窓幅値ＷＲ，ＷＬを算出する。
図３３を参照して算出方法の一例を示す。最初に、ステップＳ２０３で取得した３Ｄクロストークデータの閾値β１，β２から、正視領域の視野角範囲θ５〜θ６と逆視領域の視野角範囲θ０〜θ１と３Ｄクロストーク領域の視野角範囲θ１〜θ５とを特定する。次に、正視領域の視野角範囲θ５〜θ６と逆視領域の視野角範囲θ０〜θ１とにおける画像フィルタの窓幅値Ｗを１とする。その次に、３Ｄクロストーク領域の視野角範囲θ１〜θ５における画像フィルタの窓幅値Ｗ（θ）を決定する。具体的には、視野角θ１における画像フィルタの窓幅値が１である点と、視野角θ２における画像フィルタの窓幅値がＷ１の点と、視野角θ３における画像フィルタの窓幅値がＷ２の点と、視野角θ４における画像フィルタの窓幅値がＷ４の点と、視野角θ５における画像フィルタの窓幅値がＷ５の点とを、線で補間して繋ぐことで、視野角範囲θ１〜θ５におけるＲ画像に対する画像フィルタの窓幅値ＷＲ（θ）を決定する。同様にして、視野角範囲θ１〜θ５におけるＬ画像に対する画像フィルタの窓幅値ＷＬ（θ）を決定する。以上のように、視野角範囲θ０〜θ６における画像フィルタの窓幅値ＷＲ（θ）及び窓幅値ＷＬ（θ）をあらかじめ求めた上で、ステップＳ２０２で算出した相対位置となる視野角θｐに対する、画像フィルタの窓幅値ＷＲ，ＷＬを算出する。次に、ステップＳ２０４の判定結果を参照して、画像フィルタの窓幅値ＷＲ，ＷＬのどちらか一方の窓幅値を１の値に変更する。
ステップＳ２０５からステップＳ２０９は、実施形態１のステップＳ１０４からステップＳ１０８と同様の処理を実施する。
以上より、立体画像コンテンツの画像データごとに画像フィルタ値を算出することで、画像フィルタ処理によって立体画像コンテンツの画像データがぼけても、観察者が視認する立体画像コンテンツの画像品質の低下を少なくする画像フィルタ処理を実現して、３Ｄクロストークによる二重像の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。
換言すると、本実施形態２の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、前記デバイス特性データに基づき視野角に対して立体画像表示に適した画像フィルタ値を画像データごとに算出する画像フィルタ値算出部と、画像データを保存又は受信する画像データ保管部と、前記画像フィルタ値に従って前記画像データの画像フィルタ処理を実施する画像フィルタ処理部と、画像フィルタ処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部を備えるものである。
本実施形態２によれば、画像データごとに画像フィルタ値を算出し、異なる画像フィルタ値を適用することで、立体画像コンテンツの片一方の画像データにおける画像品質を保った状態で、３Ｄクロストークによる二重像の影響を軽減して、観察者の観察位置が移動しても観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。つまり、片一方の画像データだけ画像フィルタ処理を実施することにより、もう片一方の画像データの画像品質を保った状態にする。
［実施形態３］
本実施形態３では、３Ｄクロストークによる二重像の影響が現れる画像範囲だけに画像フィルタ処理を適用することで、その他の画像範囲は画像フィルタ処理による画像ぼけが無い表示状態で、３Ｄクロストークによる二重像の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。
図３９に、立体画像表示装置１３の構成図を示す。立体画像表示装置１３は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像フィルタ値算出部１０４と、画像データ保管部１０５と、画像フィルタ処理部１０６と、立体表示パネル部１０７と、３Ｄクロストーク画像範囲算出部１１０と、を備えるものである。また、相対位置算出部１０２、画像フィルタ値算出部１０４、画像フィルタ処理部１０６、３Ｄクロストーク画像範囲算出部１１０を統合した処理部を、画像処理部１５３とする。
以下に、立体画像表示装置１３に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像フィルタ値算出部１０４と、画像データ保管部１０５と、立体表示パネル部１０７とは、実施形態１と同様である。
３Ｄクロストーク画像範囲算出部１１０は、３Ｄクロストークによる二重像が現れる画像範囲を算出する機能を有する。３Ｄクロストークによる二重像が現れる画像範囲は、観察者の観察位置と立体表示パネルの相対位置によって変化する。任意の相対位置における二重像が現れる画像範囲は、デバイス特性データ保管部１０３に保管されている３Ｄクロストーク特性データと光学モデルから決定される。
図４０に、任意の相対位置における二重像が現れる画像範囲の一例を示す。図４０は、３Ｄクロストーク領域内で、Ｘ軸方向（図３を参照）とＺ軸方向に相対位置が移動した場合に、その相対位置へ投影される画像表示状態を示す。相対位置がＸ軸方向に移動すると、それに応じて二重像が現れる画像範囲もＸ軸方向に移動する。また、相対位置がＺ軸方向に移動すると、それに応じて二重像が現れる画像範囲が広がっていく。
画像フィルタ処理部１０６は、３Ｄクロストーク画像範囲算出部１１０で算出された画像範囲に従って画像フィルタ処理を実施する。相対位置算出部１０２から得られる観察者の右眼と左眼の位置情報と、３Ｄクロストーク画像範囲算出部１１０で算出された画像範囲情報とから、観察者の右眼と左眼に投影される画像データの任意の画像範囲に、Ｒ画像が投影されるか、Ｌ画像が投影されるか、３Ｄクロストークによる二重像（以下、ＣＴ画像と記載する）が投影されるかを判定する。
図４１に、観察者の右眼と左眼に投影される画像の種類（Ｌ画像、Ｒ画像、ＣＴ画像）に対応した画像フィルタ処理の実施判定表を示す。左眼にＬ画像が投影され、右眼にＲ画像が投影されている画像範囲は、画像フィルタ処理を適用せずにそのままにする。右眼にＲ画像が投影され、左眼にＣＴ画像が投影されている画像範囲は、Ｌ画像だけに画像フィルタ処理を適用する。右眼と左眼にＲ画像が投影されている画像範囲と、右眼と左眼にＬ画像が投影されている画像範囲とは、画像フィルタ処理を適用せずにそのままにする。右眼にＣＴ画像が投影され、左眼にＬ画像が投影されている画像範囲は、Ｒ画像だけに画像フィルタ処理を適用する。右眼にＬ画像が投影され、左眼にＲ画像が投影されている画像範囲では、画像フィルタ処理は適用せずに、Ｒ画像とＬ画像を入れ替える。右眼にＬ画像が投影され、左眼にＣＴ画像が投影されている場合は、Ｒ画像だけに画像フィルタ処理を適用して、Ｒ画像とＬ画像を入れ替える。右眼にＣＴ画像が投影され、左眼にＲ画像が投影されている画像範囲では、Ｌ画像だけに画像フィルタ処理を適用して、Ｒ画像とＬ画像を入れ替える。右眼と左眼にＣＴ画像が投影されている画像範囲では、Ｌ画像とＲ画像に画像フィルタ処理を適用する。また、右眼と左眼にＣＴ画像が投影されている画像範囲では、ＣＴ画像に混入している画像成分が少ない方の画像（Ｒ画像又はＬ画像）だけに画像フィルタ処理を適用しても良い。
図４２に、観察者の右眼・左眼に投影される画像表示状態の一例を示す。図４２では、観察者の左眼に対して、画像の左側範囲にＬ画像、中間範囲にＣＴ画像、右側範囲にＲ画像となった画像データが投影され、観察者の右眼に対して、画像の右側範囲にＲ画像、中間範囲にＣＴ画像、左側範囲にＬ画像となった画像データが投影されている。
図４３Ａに図４２と同様の画像表示状態を示し、図４３Ｂに図４２の画像データに適用する画像フィルタ処理内容を示し、図４３Ｃに画像フィルタ処理後に観察者へ投影される画像表示状態を示す。
画像の左側範囲（図４３ＢのＡ領域）は、観察者の左眼にＬ画像、右眼にＲ画像が投影されるため、画像フィルタ処理は実施しない。画像の左側中央範囲（図４３ＢのＢ領域）は、観察者の左眼にＬ画像、右眼にＣＴ画像が投影されるため、Ｒ画像に画像フィルタ処理を実施する。画像の中央範囲（図４３ＢのＣ領域）は観察者の右眼と左眼にＣＴ画像が投影されるため、Ｌ画像とＲ画像に画像フィルタ処理を適用する。画像の右側中央範囲（図４３ＢのＤ領域）は左眼にＣＴ画像、右眼にＬ画像が投影されるため、Ｒ画像に画像フィルタ処理を実施した後で、Ｌ画像とＲ画像を入れ替える。画像の右側範囲（図４３ＢのＥ領域）は左眼にＲ画像、右眼にＬ画像が投影されるため、Ｌ画像とＲ画像を入れ替える。
以上の画像フィルタ処理を実施すると、観察者の左眼に対してＬ画像の中央範囲（図４３ＣのＣ領域）で画像ぼけした画像データが投影され、観察者の右眼に対してＲ画像の左側中央範囲と中央範囲と右側中央範囲（図４３ＣのＢ、Ｃ、Ｄ領域）で画像ぼけした画像データが投影される。したがって、３Ｄクロストークによる二重像の影響が現れる画像範囲だけに画像フィルタ処理を適用することで、その他の画像範囲は画像フィルタ処理による画像ぼけが無い表示状態で立体画像を表示し、かつ、３Ｄクロストークによる二重像の影響を軽減できる。
また、実際の立体表示パネル１０７ａでは、電気光学手段である表示パネル２と光学分離手段であるレンチキュラレンズ３との位置関係に、所定精度内の位置ズレが発生する（例えば図５参照）。このような場合には、図４４に示すような斜め成分の３Ｄクロストーク画像範囲が発現する。
図４５に、電気光学手段と光線分離手段との間に回転ズレが発生した場合における画像表示状態と３Ｄクロストーク特性データとの関係図を示す。図４５［Ａ］は、斜め成分の３Ｄクロストーク画像範囲が発現した画像表示状態を示す。図４５［Ｂ］は、図４５［Ａ］のｙ1線上の位置での、Ｘ軸方向の位置に対する３Ｄクロストーク特性データを示す。図４５［Ｃ］は、図４５［Ａ］のｙ2線上の位置での、Ｘ軸方向の位置に対する３Ｄクロストーク特性データを示す。図４５［Ｂ］と図４５［Ｃ］より、Ｙ軸方向の位置によっても、３Ｄクロストーク特性データは変化する。
画像フィルタ値の算出では、次の第一乃至第三の処理を実行する。第一の処理として、立体表示パネルの上端（図４５［Ａ］のｙ１線上）、中央（図４５［Ａ］のｙ３線上）、下端（図４５［Ａ］のｙ２線上）の３つの線上で３Ｄクロストーク量が最大値となるＸ軸方向の位置を検出し（図４５［Ａ］のｙ１線上であればｘ2の位置となり、図４５［Ａ］のｙ2線上であればｘ1の位置となる。）、検出したＸ軸方向の位置から斜め成分の３Ｄクロストーク画像範囲の傾きを算出する。
第二の処理として、立体表示パネルの中央（図４５［Ａ］のｙ３線上）における３Ｄクロストーク特性データから、実施形態１と同様の算出方法により、Ｘ軸方向の位置に対する画像フィルタ値を算出する。ここで、実施形態１では視野角に対する画像フィルタ値を算出したが、この第二の処理では視野角の代わりにＸ軸方向の位置に対する画像フィルタ値を算出する。
第三の処理として、立体表示パネルの中央以外（図４５［Ａ］のｙ３線上以外）の画像フィルタ値を、第一の処理で算出した３Ｄクロストーク画像範囲の傾きを参照して、第二の処理で算出した画像フィルタ値をＸ軸方向へシフトすることで算出する。以上の処理により、表示パネルとレンチキュラレンズとの位置ズレが発生した場合でも、立体表示パネル面上のすべての位置に対する画像フィルタ値を算出して、３Ｄクロストーク画像範囲に適切な画像フィルタ値を実施することができる。
なお、本実施形態３においても、実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体表示装置に適用できる。また、本実施形態３の画像処理部１５３を単独の画像処理装置として提供し、立体表示パネル部１０７等と組み合わせて立体画像表示装置１３の機能を実現できることは言うまでもない。
本実施形態３の立体画像表示装置１３における立体画像処理方法のフローチャートについて、図４６を参照して説明する。
ステップＳ３０１〜ステップＳ３０５は、実施形態１と同様である。
ステップＳ３０６は、３Ｄクロストーク画像範囲算出部１１０を使用して、ステップＳ３０２で算出した相対位置とステップＳ３０３で取得したデバイス特性データとから、観察者の右眼と左眼にＣＴ画像が投影される画像範囲（３Ｄクロストーク画像範囲）を算出する。
ステップＳ３０７は、画像フィルタ処理部１０６を使用することにより、ステップＳ３０６で算出した画像範囲から、図４１に示す画像フィルタ処理の実施判定表を参照して、画像フィルタ処理を実施する画像範囲を判定する。次に、判定した画像範囲に対して、ステップＳ３０４で算出した画像フィルタ値を参照し、ステップＳ３０５で取得した画像データの画像フィルタ処理を実施する。ステップＳ３０７の画像フィルタ処理では、画像範囲内にある画像データの各画素に、画像フィルタ値をコンボリューションして、画像フィルタ処理後の画像データを生成する。
ステップＳ３０８及びステップＳ３０９は、実施形態１のステップＳ１０７及びステップＳ１０８と同様である。
上記の処理を適用することで、３Ｄクロストークによる二重像の影響が現れる画像範囲だけに画像フィルタ処理を適用することで、その他の画像範囲は画像フィルタ処理による画像ぼけが無い表示状態で、３Ｄクロストークによる二重像の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。
換言すると、本実施形態３の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、デバイス特性データから３Ｄクロストークによる二重像が現れる画像範囲を算出する３Ｄクロストーク画像範囲算出部と、前記デバイス特性データに基づき視野角に対して立体画像表示に適した画像フィルタ値を算出する画像フィルタ値算出部と、画像データを保存又は受信する画像データ保管部と、前記画像フィルタ値と前記３Ｄクロストークの画像範囲に従って前記画像データの画像フィルタ処理を実施する画像フィルタ処理部と、画像フィルタ処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部を備えるものである。
本実施形態３によれば、３Ｄクロストークによる二重像の影響が現れる画像範囲だけに、画像フィルタ処理を適用することで、その他の画像範囲は画像データの画像品質を保った状態で、３Ｄクロストークによる二重像の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。
［実施形態４］
本実施形態４では、立体画像表示装置を使用する環境温度が変化しても、その温度に適切な画像フィルタ処理を行い、３Ｄクロストークによる二重像の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。
図４７に、立体画像表示装置１４の構成図を示す。立体画像表示装置１４は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像フィルタ値算出部１０４と、画像データ保管部１０５と、画像フィルタ処理部１０６と、立体表示パネル部１０７と、温度計測部１１４とを備えるものである。また、相対位置算出部１０２、画像フィルタ値算出部１０４、画像フィルタ処理部１０６を統合した処理部を、画像処理部１５４とする。
以下に、立体画像表示装置１４に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、画像データ保管部１０５と、画像フィルタ処理部１０６と、立体表示パネル部１０７とは、実施形態１と同様である。
温度計測部１１４は、立体画像表示装置１４の温度を計測する機能を有する。レンチキュラレンズはガラス等の無機材で作られることも可能であるが、製品コストの関係によりポリメチルメタクリレート（ＰＭＭＡ）、シクロポリオレフィン（ＣＯＰ）、ポリカーボネート（ＰＣ）に代表されるエンジニアリングプラスチック等の有機材で作られることが多い。このため、立体画像表示装置１４を使用する環境温度が変化すると、プラスチック材で作成されたレンチキュラレンズと、一般的にガラス基板を用いる表示パネルとの材料の違い、すなわちプラスチック材料とガラス材料の熱膨張係数差により、レンチキュラレンズと表示パネルの位置関係が変動する。
図４８に、温度の下降につれてレンチキュラレンズが移動し、立体表示パネルの光学モデルが変化した図を示す。環境温度が下降すると、レンチキュラレンズは表示パネル中心部へ収縮する。このため、図４８の左眼用画素４Ｌ及び右眼用画素４Ｒからレンチキュラレンズ３（シリンドリカルレンズ３ａ，３ｂ）を通って観察者へ投光される光線２０，２１の傾きは、常温時よりも減少する。図４８の光学モデル図より、環境温度が常温である場合の右眼領域７０Ｒ及び左眼領域７０Ｌと、環境温度が下降した場合の右眼領域７０Ｒｃ及び左眼領域７０Ｌｃの空間の位置を比較すると、環境温度が下降するに従って、右眼領域及び左眼領域は立体表示パネルへ近づくことが確認できる。
図４９に、温度の上昇につれてレンチキュラレンズが移動し、立体表示パネルの光学モデルが変化した図を示す。環境温度が上昇すると、レンチキュラレンズ３は表示パネルの両端部へ伸長する。このため、図４９の左眼用画素４Ｌ及び右眼用画素４Ｒからレンチキュラレンズ３（シリンドリカルレンズ３ａ，３ｂ）を通って観察者へ投光される光線２０，２１の傾きは、常温時よりも増大する。図４９の光学モデル図より、環境温度が常温である場合の右眼領域７０Ｒ及び左眼領域７０Ｌと、環境温度が上昇した場合の右眼領域７０Ｒｈ及び左眼領域７０Ｌｈの空間の位置を比較すると、環境温度が上昇するに従って、右眼領域及び左眼領域は立体表示パネルから遠ざかることが確認できる。
本実施形態４では、環境温度の変化に伴って立体表示パネルの光学モデルが変化する影響を考慮して、画像フィルタ処理を実施する。温度計測部１１４は、立体表示パネル付近の温度を計測することで、温度変化による立体表示パネルの光学モデルの状態を把握する。温度計測には汎用の抵抗温度計などが使用でき、この温度計を立体画像表示装置１４に設置することで、立体表示パネルの環境温度を計測する。
図４７に示すデバイス特性データ保管部１０３は、立体画像表示装置１４を使用する環境温度に対応する３Ｄクロストーク特性データを予め保存する。環境温度に対応する特性データに関しては以下に述べる。
図５０に、環境温度が低温である場合の３Ｄクロストーク特性データの一例を示す。立体画像表示装置１４では、３Ｄクロストーク特性データに依存して右眼領域・左眼領域・３Ｄクロストーク領域が決定される。一例として、立体視領域を３Ｄクロストーク量のβ３１％以下とすれば、図５０より視野角θ３１°〜θ３５°の領域までが３Ｄクロストーク領域となり、それ以外の視野角は右眼領域・左眼領域となる。
この場合の立体画像表示装置１４の光学モデルを図５１に示す。図５１では視野角θ３１°〜θ３５°の部分が３Ｄクロストーク領域となるため、図４８よりも一段と右眼領域７０Ｒｃ及び左眼領域７０Ｌｃの領域は狭まる。右眼５５Ｒにとっては、図４８と同様に右眼領域７０Ｒｃが正視領域であり、左眼領域７０Ｌｃ，７２Ｌｃが逆視領域で、それ以外の領域が３Ｄクロストーク領域となる。
図５２に、図５１における領域８１の拡大図を示す。Ｚ軸上の任意の値であるＺ１とＺ２における右眼領域７０Ｒ・左眼領域７２Ｌ・３Ｄクロストーク領域の領域幅は異なり、またＺ軸の位置に依存して正視領域・逆視領域・３Ｄクロストーク領域の領域幅は変化することがわかる。
また、図５３に、Ｚ軸上の任意の値Ｚ１における正視領域・逆視領域・３Ｄクロストーク領域の領域幅と図５０で示した視野角との関係図を示す。右眼５５Ｒを基準にすると、視野角θ３０°〜θ３１°の領域が逆視領域に、θ３１°〜θ３５°の領域が３Ｄクロストーク領域に、θ３５°〜θ３６°の領域が正視領域となる。また、視野角θ３３°の位置で最も３Ｄクロストーク量が大きくなり、視野角θ３２°〜θ３４°の領域は、図５０より、３Ｄクロストーク量がβ３２以上の領域となる。
以上、環境温度に対応する特性データに関して述べたが、このデータの一例として、環境温度が−２０℃〜６０℃の範囲で５℃おきの３Ｄクロストーク特性データを用いるといったように、立体画像表示装置１４の使用に応じて任意の内容が適用可能である。また、３Ｄクロストーク特性データを算出するのに必要なパラメータを保管しておき、環境温度に応じて３Ｄクロストーク特性データを求めるプログラムを備えることも可能である。ここで、パラメータの一例として、表示パネルに具備されたレンチキュラレンズの実効的な線膨張係数、パネルサイズ、パネル解像度などを用いることができる。
図４７に示す画像フィルタ値算出部１０４は、温度計測部１１４で計測した温度に対応する３Ｄクロストーク特性データを前述したデバイス特性データ保管部１０３から取得し、その３Ｄクロストーク特性データに基づき視野角に対して立体画像表示に適した画像フィルタ値を算出する。画像フィルタ値の算出処理と、その後の画像フィルタ処理とは、実施形態１と同様に実施する。これより、立体画像表示装置１４を使用する環境温度に適切な画像フィルタ処理が実施できる。
なお、本実施形態４においても、実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体表示装置に適用できる。また、本実施形態４の画像処理部１５４を単独の画像処理装置として提供し、立体表示パネル部１０７等と組み合わせて立体画像表示装置１４の機能を実現できることは言うまでもない。
本実施形態４の立体画像表示装置１４における立体画像処理方法のフローチャートについて、図５４を参照して説明する。
ステップＳ４０１からステップＳ４０２は、実施形態１と同様の処理を実施する。
ステップＳ４０３は、温度計測部１１４で立体表示パネル付近の温度を計測する。
ステップＳ４０４は、デバイス特性データ保管部１０３から、ステップＳ４０３で計測した温度に対応するデバイス特性データを取得する。
ステップＳ４０５からステップＳ４０９は、実施形態１のステップＳ１０４からステップＳ１０８と同様の処理を実施する。
以上より、立体画像表示装置１４を使用する環境温度が変化しても、その温度に適切な画像フィルタ処理を行い、３Ｄクロストークによる二重像や逆視の問題を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。
換言すると、本実施形態４の立体画像表示装置置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、前記デバイス特性データに基づき視野角に対して立体画像表示に適した画像フィルタ値を算出する画像フィルタ値算出部と、画像データを保存又は受信する画像データ保管部と、前記画像フィルタ値に従って前記画像データの画像フィルタ処理を実施する画像フィルタ処理部と、画像フィルタ処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、使用環境温度を計測する温度計測部を備えるものである。
本実施形態４によれば、観察者の観察位置とデバイス特性データに加えて、使用環境温度と立体表示パネルの温度特性データを考慮して画像フィルタ値を算出することにより、立体画像表示装置を使用する環境温度に対して、適切な画像フィルタ処理を実現する。これより、立体画像表示装置を使用する環境温度が変化しても、その温度に適切な画像フィルタ処理を行い、３Ｄクロストークによる二重像の影響を解決して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。
［実施形態５］
本実施形態５では、デバイス特性データだけでなく、立体画像コンテンツの視差値を参照して、画像フィルタ値を算出することにより、立体画像コンテンツの視差値に適した画像フィルタ処理を実施して、３Ｄクロストークによる二重像の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することが目的となる。
図５５に、立体画像表示装置１５の構成図を示す。立体画像表示装置１５は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像フィルタ値算出部１０４と、画像データ保管部１０５と、画像フィルタ処理部１０６と、立体表示パネル部１０７と、視差値検出部１１５とを備えるものである。また、相対位置算出部１０２、画像フィルタ値算出部１０４、画像フィルタ処理部１０６、視差値検出部１１５を統合した処理部を、画像処理部１５５とする。
以下に、立体画像表示装置１５に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像データ保管部１０５と、画像フィルタ処理部１０６と、立体表示パネル部１０７とは、実施形態１と同様である。
視差値検出部１１５は、画像データ保管部１０５に保管されている立体画像コンテンツの視差値を検出する。画像データ保管部に立体画像コンテンツの視差画像が保管されている場合には、視差画像から各画素における視差値を検出する。
図５６に視差画像と視差値の関係図を示す。図５６の右図は、視差画像（図５６の左図）からＹ軸上の任意値Ｙ１の画素列を取り出し、その画素列に対する視差値ｕを表した図である。ここで、視差値はＬ画像を基準にとり、Ｌ画像の画素値に対応するＲ画像の画素値の位置ずれ量を示す。
具体例として図５７に視差値とＬＲ画像の関係図を示す。視差画像の位置（ｘ１，ｙ２）の視差値は、Ｌ画像の位置（ｘ１，ｙ２）と、これに対応するＲ画像の画素値の位置（ｘ２，ｙ２）との差分値となる（式（１０））。
視差値ｕ＝ｘ１−ｘ２ 式（１０）
これより、視差画像の画素値を参照することで、各画素における視差値を検出できる。また、画像データ保管部１０５に視差画像が保管されていない場合には、立体画像コンテンツの画像データであるＬ画像とＲ画像から視差値を算出して視差画像を生成する。視差値の算出では、画像の輝度値情報を使用してＬ画像内にある特徴点を検出し、Ｒ画像内から特徴点に対応する対応点を探索し、Ｌ画像の特徴点の位置とＲ画像の対応点の位置との位置ずれ量から、視差値を算出する。これより、画像データ保管部１０５に視差画像が保管されていない場合であっても各画素の視差値を検出できる。
画像フィルタ値算出部１０４は、視差値検出部１１５で検出した立体画像コンテンツの視差値を参照して、画像フィルタ値を算出する。３Ｄクロストークによる二重像の影響は、視差値が大きい場合に強くなり、視差値が小さい場合に弱くなる。したがって、視差値が大きい画像内の画素では画像ぼかし効果の高い画像フィルタ値を適用して画像フィルタ処理を実施し、視差値が小さい画像内の画素では画像ぼかし効果の低い画像フィルタ値を適用して画像フィルタ処理を実施することで、立体画像コンテンツの視差値に適した画像フィルタ処理を実施できる。
立体画像コンテンツの視差値に適した画像フィルタ値の算出方法の一例としては、視差値によって、画像フィルタの窓幅値Ｗｐに重み付けすることで、立体画像コンテンツの画像内にある画素ごとに画像フィルタの窓幅値Ｗｐ（ｘ，ｙ）の値を変更する。以下に画像フィルタの窓幅値Ｗｐ（ｘ，ｙ）の算出方法を示す。
初めに、実施形態１と同様にして、すべての視野角範囲θ０〜θ６（正視領域、逆視領域、３Ｄクロストーク領域）に対する画像フィルタの窓幅値Ｗ（θ）を算出する。次に、相対位置算出部１０２で算出した観察者の観察位置となる視野角θｐでの、画像フィルタの窓幅値Ｗｐを取得する。次に、立体画像コンテンツの視差値から、画像フィルタの窓幅値Ｗｐへの重み付け値αを算出する。
図５８に、視差画像より重み付け値αを算出した例を示す。立体画像コンテンツの画像内にある画素ごとの重み付け値α（ｘ，ｙ）は、立体画像コンテンツの視差画像の各画素に保管された視差値ｕ（ｘ，ｙ）から視差画像の視差最大値ｕｍａｘを割算して算出する。（式（１１））。ここで、ｕ（ｘ，ｙ）は視差画像の画素位置（ｘ，ｙ）に保持される視差値を示す。
α（ｘ，ｙ）＝ｕ（ｘ，ｙ）／ｕｍａｘ 式（１１）
次に、算出した重み付け値α（ｘ，ｙ）を画像フィルタの窓幅値Ｗｐに乗算して、立体画像コンテンツの画像内にある画素ごとに画像フィルタの窓幅値Ｗｐ（ｘ，ｙ）を算出する（式（１２））。
Ｗｐ（ｘ，ｙ）＝Ｗｐ×α（ｘ，ｙ） 式（１２）
以上より、画像フィルタの窓幅値Ｗｐ（ｘ，ｙ）を算出できる。なお、画像フィルタの窓幅値Ｗｐ（ｘ，ｙ）は、整数であることが望ましいので、小数値を四捨五入することで整数値に近似しても良い。算出した画像フィルタの窓幅値Ｗｐ（ｘ，ｙ）に、任意のフィルタ形状（ガウシアンフィルタ等）を適用して画像フィルタ値を算出する。
画像フィルタ処理部１０６は、画像フィルタ値算出部１０４で算出した画像フィルタ値に従って、画像データ保管部１０５に保管されている画像データに対して画像フィルタ処理を実施する。画像フィルタ値算出部１０４で算出した画像フィルタ値は、立体画像コンテンツの画像データの視差値に応じて、画像データの画素ごとに異なる値となっているため、実施形態１と同様に、画像データの各画素に、画像フィルタ値をコンボリューションすることで画像フィルタ処理を実施する。
これより、デバイス特性データだけでなく、立体画像コンテンツの視差値を参照して、画像フィルタ値を算出することにより、立体画像コンテンツの視差値に適した画像フィルタ処理を実施できる。なお、本実施形態５においても、実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体表示装置に適用できる。また、本実施形態５の画像処理部１５５を単独の画像処理装置として提供し、立体表示パネル部１０７等と組み合わせて立体画像表示装置１５の機能を実現できることは言うまでもない。
本実施形態５の立体画像表示装置１５における立体画像処理方法のフローチャートについて、図５９を参照して説明する。
ステップＳ５０１からステップＳ５０５は、実施形態１と同様の処理を実施する。
ステップＳ５０６は、画像データ保管部１０５に保管された画像データの視差値を算出する。
ステップＳ５０７は、ステップＳ５０６で算出した画像データの視差値を参照して、画像データの各画素に対する画像フィルタ値の重み付け値α（ｘ，ｙ）を算出する。
ステップＳ５０８は、ステップＳ５０４で算出した画像フィルタ値Ｗｐに重み付け値α（ｘ，ｙ）を乗算することで、画像データの視差値に適した画像フィルタ値Ｗｐ（ｘ，ｙ）へ変更する。
ステップＳ５０９は、画像フィルタ処理部１０６を使用して、ステップＳ５０８で変更した画像フィルタ値Ｗｐ（ｘ，ｙ）に従って、ステップＳ５０５で取得した画像データに画像フィルタ処理を実施する。ステップＳ５０９の画像フィルタ処理では、画像データの各画素に、画像フィルタ値をコンボリューションして、画像フィルタ処理後の画像データに変換する。
ステップＳ５１０は、立体表示パネル部１０７を使用して、ステップＳ５０９で画像フィルタ処理した画像データを立体表示パネル上に立体画像表示する。
ステップＳ５１１は、立体画像表示処理を中止するか、連続的に実行するかを設定する。立体画像表示装置１５の電源がＯＦＦされたときや、観察者によって立体画像表示の中断が指示されたときには、立体画像表示処理を中止する。立体画像表示処理を中止するイベントが無ければ、立体画像表示処理を連続的に実行する。ステップＳ５１１で立体画像表示処理が中止された場合は、立体画像表示処理を終了する。ステップＳ５１１で立体画像表示処理が連続的に実行される場合は、ステップＳ５０１の処理に戻り、ステップＳ５０１〜ステップＳ５１１までの処理を繰り返して実行する。
以上より、デバイス特性データだけでなく、立体画像コンテンツの視差値を参照して、画像フィルタ値を算出することにより、立体画像コンテンツの視差値に適した画像フィルタ処理を実施して、３Ｄクロストークによる二重像の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。
換言すると、本実施形態５の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、画像データを保存又は受信する画像データ保管部と、前記画像データの視差値を検出する視差値検出部と、前記画像データの視差値と前記デバイス特性データに基づき視野角に対して立体画像表示に適した画像フィルタ値を算出する画像フィルタ値算出部と、前記画像フィルタ値に従って前記画像データの画像フィルタ処理を実施する画像フィルタ処理部と、画像フィルタ処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、を備えるものである。
本実施形態５によれば、観察者の観察位置とデバイス特性データに加えて、立体画像コンテンツの画像データの視差値を考慮して、画像フィルタ値を算出することにより、立体画像コンテンツの画像データの視差値に適した画像フィルタ処理を実施して、３Ｄクロストークによる二重像の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。
［実施形態６］
本実施形態６では、画像データごとに３Ｄクロストークによる二重像が出現する画像範囲の方向性を考慮して、画像フィルタ値を算出することにより、画像データごとに３Ｄクロストークによる二重像が出現する画像範囲の方向性に適した画像フィルタ処理を実施して、３Ｄクロストークによる二重像の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。
図６０に、立体画像表示装置１６の構成図を示す。立体画像表示装置１６は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像フィルタ値算出部１０４と、画像データ保管部１０５と、画像フィルタ処理部１０６と、立体表示パネル部１０７と、を備えるものである。また、相対位置算出部１０２、画像フィルタ値算出部１０４、画像フィルタ処理部１０６を統合した処理部を、画像処理部１５６とする。
以下に、立体画像表示装置１６に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像データ保管部１０５と、立体表示パネル部１０７とは、実施形態１と同様である。
画像フィルタ値算出部１０４は、画像データごとに３Ｄクロストークによる二重像が出現する画像範囲の方向性を考慮して、前記デバイス特性データに基づき視野角に対して立体画像表示に適した画像フィルタ値を算出する機能を有する。実施形態１では、画像フィルタ値にフィルタ形状が左右対称であるガウシアンフィルタを適用して画像フィルタ値を算出したが、本実施形態６では画像データごとに３Ｄクロストークによる二重像が出現する画像範囲の方向性を考慮して、フィルタ形状が左右非対称な固有のフィルタ形状を使用して画像フィルタ値を算出する。
３Ｄクロストークによる二重像は、Ｌ画像とＲ画像との混合により発生するため、二重像が出現する画像範囲の方向を特定できる。図６１に、立体画像コンテンツとして中央部に球物体が飛び出し表示される場合のＬ画像とＲ画像を示す。図６２に、３Ｄクロストークにより図６１のＬ画像とＲ画像が混合された二重像の一例を示す。図６２の３Ｄクロストークによる二重像は、Ｌ画像が基準となり、Ｒ画像の画像成分が５０％（Ｌ画像を１００％としたとき）ほど混合している画像である。３Ｄクロストークでは、Ｌ画像の球物体は右側に、Ｒ画像の球物体は左側に表示されて、二重像となる。したがって、Ｌ画像であるか、Ｒ画像であるかによって、３Ｄクロストークによる二重像が出現する画像範囲が右側であるか、左側であるかを特定できる。
これより、Ｌ画像の画像フィルタ値には図６３に示す画像フィルタ形状を使用し、Ｒ画像の画像フィルタ値には図６４に示す画像フィルタ形状を使用する。図６３の画像フィルタ形状は、Ｘ軸の値が負の位置では画像フィルタ値を０とおき、Ｘ軸の値が０の位置では画像フィルタ値を最大値とし、Ｘ軸の値が上昇するに従って画像フィルタ値を減少させたフィルタ形状である。図６４の画像フィルタ形状は、反対にＸ軸の値が正の位置では画像フィルタ値を０とおき、Ｘ軸の値が０の位置では画像フィルタ値を最大値とし、Ｘ軸の値が降下するに従って画像フィルタ値を減少させたフィルタ形状である。
図６５及び図６６に、画像フィルタ形状が図６３及び図６４であり、画像フィルタの窓幅値が５（５×５画素）である場合の、画像フィルタ値の一例を示す。図６５に示したＬ画像に適用する画像フィルタ値に従って、画像フィルタ処理を実施すると、画像データを左側にシフトしたように画像ぼかし処理が実施される。一方、図６６に示したＲ画像に適用する画像フィルタ値に従って、画像フィルタ処理を実施すると、画像データを右側にシフトしたように画像ぼかし処理が実施される。このような左右非対称な画像フィルタ値に従って画像フィルタ処理を実施すると、画像データを任意の方向にシフトするように画像ぼかし処理が実施されるので、画像データごとに、３Ｄクロストークによる二重像が出現する画像範囲の方向性に適した画像フィルタ処理が実施できる。
なお、図６５に示した画像フィルタ値は、Ｙ軸の値が０以外の位置では、画像フィルタ値に０を代入した一例を示したが、図６７のようにＹ軸の値が０以外の位置でも画像フィルタ値に任意の値を代入しても良い。
画像フィルタ処理部１０６は、画像フィルタ値算出部１０４で算出した画像フィルタ値に従って、画像データ保管部１０５に保管されている画像データに対して画像フィルタ処理を実施する機能を有する。
図６８に、画像フィルタ値算出部１０４で算出した左右非対称な画像フィルタ値に従って、画像フィルタ処理を実施して変換された画像データの一例を示す。また、図６９に、３Ｄクロストークにより図６８のＬ画像とＲ画像が混合した二重像の一例を示す。図７０には、左右対称な画像フィルタ値に従って、画像フィルタ処理を実施して変換された画像データの一例を示す。図７１に、３Ｄクロストークにより図７０のＬ画像とＲ画像が混合した二重像の一例を示す。図６９と図７１との比較により、左右非対称な画像フィルタ値を適用すると、３Ｄクロストークによる二重像が出現する画像範囲の方向だけに画像ぼかし処理が実施されるため、３Ｄクロストークによる二重像の影響を効率的に低減することを示した。
上記の一例では、立体画像コンテンツ内の物体が３Ｄディスプレイより前方に飛び出して表示される例について示したが、３Ｄディスプレイより後方の奥行き方向へ表示される場合にも左右非対称な画像フィルタ値を適用しても良い。奥行き方向に表示される物体は、立体画像コンテンツの撮影条件（仮想カメラの設置条件）によっては、３Ｄクロストークによる二重像が出現する画像範囲の方向が反対方向になる可能性がある。
図７２にシフトセンサによる仮想カメラの設置図を、図７３にトーインによる仮想カメラの設置図を示す。
シフトセンサによる仮想カメラの設置は、Ｌ画像用の仮想カメラ４１とＲ画像用の仮想カメラ４２とを平行に設置するため、立体画像コンテンツ内の物体４３が無限遠方に置かれた場合に、Ｌ画像内の物体４３とＲ画像内の物体４３とが同じ位置に表示される。したがって、物体４３が３Ｄディスプレイより後方の奥行き方向へ表示される場合であっても、物体４３は、Ｌ画像では右寄りに、Ｒ画像では左寄りに表示される。
一方、トーインによる仮想カメラの設置は、Ｌ画像用の仮想カメラ４１とＲ画像用の仮想カメラ４２との光軸中心を立体画像コンテンツ内の物体４３の中心位置に合わせて設置する。そのため、立体画像コンテンツ内の物体４３が３Ｄディスプレイ面上と同じ位置に置かれた場合に、Ｌ画像内の物体４３とＲ画像内の物体４３とが同じ位置に表示される。したがって、物体４３は、飛び出し方向に表示された場合には、Ｌ画像では右寄りに、Ｒ画像では左寄りに表示されるが、奥行き方向に表示された場合には、反対となり、Ｌ画像では左寄りに、Ｒ画像では右寄りに表示される。
このため、トーインによる仮想カメラの設置条件で撮影された立体画像コンテンツに画像フィルタ処理を実施する場合には、立体画像コンテンツ内にある物体が飛び出し表示か奥行き表示であるかを判定し、その判定結果に合わせて、画像フィルタ形状を変更する必要がある。
具体的には、立体画像コンテンツ内にある物体が飛び出し表示の場合には、図６３及び図６４に示す画像フィルタ形状を適用し、奥行き表示の場合には、図７４及び図７５に示す画像フィルタ形状を適用する。なお、図７４及び図７５の画像フィルタ形状は、図６３及び図６４のフィルタ形状をＸ軸方向に反転させた形状である。
また、立体画像コンテンツ内にある物体の表示状態は、立体画像コンテンツの視差値を参照して、飛び出し表示か奥行き表示であるかを判定する。立体画像コンテンツに視差値情報が保存されていない場合には、実施形態５に記載した視差値検出部１１５を使用して立体画像コンテンツの視差値を検出する。検出した結果、奥行き表示される画像データの画像範囲には、Ｘ軸方向の向きに反転した画像フィルタ値を適用し、画像フィルタ処理を実施する。
本実施形態６の立体画像表示装置１６における立体画像処理方法のフローチャートについて、図７６を参照して説明する。
ステップＳ６０１〜ステップＳ６０３は、実施形態１のフローチャートと同様である。
ステップＳ６０４は、実施形態１のフローチャートのステップＳ１０５と同様である。
ステップＳ６０５は、ステップＳ６０４で取得した画像データごとに、３Ｄクロストークによる二重像が出現する画像範囲の方向を判定する。立体画像コンテンツの撮影がシフトセンサによる仮想カメラの設置条件であれば、Ｌ画像は立体画像コンテンツ内の物体が右寄りになるために物体の右側が３Ｄクロストークによる二重像に影響する画像範囲と判定し、Ｒ画像は立体画像コンテンツ内の物体が左寄りになるために物体の左側が３Ｄクロストークによる二重像に影響する画像範囲と判定する。トーインによる仮想カメラの設置条件であれば、飛び出し表示される物体は、シフトセンサによる仮想カメラの設置条件と同じ判定結果となるが、奥行き表示される物体では、判定結果が反対方向になる。
ステップＳ６０６は、ステップＳ６０５で判定した３Ｄクロストークによる二重像に影響する画像範囲の結果を参照して、デバイス特性データから左右非対称な画像フィルタ値を算出する。画像フィルタ値の算出では、初めに第一の実施形態と同様にして、画像フィルタの窓幅値Ｗｐを算出する。次に、ステップＳ６０５で判定した画像範囲の結果を参照して、立体画像コンテンツ内の物体の右側が３Ｄクロストークによる二重像に影響する画像範囲と判定された場合には、左方向へシフトするように画像ぼかし処理を実施する画像フィルタ形状（図６３）を適用し、立体画像コンテンツ内の物体の左側が３Ｄクロストークによる二重像に影響する画像範囲と判定された場合には、右方向へシフトするように画像ぼかし処理を実施する画像フィルタ形状（図６４）を適用する。最後に、画像フィルタの窓幅値Ｗｐと画像フィルタ形状とから、画像フィルタ値を算出する。
ステップＳ６０７からステップＳ６０９は、実施形態１のステップＳ１０６からステップＳ１０８と同様の処理を実施する。
以上より、画像データごとに３Ｄクロストークによる二重像が出現する画像範囲の方向性を考慮して、画像フィルタ値を算出することにより、画像データごとに３Ｄクロストークによる二重像が出現する画像範囲の方向性に適した画像フィルタ処理を実施して、３Ｄクロストークによる二重像の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。
なお、本実施形態６においても、実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体画像表示装置に適用できる。また、本実施形態６の画像処理部１５６を単独の画像処理装置として提供し、立体表示パネル部１０７等と組み合わせて立体画像表示装置１６の機能を実現できることは言うまでもない。
換言すると、本実施形態６の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、画像データを保存又は受信する画像データ保管部と、画像データごとに３Ｄクロストークによる二重像が出現する画像範囲の方向性を考慮して、画像フィルタ形状を設定し、前記デバイス特性データに基づき視野角に対して立体画像表示に適した画像フィルタ値を算出する画像フィルタ値算出部と、前記画像フィルタ値に従って前記画像データの画像フィルタ処理を実施する画像フィルタ処理部と、画像フィルタ処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、を備えるものである。
本実施形態６によれば、観察者の観察位置とデバイス特性データに加えて、画像データごとに３Ｄクロストークによる二重像が出現する画像範囲の方向性を考慮して、画像フィルタ値を算出することにより、画像データごとに３クロストークによる二重像が出現する画像範囲の方向性に適した画像フィルタ処理を実施して、３Ｄクロストークによる二重像の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。
［実施形態７］
本実施形態７では、画像フィルタ処理に加えて、視差調整処理を実施することで、３Ｄクロストークによる二重像の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供することを目的とする。
図７７に、立体画像表示装置１７の構成図を示す。立体画像表示装置１７は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像フィルタ値算出部１０４と、画像データ保管部１０５と、画像フィルタ処理部１０６と、立体表示パネル部１０７と、視差調整量算出部１２０と、視差調整処理部１２１と、を備えるものである。また、相対位置算出部１０２、画像フィルタ値算出部１０４、画像フィルタ処理部１０６、視差調整量算出部１２０、視差調整処理部１２１を統合した処理部を、」画像処理部１５７とする。
以下に、立体画像表示装置１７に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像データ保管部１０５と、立体表示パネル部１０７とは、実施形態１と同様である。
視差調整量算出部１２０は、デバイス特性データ保管部１０３に保管されたデバイス特性データに基づき、視野角に対して立体画像表示に適した視差調整量を算出する機能を有する。例えば、視差調整量算出部１２０は、立体画像が表示可能である視差の限界値（視差許容値ｕｔｈ）を算出する。図７８に、デバイス特性データ（図４参照）に基づき、観察者の観察位置がＺ１上の位置にある場合の視野角θに対する視差許容値ｕｔｈを算出した結果を示す。ここで、ｕｔｈは視野角θの関数ｕｔｈ（θ）であるが、便宜上ｕｔｈとする。図７８は、３Ｄクロストーク量の閾値をβ１（図４参照）とした場合において、逆視領域θ０〜θ１、３Ｄクロストーク領域θ１〜θ５及び正視領域θ５〜θ６に対して、視差許容値ｕｔｈが異なる値をとることを示している。
図７９は、この３Ｄクロストーク量と、二重像の発生、立体画像への影響、視野角範囲、領域名（逆視領域、３Ｄクロストーク領域、正視領域）、及び、視差許容値の絶対値｜ｕｔｈ｜との関係を示した表である。以下、図７８と図７９を用いて正視領域θ５〜θ６、逆視領域θ０〜θ１、３Ｄクロストーク領域θ１〜θ５の各領域に対する視差許容値ｕｔｈについて説明する。
正視領域θ５〜θ６における視差許容値ｕｔｈには、右眼領域に投影される右眼用画像（Ｒ画像）が観察者の右眼へ正常に投影され、左眼領域に投影される左眼用画像（Ｌ画像）が観察者の左眼へ正常に投影された場合に、観察者がＬ画像とＲ画像（ＬＲ画像）を融像すること（脳の中で右眼・左眼で観察したＬＲ画像を融合して、一つの立体画像として視認すること）が可能であり、観察者に違和感を与えない安全性を保った視差の最大値γ１を設定する。この視差の最大値γ１に関しては、様々な団体から安全基準値が提案されている。一例としては、３Ｄコンソーシアムの３ＤＣ安全ガイドラインに記載されている快適視差範囲の最大値を、視差の最大値γ１として正視領域の視差許容値ｕｔｈに代入しても良い。
逆視領域θ０〜θ１における視差許容値ｕｔｈは、逆視対策用に視差値を反転させるため、正視領域の視差許容値ｕｔｈを反転させた値−γ１を逆視領域の視差許容値ｕｔｈに代入する。３Ｄクロストーク領域θ１〜θ５においては、３Ｄクロストーク量に応じて視差許容値｜ｕｔｈ｜が細分化されている。３Ｄクロストーク量がβ１〜β２（視野角範囲θ１〜θ２）の範囲では、軽度な二重像が発生し、観察者へ違和感を与えるものの立体画像は視認可能である。これに対して、３Ｄクロストーク量がβ２以上（視野角範囲θ２〜θ３）の範囲では、二重像の影響が増大するため、観察者が立体画像を視認することはほぼ不可能となる。したがって、二重像の影響の大きさに従い、視差許容値の設定を行うことが望ましい。
具体的には、図４のデバイス特性データから３Ｄクロストーク量を参照して、その量に適した視差許容値ｕｔｈを設定する。図７８及び図７９の視差許容値ｕｔｈは、３Ｄクロストーク量が閾値β１以上の場合では視差許容値の絶対値｜ｕｔｈ｜をγ１（正視領域の視差許容値ｕｔｈ）以下とし、３Ｄクロストーク量が閾値β２以上の場合では視差許容値の絶対値｜ｕｔｈ｜を任意に定めた視差値γ２以下とする条件で算出している。なお、視差許容値ｕｔｈの算出条件となる視差値γ２は、観察者の好みに応じて任意に設定することもでき、また観察者に対する主観評価によって特定することもできる。観察者に対する主観評価の実験結果は、様々な文献に示されており、これらの文献から視差値γ２を特定しても良い。
また、３Ｄクロストーク領域の視差許容値ｕｔｈは、視野角θ１における視差値γ１の点と、視野角θ２における視差値γ２の点と、３Ｄクロストーク領域の中心位置となる視野角θ３における視差値０の点と、視野角θ４における視差値−γ２の点と、視野角θ５における視差値−γ１の点とを通るように線で補間して繋ぐことで、各々の視野角に対する視差許容値ｕｔｈを算出する。点群同士を補間する線については、２次補間（多項式補間）を使用しても良いし、線形補間を使用しても良い。
図７８及び図７９では、視差許容値ｕｔｈの算出条件として３Ｄクロストーク量の閾値β１，β２を設定した例を示したが、３Ｄクロストーク量の閾値は２つだけに限定されずに、より多くの閾値を設定しても良い。
視差調整処理部１２１は、視差調整量算出部１２０で算出した視差調整量に従って、画像データ保管部１０５に保管された画像データの視差調整処理を実施する機能を有する。例えば、視差調整処理部１２１は、視差調整量算出部１２０で算出した視差許容値ｕｔｈに従って画像データの視差調整処理を実施する機能を有する。図８０に、視差調整処理により視野角に対する立体画像コンテンツが持つ視差の最大値ｕｆを算出した結果を示す。視差調整処理では、視差調整処理後に立体画像コンテンツが持つ視差最大値ｕｆを算出するため、視差調整量算出部１２０で算出した視差許容値ｕｔｈの条件（図８０Ａ）と、画像データ保管部１０５に保管された立体画像コンテンツが持つ視差最大値ｕｃの条件（図８０Ｂ）との、両条件（式（１５））を満たす視差最大値ｕｆ（図８０Ｃ）を算出する。
（ｕｆ＜＝ｕｔｈ） ＡＮＤ （ｕｆ＜＝ｕｃ） 式（１５）
視差調整処理後の視差最大値ｕｆが立体画像コンテンツの視差最大値ｕｃよりも大きい場合には、立体画像コンテンツの視差値を変化させずに、そのままのＬＲ画像を画像フィルタ処理部１０６に送信する。視差調整処理後の視差最大値ｕｆが立体画像コンテンツの視差最大値ｕｃよりも小さい場合には、式（１６）より視差調整量κ（ｕｆとｕｃの比）を算出し、立体画像コンテンツの視差値を変更させてから、ＬＲ画像を画像フィルタ処理部１０６に送信する。
ｕｆ＝κｕｃ 式（１６）
なお、上記の例では、視差調整量の算出処理を視差調整処理部１２１が実施するように記載したが、視差調整量の算出処理は視差調整量算出部１２０が実施しても良い。ただし、視差調整量算出部１２０は、画像データ保管部１０５より立体画像コンテンツの視差最大値ｕｃを取得する必要がある。
算出した視差調整量κより、立体画像コンテンツの視差値を変更する処理の一例を記載する。視差値の変更処理では、初めに立体画像コンテンツの視差画像の視差値に視差調整量κを乗算して視差画像を変更する。図８１に、視差調整量κにより変更された視差画像群を示す。図８１の最上部にある視差画像は立体画像コンテンツが元々保持していた視差値を持つ視差画像を表し、図８１の最下部にある視差画像はすべての視差値が０である視差画像を表す。図８１の中間部分にある視差画像群は、最上部の視差画像の視差値に、視差調整量κを乗算して変更した視差画像である。最上部から２番目の視差画像は視差調整量κを０．７５とし、最上部から３番目の視差画像は視差調整量κを０．５０とし、最上部から４番目の視差画像は視差調整量κを０．２５とし、最下部の視差画像は視差調整量κを０とした際の視差画像である。立体画像コンテンツが元々保持していた視差値をｕｃ（ｘ，ｙ）とおくと、視差調整処理後の立体画像コンテンツの視差値ｕｆ（ｘ，ｙ）は式（１７）になる。
ｕｆ（ｘ，ｙ）＝κｕｃ（ｘ，ｙ） 式（１７）
ここで、ｕｃ（ｘ，ｙ）は、視差画像の画素位置（ｘ，ｙ）における視差値を示す。
次に、変更した視差画像を参照して立体画像コンテンツのＬＲ画像から視差調整処理後のＬＲｆ画像を生成する。ＬＲｆ画像の生成処理では、Ｌ画像を基準にし、視差画像の視差値に応じてＬ画像の各画素をＸ軸方向に移動してＲｆ画像を生成する。図８２に、画素移動によって生成したＲｆ画像を示す。画素移動では、各画素の位置における視差値の違いによって、Ｒｆ画像には画素の輝度値（ＲＧＢ値）が無い空白部分５１が出現する。この空白部分５１を埋めるために、空白部分５１の近隣にある画素の輝度値から画像補間処理を実施する。
画像補間処理方法としては、線形補間や平均値補間を使用することができる。空白部分の範囲が広い場合には、高品質な画像補間処理を実施するために、各種の画像修復（Inpainting）手法を適用しても良い。画像修復手法としては、空白部分の近隣にある輝度値パタンと類似する輝度値パタンを画像情報内からパタンマッチングにより探索して空白領域の画像修復する手法や、Ｓｈｉｆｔ‐Ｍａｐ法などが挙げられる。また、空白部分の画像補間処理では、Ｌ画像の輝度値だけでなく、Ｒ画像の輝度値を参照しても良い。以上より、視差調整量κを参照して視差調整処理後のＬＲｆ画像を生成することで、立体画像コンテンツの視差値を変更できる。
画像フィルタ値算出部１０４は、前記デバイス特性データに基づき、視野角に対して立体画像表示に適した画像フィルタ値を算出する機能を有する。画像フィルタ値の算出方法は、実施形態１と同様の処理であり、画像フィルタの窓幅値Ｗｐを算出し、画像フィルタ値を算出する。本実施形態７では、画像フィルタ処理だけでなく、視差調整処理も適用するので、画像フィルタ値を実施形態１で算出した値よりも小さな値にしても良い。
具体的には、画像フィルタの窓幅値Ｗ（θ）の算出条件となる窓幅値Ｗ１，Ｗ２の値を変更し、画像フィルタの窓幅値Ｗ（θ）を小さくすることで、画像フィルタ値を小さな値にする。ここで、窓幅値Ｗ１は３Ｄクロストーク量の閾値β１に対して任意に定めた画像フィルタの窓幅値であり、窓幅値Ｗ２は３Ｄクロストーク量の閾値β２に対して任意に定めた画像フィルタの窓幅値である。
画像フィルタ処理部１０６は、画像フィルタ値算出部１０４で算出した画像フィルタ値に従って、視差調整処理部１２１で視差調整処理された後の画像データに画像フィルタ処理を実施する。画像フィルタ処理は、実施形態１と同様に、画像データに画像フィルタ値をコンボリューションして処理する。
なお、本実施形態７においても、実施形態１と同様に多視点方式やインテグラル方式等の様々な裸眼立体方式の立体画像表示装置に適用できる。また、本実施形態７の画像処理部１５７を単独の画像処理装置として提供し、立体表示パネル部１０７等と組み合わせて立体画像表示装置１７の機能を実現できることは言うまでもない。
本実施形態７の立体画像表示装置１７における立体画像処理方法のフローチャートについて、図８３を参照して説明する。
ステップＳ７０１〜ステップＳ７０３は、実施形態１のフローチャートと同様の処理を実施する。
ステップＳ７０４は、視差調整量算出部１２０を使用して、ステップＳ７０３で取得した３Ｄクロストーク特性データから、ステップＳ７０２で算出した相対位置となる視野角θｐに対する視差調整量を算出する。
ステップＳ７０５は、画像フィルタ値算出部１０４を使用して、ステップＳ７０３で取得した３Ｄクロストーク特性データから、ステップＳ７０２で算出した相対位置となる視野角θｐに対する、画像フィルタの窓幅値Ｗｐを求めて、画像フィルタ値を算出する。
ステップＳ７０６は、実施形態１のフローチャートのステップＳ１０５と同様の処理を実施する。
ステップＳ７０７は、ステップＳ７０６で取得した画像データに対して、ステップＳ７０４で算出した視差調整量に従って、視差調整処理を実施する。
ステップＳ７０８は、ステップＳ７０７で視差調整処理された画像データに対して、ステップＳ７０５で算出した画像フィルタ値に従って、画像フィルタ処理を実施する。
ステップＳ７０９及びステップＳ７１０は、実施形態１のステップＳ１０７及びステップＳ１０８と同様の処理を実施する。
以上より、画像フィルタ処理に加えて、視差調整処理を実施することで、３Ｄクロストークによる二重像の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。また、視差調整処理により視差値が低下するのに伴って、画像フィルタ処理による画像ぼかし量が調整されるため、観察者へ視差調整処理によって立体画像コンテンツの視差値が低下していることを通知する機能を有する立体画像表示装置及び立体画像処理方法を提供できる。
換言すると、本実施形態７の立体画像表示装置は、観察者の観察位置を計測する観察者位置計測部と、観察者の観察位置と立体表示パネル位置の相対位置を算出する相対位置算出部と、立体表示パネルの視野角に対するデバイス特性データを保存するデバイス特性データ保管部と、前記デバイス特性データに基づき視野角に対して立体画像表示に適した視差調整値を算出する視差調整値算出部と、前記視差調整値から画像フィルタ値を算出する画像フィルタ算出部と、画像データを保存又は受信する画像データ保管部と、前記視差調整値に従って前記画像データの視差調整処理を実施する視差調整処理部と、前記画像フィルタ値に従って前記画像データの画像フィルタ処理を実施する画像フィルタ処理部と、画像フィルタ処理された画像データを前記相対位置に応じて右眼・左眼に投影する立体表示パネル部と、を備えるものである。
本実施形態７の立体画像表示装置及び立体画像処理方法によれば、画像フィルタ処理に加えて、視差調整処理を実施することで、３Ｄクロストークによる二重像の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供し、課題を解決する。
［実施形態８］（優先権としての追記内容）
本実施形態８では、観察者の観察位置と立体表示パネルとの相対位置に応じた任意視点画像生成処理と画像フィルタ処理を組合せることにより、３Ｄクロストークによる２重像を軽減するだけでなく、相対位置の移動に応じて運動視差も提示する立体画像表示装置を提供することが目的となる。
図８８に、立体画像表示装置１００の構成図を示す。立体画像表示装置１００は、観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像フィルタ値算出部１０４と、画像データ保管部１０５と、画像フィルタ処理部１０６と、立体表示パネル部１０７と、任意視点画像生成部１９０とを備えるものである。また、相対位置算出部１０２、画像フィルタ値算出部１０４、画像フィルタ処理部１０６、任意視点画像生成部１９０を統合した処理部を画像処理部１５０とする。
以下に、立体画像表示装置１００に含まれる各部の機能を説明する。観察者位置計測部１０１と、相対位置算出部１０２と、デバイス特性データ保管部１０３と、画像フィルタ値算出部１０４と、画像データ保管部１０５と、画像フィルタ処理部１０６と、立体表示パネル部１０７とは、実施形態１と同様である。
任意視点画像生成部１９０は、観察者の観察位置と立体表示パネルとの相対位置を参照して、仮想的なカメラの視点位置を算出し、画像データ保管部１０５から取得した立体画像コンテンツに対して、このカメラ視点位置から撮影した画像データを生成する機能を有する。画像フィルタ処理部１０６は、画像フィルタ値算出部１０４で算出された画像フィルタ値に従って該画像データを画像フィルタ処理し、処理後の画像データを表示対象とする。
ここで、まず運動視差と任意視点画像生成との関係について説明する。
運動視差とは、立体物を閲覧している観察者の観察位置が移動した際に、立体物が一定方向へ規則的に変化して視認されることを示す。観察者と立体物が近距離の場合には観察位置の移動に伴う立体物の見え方の変化が増大し、観察者と立体物が遠距離の場合には立体物の見え方の変化が減少する。これより、観察者は観察位置の移動に伴う立体物の見え方の変化から観察者と立体物との距離感を知覚する。
一般に立体画像表示装置では、観察者の左右の眼へ異なる視差の画像データを投影して両眼視差を提示する。多視点方式やインテグラル方式のような複数視点の画像を空間投影する方式では、両眼視差に加えて観察者が移動することで運動視差を認知することができる。一方で、両眼視差が無い場合、言い換えると観察者の左右の眼へ同一視差の画像データを投影する場合においても、観察者の動きに応じた画像データを表示することで運動視差を提示することも可能である。この場合の仮想的なカメラの視点位置と視野角との関係を図８９に示す。この図８９の縦軸は立体画像コンテンツから画像データを取得する際に設定される仮想的なカメラの視点位置を表し、横軸は観察者の観察位置と立体表示パネルとの相対位置から算出された視野角を表す。縦軸のＶθ０〜Ｖθ６、横軸のθ０〜θ６については後述する。
仮想的なカメラの視点位置について概念図を図９０に示す。この図９０の中心部には立体画像コンテンツが存在し、その周囲に仮想的なカメラが設置されている。仮想的なカメラを設置した視点位置（Ｖθ０，Ｖθ１，Ｖθ３，Ｖθ５，Ｖθ６）から立体画像コンテンツを撮影することで、任意視点位置における画像データを取得する。この仮想的なカメラの視点位置情報は画像データの属性情報として画像データへ付加しても良い。
図９０では、立体画像コンテンツの周囲へ円状に仮想的なカメラを設置した例を示したが、仮想的なカメラは球状に設置しても良く、また立体画像コンテンツと仮想的なカメラとの距離を任意に変更しても良い。このように仮想的なカメラを設置することで、立体画像コンテンツを３次元空間上の任意視点位置から撮影した画像データが取得できる。図９０の仮想カメラの視点位置は、Ｘ軸-Ｚ軸平面上の角度Ｖθと、Ｙ軸-Ｚ軸平面上の角度Ｖφと、仮想的なカメラの視点位置から立体表示パネルの中心位置までの距離ＶＲと表記する。
観察者の観察位置と立体画像表示装置の立体表示パネルとの相対位置の概念図を図９１に示す。図９１の立体表示パネル面上には、図９０の立体画像コンテンツを表示している。ここで相対位置は実施形態１と同様にしてＸ軸-Ｚ軸平面上の相対位置の角度を視野角θで表記する。また、Ｙ軸-Ｚ軸平面上の角度を視野角φ、観察者の観察位置から立体表示パネルの中心位置までの長さを距離Ｒと表記する。
立体表示パネル面上に表示した立体画像コンテンツと立体表示パネルとの位置関係から図９０と図９１との座標軸を一致させて、図９０の仮想カメラの視点位置（Ｖθ０，Ｖθ１，Ｖθ３，Ｖθ５，Ｖθ６）と図９１の相対位置（θ０，θ１，θ３，θ５，θ６）との位置関係を対応付ける。図８９はこの関係性を示したものである。図８９では、相対位置の視野角θに対してＸ軸-Ｚ軸平面上の角度Ｖθの例を示しているが、相対位置の視野角φに対するＹ軸-Ｚ軸平面上の角度Ｖφ、相対位置の距離Ｒに対する仮想的なカメラの視点位置から立体表示パネルの中心位置までの距離ＶＲについても同様の関係で示すことができる。
これより、相対位置が移動した際に、観察者は実際の立体物の見え方の変化を再現する画像データを視認するため、運動視差を知覚する。Ｙ-Ｚ軸面上の視野角φにおける運動視差の提示方法も、Ｘ-Ｚ軸面上の視野角θと同様である。また、観察者の観察位置から立体表示パネルの中心位置までの距離Ｒの変化に伴って、仮想的なカメラの視点位置から立体表示パネルの中心位置までの距離ＶＲを変更することで（画像データに表示される立体画像コンテンツの表示倍率を変更しても良い）、相対位置の距離変化に伴う運動視差も提示できる。図８９の関係図から運動視差の提示方法を示したが、図８９の提示方法では、観察者の左右の眼に同一視差の画像データを表示しているため、両眼視差は提示できない。
以上が、運動視差と任意視点画像生成との関係の説明である。
本実施形態８では、観察者へ両眼視差と運動視差を提示する構成を示すものである。
立体画像表示装置における両眼視差の提示は、実施形態１と同様にして、観察者の左右の眼に異なる視差の画像データである左眼用画像と右眼用画像を表示する。
具体的には、図８９で示した視野角に対する仮想的なカメラの視点位置の関係に対して、観察者の両眼間隔を考慮して、右眼用画像データを撮影した仮想的なカメラの視点位置と左眼用画像データを撮影した仮想的案カメラの視点位置に分離すると、図９２に示すような両眼視差を考慮した視野角に対する仮想的なカメラ視点位置の関係が得られる。図９２の黒線は観察者の左眼用画像データを撮影した際の仮想的なカメラの視点位置を表し、一点鎖線は観察者の右眼用画像データを撮影した際の仮想的なカメラの視点位置を表す。ここで、左眼用と右眼用の仮想的なカメラの視点位置の差は、画像データの視差値と等しくなるように調整する。
また、図９３に実施形態１の図１２に示した視野角に対する画像フィルタの窓幅値の算出結果を示す。本実施形態８の画像フィルタ処理部１０６では、図９２に示した仮想的なカメラの視点位置で撮影した画像データに対し、図９３に示した画像フィルタの窓幅値に従って、画像フィルタ処理を実施する。図９２と図９３では、３Ｄクロストーク量が大きくなる視野角θ３では画像フィルタの窓幅値をＷ２に設定して画像フィルタ処理を実施し、３Ｄクロストーク量が若干大きくなる視野角θ２とθ４では画像フィルタの窓幅値Ｗ１に設定して画像フィルタ処理を実施する。これより、実施形態１と同様に３Ｄクロストーク量に応じて、画像ぼかし量を調整し、３Ｄクロストークによる２重像の影響を軽減できる。
実施形態１で説明した通り、立体表示パネル部の逆視領域では、右眼用画像と左眼用画像とを入れ替えて表示することで、逆視の影響を解決しても良い。従って、図９２は逆視領域における左眼用と右眼用の仮想的なカメラの視点位置が、正視領域における左眼用と右眼用の仮想的なカメラの視点位置を入れ替えたものとなる。
図９４に仮想的なカメラの視点位置と視野角との関係の概念図を示す。図９４の灰色のカメラは観察者の左眼用画像データを撮影した際の仮想的なカメラの視点位置を表し、白色のカメラは観察者の右眼用画像データを撮影した際の仮想的なカメラの視点位置を表す。ここで、逆視領域となる視野角θ０と視野角θ１における左眼用と右眼用との仮想的なカメラの視点位置は、正視領域となる視野角θ５と視野角θ６における左眼用と右眼用との仮想的なカメラの視点位置を入れ替えたものとなる。
また、左眼用の仮想的なカメラの視点位置と右眼用の仮想的なカメラの視点位置との差が画像データの視差値となる。
図９４では、図８８の任意視点画像生成部１９０において、立体表示パネルの逆視領域となる視野角範囲で左眼用と右眼用との仮想的なカメラの視点位置を入れ替えたが、これに限定されない。例えば、図９５に示すように左眼用と右眼用との仮想的なカメラの視点位置を入れ替えずに画像を生成することも可能である。この場合は、画像フィルタ処理部１０６において、立体表示パネルの逆視領域となる視野角範囲では、左眼用画像と右眼用画像を入れ替えれば良い。
両眼視差を考慮した視野角に対する仮想的なカメラ視点位置の関係を示す図９２では各視点位置に２台の仮想的なカメラを用いた例を示しているが、仮想的なカメラの数はこれに限定されず３台以上の仮想的なカメラでも同様に適用できる。
仮想的なカメラの数は、立体表示パネルの視点領域の数に対応する。一般的に裸眼式の立体画像表示装置は、立体表示パネルにより立体画像を投影する空間領域を分割し、分割した空間領域ごとに視差の異なる画像を投影することで、観察者の左右の眼に視差の異なる画像を投影する。この立体表示パネルによって分割された空間領域を視点領域と呼ぶ。実施形態１においては、２視点の立体表示パネルの例として、図５で説明したように右眼領域と左眼領域の、計２つの視点領域を有する。また、４視点の立体表示パネルは図２４で説明したように第１視点と第２視点と第３視点と第４視点用画像を表示する視点領域の、計４つの視点領域を有する。
図９６は、４台の仮想的なカメラを用いた場合における視野角に対する仮想的なカメラ視点位置を示す。
また、観察者と立体表示パネルとの相対位置を示す視野角を参照して、Ｎ視点の仮想的なカメラの中から観察者へ投影されない画像を撮影する仮想的なカメラを検出し、検出した仮想的なカメラの視点位置を前記相対位置で非連続的に移動することで、逆視を防止しても良い。例えば、図９６の視野角θ１３では、第１視点画像用の仮想的なカメラで撮影した画像は観察者へ投影されないため、視野角θ１３において第１視点画像用の仮想的なカメラの視点位置を大幅に変更し、非連続的に仮想的なカメラ視点位置を移動している。このように仮想的なカメラの視点位置を非連続的に移動することで、第１視点と第２視点、第２と第３、第３と第４はもちろん、第４視点と第１視点においても、逆視の無い立体画像を表示できる。
図８８との関係を踏まえてまとめると、この場合の特徴は次の通りとなる。
任意視点画像生成部１９０は、相対位置算出部１０２で算出した相対位置を参照して、Ｎ視点の仮想的なカメラの中から観察者へ投影されない画像を撮影する仮想的なカメラを検出し、検出した仮想的なカメラの視点位置を前記相対位置で非連続的に移動することで、観察者への逆視画像の投影を防止する。
以上より、上記実施形態８では、前述した実施形態１と同様に観察者の観察位置と立体表示パネルとの相対位置の視野角に応じ、仮想的なカメラの視点位置を変更した画像データを表示することで両眼視差と運動視差を提示できる。
本実施形態８の立体画像表示装置における立体画像処理方法のフローチャートについて、図９７を参照して説明する。ここで、図９７のフローチャートにおけるステップ１〜ステップ５は実施形態１と同様の処理を実施する。
ステップ６は、任意視点画像生成部１９０を使用して、ステップ２で算出した相対位置を参照して、運動視差量として立体画像コンテンツから画像データを取得した際の仮想的なカメラの視点位置を算出する。
ステップ７は、ステップ６で算出した仮想的なカメラの視点位置で撮影された画像データに対して、ステップ４で算出した画像フィルタ値に従って、画像フィルタ処理を実施する。
ステップ８〜ステップ９は実施形態１のステップ７〜ステップ８と同様の処理を実施する。
図９２では、相対位置の視野角θに対してＸ軸-Ｚ軸平面上の角度Ｖθの例を示したが、相対位置の視野角φに対するＹ軸-Ｚ軸平面上の角度Ｖφについても同様である。水平視差のみの立体表示装置においても、水平垂直視差画像Ｖφを用いることで水平垂直視差の実現が容易となる。
以上より、観察者の観察位置と立体表示パネルとの相対位置に応じて、任意視点位置の画像データを表示することにより、３Ｄクロストークによる２重像を軽減するだけでなく、相対位置の移動に応じた立体画像コンテンツの運動視差と両眼視差を提示する立体画像表示装置を提供できる。
前記の実施形態の一例では、立体画像コンテンツの周囲に仮想的なカメラを設置し、立体画像コンテンツを任意視点位置から撮影した画像データを使用する例を示したが、立体画像コンテンツの撮影環境によっては、左眼用画像の１視点と右眼用画像の１視点との計２視点の画像データしか使用できない場合もある。
この場合には、画像データの任意視点画像生成部１９０によって、計２視点の画像データを使用して、２視点間の範囲内にある視点位置から撮影した画像データは生成できるが、２視点間の範囲外にある視点位置から撮影した画像データの生成は困難となる。従って、計２視点の画像データしか使用できない場合には、２視点間の範囲内で撮影した画像データのみを使用して運動視差を提示する必要がある。
全ての任意視点位置の画像データが使用可能な場合における仮想的なカメラの視点位置と視野角の関係を図９８に、画像フィルタの窓幅値と視野角との関係を図９９に示す。図９８と図９９の視野角範囲θ０からθ７の関係図は、図９２と図９３の関係図と同様である。図９８の視野角範囲θ０からθ７では、仮想的なカメラの視点位置の角度Ｖθ０からＶθ７の画像データを、視野角範囲θ７からθ１７では視点位置の角度Ｖθ７からＶθ１７の画像データを、視野角範囲θ１７からθ２７では視点位置の角度Ｖθ１７からＶθ２７の画像データを表示する。
次に計２視点の画像データしか使用できない場合における仮想的なカメラの視点位置と視野角の関係を図１００に示す。ここで、２視点の画像データにおける仮想的なカメラの視点位置はＶθ０とＶθ７とする。２視点の画像データから、仮想的なカメラの視点位置範囲Ｖθ０からＶθ７までの画像データは生成できるので、この視点間の範囲内の画像データを使用して運動視差を提示する。
図１００の視野角範囲θ０からθ７と視野角範囲θ１７からθ２７では、仮想的なカメラの視点位置範囲Ｖθ０からＶθ７までの画像データを表示する。視野角範囲θ７からθ１７では、仮想的なカメラの視点位置をＶθ７から視点位置Ｖθ０へ移動する。視点位置の移動は、視野角範囲θ７からθ１７の中央部にある視野角範囲θ１１からθ１６のみで実施しても良い。なお、視差値が急激に変化する場合には、視点位置の移動を実施する視野角範囲を拡張しても良い。
視点位置の移動を実施する視野角範囲θ１１からθ１６では、相対位置の変化に対する運動視差が反対方向となるが、視野角範囲θ０からθ７と視野角範囲θ１７からθ２７では観察者へ運動視差を提示できる。以上のように、２視点間内にある任意視点画像の画像データを繰返し表示することで、計２視点の画像データしか使用できない場合においても、多くの視野角範囲において観察者へ運動視差を提示できる。
また、図１００では、視野角範囲θ０からθ７と視野角範囲θ１７からθ２７で画像データを繰返し表示する例を記載したが、繰返し表示する視野角範囲は、任意に変更しても良い。繰返し表示する視野角範囲を変更した際の仮想的なカメラの視点位置と視野角の関係を図１０１に示す。この図１０１では、立体表示パネル部の正視領域となる視野角範囲θ３からθ７と視野角範囲θ１３からθ１７と視野角範囲θ２３からθ２７で、仮想的なカメラの視点位置範囲Ｖθ０からＶθ７の画像データを繰返し表示して運動視差を提示する。
図８８との関係を踏まえてまとめると、この場合の特徴は次の通りとなる。任意視点画像生成部１９０は、画像データ保管部１０５に保管された左眼用画像データと右眼用画像データを参照して、各々の画像データを撮影した際の仮想的なカメラの視点位置を検出し、その仮想的なカメラの視点位置間の範囲内で撮影される画像データを生成する。次に、相対位置算出部１０２で算出した相対位置を参照して、生成した画像データを繰返し表示することで、左眼用画像データと右眼用画像データしか使用できない場合であっても観察者へ運動視差を提示する。
以上より、計２視点の画像データしか使用できない場合においても、２視点間内にある任意視点位置の画像データを繰返し表示することで、多くの視野角範囲において、３Ｄクロストークによる２重像を軽減するだけでなく、相対位置の移動に応じた立体画像コンテンツの運動視差と両眼視差を提示する立体画像表示装置が提供できる。
［その他の実施形態］
上記全ての実施形態における画像フィルタ値算出部１０４では、デバイス特性データ保管部１０３に保管されたデバイス特性データを使用して、画像フィルタ値を算出する例について記載したが、デバイス特性データが取得できない状況においても、画像フィルタ処理が実現できるようにデバイス特性データを使用せずに画像フィルタ値を算出しても良い。
この場合、デバイス特性データを使用した場合の画像フィルタ処理と比べて画像フィルタ値の精度は低下するものの、３Ｄクロストーク量が小さく正視領域幅が大きい立体表示特性を有する立体表示パネルを用いることで、観察者が移動した場合であっても３Ｄクロストークによる二重像の影響を軽減する画像フィルタ処理が実用可能なレベルで実施できる。
デバイス特性データを使用せずに画像フィルタ値を算出する一例として、観察者自身が主観的に画像フィルタ値を設定する例が挙げられる。観察者は、第一の設定として、立体画像表示装置の立体表示パネルから投影される立体画像を観察しながら、観察位置（観察距離Ｚと視野角θ）に応じて正視領域と３Ｄクロストーク領域と逆視領域を設定する。ここで、本設定における観察位置は、画像フィルタ値の精度向上のために、複数の位置で実施されることが望ましい。また、設定に際しては、立体画像表示装置に具備されたキーボードやタッチパネル等の入力装置を用いることができる。
第二の設定として、３Ｄクロストーク領域の中心位置と最端位置において、観察者が最適に立体画像コンテンツを視認できる画像フィルタ値（画像フィルタの窓幅値）を設定する。また、第三の設定として、３Ｄクロストーク領域の中心位置と最端位置（３Ｄクロストーク領域と正視領域との境界位置）との中間位置近傍においても、観察者が最適に立体画像コンテンツを視認できる画像フィルタ値（画像フィルタの窓幅値）を設定しても良い。画像フィルタ値算出部１０４は、第一、第二及び第三の設定値を用いて、３Ｄクロストーク領域の最端位置、観察者が画像フィルタ値を設定した３Ｄクロストーク領域の中心位置、３Ｄクロストーク領域の中心位置と最端位置との中間位置における画像フィルタ値を繋ぐことで、すべての視野角に対する画像フィルタ値を算出する。なお、図８において、前述の中心位置６１、最端位置６２，６３及び中間位置６４，６５を示す。
なお、上記した第一及び第二の設定のみを用いて正視領域と３Ｄクロストーク領域と逆視領域の画像フィルタ値を繋いて、すべての視野角に対する画像フィルタ値を算出することも可能である。さらに、第一、第二及び第三の設定値は、デバイス特性データ保管部１０３に保管しておくことも可能であるし、デバイス特性データ保管部１０３を無くして、画像フィルタ値算出部１０４に記憶させることも可能である。
その他の画像フィルタ値を算出する一例としては、立体画像コンテンツを表示する立体画像表示装置の立体表示パネル部１０７のデバイス特性データが未知な場合でも、予め立体表示パネルの画面サイズや最適視聴距離等の仕様データと関連させて、複数の立体表示パネルのデバイス特性データをデバイス特性データ保管部１０３に保管しておき、立体画像コンテンツを表示する際に、表示する立体表示パネルの仕様データと類似する仕様データと関連付けされたデバイス特性データをデバイス特性データ保管部１０３から取得して、画像フィルタ値を算出する。
以上より、立体画像表示装置の立体表示パネル部１０７のデバイス特性データが未知な場合であっても、画像フィルタ値を算出し、画像フィルタ処理を実施して、３Ｄクロストークによる二重像の影響を軽減し、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。
ここで、各実施形態の効果について総括する。実施形態１〜７によれば、観察者の観察位置が移動しても、３Ｄクロストークによる二重像の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。これに加え、実施形態１、２、３、４、６によれば、立体画像コンテンツの視差値を使用しなくても、３Ｄクロストークによる二重像の影響を軽減して、観察者へ違和感を与えない立体画像表示装置及び立体画像処理方法を提供できる。また、実施形態７によれば、視差調整処理によって立体画像コンテンツの視差値が低下するに伴って、画像フィルタ処理を適用して立体画像コンテンツの画像ぼかしを実施することで、観察者へ視差調整処理によって立体画像コンテンツの視差値が低下したことを通知する立体画像表示装置及び立体画像処理方法を提供できる。
以上、上記各実施形態を参照して本発明を説明したが、本発明は上記各実施形態に限定されるものではない。本発明の構成や詳細については、当業者が理解し得るさまざまな変更を加えることができる。また、本発明には、上記各実施形態の構成の一部又は全部を相互に適宜組み合わせたものも含まれる。
上記の実施形態の一部又は全部は以下の付記のようにも記載され得るが、本発明は以下の構成に限定されるものではない。
［付記１］少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第1の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
が存在する立体表示パネル部を備えるとともに、
観察者の観察位置を計測する観察者位置計測部と、
計測された前記観察位置に対する前記立体表示パネル部の相対位置を算出する相対位置算出部と、
この相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出する画像フィルタ値算出部と、
この画像フィルタ値に従って画像データに画像フィルタ処理を実施する画像フィルタ処理部と、
を備えたことを特徴とする立体画像表示装置。
［付記２］前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを保存するデバイス特性データ保管部と、
前記画像データを保存又は受信する画像データ保管部と、
を更に備え、
前記画像フィルタ値算出部は、
前記相対位置及び前記デバイス特性データに基づき、立体画像表示に適した前記画像フィルタ値を算出する、付記１記載の立体画像表示装置。
［付記３］前記相対位置は、前記観察者の観察位置と前記立体表示パネル部の表示面との視野角である、
付記２記載の立体画像表示装置。
［付記４］前記デバイス特性データは、３Ｄクロストーク特性データであり、
前記画像フィルタ値は、前記３Ｄクロストーク特性データを基準にして算出される、
付記２又は３記載の立体画像表示装置。
［付記５］前記３Ｄクロストーク特性データのうち、３Ｄクロストーク量が所定値を超える領域を３Ｄクロストーク領域、３Ｄクロストーク量が前記所定値以下の領域を非３Ｄクロストーク領域と定義した場合に、
前記３Ｄクロストーク領域の前記画像フィルタ値が前記非３Ｄクロストーク領域の前記画像フィルタ値よりも大きい、付記４記載の立体画像表示装置。
［付記６］前記画像フィルタ値算出部は、画像フィルタ処理による画像品質の低下を抑制するように、前記画像データごとに異なる前記画像フィルタ値を算出する、付記１乃至５のいずれか一つに記載の立体画像表示装置。
［付記７］前記相対位置及び前記デバイス特性データに基づき３Ｄクロストーク画像範囲を算出する３Ｄクロストーク画像範囲算出部を更に備え、
前記画像フィルタ処理部は、前記画像フィルタ値に従って前記画像データのうち前記３Ｄクロストーク画像範囲に対して前記画像フィルタ処理を実施する、付記２乃至６のいずれか一つに記載の立体画像表示装置。
［付記８］環境温度を計測する温度計測部を更に備え、
前記画像フィルタ値算出部は、前記相対位置及び前記温度計測部で計測した環境温度に対応する前記デバイス特性データに基づき、立体画像表示に適した前記画像フィルタ値を算出する、付記２乃至７のいずれか一つに記載の立体画像表示装置。
［付記９］前記画像フィルタ値算出部は、前記相対位置、前記デバイス特性データ及び前記画像データが保有する視差値に基づき、立体画像表示に適した前記画像フィルタ値を算出する、付記２乃至８のいずれか一つに記載の立体画像表示装置。
［付記１０］前記画像フィルタ値算出部は、３Ｄクロストークによる二重像が出現する画像範囲の方向性に適した左右非対称な画像フィルタ形状を用いて、前記画像フィルタ値を算出する、付記１乃至９のいずれか一つに記載の立体画像表示装置。
［付記１１］前記画像フィルタ値算出部は、前記画像データが保有する視差値を参照して、飛出し表示される画像範囲と奥行き表示される画像範囲とで、前記画像フィルタ形状の左右の方向が反対となる左右非対称な画像フィルタ形状を用いて、前記画像フィルタ値を算出する、付記１０記載の立体画像表示装置。
［付記１２］前記相対位置及び前記デバイス特性データに基づき、立体画像表示に適した視差調整値を算出する視差調整値算出部と、
前記視差調整値に従って前記画像データの視差調整処理を実施する視差調整処理部と、
を更に備えた、付記２乃至１１のいずれか一つに記載の立体画像表示装置。
［付記１３］前記画像フィルタ値算出部は、
前記相対位置に応じて、前記左眼に左眼用の立体画像及び前記右眼に右眼用の立体映像が投影される正視領域と、前記左眼に右眼用の立体映像及び前記右眼に左眼用の立体映像が投影される逆視領域と、前記左眼に右眼用及び左眼用の立体映像又は前記右眼に左眼用及び右眼用の立体映像が投影される３Ｄクロストーク領域とに分類し、
前記観察者が前記正視領域から前記逆視領域に移動する際の前記３Ｄクロストーク領域において、前記画像データに対して前記正視領域又は前記逆視領域よりも大きい画像フィルタ値を付与する付記１乃至１２のいずれか一つに記載の立体画像表示装置。
［付記１４］少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、
観察者の両眼に視点の異なる画像がそれぞれ投影されることにより立体画像を表示する正視領域のみが存在する立体表示パネル部を備えるとともに、
前記観察者の観察位置を計測する観察者位置計測部と、
前記観察位置に対する前記立体表示パネル部の相対位置を算出する相対位置算出部と、
前記相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出する画像フィルタ値算出部と、
前記画像フィルタ値に従って画像データに画像フィルタ処理を実施する画像フィルタ処理部と、を備えたことを特徴とする立体画像表示装置。
［付記１５］前記相対位置は、前記観察者の観察位置と前記立体表示パネル部の表示面との視野角である、付記１４記載の立体画像表示装置。
［付記１６］前記画像フィルタ値算出部は、画像フィルタ処理による画像品質の低下を抑制するように、前記画像データごとに異なる前記画像フィルタ値を算出する、付記１４又は１５に記載の立体画像表示装置。
［付記１７］環境温度を計測する温度計測部を更に備え、
前記画像フィルタ値算出部は、前記相対位置及び前記温度計測部で計測した環境温度に対応し、立体画像表示に適した前記画像フィルタ値を算出する、付記１４乃至１６のいずれか一つに記載の立体画像表示装置。
［付記１８］前記画像フィルタ値算出部は、前記相対位置及び前記画像データが保有する視差値に基づき、立体画像表示に適した前記画像フィルタ値を算出する、付記１４乃至１７のいずれか一つに記載の立体画像表示装置。
［付記１９］前記画像フィルタ値算出部は、前記画像データが保有する視差値を参照して、飛出し表示される画像範囲と奥行き表示される画像範囲とで、前記画像フィルタ形状の左右の方向が反対となる左右非対称な画像フィルタ形状を用いて、前記画像フィルタ値を算出する、付記１４乃至１８のいずれか一つに記載の立体画像表示装置。
［付記２０］前記相対位置に基づき、立体画像表示に適した視差調整値を算出する視差調整値算出部と、
前記視差調整値に従って前記画像データの視差調整処理を実施する視差調整処理部と、
を更に備えた、
付記１４乃至１８のいずれか一つに記載の立体画像表示装置。
［付記２１］（※実施形態８に対応）（優先権としての追記内容）
付記１乃至２０のいずれか一つに記載の立体画像表示装置において、
前記相対位置算出部で算出した相対位置を参照して、２台以上の仮想的なカメラの視点位置を算出する機能を備えた任意視点画像生成部を有し、
前記画像フィルタ処理部は、前記画像フィルタ値算出部で算出された画像フィルタ値に従って該カメラから撮影した画像データを画像フィルタ処理し、処理後の画像データを表示対象とすることを特徴とする立体画像表示装置。
［付記２２］（※実施形態８に対応-図９６）（優先権としての追記内容）
付記２１に記載の立体画像表示装置はＮ視点（Ｎは３以上）であり、
前記任意視点画像生成部は、前記相対位置算出部で算出した相対位置を参照して、Ｎ視点の仮想的なカメラの中から観察者へ投影されない画像を撮影する仮想的なカメラを検出し、検出した仮想的なカメラの視点位置を前記相対位置で非連続的に移動することを特徴とする立体画像表示装置。
［付記２３］（※実施形態８に対応）（優先権としての追記内容）
付記２１に記載の立体画像表示装置の任意視点画像生成部は、
前記画像データ保管部に保管された複数の画像データから視点位置を参照し、視点位置間内にある任意視点位置を特定し、
前記相対位置算出部で算出した相対位置に応じて、視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示することを特徴とする立体画像表示装置。
［付記２４］（※実施形態８に対応-２視点間）（優先権としての追記内容）
付記２３に記載の立体画像表示装置は、
前記画像データ保管部に保管された画像データが右眼用画像データと左眼用画像データとの計２視点の画像データであり、
前記任意視点画像生成部は、前記右眼用画像データと前記左眼用画像データから計２つの視点位置を参照し、２視点位置間内にある任意視点位置を特定し、
前記相対位置算出部で算出した相対位置に応じて、２視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示することを特徴とする立体画像表示装置。
［付記２５］（※実施形態８に対応-図１０１）（優先権としての追記内容）
付記２４に記載の立体画像表示装置の任意視点画像生成部は、
前記立体表示パネル部の正視領域において、前記相対位置に応じて、２視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示することを特徴とする立体画像表示装置。
［付記２６］少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第1の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から前記第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び左眼の一方又は両方に右眼用画像及び左眼用画像が投影されるクロストーク領域と、
が存在する立体表示パネルへ、
画像データを出力する画像処理装置において、
前記観察者の観察位置に対する前記立体表示パネルの相対位置を算出する相対位置算出部と、
前記相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出する画像フィルタ値算出部と、
前記画像フィルタ値に従って画像データに画像フィルタ処理を実施する画像フィルタ処理部と、
を備えた画像処理装置。
［付記２７］前記観察者の観察位置を計測する観察者位置計測部と、
前記画像フィルタ処理を実施する前の前記画像データを受信する画像データ受信部と、
前記画像フィルタ処理を実施された前記画像データを出力する画像データ送信部と、
を更に備えた付記２６記載の画像処理装置。
［付記２８］前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを保存するデバイス特性データ保管部を更に備え、
前記画像フィルタ値算出部は、前記デバイス特性データ及び前記相対位置に基づき前記画像フィルタ値を算出する、
付記２６又は２７記載の画像処理装置。
［付記２９］少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第1の方向と定義した場合に、
観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
前記正視領域から前記第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び左眼の一方又は両方に右眼用画像及び左眼用画像が投影されるクロストーク領域と、
が存在する立体表示パネルを、
用いた立体画像処理方法において、
前記観察者の観察位置を計測し、
この観察位置に対する前記立体表示パネルの相対位置を算出し、
この相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出し、
この画像フィルタ値に従って画像データに画像フィルタ処理を実施し、
この画像フィルタ処理を実施された前記画像データを前記立体表示パネルへ出力する、
ことを特徴とする立体画像処理方法。
［付記３０］前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを取得し、
前記画像フィルタ値を算出する際に、前記相対位置に加えて前記デバイス特性データに基づき前記画像フィルタ値を算出し、
前記画像フィルタ処理を実施する前に前記画像データを取得し、
前記画像データに画像フィルタ処理を実施する際に、取得した前記画像データに前記画像フィルタ処理を実施する、付記２９記載の立体画像処理方法。
［付記３１］前記相対位置及び前記デバイス特性データに基づき３Ｄクロストーク画像範囲を算出し、
前記画像データに前記画像フィルタ処理を実施する際に、前記画像データのうち前記３Ｄクロストーク画像範囲に対して前記画像フィルタ処理を実施する、付記３０記載の立体画像処理方法。
本発明は、立体画像表示装置に立体画像コンテンツを表示する機能を有する立体画像処理システム並びに立体画像表示システムに適用される。なお、本発明は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
１０ 観察者
１１〜１７ 立体画像表示装置
１０１ 観察者位置計測部
１０１ａ カメラ
１０２ 相対位置算出部
１０３ デバイス特性データ保管部
１０４ 画像フィルタ値算出部
１０５ 画像データ保管部
１０６ 画像フィルタ処理部
１０７ 立体表示パネル部
１０７ａ 立体表示パネル
１１０ ３Ｄクロストーク画像範囲算出部
１１４ 温度計測部
１１５ 視差値検出部
１２０ 視差調整量算出部
１２１ 視差調整処理部
１５０ 計算機器
１５１〜１５７ 画像処理部
１６０ 画像処理装置
１６１ 画像データ受信部
１６２ 画像データ送信部
４１，４２ 仮想カメラ
４３ 物体
５１ 空白部分
６１ 中心位置
６２，６３ 最端位置
６４，６５ 中間位置
８０，８１ 領域
７０Ｒ 右眼領域
７０Ｌ，７２Ｌ 左眼領域
７０Ｖ１ 視点１の領域
７０Ｖ２ 視点２の領域
７０Ｖ３ 視点３の領域
７０Ｖ４ 視点４の領域
７０Ｖ５ 視点５の領域
７０Ｖ６ 視点６の領域
７０Ｖ７ 視点７の領域
７０Ｖ８ 視点８の領域
７２Ｖ１ 視点１の領域
７１Ｖ８ 視点８の領域
７１Ｖ４ 視点４の領域
５５Ｌ 左眼
５５Ｒ 右眼
Ｐ 画素の幅
Ｐ' 投影面での画素の幅
ｅ 両眼間隔
ＯＤ 最適観察距離
ＦＤ 遠隔観察距離
ＮＤ 近接観察距離
ｈ スリット（又はシリンドリカルレンズ）と画素との距離
Ｓ スリット幅
Ｌ シリンドリカルレンズ幅
４Ｒ 右眼用画素
４Ｌ 左眼用画素
４Ｖ１ 視点１用画素
４Ｖ２ 視点２用画素
４Ｖ３ 視点３用画素
４Ｖ４ 視点４用画素
４Ｖ５ 視点５用画素
４Ｖ６ 視点６用画素
４Ｖ７ 視点７用画素
４Ｖ８ 視点８用画素
６ パララックスバリア
６ａ スリット
２ 表示パネル
３ レンチキュラレンズ
３ａ，３ｂ シリンドリカルレンズ
２０，２１ 光線
３０ 観察面
ＷＰ 立体表示パネルの中心画素の位置から両端画素の位置までの幅

Claims (24)

  1. 少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第1の方向と定義した場合に、
    観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
    前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
    前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
    が存在する立体表示パネル部を備えるとともに、
    観察者の観察位置を計測する観察者位置計測部と、
    計測された前記観察位置に対する前記立体表示パネル部の相対位置を算出する相対位置算出部と、
    前記相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出するものであって、前記相対位置に応じて前記正視領域と前記逆視領域と前記３Ｄクロストーク領域とに分類し、前記３Ｄクロストーク領域における画像データに対して前記正視領域又は前記逆視領域よりも大きい前記画像フィルタ値を付与する画像フィルタ値算出部と、
    この画像フィルタ値に従って画像データに画像フィルタ処理を実施する画像フィルタ処理部と、
    を備えことを特徴とする立体画像表示装置。
  2. 前記立体表示パネル部の前記相対位置に対する表示特性を含むデバイス特性データを保存するデバイス特性データ保管部と、
    前記画像データを保存又は受信する画像データ保管部と、
    を更に備え、
    前記画像フィルタ値算出部は、
    前記相対位置及び前記デバイス特性データに基づき、立体画像表示に適した前記画像フィルタ値を算出する、
    請求項１記載の立体画像表示装置。
  3. 前記相対位置は、前記観察者の観察位置と前記立体表示パネル部の表示面との視野角である、
    請求項２記載の立体画像表示装置。
  4. 前記デバイス特性データは、３Ｄクロストーク特性データであり、
    前記画像フィルタ値は、前記３Ｄクロストーク特性データを基準にして算出される、
    請求項２又は３記載の立体画像表示装置。
  5. 少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第1の方向と定義した場合に、
    観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
    前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
    前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
    が存在する立体表示パネル部を備えるとともに、
    観察者の観察位置を計測する観察者位置計測部と、
    計測された前記観察位置に対する前記立体表示パネル部の相対位置を算出する相対位置算出部と、
    この相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出する画像フィルタ値算出部と、
    この画像フィルタ値に従って画像データに画像フィルタ処理を実施する画像フィルタ処理部と、
    前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを保存するデバイス特性データ保管部と、
    前記画像データを保存又は受信する画像データ保管部と、
    を備え、
    前記画像フィルタ値算出部は、前記相対位置及び前記デバイス特性データに基づき、立体画像表示に適した前記画像フィルタ値を算出し、
    前記デバイス特性データは、３Ｄクロストーク特性データであり、
    前記３Ｄクロストーク特性データのうち、３Ｄクロストーク量が所定値を超える領域を３Ｄクロストーク領域、３Ｄクロストーク量が前記所定値以下の領域を非３Ｄクロストーク領域と定義した場合に、
    前記３Ｄクロストーク領域の前記画像フィルタ値が前記非３Ｄクロストーク領域の前記画像フィルタ値よりも大きい、
    ことを特徴とする立体画像表示装置。
  6. 前記画像フィルタ値算出部は、画像フィルタ処理による画像品質の低下を抑制するように、前記画像データごとに異なる前記画像フィルタ値を算出する、
    請求項２乃至５のいずれか一つに記載の立体画像表示装置。
  7. 少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第1の方向と定義した場合に、
    観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
    前記正視領域から第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
    前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び前記左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
    が存在する立体表示パネル部を備えるとともに、
    観察者の観察位置を計測する観察者位置計測部と、
    計測された前記観察位置に対する前記立体表示パネル部の相対位置を算出する相対位置算出部と、
    この相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出する画像フィルタ値算出部と、
    この画像フィルタ値に従って画像データに画像フィルタ処理を実施する画像フィルタ処理部と、
    前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを保存するデバイス特性データ保管部と、
    前記画像データを保存又は受信する画像データ保管部と、
    前記相対位置及び前記デバイス特性データに基づき３Ｄクロストーク画像範囲を算出する３Ｄクロストーク画像範囲算出部と、
    を備え、
    前記画像フィルタ値算出部は、前記相対位置及び前記デバイス特性データに基づき、立体画像表示に適した前記画像フィルタ値を算出し、
    前記画像フィルタ処理部は、前記画像フィルタ値に従って前記画像データのうち前記３Ｄクロストーク画像範囲に対して前記画像フィルタ処理を実施する、
    ことを特徴とする立体画像表示装置。
  8. 環境温度を計測する温度計測部を更に備え、
    前記画像フィルタ値算出部は、前記相対位置及び前記温度計測部で計測した環境温度に対応する前記デバイス特性データに基づき、立体画像表示に適した前記画像フィルタ値を算出する、
    請求項２乃至７のいずれか一つに記載の立体画像表示装置。
  9. 前記画像フィルタ値算出部は、前記相対位置、前記デバイス特性データ及び前記画像データが保有する視差値に基づき、立体画像表示に適した前記画像フィルタ値を算出する、
    請求項２乃至８のいずれか一つに記載の立体画像表示装置。
  10. 前記画像フィルタ値算出部は、３Ｄクロストークによる二重像が出現する画像範囲の方向性に適した左右非対称な画像フィルタ形状を用いて、前記画像フィルタ値を算出する、
    請求項２乃至９のいずれか一つに記載の立体画像表示装置。
  11. 前記画像フィルタ値算出部は、前記画像データが保有する視差値を参照して、飛出し表示される画像範囲と奥行き表示される画像範囲とで、前記画像フィルタ形状の左右の方向が反対となる左右非対称な画像フィルタ形状を用いて、前記画像フィルタ値を算出する、
    請求項１０記載の立体画像表示装置。
  12. 前記相対位置及び前記デバイス特性データに基づき、立体画像表示に適した視差調整値を算出する視差調整値算出部と、
    前記視差調整値に従って前記画像データの視差調整処理を実施する視差調整処理部と、
    を更に備えた、
    請求項２乃至１１のいずれか一つに記載の立体画像表示装置。
  13. 前記画像フィルタ値算出部は、前記観察者が前記正視領域から前記逆視領域に移動する際の前記３Ｄクロストーク領域において、前記画像データに対して前記正視領域又は前記逆視領域よりも大きい前記画像フィルタ値を付与する、
    請求項２乃至１２のいずれか一つに記載の立体画像表示装置。
  14. 請求項２乃至１２のいずれか一つに記載の立体画像表示装置において、
    前記相対位置算出部で算出した相対位置を参照して、２台以上の仮想的なカメラの視点位置を算出する機能を備えた任意視点画像生成部を有し、
    前記画像フィルタ処理部は、前記画像フィルタ値算出部で算出された画像フィルタ値に従って該カメラから撮影した画像データを画像フィルタ処理し、処理後の画像データを表示対象とすることを特徴とする立体画像表示装置。
  15. 請求項１４に記載の立体画像表示装置はＮ視点（Ｎは３以上）であり、
    前記任意視点画像生成部は、前記相対位置算出部で算出した相対位置を参照して、Ｎ視点の仮想的なカメラの中から観察者へ投影されない画像を撮影する仮想的なカメラを検出し、検出した仮想的なカメラの視点位置を前記相対位置で非連続的に移動することを特徴とする立体画像表示装置。
  16. 請求項２、５又は７記載の立体画像表示装置において、
    前記相対位置算出部で算出した相対位置を参照して、２台以上の仮想的なカメラの視点位置を算出する機能を備えた任意視点画像生成部を有し、
    前記画像フィルタ処理部は、前記画像フィルタ値算出部で算出された画像フィルタ値に従って該カメラから撮影した画像データを画像フィルタ処理し、処理後の画像データを表示対象とし、
    前記任意視点画像生成部は、
    前記画像データ保管部に保管された複数の画像データから視点位置を参照し、視点位置間内にある任意視点位置を特定し、
    前記相対位置算出部で算出した相対位置に応じて、視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示することを特徴とする立体画像表示装置。
  17. 請求項１６に記載の立体画像表示装置は、
    前記画像データ保管部に保管された画像データが右眼用画像データと左眼用画像データとの計２視点の画像データであり、
    前記任意視点画像生成部は、前記右眼用画像データと前記左眼用画像データから計２つの視点位置を参照し、２視点位置間内にある任意視点位置を特定し、
    前記相対位置算出部で算出した相対位置に応じて、２視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示することを特徴とする立体画像表示装置。
  18. 請求項１７に記載の立体画像表示装置の任意視点画像生成部は、
    前記立体表示パネル部の正視領域において、前記相対位置に応じて、２視点位置間内にある任意視点位置から撮影した画像データを繰り返し表示することを特徴とする立体画像表示装置。
  19. 少なくとも２つの視点の異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第１の方向と定義した場合に、
    観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
    前記正視領域から前記第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
    前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
    が存在する立体表示パネルへ、
    画像データを出力する画像処理装置において、
    前記観察者の観察位置に対する前記立体表示パネルの相対位置を算出する相対位置算出部と、
    前記相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出するものであって、前記相対位置に応じて前記正視領域と前記逆視領域と前記３Ｄクロストーク領域とに分類し、前記３Ｄクロストーク領域における画像データに対して前記正視領域又は前記逆視領域よりも大きい前記画像フィルタ値を付与する画像フィルタ値算出部と、
    前記画像フィルタ値に従って画像データに画像フィルタ処理を実施する画像フィルタ処理部と、
    を備えた画像処理装置。
  20. 前記観察者の観察位置を計測する観察者位置計測部と、
    前記画像フィルタ処理を実施する前の前記画像データを受信する画像データ受信部と、
    前記画像フィルタ処理を実施された前記画像データを出力する画像データ送信部と、
    を更に備えた請求項１９記載の画像処理装置。
  21. 前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを保存するデバイス特性データ保管部を更に備え、
    前記画像フィルタ値算出部は、前記デバイス特性データ及び前記相対位置に基づき前記画像フィルタ値を算出する、
    請求項１９又は２０記載の画像処理装置。
  22. 少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第1の方向と定義した場合に、
    観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
    前記正視領域から前記第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
    前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
    が存在する立体表示パネルを、
    用いた立体画像処理方法において、
    前記観察者の観察位置を計測し、
    この観察位置に対する前記立体表示パネルの相対位置を算出し、
    この相対位置に応じて画像ぼかし量を調整する画像フィルタ値を算出し、このとき前記相対位置に応じて前記正視領域と前記逆視領域と前記３Ｄクロストーク領域とに分類し、前記３Ｄクロストーク領域における画像データに対して前記正視領域又は前記逆視領域よりも大きい前記画像フィルタ値を付与し、
    この画像フィルタ値に従って画像データに画像フィルタ処理を実施し、
    この画像フィルタ処理を実施された前記画像データを前記立体表示パネルへ出力する、
    ことを特徴とする立体画像処理方法。
  23. 前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを取得し、
    前記画像フィルタ値を算出する際に、前記相対位置に加えて前記デバイス特性データに基づき前記画像フィルタ値を算出し、
    前記画像フィルタ処理を実施する前に前記画像データを取得し、
    前記画像データに画像フィルタ処理を実施する際に、取得した前記画像データに前記画像フィルタ処理を実施する、
    請求項２２記載の立体画像処理方法。
  24. 少なくとも２つの視点に異なる方向に光線を振り分ける光学手段を有し、前記光線を振り分ける方向を第1の方向と定義した場合に、
    観察者の右眼に右眼用画像が左眼に左眼用画像がそれぞれ投影されることにより立体画像を表示する正視領域と、
    前記正視領域から前記第１の方向に移動した位置で前記右眼に左眼用画像が前記左眼に右眼用画像がそれぞれ投影される逆視領域と、
    前記第１の方向における前記正視領域と前記逆視領域との間に前記右眼及び左眼の一方又は両方に右眼用画像及び左眼用画像が投影される３Ｄクロストーク領域と、
    が存在する立体表示パネルを、
    用いた立体画像処理方法において、
    前記観察者の観察位置を計測し、
    この観察位置に対する前記立体表示パネルの相対位置を算出し、
    前記立体表示パネルの前記相対位置に対する表示特性を含むデバイス特性データを取得し、
    前記相対位置及び前記デバイス特性データに応じて、画像ぼかし量を調整する画像フィルタ値を算出し、
    前記相対位置及び前記デバイス特性データに基づき３Ｄクロストーク画像範囲を算出し、
    画像データのうち前記３Ｄクロストーク画像範囲に対して前記画像フィルタ値に従って画像フィルタ処理を実施し、
    この画像フィルタ処理を実施された前記画像データを前記立体表示パネルへ出力する、
    ことを特徴とする立体画像処理方法。
JP2013089532A 2012-07-31 2013-04-22 立体画像表示装置、画像処理装置及び立体画像処理方法 Active JP6308513B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2013089532A JP6308513B2 (ja) 2012-07-31 2013-04-22 立体画像表示装置、画像処理装置及び立体画像処理方法
CN201310326072.0A CN103595988B (zh) 2012-07-31 2013-07-30 立体图像显示装置、图像处理装置及图像处理方法
CN201710090451.2A CN107071382B (zh) 2012-07-31 2013-07-30 立体图像显示装置
CN201710090813.8A CN107105213B (zh) 2012-07-31 2013-07-30 立体图像显示装置
US13/955,275 US9280951B2 (en) 2012-07-31 2013-07-31 Stereoscopic image display device, image processing device, and stereoscopic image processing method
EP13178737.6A EP2693759B1 (en) 2012-07-31 2013-07-31 Stereoscopic image display device, image processing device, and stereoscopic image processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012170645 2012-07-31
JP2012170645 2012-07-31
JP2013089532A JP6308513B2 (ja) 2012-07-31 2013-04-22 立体画像表示装置、画像処理装置及び立体画像処理方法

Publications (2)

Publication Number Publication Date
JP2014045473A JP2014045473A (ja) 2014-03-13
JP6308513B2 true JP6308513B2 (ja) 2018-04-11

Family

ID=48914095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013089532A Active JP6308513B2 (ja) 2012-07-31 2013-04-22 立体画像表示装置、画像処理装置及び立体画像処理方法

Country Status (4)

Country Link
US (1) US9280951B2 (ja)
EP (1) EP2693759B1 (ja)
JP (1) JP6308513B2 (ja)
CN (3) CN103595988B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201334510A (zh) * 2012-02-07 2013-08-16 Wintek Corp 裸眼與眼鏡可切換式立體顯示裝置
JP6213812B2 (ja) * 2012-07-31 2017-10-18 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置及び立体画像処理方法
CN103414912B (zh) * 2013-07-31 2016-03-02 京东方科技集团股份有限公司 一种评价裸眼立体显示串扰的方法及装置
CN103763540B (zh) * 2014-01-08 2017-01-04 深圳超多维光电子有限公司 立体显示方法和立体显示装置
CN105578171B (zh) * 2014-04-01 2017-07-11 青岛海信电器股份有限公司 一种图像信号处理方法及装置
US10063829B2 (en) * 2014-04-18 2018-08-28 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
JP6516234B2 (ja) 2014-04-24 2019-05-22 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置
FR3021489A1 (fr) * 2014-05-22 2015-11-27 Orange Procede de telechargement adaptatif de contenus numeriques pour plusieurs ecrans
JP6397698B2 (ja) 2014-08-28 2018-09-26 任天堂株式会社 情報処理端末、情報処理プログラム、情報処理端末システム、および情報処理方法
US10448005B2 (en) * 2015-01-22 2019-10-15 Nlt Technologies, Ltd. Stereoscopic display device and parallax image correcting method
JP6677385B2 (ja) * 2015-01-22 2020-04-08 天馬微電子有限公司 立体表示装置及び視差画像補正方法
CN104639934B (zh) * 2015-01-22 2017-11-21 深圳超多维光电子有限公司 立体图像反视处理方法及显示装置
CN104809995A (zh) * 2015-04-28 2015-07-29 京东方科技集团股份有限公司 一种图像处理方法及系统
JP6588840B2 (ja) * 2016-02-04 2019-10-09 株式会社ジャパンディスプレイ 表示装置
CN107643603B (zh) * 2016-07-21 2021-04-09 天马微电子股份有限公司 立体显示装置及控制方法
JP7038981B2 (ja) * 2016-07-21 2022-03-22 天馬微電子有限公司 立体表示装置及び制御方法
KR102025473B1 (ko) * 2017-05-23 2019-11-04 최해용 공간 분리 영상 장치
KR102411661B1 (ko) 2017-07-31 2022-06-21 삼성전자주식회사 영상 처리 방법 및 디바이스
WO2020004275A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 ３次元表示装置、制御コントローラ、３次元表示方法、３次元表示システム、および移動体
JP7154877B2 (ja) * 2018-08-22 2022-10-18 キヤノン株式会社 画像投射装置、画像投射装置の制御方法、および、プログラム
TWI692241B (zh) * 2018-09-10 2020-04-21 宏碁股份有限公司 立體顯示裝置與立體顯示方法
US10854171B2 (en) 2018-12-31 2020-12-01 Samsung Electronics Co., Ltd. Multi-user personal display system and applications thereof
EP3958247B1 (en) * 2019-03-21 2023-12-13 BOE Technology Group Co., Ltd. Display apparatus, electronic device, and driving method of display apparatus
CN112929634A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 多视点裸眼3d显示设备和3d图像显示方法
JP2021141423A (ja) * 2020-03-04 2021-09-16 富士フイルムビジネスイノベーション株式会社 表示システム、表示制御装置及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155154A (ja) * 1997-11-19 1999-06-08 Toshiba Corp 立体映像処理装置
JP2000098299A (ja) * 1998-09-18 2000-04-07 Sanyo Electric Co Ltd 立体映像表示装置
JP2001298754A (ja) 2000-04-11 2001-10-26 Tomohiko Hattori 立体画像におけるクロストーク消去方式および装置
US6618054B2 (en) 2000-05-16 2003-09-09 Sun Microsystems, Inc. Dynamic depth-of-field emulation based on eye-tracking
JP2002095010A (ja) 2000-09-18 2002-03-29 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP4125252B2 (ja) 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
JP4403162B2 (ja) 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
KR20120052365A (ko) * 2009-07-29 2012-05-23 톰슨 라이센싱 3차원(3ｄ) 프로젝션의 누화 보정 방법
JP2011040946A (ja) * 2009-08-10 2011-02-24 Sony Corp 画像処理装置及びプログラム
JP5476910B2 (ja) * 2009-10-07 2014-04-23 株式会社ニコン 画像生成装置、画像生成方法、および、プログラム
JP5615136B2 (ja) 2010-01-12 2014-10-29 三菱電機株式会社 立体画像補正方法、立体表示装置、および立体画像生成装置
JP2011176800A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
JP2011244349A (ja) * 2010-05-20 2011-12-01 Nikon Corp 表示装置および表示方法
JP5235976B2 (ja) 2010-05-31 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 映像再生方法、および映像再生装置
JP5494283B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
KR101729556B1 (ko) * 2010-08-09 2017-04-24 엘지전자 주식회사 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법, 그리고 위치 추적 장치
JP2012044308A (ja) 2010-08-16 2012-03-01 Sharp Corp ３ｄ画像出力装置及び３ｄ画像表示装置
US20120062551A1 (en) 2010-09-13 2012-03-15 Lg Electronics Inc. Image display apparatus and method for operating image display apparatus
JP5269027B2 (ja) * 2010-09-30 2013-08-21 株式会社東芝 三次元画像表示装置および画像処理装置
TWI448146B (zh) * 2011-10-14 2014-08-01 Au Optronics Corp 可改善鬼影現象之立體影像處理方法及其立體顯示裝置
JP6213812B2 (ja) 2012-07-31 2017-10-18 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置及び立体画像処理方法

Also Published As

Publication number Publication date
CN107105213B (zh) 2018-11-30
CN103595988A (zh) 2014-02-19
CN103595988B (zh) 2017-04-12
CN107105213A (zh) 2017-08-29
CN107071382A (zh) 2017-08-18
EP2693759B1 (en) 2016-09-21
EP2693759A3 (en) 2014-08-06
EP2693759A2 (en) 2014-02-05
CN107071382B (zh) 2019-04-26
JP2014045473A (ja) 2014-03-13
US9280951B2 (en) 2016-03-08
US20140035907A1 (en) 2014-02-06

Similar Documents

Publication Publication Date Title
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
JP6380881B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
JP6213812B2 (ja) 立体画像表示装置及び立体画像処理方法
JP6443654B2 (ja) 立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム
EP3350989B1 (en) 3d display apparatus and control method thereof
CN102404592B (zh) 图像处理设备和方法以及立体图像显示设备
JP5625979B2 (ja) 表示装置および表示方法ならびに表示制御装置
KR20120075829A (ko) 적응적 부화소 렌더링 장치 및 방법
KR20140073584A (ko) 화상 처리 장치, 입체 화상 표시 장치, 화상 처리 방법 및 화상 처리 프로그램
JP2013013055A (ja) 裸眼立体ディスプレイ装置及び視点調整方法
KR100751290B1 (ko) 헤드 마운티드 디스플레이용 영상 시스템
US20130162630A1 (en) Method and apparatus for displaying stereoscopic image contents using pixel mapping
CN102970498A (zh) 菜单立体显示的显示方法及显示装置
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
KR100893381B1 (ko) 실시간 입체영상 생성방법
JP6604493B2 (ja) 立体画像表示装置及び端末装置
Lu Computational Photography
KR101173640B1 (ko) 3차원 헤드 마운티드 디스플레이 장치
Hasegawa et al. 55.4: Optimized Parallax Control of Arbitrary Viewpoint Images with Motion Parallax on Autostereoscopic Displays

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160229

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180306

R150 Certificate of patent or registration of utility model

Ref document number: 6308513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250