JP6516234B2 - 立体画像表示装置 - Google Patents

立体画像表示装置 Download PDF

Info

Publication number
JP6516234B2
JP6516234B2 JP2014089883A JP2014089883A JP6516234B2 JP 6516234 B2 JP6516234 B2 JP 6516234B2 JP 2014089883 A JP2014089883 A JP 2014089883A JP 2014089883 A JP2014089883 A JP 2014089883A JP 6516234 B2 JP6516234 B2 JP 6516234B2
Authority
JP
Japan
Prior art keywords
observer
seat
stereoscopic
image
display panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014089883A
Other languages
English (en)
Other versions
JP2015210297A5 (ja
JP2015210297A (ja
Inventor
長谷川 雄史
雄史 長谷川
幸治 重村
幸治 重村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianma Japan Ltd
Original Assignee
Tianma Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianma Japan Ltd filed Critical Tianma Japan Ltd
Priority to JP2014089883A priority Critical patent/JP6516234B2/ja
Priority to US14/694,507 priority patent/US10237542B2/en
Priority to CN201510202519.2A priority patent/CN105049832B/zh
Publication of JP2015210297A publication Critical patent/JP2015210297A/ja
Publication of JP2015210297A5 publication Critical patent/JP2015210297A5/ja
Application granted granted Critical
Publication of JP6516234B2 publication Critical patent/JP6516234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Description

本発明は、立体画像表示技術に係り、特に、座席背面部に設置した立体画像表示装置と観察者との相対距離が変化した際にも、観察者へ違和感を与えない立体画像を表示する立体画像表示装置,立体画像表示方法,及び立体画像表示プログラムに関する。
近年、飛行機や長距離列車等の乗客席には、各々の背面部に中小型ディスプレイが設置されており、各乗客は、それぞれの前の座席の背面部に設けられたディスプレイを使用して、好みの番組内容を視聴することができる。
映画等に代表される乗客視聴用の番組内容には、立体画像表示用のコンテンツが多くあるため、座席背面部に設置されたディスプレイにて立体画像を表示することが望まれている。
ここで、立体画像を表示するディスプレイを備えた立体画像表示装置には、眼鏡式のものと裸眼式のものとがある。
眼鏡式の立体画像表示装置では、観察者が立体画像表示用の眼鏡をかけることにより、左右の眼に視差の異なる画像を投影して観察者へ立体画像を表示する。しかしながら、立体画像表示用の眼鏡をかけることに不快感を持つ観察者は多く、眼鏡が不要である裸眼式の立体画像表示装置の方が望まれている。
裸眼式の立体画像表示装置では、立体画像を投影する空間領域を分割し、分割した空間領域ごとに視差の異なる画像を投影することで、観察者の左右の眼に視差の異なる画像を投影する方式が一般的である。
かかる方式では、立体画像表示装置の立体表示パネルに光学的な光線分離手段であるレンチキュラレンズやパララックスバリア等を備えることにより、空間領域ごとに投影する画像を分離して、複数の空間領域ごとに視差の異なる画像を投影するという手法をとる。
このようなレンチキュラレンズやパララックスバリア等の光学的な光線分離手段を備えた立体画像表示装置は、立体画像表示用の眼鏡を装着する必要がなく、煩わしさがない点で優れている。
しかし、観察者が正常に立体画像を視認できる空間領域(正常立体視可能領域)は、観察者の左眼の位置が左眼用画像の投影される空間領域内にあり、観察者の右眼の位置が右眼用画像の投影される空間領域内にある場合に限定される。
観察者の左右の眼の位置がこの正常立体視可能領域から外れると、左眼用画像と右眼用画像が重なって見えたり(いわゆる3Dクロストークによる2重像)、奥行き感が逆になった立体画像が見えたり(いわゆる逆視)するという問題が発生する。
その他にも、裸眼式の立体画像表示装置においては、観察者の観察位置が正常立体視可能領域から外れると、立体表示パネル面上に輝度ムラ(輝度変動)が発生し、立体画像内で周辺の画像領域よりも一段と暗く表示される画像領域が現れる問題が知られている。
この現象は3Dモアレと呼ばれ、各視点用の画素と画素との間の非表示領域(液晶パネルで一般にブラックマトリックスと呼ばれる遮光部)が、レンチキュラレンズやパララックスバリア等の光学的な光線分離手段と干渉して視認されることに起因する。すなわち、3Dモアレ(3D moire)とは、異なる角度方向に異なる画像を投影することに起因する、周期的な輝度のムラ(色のムラを指すこともある)のことである。
3Dモアレは、輝度の角度方向における変動(Luminance Angular Fluctuation)であり、観察位置によっては問題とならない場合もあるが、この輝度の角度方向における変動が大きいと、立体画像の表示品質が低下し、観察者へ違和感を与えるといった問題が発生する。
これらの裸眼式の立体画像表示装置に特有である3Dクロストークによる2重像や逆視,3Dモアレによる問題(以下「3D表示における各問題」と称する。)は、立体画像表示装置と観察者との相対距離に依存する。
また、旅客機や旅客車等では、前座席の乗客の都合によって該前座席の背面部にある背もたれが倒れることがあり、これに伴って該背面部に設置された立体画像表示装置も移動することとなる。
したがって、座席背面部に立体画像表示装置が設置されている場合には、観察者が移動しなくても、前座席の乗客の都合によって立体画像表示装置と観察者との相対距離(観察距離)が急激に変化し、これにより3D表示における各問題が発生するため、立体画像の表示品質が著しく低下することとなる。この表示品質の低下は観察者に違和感を与えるため、観察距離が変化しても3D表示における各問題が発生しない立体画像表示装置が強く望まれている。
こうした3D表示における各問題の影響を軽減するための手法としては、観察者の位置を計測して、立体画像表示装置と観察者との相対距離を表す観察距離や立体画像表示装置に対する観察者の相対位置を表す観察位置を算出し、この算出した観察距離又は観察位置に係る情報に応じて立体画像の表示設定を調整するという構成内容が考えられ、これを採用する場合には、観察距離情報又は観察位置情報を要するため、観察者の位置を計測する装置が必要となる。
特に、3Dクロストークによる2重像や逆視,3Dモアレの影響をより効果的に軽減するには、観察者と立体画像表示装置との奥行き方向の距離を表す観察距離を計測することが必要となり、この観察距離を計測する装置としては、奥行き方向の距離を計測して3次元空間上の位置を計測可能な計測装置(3次元位置計測装置)が知られている。
近年、こうした3次元位置計測装置の価格は低下しているが、それでも、観察者の位置を2次元平面上の撮像画像データとして撮影可能なUSBカメラ(モバイル機器の小型カメラモジュール)や座席の倒れ具合を計測する傾斜センサ等と比較すると、当該計測装置はまだまだ高価である。
すなわち、このような高価な計測装置を立体画像表示装置に設置することは、全体的な装置コストの増加に繋がるため、座席背面部に設置する立体画像表示装置の普及を妨げる原因となっていた。
かかる問題の解決に関連する技術としては、例えば下記のような内容が知られている(特許文献1乃至9等)。
特許文献1には、ディスプレイ面を斜めから観察することによって生じる画像あおりによる歪みを補正するために、観察者の座席状態とバックミラーに取り付けた車内カメラによる撮影画像とから観察距離を含む観察位置を算出するという技術が開示されている。
特許文献2には、観察者の位置に合わせてディスプレイの位置や姿勢を調整するキャリブレーションシステムにおいて、ディスプレイから発光した赤外線を観察者の位置に設置した赤外線カメラで計測することにより、観察者のディスプレイに対する相対位置を算出するという技術が開示されている。
特許文献3には、観察者が移動しても違和感の無い立体画像を表示するために、カメラで撮影した撮像画像データから観察者の位置を計測する画像処理技術が開示されている。また、当該技術における処理方法としては、2次元平面上の撮像画像データから観察者の位置を計測する画像処理方法のほか、顔画像を任意の画像範囲で撮影するためにカメラの焦点距離を調整する方法が記載されている。
特許文献4には、観察者の位置が正常に立体画像を視認できる空間領域から外れた場合に、立体画像を視認できる空間領域内へ移動するように観察者へ報知する技術が開示されている。
特許文献5における立体画像表示装置には、観察者が移動しても違和感の無い立体画像を提供するために、加速度センサ等に代表される傾斜センサが立体画像表示装置に設置されている。すなわち、この傾斜センサによって立体画像表示装置の傾きを検出し、観察位置を計測するという技術内容が開示されている。
特許文献6には、前座席の乗客のリクライニングの状態変化によって、前座席の背面部に設置されたディスプレイ面の表示方向が変化した場合でも、ディスプレイ面の表示方向と観察者の視線方向とを一致させるために、観察者の座席と前座席との傾斜角度を考慮してディスプレイ面の設置角度を調整するという技術が開示されている。
特許文献7乃至9における立体画像表示装置では、観察者の位置が移動しても、その位置に合わせて右眼用画像及び左眼用画像に画像変換処理を実施することで、3Dクロストークによる2重像や逆視,3Dモアレの影響を軽減し、違和感の無い立体画像を表示するという技術を採用している。
また、非特許文献1には、安価な計測装置だけで観察位置を計測するために、予め観察者の実際の瞳孔間距離を登録しておき、USBカメラ等で撮影した2次元平面の撮像画像データ内に映る観察者の瞳孔間距離と、上記予め登録した観察者の瞳孔間距離とを比較することで、立体画像表示装置と観察者との奥行き方向の距離を表す観察距離を算出するという技術が開示されている。
特開2009−75842号公報 WO2012−023509号公報 特開2000−152285号公報 特開2012−170502号公報 特開2008−15188号公報 特開2008−279155号公報 特開2014−45474号公報 特開2014−45473号公報 特開2014−44396号公報
S-H. Ju, et al, "Viewer's Eye Position Estimation Using Camera" 2013 International Symposium Digest of Technical Papers, 48.3, pp 671-674
しかしながら、特許文献1における観察位置の算出方法は、車内カメラとディスプレイとの設置位置が固定されていることを前提とした技術であるため、前座席の乗客の都合によって当該ディスプレイの設置位置が移動するような場合(例えば座席背面部に設置したディスプレイを使用するような場合)には適用することができないという課題がある。
また、特許文献2に開示された技術では、観察者の位置に赤外線カメラを設置する必要があるため、計測装置の設置が困難であり、かつ装置コストが高価になるという不都合がある。
ところで、より効果的に3Dクロストークによる2重像や逆視,3Dモアレの影響を軽減するためには、立体画像表示装置と観察者との奥行き方向の距離を表す観察距離を計測することが必要となるが、特許文献3には、撮影した顔画像から立体画像表示装置と観察者との奥行き方向の距離を計測する方法について何ら開示されていない。したがって、特許文献3に開示された技術を採用しても、違和感の無い良好な立体画像を表示することができないという問題がある。
特許文献4における技術では、観察距離の計測に測距センサを使用するため、計測装置のコストが増加するという課題がある。
また、特許文献5には、傾斜センサによって立体画像表示装置の傾斜角度を検出する手法についての記載はあるが、観察者の座席とその前にある座席の傾斜角度を使用して観察距離を計測するという方法については何ら開示されていない。したがって、特許文献5における技術を用いても、座席背面部に設置した立体画像表示装置と観察者との相対距離を、安価な計測装置のみで計測することができないという不都合がある。
特許文献6における技術では、観察者の座席と前座席との傾斜角度からディスプレイ面の表示方向と観察者の視線方向との相対角度を算出するという手法を採っているものの、ディスプレイ面と観察者との奥行き方向の距離を算出するといった内容については、何ら開示されていない。
ここで、裸眼式の立体画像表示装置では、通常の画像表示装置(2次元画像を表示するディスプレイ)と異なり、相対角度が変化した場合のみならず、観察距離が変化した場合においても、3Dクロストークによる2重像や逆視,3Dモアレの影響によって立体画像の表示品質が著しく低下する。このため、特許文献6にかかる方法を用いても、裸眼式の立体画像表示装置に特有である3Dクロストークによる2重像や逆視,3Dモアレ等の影響を軽減することができないという問題がある。
特許文献7乃至9における技術では、立体画像表示装置と観察者との相対距離を表す観察位置を計測するに際して、観察者の座席と前座席の傾斜角度を使用するという構成を採っていない。このため、かかる技術を立体画像表示装置が座席背面部に設置されるという状況下に適用しても、安価な計測装置だけでは観察距離を計測することができないという不都合がある。
また、非特許文献1に記載の技術によれば、安価な計測装置のみによる観察距離の計測は可能であるが、当該計測に先立って、予め観察者の瞳孔間距離を立体画像表示装置に登録しておく必要がある。したがって、大勢の観察者が利用する公共性の高い立体画像表示装置等に当該技術を採用した場合には、観察者が変わるたびに瞳孔間距離の登録が必要となるため、処理が煩雑となってしまうという不都合がある。すなわち、大勢の観察者の瞳孔間距離を簡易に登録する方法について何ら開示されていない当該技術を、公共性の高い立体画像表示装置等に適用しても、その利点を活かすことができないという問題がある。
(発明の目的)
そこで、本発明は上述した課題を解決し、特に、3Dクロストークによる2重像や逆視,3Dモアレの影響を安価な構成によって有効に軽減し、観察者に違和感を与えない有意な立体画像を表示する立体画像表示装置,その表示方法,及びその表示プログラムを提供することを目的とする。
上記目的を達成するために、本発明にかかる立体画像表示装置は、移動物体に設置されて立体画像を表示する立体画像表示装置であって、隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段と、前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出手段と、この状態情報から前記立体表示パネル手段とその表示面側に位置する特定の観察者との相対距離を算出する相対距離算出手段と、前記立体表示パネル手段にかかる前記相対距離に対応する情報であるデバイス特性データを保存するデバイス特性データ保管手段と、前記相対距離と前記デバイス特性データとを参照して前記立体画像の視差値又は輝度値を前記相対距離に合わせて変更する表示設定調整手段と、を有し、前記立体表示パネル手段は、少なくとも第1視点用の画像を表示する第1のサブ画素及び第2視点用の画像を表示する第2のサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、前記各サブ画素から出射した光線を相互に異なる方向に振り分ける光線分離手段と、を含み、前記移動物体は座席であり、該座席の背もたれ部は可動式であり、前記移動物体状態検出手段は、前記座席の背もたれ部に設置した第1傾斜センサの出力値と前記座席の着座部に設置した第2傾斜センサの出力値との差分値に基づいて前記状態情報を検出し、前記相対距離算出手段は、前後に並ぶ2つの座席間の設置位置情報を保有すると共に、この設置位置情報と前記状態情報とを用いて前記相対距離を算出し、前記立体表示パネル手段は、接合部材を介して前記座席の背面部に設置され、前記設置位置情報は、前記背もたれ部の可動部の支点位置から前記座席の背面部と前記接合部材との取り付け位置までの長さを示す接合部材取付長さL SP と、前記立体表示パネル手段の表示面に対して垂直な方向において、前記立体表示パネル手段の表示面の位置から当該立体表示パネル手段が設置された前記座席の背もたれ部の前面の位置までの距離を示す背もたれ幅Z SP とを含み、前記状態情報は、前記観察者の座席の鉛直方向からの傾斜角度θ SO と、
前記観察者の前の座席の鉛直方向からの傾斜角度θ SP をとを含み、前記相対距離算出手段は、前記観察者の座席と前記観察者の前の座席との設置間隔の距離をZ SS としたとき、下記式(2)により前記相対距離Z OD を算出する、という構成を採っている。
Figure 0006516234
また、本発明にかかる立体画像表示方法は、隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段を有すると共に、移動物体に設置されて立体画像を表示する立体画像表示装置における立体画像表示方法であって、前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出工程と、この状態情報から前記立体表示パネル手段とその表示面側に位置する特定の観察者との相対距離を算出する相対距離算出工程と、前記立体表示パネル手段にかかる前記相対距離に対応する情報であるデバイス特性データを受信するデバイス特性データ受信工程と、前記相対距離と前記デバイス特性データとを参照して前記立体画像の視差値又は輝度値を前記相対距離に合わせて変更する表示設定調整工程と、この変更後の視差値又は輝度値に基づいて、前記各空間領域それぞれに対し前記視差の異なる画像を投影することで前記立体画像を表示する立体画像表示工程と、を有することを特徴とする。
さらに、本発明にかかる立体画像表示プログラムは、隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段を有すると共に、移動物体に設置されて立体画像を表示する立体画像表示装置に適用する立体画像表示プログラムであって、前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出機能、この状態情報から前記立体表示パネル手段とその表示面側に位置する特定の観察者との相対距離を算出する相対距離算出機能、前記立体表示パネル手段にかかるデバイス特性データを受信するデバイス特性データ受信機能、前記相対距離と前記デバイス特性データとを参照して前記立体画像の表示設定を調整する表示設定調整機能、この調整後の表示設定に基づいて、前記各空間領域それぞれに対し前記視差の異なる画像を投影することで前記立体画像を表示する立体画像表示機能、を前記立体画像表示装置内に予め設けられたコンピュータに実現させることを特徴とする。
本発明では、上記の通り、安価な計測装置のみを用いて、座席背面部に設置された立体画像表示装置と観察者との奥行き方向の距離(観察距離)を算出し、その観察距離に合わせて立体画像の表示設定を調整するという構成を採ったため、特に、3Dクロストークによる2重像や逆視,3Dモアレの影響を安価な構成によって有効に軽減し、観察者に違和感を与えない有意な立体画像を表示する立体画像表示装置,その表示方法,及びその表示プログラムの提供が可能となる。
本発明の第1実施形態における立体画像表示装置の構成図である。 図1に開示した立体画像表示装置の外観図である。 図2に開示した立体表示パネル手段の拡大図である。 図1等の立体表示パネル手段にレンチキュラレンズを適用した構成において、該立体表示パネル手段により形成される光学モデルを例示する概略図である。 図1等の立体表示パネル手段にパララックスバリアを適用した構成において、該立体表示パネル手段により形成される光学モデルを例示する概略図である。 図4と同様の立体表示パネル手段によって形成される光学モデルを示す図のうち、逆視を説明する概略図である。 図4と同様の立体表示パネル手段によって形成される光学モデルを示す図のうち、3Dクロストークを説明する概略図である。 図1等に開示した立体画像表示装置が座席背面部に設置された状態を示す外観図である。 図1等に開示した立体画像表示装置に外枠を設けて座席背面部に設置した状態を示す外観図である。 座席背面部に設置された図1等における立体画像表示装置と観察者との位置関係を示す模式図である。 図10に示す状況から、観察者の前の座席が傾斜した際の立体画像表示装置と観察者との位置関係を示す模式図である。 図1等に開示した立体画像表示装置が前座席の傾斜によって移動する様子を示す模式図のうち、図12(a)は観察者の位置が正視領域内である場合の位置関係を、図12(b)は観察者の位置が正視領域外である場合の位置関係それぞれ示す。 図1等における移動物体状態検出手段内の傾斜センサを設置した座席の外観図である。 図13における傾斜センサによる傾斜角度の算出処理の説明図のうち、図14(A)は重力加速度方向と加速度座標系のY軸方向が等価である例を示し、図14(B)は重力加速度方向と加速度座標系のY軸方向が不等価である例を示す。 2つの傾斜センサを設置した座席の外観図である。 座席の背もたれ部の傾斜による加速度の時間変化を示す図である。 ギア回転検出センサを設置した座席の外観図であり、該座席の背もたれ部の傾斜角度について、図17(A)はθS1である場合,図17(B)はθS1よりも大きいθS2である場合をそれぞれ示す図である。 座席背面部に設置された図1等に示す立体画像表示装置と観察者との位置関係を示す概略図である。 図1等の立体画像表示装置と座席背面部との接合関係を示す概略図のうち、図19(A)は座席の後方から座席背面部を見た場合の外観図であり、図19(B)は座席の横方向から座席側面部を見た場合の外観図である。 3Dクロストーク特性データを示す図である。 図1等の立体画像表示装置が有する立体表示パネル手段により形成される光学モデル図のうち、高めに設定した閾値に対応する3Dクロストーク領域を示す説明図である。 図1等の立体画像表示装置が有する立体表示パネル手段により形成される光学モデル図のうち、低めに設定した閾値に対応する3Dクロストーク領域を示す説明図である。 図1等の立体画像表示装置が有する立体表示パネル手段の個体差に起因した光学モデルの変化を示す図のうち、図23(A)は立体表示パネル手段の中心位置の光線向きが正面方向である場合,図23(B)は光線向きが製造誤差の許容値-ΔθLIMほど傾斜した場合,図23(C)は光線向きが反対方向へ製造誤差の許容値ΔθLIMほど傾斜した場合をそれぞれ示し、図23(D)は上記(A),(B),(C)の光学モデルを重ね合わせた図である。 図1等の立体画像表示装置が内包する画像データ保管手段に保管された画像データのサンプルを示す図である。 視差画像にかかる説明図である。 画像データと視差値との関係図である。 様々な視差値の画像データ群のサンプルを示す図である。 立体表示パネル手段の光学分離特性の違いによる表示設定の調整方法にかかる、3Dクロストークや逆視に対応する分類表である。 液晶レンズの電圧制御の効果を示す図のうち、制御電極への印加電圧が低い場合の立体表示パネル手段の断面と液晶レンズのX軸方向の屈折率分布を示す図である。 液晶レンズの電圧制御の効果を示す図のうち、制御電極への印加電圧が高い場合の立体表示パネル手段の断面と液晶レンズのX軸方向の屈折率分布を示す図である。 液晶レンズの屈折率変更による最適視認距離の変更を示す説明図である。 液晶レンズの屈折率変更による最適視認距離の調整範囲を示した図である。 観察距離に対する視差許容値の関係図である。 立体表示パネル手段の輝度-視野角特性データを示す図である。 前座席の背もたれ部の傾斜による3Dモアレの出現を示す説明図である。 立体表示パネル手段の光学分離特性の違いによる表示設定の調整方法にかかる、3Dモアレに対応する分類表である。 図1等に開示した立体画像表示装置における画像処理動作のフローチャートである。 本発明の第2実施形態における立体画像表示装置の構成図である。 図38に開示した立体画像表示装置の外観図である。 図38の立体画像表示装置が撮像手段にて撮影した撮像画像データと座席状態との関係図である。 図40と同様に撮影した撮像画像データと座席状態との関係図である。 観察距離の変化量が観察者の両眼の高さに依存する一例を示す図である。 撮像手段をその前面上部に搭載した立体画像表示装置が座席背面部に設置された状態を示す外観図である。 立体画像表示装置が座席背面部に設置された状態のうち、撮像手段を座席に設置した場合を示す外観図である。 傾斜センサを設置した座席と立体画像表示装置を示す基本外観図である。 座席及び立体画像表示装置に傾斜センサを設置した場合において、図45の状態から座席背面部を傾斜させた様子を示す外観図である。 立体画像表示装置の表示座標系と撮像手段のカメラ座標系との関係図である。 座席背面部に設置された立体画像表示装置と観察者との位置関係を示す図である。 撮像手段にて異なる観察距離の物体を撮影した撮影環境を示す図である。 異なる観察距離の物体を撮影した撮像画像データのサンプルを示す図である。 液晶レンズの屈折率変更による正視領域の位置変更を示す図である。 液晶レンズの電圧制御の効果を示す図であり、制御電極Eと制御電極Eに対して同じ電圧を印加した場合の立体表示パネル手段にかかる断面図である。 液晶レンズの電圧制御の効果を示す図であり、制御電極Eと制御電極Eに対して同じ電圧を印加した場合の立体表示パネル手段にかかる断面図である。 立体表示パネル手段により形成される光学モデル図であり、液晶レンズの制御による正視領域の形成位置の変化を説明する図である。 立体表示パネル手段により形成される光学モデル図であり、レンズパワーを局所的な変更による正視領域の形成位置の変化を説明する図である。 視野角に対する視差許容値の関係図である。 図38等に開示した立体画像表示装置における画像処理動作のフローチャートである。 本発明の第3実施形態における立体画像表示装置の構成図である。 感圧センサを設置した座席の外観図である。 撮像手段で撮影した撮像画像データを例示する図である。 観察者データの登録時に、立体画像表示装置へ表示する通知画面を示す図である。 撮像手段で撮影した撮像画像データの変化を示す図である。 図58に開示した立体画像表示装置による観察者データの登録処理にかかるフローチャートである。 図58に開示した立体画像表示装置による立体画像表示処理にかかるフローチャートである。 本発明の第4実施形態における立体画像表示装置の構成図である。 座席の背もたれ部の傾斜と撮像手段から座席の背もたれ部までの距離との関係図である。 撮像手段で撮影した撮像画像データと座席の背もたれ部の傾斜との関係図である。 撮像手段で撮影した撮像画像データと座席の背もたれ部の傾斜との関係図であり、座席の背もたれ部が図67の状態よりも大きく傾斜した様子を示す図である。 図65に開示した立体画像表示装置における画像処理動作のフローチャートである。
以下、添付図面を参照しながら、本発明を実施するための形態(以下「実施形態」という。)について説明する。
〔第1実施形態〕
本発明における立体画像表示装置の第1実施形態を図1乃至図37に基づいて説明する。ここで、本第1実施形態の立体画像表示装置には、以下の各説明中において、適宜各構成部材の付加又は変更等がなされるが、これらを含む総称として共通の符号(11)を用いるものとする。
(全体的構成)
図1に示すように、本第1実施形態における立体画像表示装置11は、移動物体の状態(位置状態)を検出する移動物体状態検出手段110と、隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段120と、各種情報にかかる演算処理を実施する演算処理部131と、を備えている。
演算処理部131は、移動物体状態検出手段110による検出結果である状態情報に基づいて立体表示パネル手段120とその表示面側に位置する特定の観察者との相対距離を表す観察距離を算出する観察距離算出手段(相対距離算出手段)140と、画像データを保存し又は受信する画像データ保管手段150と、立体表示パネル手段120の光学特性(表示特性)表すデバイス特性データを保管するデバイス特性データ保管手段160と、観察距離算出手段140にて算出した観察距離とデバイス特性データ保管手段160に保存されたデバイス特性データとに基づいて立体画像の表示設定を調整する表示設定調整手段170と、を有している。なお、本明細書で記述している相対距離とは、立体画像表示装置と観察者との奥行き方向の距離を言っており、観察距離と同義である。
すなわち、表示設定調整手段170による表示設定調整後に立体表示パネル手段120が、画像データを右眼用画像と左眼用画像とに分離すると共に、これらを観察者の右眼と左眼とに向けて投影する、という構成を採っている。
また、図2の外観図に示すように、立体画像表示装置11では、立体表示パネル手段120と演算処理部131とを内包する装置本体10と移動物体状態検出手段110とが有線で接続されている。
ここで、本第1実施形態では、上記移動物体として、飛行機や長距離列車等の座席を想定し、この座席の背もたれ部は可動式であるものとする。このため、移動物体状態検出手段110は、対応する装置本体10を設置する座席に接着等により設けられている。
すなわち、移動物体状態検出手段110は、座席の倒れ具合などの座席状態を検出し、その座席状態の情報(状態情報)を演算処理部131にある観察距離算出手段140へ送信する。
ところで、図2では、装置本体10と移動物体状態検出手段110とが有線で接続された例を示し、これを参照して上記説明を行ったが、この有線接続に代えて、装置本体10と移動物体状態検出手段110との無線通信を可能とする構成を採用してもよい。すなわち、移動物体状態検出手段110に、座席状態の情報を無線通信によって送信する機能を設けると共に、上記有線接続を無くすという構成を採ってもよい。
演算処理部131は、図2に示すように、立体表示パネル手段120の後方部に配置され、移動物体状態検出手段110から入力される状態情報を活用して、各種の演算処理を実施するように構成されている。
立体表示パネル手段120は、少なくとも第1視点用の画像を表示するサブ画素及び第2視点用の画像を表示するサブ画素を含む画素がマトリクス状に複数配列された電気光学手段としての画像表示パネルと、上記各々の視点用の画像を所定の異なる方向に分離可能な光線分離手段としての光線分離パネルとから構成される。
すなわち、電気光学手段としては、液晶方式,有機EL方式,プラズマ方式などを採用した画像表示パネルを用いることができ、光線分離手段としては、レンチキュラレンズ,液晶レンズ,パララックスバリア等から成る光線分離パネルを用いることができる。
このうち、レンチキュラレンズは、レンズの屈折率が不変であるが、液晶レンズは、電圧制御によってレンズの屈折率の分布を変更することができる。
立体表示パネル手段120の一例を拡大して示す図3では、電気光学手段として液晶表示パネルを,光学分離手段としてレンチキュラレンズをそれぞれ採用し、これらを組合せるという構成を採っている。
図3において、液晶表示パネル内にある左眼用画素4Lは、立体表示パネル手段120から観察者の左眼へ投影する左眼用画像を表示するサブ画素を表し、同様に右眼用画素4Rは、観察者の右眼へ投影する右眼用画像を表示するサブ画素を表す。この左眼用画素4Lと右眼用画素4Rとは、交互に並ぶように配列されている。
次に、立体表示パネル手段120の光線分離手段によって分割される空間領域について、レンチキュラレンズ方式の光学モデルにかかる図4乃至図7を参照して説明する。これら各図は、観察者の頭上側から見た該観察者及び立体画像表示装置11の周辺にかかる断面図である。
まず、図4に、レンチキュラレンズ方式を採用した立体画像表示装置11において、観察者の左右の眼へ視差の異なる画像を投影する光学モデルの一例を示す。
この図4では、観察者の両眼(右眼55Rと左眼55L)が立体表示パネル手段120の表示面40から最適視認距離(最適観察距離)OD程度離れた観察面30に位置し、かつ観察者の両眼中心と表示パネルの中心とが一致する位置関係となっている。
画像表示パネル(図示せず)は、マトリックス状に配列された画素となる光変調素子群から構成されており(例えば液晶パネル)、図4には、交互に並ぶ右眼用画素4R及び左眼用画素4L(画素群4)のうち、画像表示パネルの両端及び中心部に位置する各画素のみを図示している。
空間領域を分割して画像を投影する手段として機能するレンチキュラレンズ3は、観察者から見て画像表示パネルの手前側に配置されている。
このレンチキュラレンズ3は、細長い蒲鉾状の多数の凸型のシリンドリカルレンズ(以降、単にレンズと呼ぶ:レンズ幅L)3aから形成された光学素子であり、画像表示パネルの左眼用画素4Lと右眼用画素4Rとが交互に並ぶ方向(画素の配列方向:X軸方向)に対して、レンズ3aの長手方向(Y軸方向)が直交するように配置されている。
また、画像表示パネルの奥には、光源(図示せず:いわゆるバックライト)が設置され、この光源から出た光は、画像表示パネル内の画素を通過し、その後にレンズ3aを通過して観察者に向けて投影される。右眼用画素4Rの投影方向及び左眼用画素4Lの投影方向は、レンズ3aの存在により制限される。
ここで、図4に示すように、各レンズ3aから出た光のうち、各々のレンズ3aから最も近い画素を通る光の軌跡を光線20とすると、これに対応する全ての右眼用画素4Rの投影像が重なる右眼領域70R(右眼用画像の投影される空間領域)と、同じく対応する全ての左眼用画素4Lの投影像が重なる左眼領域70L(左眼用画像の投影される空間領域)とが得られる。すなわち、右眼領域70Rでは右眼用画素4Rからの投影像しか観察できず、また左眼領域70Lでは左眼用画素4Lからの投影像しか観察できないという状態にある。
このため、観察者の右眼55Rが右眼領域70R内に位置し、同左眼55Lが左眼領域70L内に位置しているときに、立体表示パネル手段120から視差画像を投影すると、該観察者は立体画像を視認することができる。換言すれば、観察者は、右眼55Rが右眼領域70R内に位置し、かつ左眼55Lが左眼領域70L内に位置しているときに、所望の立体画像を観察することができる。
ここで、観察者と立体表示パネル手段120(表示面40)との距離が、最短視認距離(最短観察距離)NDよりも短くなると、観察者の右眼55Rが右眼領域70R外になり、同左眼55Lが左眼領域70L外になるため、該観察者は立体画像を視認することができない。
また、観察者と立体表示パネル手段120(表示面40)との距離が、最長視認距離(最長観察距離)FDよりも長くなると、観察者の右眼55Rが右眼領域70R外になり、同左眼55Lが左眼領域70L外になるため、同様に該観察者は立体画像を視認することができない。
図4の立体表示パネル手段120は、観察面30において、右眼領域70R,左眼領域70Lの幅が最大となるように、最適視認距離ODの位置における各右眼用画素4R及び左眼用画素4L(画素幅P)の各投影像(幅P')が全て重なるように設計されている。
すなわち、各右眼用画素4Rの投影像と各左眼用画素4Lの投影像とが、最適視認距離ODの位置において隔たりなく連続するという構成を採っている。
この投影像の幅(観察面に投影された画素幅)P'は、主にレンズ3aの主点と画素との距離h,画素ピッチP,最適視認距離ODにより決定される。
この幅P'を広げれば、右眼領域70R及び左眼領域70Lの幅は広がるが、観察者の両眼間隔を表す瞳孔間距離は一定であり、該観察者の両眼双方が対応する領域に位置できる範囲は不変であるため、立体画像を視認可能な空間領域(立体視域)は必ずしも広がるわけではない。
図4に示すように、両眼間隔をeとすると、幅P'は両眼間隔eと等しくなるように設計することが好ましい。これは、幅P'が両眼間隔eよりも小さな場合には、立体視が行える領域は幅P'に制限され、一方で幅P'が両眼間隔eよりも大きな場合には、両眼位置が2つとも右眼領域70R又は左眼領域70Lに位置し、立体画像が視認不可能な領域が増える、といった不都合が生じるためである。
次いで、図5に、立体表示パネル手段120の光線分離手段として、レンチキュラレンズの代わりにパララックスバリアを用いたときに分割される空間領域を示す。すなわち、この図5に示す構成は、レンチキュラレンズ3に代えてパララックスバリア6を採用した点のみが図4の場合と相違する。
パララックスバリア6は、細い縦縞状の多数のスリット6aが形成されたバリア(遮光板)であり、画像表示パネルの左眼用画素4Lと右眼用画素4Rとが並ぶ方向に対して、バリアの長手方向が直交するように配置されている。図5の断面図では、バリア幅Sのバリア6bとスリット6aとが交互に配置された様子を示す。
バックライト等の光源から出た光は、画像表示パネル内の画素において強度が変調され、その後にスリット6aを通過して観察者に向けて投影される。右眼用画素4Rの投影方向及び左眼用画素4Lの投影方向は、スリット6aの存在により制限される。
ここで、図5に示すように、スリット6aから出た光のうち、各々のスリット6aから最も近い画素を通る光の軌跡を光線20とすると、図4の場合と同様に、全ての右眼用画素4Rの投影像が重なる右眼領域70Rと、全ての左眼用画素4Lの投影像が重なる左眼領域70Lとが得られる。
次に、観察者が正常に立体画像を視認可能な空間領域(正視領域)から外れて、立体画像の飛び出し方向と奥行き方向が逆になって視認される空間領域(逆視領域)に位置する場合について、図6を参照して説明する。
この図6は、観察者が右へ移動したため、右眼55Rが右眼領域70R外に移動して左眼領域72L内に位置し、左眼55Lが左眼領域70L外に移動して右眼領域70R内に位置したときの観察者の頭上側から見た断面図である。
このとき、観察者の右眼55Rの位置には、左眼用画素4L及び右眼用画素4Rから出た光の中で、最も近いシリンドリカルレンズ3aの主点(頂点)を通る光線20は届かない。しかし、左眼用画素4Lから出た光の中で2番目に近いシリンドリカルレンズ3bの主点(頂点)を通る光に着目し、これを光線21(図6の一点鎖線)とすると、この光線21によって第2の左眼領域72Lが得られることが分かる。
このように、図6においては、観察者は右眼55Rで左眼用画素4Lからの投影像を観察し、左眼55Lで右眼用画素4Rからの投影像を観察することとなり、立体画像を観察すると飛び出し方向と奥行き方向が反対となるため(いわゆる逆視)、所望の立体画像を視認することができない。
ここで、右眼55Rにとっては、右眼領域70Rが正視領域となり、左眼領域70L,72Lが逆視領域となる。また、左眼55Lにとっては、左眼領域70L,72Lが正視領域となり、右眼領域70Rが逆視領域となる。
続いて、観察者が正視領域から外れて3Dクロストーク領域に位置する場合について、図7を参照して説明する。
この図7は、観察者と立体表示パネル手段120との距離が最短視認距離NDよりも短くなったため、右眼55Rが右眼領域70Rの境界線付近に位置し、左眼55Lが左眼領域70Lの境界線付近に位置したときの、観察者の頭上側から見た断面図である。
このとき、観察者の右眼55Rの位置には、液晶表示パネルの右端にある右眼用画素4Rから出た光の中で、最も近いシリンドリカルレンズ3aの主点(頂点)を通る光線22と、左眼用画素4Lから出た光の中で2番目に近いシリンドリカルレンズ3bの主点を通る光線23(二点鎖線で図示)との両方が投影される。
したがって、この図7に示す状況では、観察者が立体画像を観察すると、右眼55Rで右眼用画素4Rと左眼用画素4Lとの両方からの投影像を観察することとなり、すなわち、右眼55Rに映る像が、右眼用画像と左眼用画像とが重なった2重像となるため(いわゆる3Dクロストーク)、所望の立体画像を視認することができない。
ここでは、右眼領域70Rと左眼領域70L又は左眼領域72Lとの境界線付近の空間領域が、3Dクロストーク領域となる。
また、観察者の左眼55Lの位置にも、液晶表示パネルの左端にある左眼用画素4Lから出た光の中で、最も近いシリンドリカルレンズ3cの主点(頂点)を通る光線24と、右眼用画素4Rから出た光の中で2番目に近いシリンドリカルレンズ3dの主点を通る光線25(二点鎖線で図示)との両方が投影されるため、この左眼55Lに映る像も、右眼用画像と左眼用画像とが重なった2重像となり、所望の立体画像を視認することができない。
このように、裸眼式の立体画像表示装置においては、観察距離が変化して、観察者が正視領域から外れると、3Dクロストークによる2重像や逆視の影響が現われ、立体画像の表示品質が著しく低下するという問題が生じ得る。
次に、移動物体としての座席の背面部に立体画像表示装置11を設置した場合の外観を示す図8を参照して、座席と立体画像表示装置11との位置関係等を説明する。
図8に示す状況において、立体画像表示装置11は、接合部材61Aを介して座席61の座席背面部61Bに設置されている。この座席背面部61Bとの間に介在する接合部材61Aの回転機構により、立体画像表示装置11は、Y軸-Z軸平面上での回転移動(X軸周りの回転移動)が可能となっている。
接合部材61Aの回転機構が無ければ、座席背面部61Bが傾斜した場合に、立体表示パネル手段120の表示面が下向きの状態で維持されるため、座席の座面部(着座部)61Cに着座している観察者に好適な画像を視認させることができない。すなわち、ここでは表示面が下向きになるのを回避するために該回転機構を設け、これにより立体表示パネル手段120の表示面の向きを変更するという構成を採っている。
また、立体画像表示装置11の表示座標系は、図8に示すように定義する。
すなわち、該表示座標系の原点位置を立体表示パネル手段120の表示面の中心位置とし、立体表示パネル手段120の表示面上の横方向(ここでは長手方向)をX軸方向,表示面上の縦方向(ここでは短手方向)をY軸方向,立体表示パネル手段120の表示面に対して垂直な方向をZ軸方向とする。
以降の各図においては、立体画像表示装置11と観察者との間の奥行き方向における距離を表す観察距離(立体画像表示装置11と観察者との相対距離)を、立体画像表示装置11の表示座標系で記述し、これに基づいて各説明を行う。
例えば、後述する図10に示すように、Z軸方向における立体表示パネル手段120の表示面の中心位置から観察者までの距離が観察距離ZODとなる。ここで、図10等(図11,図18)においては、観察者の両眼の位置を、便宜上、観察者(O)の右目の位置として示すものとする。
続いて、立体画像表示装置11を座席背面部に設置した他の一例を、図9に示す外観図を参照して説明する。
この図9に示す立体画像表示装置11には、接合部材62Aを介して立体表示パネル手段120と一体化した外枠部62Dが座席62に設けられており、この外枠部62Dは、座席背面部61Bに固定され設置された状態にある。また、外枠部62Dに設けられた第1移動物体状態検出手段111は、座席背面部61Bの傾斜角度を検出するための構成部材であり、上述した移動物体状態検出手段110と同様の機能を有する。
すなわち、図8で示した移動物体状態検出手段110を座席背面部61Bに設置するという構成に限定されず、これと同様の構成部材である第1移動物体状態検出手段111を外枠部62Dに設置するようにしてもよい。
このように、座席背面部61Bと一体的に動く外枠部62Dに第1移動物体状態検出手段111を設けるという構成を採った場合には、座席背面部61Bが傾斜した際に、立体画像表示装置11の外枠部62Dで検出された傾斜角度が、座席背面部61Bの傾斜角度と一致する。
また、立体表示パネル手段120は、図9のような接合部材62Aを用いた回転機構により、Y軸-Z軸平面上での回転移動(X軸を回転軸とした回転移動)が可能となり、観察者がパネル表示面に対して垂直となるように位置調整をすることができる。
さらに、図9に示すように、回転機構による立体表示パネルの回転角度を検出する第2移動物体状態検出手段112を立体表示パネル手段120にも付加するという構成を採ってもよい。このようにすれば、座席背面部61B(背もたれ部)と立体表示パネル手段120との位置関係をも勘案した観察距離の算出処理が可能となる。
次に、観察者が座席に着座した状態で、その前座席の背面部にある立体画像表示装置11を観察する場合の模式図を図10に示す。この図10では、観察者の座席63と前座席64との双方が通常の傾斜角度である状態を示す。
ここで、観察者の座席63の鉛直方向(図のY軸方向)からの傾斜角度をθSOとおき、観察者(O)の前座席64の鉛直方向(図のY軸方向)からの傾斜角度をθSPとおく。また、この状態における立体画像表示装置11の立体表示パネル手段120の表示面と観察者(O)との奥行き方向(図のZ軸方向)の距離を表す観察距離をZODとする。
次いで、図10の状態から、前座席64の背もたれ部が傾斜した場合(傾斜角度がθSPからθSP’へと変化した場合)の模式図を図11に示す。
前座席64の座席背面部に設置した立体画像表示装置11は、この前座席64の背もたれ部の傾斜に伴って、その設置位置が移動する。
すなわち、かかる状況下における立体画像表示装置11は、観察者(O)が移動しなくても、前座席64の乗客の都合によってその背もたれ部が傾斜した場合に、観察距離ZODが急激に変化する。図11では、観察距離が変化してZOD’となった状態を示す。
続いて、図12に、観察者(O)の位置と、立体表示パネル手段120の光学特性から規定される正視領域との位置関係を示す。
観察者(O)の両眼が正視領域内に位置する場合を示す図12(A)の状況では、観察者(O)は正常な立体画像を視認することができる。
一方、前座席64の傾斜に伴い観察距離が急激に変化(ZODからZOD’へ変化)した場合を示す図12(B)の状況では、観察者(O)の両眼の位置が正視領域外となるため、3Dクロストークによる2重像や逆視が出現することになり、観察者(O)は正常な立体画像が視認することができない。
かかる状況の変化を考慮して、本第1実施形態における立体画像表示装置11には、前座席64の傾斜に起因した観察距離ZODからの変化量を算出すると共に、該変化後の観察距離ZOD’に合わせて立体画像の表示設定を調整するための構成を採用した。
下記に、観察距離(観察距離ZODからの変化量)の算出方法を記載する。
観察距離の算出に際しては、まず、観察者(O)の座席63の傾斜角度θSOとその前の座席(前座席)64の傾斜角度θSPとを表す座席状態情報(状態情報)を、移動物体状態検出手段110にて検出するように構成されている。
すなわち、移動物体状態検出手段110は、観察者(O)の座席63及び前座席64の双方の背面部(座席背面部)に設置されているが、まず図13乃至図16を参照して、これら座席の総称としての座席60の傾斜角度を算出する方法について説明する。
図13は、座席60の背面部に、背もたれ部の傾斜角度θを検出する傾斜センサ110Aを設置した例を示す。この傾斜センサ110Aの一例としては、2軸の加速度センサが挙げられ、図13では、該加速度センサを傾斜センサ110Aとして座席背面部に設置した例を示している。すなわち、装置本体10に対し有線又は無線にて接続された移動物体状態検出手段110は、この傾斜センサ110Aによる検出値(検出データ)をもとに移動物体である座席60の状態を検出するように構成されている。
ここで、図14に、傾斜センサ110Aとしての2軸の加速度センサの拡大図を示す。
2軸の加速度センサは、加速度座標系に対するY軸方向とZ軸方向の加速度を検出する構成である。ここで、加速度座標系とは、加速度センサに対して任意の方向をY軸方向として規定し、そのY軸方向と垂直な任意の方向をZ軸方向として規定した座標系である。また、このとき、加速度座標系のY軸とZ軸とに直交するX軸(図示せず)の方向は、表示座標系のX軸方向と一致する設定である。
重力加速度方向と加速度座標系のY軸方向が等価である例を示す図14(A)に対し、図14(B)では、重力加速度方向と加速度座標系のY軸方向が不等価である例を示す。
加速度センサは重力加速度Gを検出する機能を有するため、その検出値からY軸とZ軸平面上における重力加速度方向に対する傾斜角度θを算出することができる。すなわち、重力加速度Gに対する傾斜角度θは、下記の式(1)から算出するように構成されている。
Figure 0006516234
この式(1)において、Yは加速度センサで検出したY軸方向の加速度を示し、ZはZ軸方向の加速度を示す。
重力加速度方向と座席の座面部の垂直方向とが一致する場合には、座席背面部の傾斜角度θは重力加速度に対する加速度センサの傾斜角度θと一致する。
ただし、飛行機等の座席では、飛行中に機体が傾くため、重力加速度方向と座席の座面に垂直な方向とが一致しないことが想定され、この場合には、座席背面部の傾斜角度θが重力加速度に対する加速度センサの傾斜角度θと一致しない。
そこで、重力加速度方向と座面に垂直な方向とが一致しない場合における傾斜角度の検出方法を、図15に基づいて説明する。ここでは、機体がピッチングして斜めに傾いている状況を想定する。
すなわち、機体がピッチングして傾く状況を考慮して、図15に示す場合では、傾斜センサを、座席背面部だけではなく(傾斜センサ110A(第1傾斜センサ))、座席の座面部にも設置する(傾斜センサ110B(第2傾斜センサ))という構成を採っている。
このように、機体が傾く飛行機等の座席に立体画像表示装置11を搭載する場合には、これら2つの傾斜センサを設けると共に、移動物体状態検出手段110に、座席の座面部に設置した傾斜センサ110Bが検出した傾斜角度と、座席背面部に設置した傾斜センサ110Aが検出した傾斜角度との差分値を算出する機能を設け、この機能により座席背面部の傾斜角度θを算出するようにしてもよい。
一方で、観察者が着座する座席背面部の傾斜角度(θSO:図10)、その前の座席背面部の傾斜角度(θSP:図10)の角度差分値の算出のみであれば、図13に示すように、座席背面部だけに傾斜センサを設置し、この傾斜センサで検出した傾斜角度の差分値を移動物体状態検出手段110が求めるという構成を採ればよい。
なお、機体がヨーイングした場合には、座席の座面部の垂直方向と重力加速度方向との関係は変化しない。加えて、機体がローリングした場合には、座席の座面部の垂直方向と重力加速度方向との関係は変化するが、Y軸方向とZ軸方向で検出される重力加速度の比率は変化しないため、上記式(1)より傾斜角度θを算出することができる。(ただし、ローリングによって機体が90°傾斜した場合には、Y軸方向とZ軸方向で検出される重力加速度が0になるため、傾斜角度θは算出不能となる。)
また、上記のように傾斜センサとして加速度センサを使用した場合には、加速度の変化量を検出することで、座席背面部が倒れたタイミングを検出することも可能である。
ここで、一例として、座席背面部に設置した加速度センサが検出した加速度Zの時間変動を図16に示す。ここでは、縦軸がZ軸方向の加速度Zを表し、横軸が加速度Zの検出時間を表す。
加速度センサは、座席背面部が静止している場合には、主に重力加速度のみを検出する。しかし、座席背面部が倒れて移動した場合には、重力加速度以外にも座席背面部の移動に対する加速度を検出するため、加速度Zが上昇する。したがって、かかる状況にも対応するために、予め任意の閾値ZA0を設定しておき、加速度Zが閾値ZA0を超過した場合には、座席背面部が倒れて移動したと判定するように構成してもよい。
以上の処理により、移動物体状態検出手段110は、座席背面部が倒れたタイミングを検出することができる。
また、飛行機自体の加速・減速によっても、加速度Zには変化が生じるが、飛行機自体の加速・減速による加速度Zの変化は、飛行機内の全座席に影響する。
したがって、全座席の加速度センサが検出する加速度Zが一斉に変化した場合には、飛行機自体の加速・減速に起因すると判定し、任意の閾値ZAOを超過した場合でも座席背面部は倒れていないと判定するように移動物体状態検出手段110を構成してもよい。
上記の説明では、座席の背もたれ部の傾斜角度θを検出する傾斜センサとして、加速度センサを使用する一例を示したが、これに限定されるものではなく、加速度センサに代えてギア回転検出センサや電動モータ回転検出センサなどを使用するように構成してもよい。
ここで、図17に、ギア回転検出センサを座席の座面部と背もたれ部との接合部分に設置した例を示す。図17(A)は、座席の背もたれ部の傾斜角度がθS1である場合を、図17(B)は、座席の背もたれ部の傾斜角度がθS2である場合をそれぞれ示す。
ギア回転検出センサは、座席の背もたれ部の傾斜角度θによって、ギアの位置(歯車のかみ合わせ位置)が変化する。したがって、予めギアの位置と傾斜角度θとの関係を登録しておくことにより、ギアの値から傾斜角度θを検出することができる。
また、座席の背もたれ部が傾斜した際に伴うギアの回転数(歯車のかみ合わせ位置の移動回数)を計測し、その回転数から座席の背もたれ部の傾斜角度θを検出するようにしてもよい。
次に、観察距離算出手段140は、移動物体状態検出手段110で検出した座席背面部の傾斜角度θと、観察距離算出手段140に予め登録された座席基準情報とから、観察距離ZODを算出する機能を有している。
ここで、予め登録された座席基準情報には、観察者の座席とその前の座席との設置間隔の距離情報ZSS(図18参照)と、座席背面部に設置した立体画像表示装置11の設置位置情報(図19参照)とが含まれる。
図18では、一例として、設置間隔の距離情報ZSSを、観察者の座席63の後部脚の位置から、前座席64の後部脚の位置までの距離とする。
また、設置位置情報を示す図19のうち、図19(A)は座席の後方から座席背面部を見たときの外観図であり、図19(B)は座席の横方向から座席側面部を見たときの外観図である。
設置位置情報は、背もたれ部の可動部の支点位置から座席背面部と接合部材との取り付け位置までの長さを示す接合部材取付長さLSPと、Y軸方向についての接合部材の取付位置における、立体表示パネル手段120の表示面のZ軸方向の位置から座席の背もたれ部の前面のZ軸方向の位置までの距離を示す背もたれ幅ZSP(接合部材の取付位置のY軸方向の位置と等しいY軸方向の位置における立体表示パネル手段106の表示面のZ軸方向の位置から、接合部材の取付位置のY軸方向の位置と等しいY軸方向の位置における座席の背もたれ部の前面のZ軸方向の位置までの距離を示す背もたれ幅ZSP)とから構成される。
本第1実施形態の立体画像表示装置11において、観察距離算出手段140は、予め登録された座席基準情報ZSS,接合部材取付長さLSP,及び背もたれ幅ZSPと、各座席背面部の傾斜角度θ(θSO,θSP)とを用いて、下記式(2)により観察距離ZODを算出するように構成できる。ここで、θSOは観察者の座席63の傾斜角度を示し、θSPは前座席の傾斜角度をそれぞれ示す。
Figure 0006516234
ただし、この式(2)より算出した観察距離ZODは、観察者(O)の前にある座席背面部に設置した立体画像表示装置11+の立体表示パネル手段120の表示面から、観察者の座席63の背もたれ部の前面位置までの距離となる。
すなわち、この観察距離ZODには、観察者(O)が着座する座席の背もたれ部の前面位置から観察者(O)の両眼位置までの距離ZOOが考慮されていない。
ところで、この距離ZOOは、観察者(O)の後頭部から両眼位置までの長さとほぼ一致する。社団法人人間生活工学研究センターが経済産業省の委託事業として計測した2006年度の人体計測データの報告資料によると、一般的な観察者の後頭部から両眼位置(眉間部)までの長さ(頭長)の平均値は約19cmであるとされている。
したがって、観察者が着座する座席の背もたれ部の前面位置から該観察者の両眼位置までの距離ZOOを約19cmと仮定し(距離ZOOとして19cmを採用し)、上記式(2)より算出した観察距離ZODから距離ZOOを減算した値を、観察距離算出手段140が観察距離として算出するようにしてもよい。
これにより、上記図10における観察距離ZOD又は図11におけるZOD’に相当する算出値を得ることができる。
また、上記式(2)では、観察者(O)の眼の高さ(Y軸方向の位置)が、立体画像表示装置11の接合部材の取り付け位置の高さ(Y軸方向の位置)と一致すると仮定し、観察距離ZODを算出した。
以上の処理により、観察距離算出手段140は、観察者と立体画像表示装置11との奥行き方向の距離を表す観察距離(立体表示パネル手段120と観察者との相対距離)の算出を実現する。
表示設定調整手段170は、観察距離算出手段140で算出した観察距離ZODと、デバイス特性データ保管手段160に保管されたデバイス特性データとを参照し、座席背面部の傾斜に伴って出現する3Dクロストークや逆視の影響を軽減するように、立体画像の表示設定を調整する構成部材である。
ここで、デバイス特性データ保管手段160内のデバイス特性データは、上述の通り、立体表示パネル手段120の光学特性を表すものであり、このデバイス特性データの一例としては、図20に示す3Dクロストーク特性データが挙げられる。
この図20において、横軸は視野角θ [度]を表し、縦軸は3Dクロストーク量[%]を表す。3Dクロストーク量は、右眼用画像に左眼用画像が混合する割合と、左眼用画像に右眼用画像が混合する割合を示す。
3Dクロストーク特性データは、立体表示パネル手段120の光学特性によって異なる値をとり、立体表示パネル手段120の設計時に決定される。また、3Dクロストーク用の評価装置で立体表示パネル手段120を計測することによっても、3Dクロストーク特性データを得ることができる。
立体画像表示装置11では、3Dクロストーク特性データに依存して、右眼領域・左眼領域・3Dクロストーク領域が決定される。一例として、観察者が立体画像を正常に視認できる3Dクロストーク量の閾値をβ以下と定義すれば(図20の二点鎖線参照)、視野角θP-2〜θP2の領域が右目領域、視野角θP2〜θP4の領域までが3Dクロストーク領域、視野角θP4〜θP8の領域が左眼領域となる。
ここで、図20に対応づけた、観察者の両眼位置に向けて右眼用画像及び左眼用画像を投影する光学モデルを図21に示す。
図21では視野角θP2〜θP4の部分が3Dクロストーク領域となるため、図6の場合と比較すると、右眼領域80Rと左眼領域80L及び82Lのように、形成される右眼領域と左眼領域が狭くなる。右眼55Rにとっては、右眼領域80Rが正視領域,左眼領域80Lと82Lが逆視領域であり、それ以外の領域が3Dクロストーク領域となる。
その他の一例として、上記3Dクロストーク量の閾値をβ以下と定義した場合には(図20の一点鎖線参照)、視野角θP1〜θP5の領域までが3Dクロストーク領域となり、それ以外の視野角θは右眼領域又は左眼領域となる。かかる場合の立体画像表示装置11の光学モデルを図22に示す。
この図22では、視野角θP1〜θP5の部分が3Dクロストーク領域となるため、右眼領域及び左眼領域として、図21の場合よりも一段と狭まった右眼領域90Rと左眼領域90L,92Lが形成される設定となる。右眼55Rにとっては、図6の場合と同様に、右眼領域90Rが正視領域であり、左眼領域90Lと92Lが逆視領域で、それ以外の領域が3Dクロストーク領域となる。
以上のように、正視領域・逆視領域・3Dクロストーク領域は、3Dクロストーク特性データに依存して決定される。
なお、3Dクロストーク量の閾値については、立体画像表示装置11の光学測定と主観評価から決定することができる。
また、3Dクロストークを光学的に測定できる装置としては、例えばコノスコープ方式やゴニオメータ方式,フーリエ方式などの各種方式を採用した測定装置がある。こうした測定装置によれば、視野角度に対する輝度分布を測定すると共に、以下の式(3)より3Dクロストーク量を算出することができる。
Figure 0006516234
ここで、3D-CT(θ)は、視野角θに対する3Dクロストーク量を表す。また、Y(LBRW)とY(LBRB)とY(LWRB)は、視野角θに対する輝度値を表す。Y(LBRW)は左眼用画像を黒とし右眼用画像を白としたときの輝度値,Y(LBRB)は左眼用画像を黒とし右眼用画像を黒としたときの輝度値,Y(LWRB)は左眼用画像を白とし右眼用画像を黒としたときの輝度値をそれぞれ表す。
上記いずれ方式を採用した測定装置を用いて測定した場合でも、定性的結果には大きな差は見られないが、定量的な数値については測定方式や装置仕様によって異なる。一般的な測定結果と主観的な立体視域の評価結果を照合すると、3Dクロストークが概ね10%以下であれば立体画像が視認可能であり、この値を上記3Dクロストーク量の閾値として用いることができる。
図21の光学モデルよると、観察距離ZODが最適視認距離ODと等しい場合には、観察者は正常な立体画像を視認できるが、座席背面部の傾斜によって、観察距離ZODが最短視認距離NDよりも短くなると観察者は3Dクロストークによる2重像を視認するため、正常な立体画像が視認不可能となる。
ところで、立体表示パネル手段120は、製造時のばらつきによって、光学特性を示すデバイス特性データに個体差が生じる。製造時のばらつきは、主に立体表示パネル手段120の電気光学手段となる液晶表示パネルと光学分離手段となるレンチキュラレンズとを貼り合せる際の位置ズレに起因する。
しかし、この位置ズレ量が所定の許容値(±ΔθLIM)以下であれば、立体表示パネル手段120に特有のデバイス特性データと同一でなくても、同等すなわち代表的なデバイス特性データで代用することが可能である。ここで、本第1実施形態及び以下の各実施形態において採用できる、立体表示パネル手段120及びこれと同等のデバイスに対応したデバイス特性データを、「立体表示パネル手段120にかかるデバイス特性データ」と称する。
一例として、図23に、製造時のばらつきによって、立体表示パネル手段120の中心位置から投影される光線向きが傾斜する光学モデル図を示す。
図23(A)は、上記位置ズレが無く、光線向きが正面方向(Δθ=0°)に投影された場合の光学モデル図を示し、図23(B)は、位置ズレにより、光線向きが所定の許容値である-ΔθLIMまで傾斜(Δθ=-ΔθLIM)した場合の光学モデル図を示し、図23(C)は、光線向きΔθが反対方向となる所定の許容値であるΔθLIMまで傾斜(Δθ=ΔθLIM)した場合の光学モデル図を示す。
また、図23(D)は、図23(A),(B),(C)の結果を重ね合わせた光学モデル図を示す。図23(D)より、製造時のばらつきが所定の許容値(±ΔθLIM)以下であれば、立体表示パネル手段120の最適視認距離OD及び立体視域はほぼ等価となる。この許容値となる±ΔθLIMの値は、立体ディスプレイサイズや立体視域の大きさ、適用するアプリケーションの種類に応じた主観的な評価により任意に設定することができる。
従って、デバイス特性データ保管手段160に、例えば図23(A)の結果のような代表的な立体表示パネル手段120のデバイス特性データを保管しておけば、そのデバイス特性データを、同一機種となるその他の立体表示パネル手段120にも使用することができる。
画像データ保管手段150は、画像データを保存または受信する機能を有する。
ここで、図24に、画像データ保管手段150に保管する画像データの一例を示す。
この例では、画像データ保管手段150に、立体画像コンテンツの画像データとして、L画像とR画像とが保管されている。L画像は、左眼領域に投影される左眼用画像であり、R画像は、右眼領域に投影される右眼用画像である。LR画像(L画像とR画像の両方)にかかる各画素の値としては、輝度値(RGB値)が保持されており、このLR画像が立体表示パネル120上に表示される。
ここで、画像データのu軸方向は、立体画像表示装置11の表示座標系のX軸方向と一致し、同v軸方向は、表示座標系のY軸方向と一致する。
上記の例では、画像データ保管手段150に、L画像,R画像を保管する例を示したが、これらの画像に加えて、L画像とR画像との間の視差値を表す視差画像を追加して保管するという構成を採ってもよい。そこで、図25に、視差画像と視差値との関係を示す。
図25の右図は、視差画像(図25の左図)からv軸上の任意値v1の画素列を取り出し、その画素列に対する視差値PAを表した図である。ここで、視差値PAは、L画像を基準にとり、L画像の画素の位置に対応するR画像の画素の位置の位置ずれ量を示す。
具体例として、図26に、視差値とLR画像との関係図を示す。
視差画像の位置(u1,v2)の視差値PAは、下記の式(4)に示すように、L画像の画素の位置 (u1,v2)と、これに対応するR画像の画素の位置(u2,v2)との差分値となる。
Figure 0006516234
ここで、視差画像は、L画像とR画像の特徴点を検出し、L画像の特徴点に対応するR画像の特徴点のマッチングをとり、特徴点同士の位置ずれ量から視差値を算出し、その視差値に基づいて生成するようにしてもよい。
また、視差画像の代わりにデプス画像を使用するようにしてもよい。このデプス画像は、各画素の値が立体画像コンテンツの奥行き距離を表す画像となる。
加えて、画像データ保管手段150に、予め様々な視差値を持つLR画像を複数枚保管しておくようにしてもよい。そこで、画像データ保管手段150に保管した様々な視差値を持つLR画像群の一例を図27に示す。
図27の最上部にあるLR画像は、立体画像コンテンツが元々保持していた視差値を持つLR画像を表し、図27の最下部にあるLR画像は視差値が0であるLR画像(LR画像は同じ画像であり、平面画像となる)を表す。また、図27の中間部分にあるLR画像群は、任意の視差値に調整されたLR画像群である。
画像データ保管手段150に、予め様々な視差値を持つLR画像群を保管することにより、任意の視差値を持つLR画像を即時に表示することが可能となる。
表示設定調整手段170は、座席背面部の傾斜に伴って出現する3Dクロストークや逆視の影響を軽減し、立体表示パネル手段120の表示面上に良好な立体画像が表示できるようにするため、観察距離算出手段140で算出した観察距離ZODとデバイス特性データ保管手段160に保管されたデバイス特性データを参照して、立体画像表示装置11の表示設定を調整する構成部材である。
本第1実施形態では、立体表示パネル手段120が有する光学分離手段の光学分離特性が動的に変更可能である場合と、光学分離特性が静的であり変更不可能な場合とで、異なる表示設定の調整処理を実施する。
ここで、図28に、光線分離特性の変更が可能又は不可能な場合において採用できる調整方法の分類表(分類表I)を示す。立体表示パネル手段120の光学分離手段の光学分離特性を動的に変更可能にする素子をアクティブ素子と呼び、光線分離特性が静的で変更不可能である素子をスタティック素子と呼ぶ。
立体表示パネル手段120の光学分離手段の光学分離特性が動的に変更可能である場合には、表示設定調整手段170にて光学分離特性を変更して最適視認距離ODを変更することで、観察距離ZODに合わせた表示設定の調整処理を実施することができる。
アクティブ素子を使用した光学分離手段の一例としては、液晶レンズが挙げられる。液晶レンズは、電圧の制御によって、該液晶レンズ内の屈折率の分布を制御することが可能であり、これによりレンズパワーを変更することができる。すなわち、表示設定調整手段170は、電圧を制御することにより、立体表示パネル手段120が形成する光学モデルを変更し、最適視認距離ODを任意に変更することができる。
ここで、レンズパワーとは、光学素子が光線を集光または発散させる度合いを表し、レンズが光線の進行方向を曲げる屈折力を意味する。レンズパワーが強力な場合には、光線が大きく屈折するため、レンズの焦点距離は短くなる。
このように、表示設定調整手段170は、レンズパワーを変化させることで、最適視認距離ODを変更し、観察距離ZODに合わせた表示設定の調整処理を実施するように構成されている。
この様子を、液晶レンズ120Aと表示パネル120Bを備えた立体表示パネル手段120を例示する図29及び図30に基づいて説明する。
これら各図に示す例では、液晶レンズ120Aの上面に制御電極E〜Eが設置され、下面に共通電極Eが設置されている。
ここで、上面の制御電極E〜Eと下面の共通電極Eとは、上下面を反対に入れ換えるようにしてもよい。すなわち、液晶レンズ120Aの上面に共通電極Eを設置し、下面に制御電極E〜Eを設置するという構成を採ってもよい。
制御電極は、図29及び図30に示す通り、4種類の電極(E,E,E,E)から構成されており、それぞれの電極(E〜E)に対して異なる電圧を印加することができるように構成されている。液晶レンズは、印加電圧値に応じて屈折率が変化するため、表示設定調整手段170が、制御電極E〜Eへの印加電圧値を制御し、液晶レンズの屈折率の分布を制御することで、レンズパワーの変更処理を実現する。
図29と図30とでは、制御電極への電圧印加条件が異なっており、図29に比べて図30の方が制御電極に印加される電圧値が高くなっている。また、これら各図それぞれの下の図は、立体表示パネル120の断面構造を示し、同じく各図それぞれの上の図は、液晶レンズ120AのX軸方向における屈折率分布を示す。
まず図29では、電圧Vが電圧Vよりも高い条件(電圧V>電圧V)、すなわち、制御電極Eと制御電極Eに対して電圧Vを,制御電極Eと制御電極Eに対して電圧Vをそれぞれ印加した場合の立体表示パネル手段120における光線の様子(下方の図)と、X軸方向の屈折率分布(上の図)とを示している。
レンズ頂点部(上の図の位置X)に相当する最大屈折率と、レンズ谷部(上の図の位置X,X)に相当する最小屈折率との差異が、レンズパワーに相当し、この図29ではΔnの値となる。
また、単位レンズとは、レンズ谷部に相当する位置から次のレンズ谷部に相当する位置まで(例えば位置Xから位置Xまで)のレンズ部分を表す。
次に、図30では、制御電極E及び制御電極Eに対して電圧V(図29)よりも高い電圧Vを,制御電極Eと制御電極Eに対して電圧Vをそれぞれ印加した場合の立体表示パネル手段120における光線の様子(下方の図)と、X軸方向の屈折率分布(上の図)とを示している。
かかる条件下での最大屈折率と最小屈折率との差異であるレンズパワーは、図29で示したΔn1よりも大きいΔn2の値を有している。
このように電圧の制御によってレンズパワーを大きくさせ、下の断面図に示すように光線20を大きく屈折させることにより、最適視認距離ODを短くすることが可能となる。
液晶レンズの電圧制御に対応した光学モデルの一例を図31に示す。
図31(A)は、立体表示パネル手段120の最適視認距離ODがODとなる場合の光学モデルを表す。また、図31(B)は、図30で説明したような液晶レンズの電圧制御によってレンズパワーを上昇させ、最適視認距離をODからODへ縮小させた場合の光学モデルを表す。ただし、電圧制御による液晶レンズのレンズパワーの調整範囲は有限であるために、最適視認距離ODの調整範囲も有限の値をとる。
次いで、図32に、最適視認距離ODの調整範囲の一例を示す。
この図32において、最適視認距離(ODMIN)は、電圧制御によって液晶レンズのレンズパワーを最大限まで上昇させ、最適視認距離ODを最短にした際の距離を表す。また、最適視認距離(ODMAX)は、電圧制御によってレンズパワーを低下させ、最適視認距離ODを最長にした際の距離を表す。
したがって、最適視認距離ODの調整範囲は、図32に示す通り、最短の最適視認距離(ODMIN)から最長の最適視認距離(ODMAX)までの範囲となる。
表示設定調整手段170による表示設定の調整処理では、観察距離算出手段140にて算出した観察距離ZODと、最適視認距離ODとが一致するように、電圧制御によって液晶レンズのレンズパワーを変更する。
ここで、立体表示パネル手段120に使用する液晶レンズとしては、予め座席背面部の傾斜に伴う観察距離ZODの変動範囲を算出し、その変動範囲内で観察距離ZODが変化しても、立体表示パネル手段120の最適視認距離ODが調整可能であるレンズパワーを有する液晶レンズを選定することが望ましい。
このように、液晶レンズの屈折率分布を制御することによって、光線の屈折を調整することができ、最適視認距離を調節することができる。そして、光線の屈折の調節と最適視認距離の調節とにより、立体視域範囲を調節することが可能となる。
上記の一例では、立体表示パネル手段120の光学分離手段に液晶レンズを用いて最適視認距離ODを変更する例を示したが、液晶レンズの代わりに、バリアピッチが可変なパララックスバリアを用いて光学分離特性を動的に変更する、という構成を採ってもよい。
例えば、パララックバリアに画素ピッチよりも十分小さなバリアピッチのバリア(遮光板)を設け、光線を遮光するバリアの位置を選択し、図5に示したスリット6aの位置を変更することで、最適視認距離ODを変更する。
以上、光学分離特性が動的に変更可能な液晶レンズやパララックバリア等を用いた表示設定の調整処理では、立体表示パネル手段120の光学分離特性を変更し、最適視認距離ODを変更することで、観察距離ZODに合わせて立体画像の表示設定を調整した。
次に、立体表示パネル手段120の光学分離手段の光学分離特性が静的で変更不可能である場合には、表示設定調整手段170によって立体表示パネル手段120に表示する画像データ(L画像とR画像)の視差値PAを変更することで、観察距離ZODに合わせて表示設定を調整するという構成を採る。
光学分離特性が静的で変更不可能なスタティック素子を使用した光学分離手段としては、レンズパワーが変更不可能なレンチキュラレンズやバリアピッチが不変なパララックスバリアなどが挙げられる。
表示設定調整手段170による具体的な視差値PAの変更処理は、観察距離算出手段140で算出した観察距離ZODと、デバイス特性データ保管手段160に保管された3Dクロストーク特性データを参照して、立体画像が表示可能である視差の限界値(視差許容値PAth)を算出し、画像データの視差値PAが視差許容値PAth以下となるように変更するという内容である。
ここで、観察距離ZODに対応した視差許容値PAthの変化の一例を図33に示す。
観察距離ZODが最適視認距離ODの付近であれば視差許容値PAthの値は増大し、反対に観察距離ZODが最適視認距離ODから離れれば視差許容値PAthの値は減少する。したがって、この視差許容値PAthの変化に合わせて立体表示パネル手段120に送信する画像データの視差値PAを変化させるように構成する。
具体的には、まず初めに視差許容値PAthと画像データの視差最大値PAmaxとを比較し、視差許容値PAthよりも画像データの視差最大値PAmaxの方が大きい場合には、視差調整値PAを下記式(5)により算出する。
Figure 0006516234
次に、算出した視差調整値PAを画像データの視差値PAに乗算することで、画像データの視差最大値PAmaxが視差許容値PAth以下となるように画像データの視差値PAを変更する。
これより、観察距離ZODが最適視認距離ODから乖離するほど、立体表示パネル手段120には視差値PAが減少した画像データが表示される、といったように、観察距離ZODの変化に合わせて算出した視差調整値PAを用いて、表示する立体画像データの視差値PAを調節することできる。
なお、3Dクロストーク特性データと観察位置を参照して、画像データの視差値PAを変更する表示設定調整処理の詳細については、上記特許文献7に技術開示されている。
ここで、図28の分類表に示した通り、画像データの視差値PAを変更する表示設定の調整処理は、光学分離特性が動的に変更可能な光学分離手段(液晶レンズ等)を用いた場合にも適用可能である。
このように、観察位置に合わせて立体画像データの視差値を変更することで、3Dクロストークや逆視の影響を軽減し、観察者への違和感を低減することができる。
続いて、3Dモアレが発生する状況について、図34及び図35を参照して説明する。
まず、立体表示パネル手段120の輝度-視野角特性データの一例を図34に示す。
この輝度-視野角特性データにおいて、横軸は視野角θを、縦軸は立体表示パネル手段120の表示面上の輝度値Yを表す。
この図34でのY(LWRB)とY(LBRW)の輝度分布は、立体表示パネル手段120の正面位置となる視野角θP3付近において、点(X1,Y1)で交わる。また、これらは、視野角θP6付近において点(XR2,YR2)で交わり、視野角θP0付近において点(XL2,YL2)で交わる。点(X1,Y1)と点(XR2,YR2)とのθ方向における間隔は、右眼用画像の投影幅である幅P’に対応し、点(X1,Y1)と点(XL2,YL2)とのθ方向における間隔は、左眼用画像の投影幅である幅P’に対応する。
ここでは、点(X0,Y0)付近で輝度の低下が見られるが、この輝度低下が3Dモアレと呼ばれる。左眼がθP1〜θP2、右眼がθP4〜θP5の範囲に位置している場合は、3Dモアレを視認することは困難であるが、左右眼の一方もしくは両方がそれ以外の範囲(θP2〜θP3〜θP4の範囲など)に存在する場合には、3Dモアレが視認される。
この3Dモアレは、観察者が3Dクロストーク領域内に移動した場合に視認されやすく、3Dモアレの影響は、観察者と立体画像表示装置11との奥行き方向の距離を表す観察距離に依存する。3Dモアレによる輝度ムラの出現位置は、図34に示した輝度-視野角特性データから算出することができる。
ここで、輝度-視野角特性データから算出した立体表示パネル手段120の表示面上の輝度変動値を図35に示す。また、図35(A:A‐1,A‐2,A‐3)には、立体画像が正常に視認可能な状況を示し、図35(B:B‐1,B‐2,B‐3)には、3Dモアレによる輝度ムラの出現により立体画像を正常に視認できない状況を示す。
図35(A‐1)は、観察距離ZODが最適視認距離ODと一致する場合における観察者(O)の観察位置と立体表示パネル手段120の正視領域との位置関係を示す。図32(B−1)は座席背面部の傾斜により観察距離ZODが変化してZOD’となり、最短視認距離NDよりも短くなって、3Dモアレによる輝度ムラが出現した場合における観察者(O)の観察位置と立体表示パネル手段120の正視領域との位置関係を示す。
図35(A‐2)及び図35(B−2)は、立体表示パネル手段120の表示面上の特定のY位置における水平方向(X軸方向)の位置に対応する輝度変動値を示す。これら各図では、縦軸が表示面上の輝度値を表し、横軸が立体表示パネル手段120の表示面のX軸方向の位置を表す。図35(A−2)では、X軸方向に対して輝度値が変動しないのに対し、図35(B−2)では、X軸方向に対して輝度値が変動する。
図35(A−3)及び図35(B−3)は、白色画像を表示した場合における立体表示パネル手段120の表示面上の画像表示状態を表す。図35(A−3)の立体表示パネル手段120の表示面には、輝度ムラの無い立体画像が表示される。一方、図35(B−3)では、輝度値が低下するX軸位置において、立体表示パネル手段120の表示面に直線状の輝度ムラが出現した立体画像が表示される。
観察距離ZODが最適視認距離ODから乖離することで出現する3Dモアレの対策としては、3Dクロストークの対策と同様に、立体画像表示装置11の表示設定を調整する構成を採ることが考えられる。
この表示設定の調整処理では、立体表示パネル手段120の光学分離手段の光学分離特性が動的に変更可能である場合と、光学分離特性が静的で変更不可能な場合とで、異なる表示設定の調整処理を実施する。
ここで、図36に、光線分離特性の変更が可能又は不可能な場合において採用できる調整方法の分類表(分類表II)を示す。
光学分離特性が動的に変更可能な場合には、上述した3Dクロストークの対策と同様に、光学分離特性を変更し、最適視認距離ODを変更することで、観察距離ZODに合わせた表示設定の調整処理を実施する。
光学分離手段に液晶レンズを使用した場合には、レンズパワーを完全にOFFにして、平面画像を表示することで、3Dモアレの対策を行うようにしてもよい。
また、光学分離特性が静的で変更不可能な場合には、立体表示パネル手段120に表示する画像データの輝度値を変更することで、観察距離ZODに合わせて表示設定を調整する。この輝度値の変更処理では、輝度-視野角特性データを参照して、立体表示パネル手段120の表示面上に出現する3Dモアレの輝度変動値を算出するという構成を採る。3Dモアレの輝度変動値の算出は、観察距離ZOD(Z軸方向)だけでなく、X軸方向の位置も含む観察位置を考慮した方がより好適である。
ただし、本第1実施形態では、観察距離ZODを計測しているため、X軸方向の位置は常に一定であると仮定し、輝度-視野角特性データと観察距離ZODのみから3Dモアレによる輝度変動値を算出するように構成されている。そして、3Dモアレによる輝度変動値が平坦となるように画像データの輝度値を調整することで、3Dモアレの影響を軽減することができる。
なお、輝度-視野角特性データと観察位置を参照して、画像データの輝度値を変更する表示設定調整処理の詳細については、特許文献7に技術開示されている。
このように、観察位置に合わせて立体画像データの輝度値を変更することで、3Dモアレの影響を軽減し、観察者への違和感を低減することができる。
また、図36(分類表II)に示したように、画像データの輝度値を変更する表示設定の調整処理は、光学分離特性が動的に変更可能な光学分離手段(液晶レンズ等)を用いた場合においても適用可能である。
(動作説明)
次に、立体画像表示装置11における画像処理動作の内容(立体画像処理方法)を、図37に示すフローチャートに基づいて説明する。
観察者の操作等により、立体画像表示にかかる指令信号を入力した立体画像表示装置11は、まず移動物体状態検出手段110によって、観察者の座席状態と、その前座席の座席状態とを検出する。ここでの各座席状態とは、座席背面部の傾斜角度のことである。(図37:ステップS101)。
次いで、観察距離算出手段140によって、観察者の位置と立体画像表示装置11との奥行き方向の距離を表す観察距離(観察者と立体画像表示装置11との相対距離)を算出する。より具体的には、移動物体状態検出手段110にて検出した観察者の座席背面部の傾斜角度(座席状態)及びその前の座席背面部の傾斜角度(座席状態)を参照すると共に観察距離算出手段140が、自身に登録された座席基準情報(座席の設置間隔の距離情報,設置位置情報)を用いて観察距離を算出する。(図37:ステップS102)。
次に、表示設定調整手段170によって、デバイス特性データ保管手段160から3Dクロストーク特性データ又は輝度-視野角特性データをデバイス特性データとして取得する。
上述の通り、3Dクロストーク特性データの一例は図20に、輝度-視野角特性データの一例は図34にそれぞれ示す(図37:ステップS103)。
併せて、画像データ保管手段150から、表示設定調整手段170によって立体画像コンテンツである画像データを取得する(図37:ステップS104)。
そして、立体画像表示装置11は表示設定調整手段170により、観察距離算出手段140にて算出した観察距離(上記ステップS102)と、デバイス特性データ保管手段160から取得したデバイス特性データ(上記ステップS103)とを参照して、観察距離に合わせた表示設定の調整処理を実施する(図37:ステップS105)。
表示設定の調整処理としては、観察距離と最適視認距離が一致するように立体表示パネル手段120の光学分離手段を制御する方法や、画像データ保管手段150から取得した画像データ(上記ステップS104)の視差値及び輝度値を、観察距離とデバイス特性データに合わせて変更する方法等を採用することができる。
続いて、上記ステップS105で調整した表示設定に従って表示設定調整手段170により、画像データ保管手段150から取得した画像データ(上記ステップS104)を立体表示パネル手段120の画像表示パネルに表示する。すなわち、表示設定の調整処理を終えた立体画像を表示して観察者に提供する(図37:ステップS106)。
次に、立体画像表示処理を中止するか、連続的に実行するかを設定する(図37:ステップS107)。
例えば、立体画像表示装置11の電源がOFFされたときや、観察者によって立体画像表示の中断が指示されたときには、立体画像表示処理を中止する(図37:ステップS107/Yes)。
一方で、立体画像表示処理を中止するイベントが無ければ、立体画像表示処理を連続的に実行するために上記ステップS101の処理へ戻り、上述した一連の処理内容(ステップS101〜S107)を繰り返し実行する。
以上のフローチャート処理により、座席の背もたれ部が傾斜し、立体画像表示装置11の表示位置が移動しても、座席背面部の傾斜角度を検出し、座席背面部に設置した立体画像表示装置11と観察者との相対距離(観察距離)を算出することができるため、安価な計測装置だけで3Dクロストークによる2重像や逆視,3Dモアレの影響を軽減して観察者へ違和感を与えない立体画像表示装置の提供が可能となる。
また、本第1実施形態の立体表示パネル手段120の光学モデル(図21,図22)では、立体表示パネル手段120から2つの異なる視点画像(L画像及びR画像)を投影する例を示したが、本第1実施形態における立体画像表示装置11は、視点数が2つである構成に限定されるものではなく、多視点画像を投影する立体表示パネル手段120にも適用可能である。
ここで、上記各ステップS101〜S107(図37)における各工程の実行内容をプログラム化すると共に、この一連の各制御プログラムを立体画像表示装置11内に予め設けられたコンピュータによって実現するように構成してもよい。
(第1実施形態の効果)
本第1実施形態では、移動物体としての座席の位置状態(背もたれ部の傾斜状態及び前後の位置)にかかる状態情報を検出すると共に、この状態情報に基づいて算出した観察距離を用いて立体画像の表示設定を調整するという構成を採ったため、これにより、3Dクロストークによる2重像や逆視,3Dモアレの影響を安価な構成によって有効に軽減することができ、観察者に違和感を与えない有意な立体画像の表示が可能となる。
〔第2実施形態〕
本発明における立体画像表示装置の第2実施形態を図38乃至図57に基づいて説明する。ここで、前述した第1実施形態と同等の構成部材については同一の符号を用いるものとし、本第2実施形態における立体画像表示装置についても共通の符号(12)を総称として用いるものとする。
(全体的構成)
本第2実施形態では、安価な画像入力装置(撮像装置)を用いることで、座席背面部に設置した立体画像表示装置の立体表示パネル手段120の表示面から観察者までの観察距離ZODだけでなく、立体表示パネル手段120の表示面の中心位置に対する観察者の観察位置の相対位置(X軸方向及びY軸方向の相対位置まで含む)を示す観察位置PODを算出し、その観察位置PODに合わせて立体画像表示装置の表示設定を調整するという構成を採った点に特徴がある。
本第2実施形態における立体画像表示装置12は、図38に示すように、移動物体状態検出手段110及び立体表示パネル手段120の他に、各種演算処理を実施する演算処理部132と、観察者を撮影してその画像データを記録する撮像手段280と、を有している。
また、演算処理部132は、画像データ保管手段150及びデバイス特性データ保管手段160を有すると共に、立体表示パネル手段120の表示面の中心位置に対する観察者の観察位置の相対位置を示す観察位置PODを算出する観察位置算出手段(相対位置算出手段)290と、この観察位置算出手段290にて算出した観察位置とデバイス特性データ保管手段160に保管されたデバイス特性データとに基づいて立体画像の表示設定を調整する表示設定調整手段270と、を有している。
以下に、立体画像表示装置12に含まれる各手段の機能を説明する。ここで、移動物体状態検出手段110,立体表示パネル手段120,画像データ保管手段150,及びデバイス特性データ保管手段160については、前述の第1実施形態にて同一の符号を付した各手段と同様の構成である。
撮像手段280は、観察者を撮影して、2次元平面上の撮像画像データとして記録する機能を有する。撮像手段280のハードウェア機器の一例としては、USBカメラやモバイル機器内の小型カメラモジュール等に代表される安価な撮像装置が挙げられる。
前述した第1実施形態では、観察者の両眼の高さが、接合部材の取り付け位置の高さと一致すると仮定して観察距離ZODを算出するという構成を採ったが、本第2実施形態では、撮像手段280を採用し、その撮像画像データを用いて観察位置算出手段290が、観察者の両眼の高さを検出すると共に、その高さ情報を使用して観察距離ZODを算出するという構成を採用した。また、観察位置算出手段290は、撮像手段280で撮影した撮影画像データと観察距離ZODとから、X軸方向及びY軸方向の相対位置を含む観察位置PODを算出するように構成されている。
撮像手段280は、立体画像表示装置12の外観図を示す図39のように、立体画像表示装置12の前面上部に設置されており、立体画像表示装置12の前方にいる観察者を撮影する。
次いで、図40(A)及び図41(A)に、撮像手段280で観察者(O)を撮影した撮像画像データの一例を示す。
また、図40(B)は、図40(A)の撮影画像データを撮像した際の観察者(O)と座席の背もたれ部の状態を、図41(B)は、図41(A)の撮影画像データを撮影した際の観察者(O)と座席の背もたれ部の状態を示す。
すなわち、図40は、観察者(O)の両眼の高さに対応する座席の背もたれ部の長さLSE1が、座席の背もたれ部全体の長さLSBの中心位置に相当する例であり、図41は、観察者(O)の両眼の高さに対応する座席の背もたれ部の長さLSE2が座席の背もたれ部全体の長さLSBの7割の位置に相当する例である。
なお、図40(B)と図41(B)は、座席の傾斜角度θが0°であり、座席の背もたれ部の前面と撮像手段280の撮像面とは平行な状態にある。撮像画像データの横軸方向を表すu軸は、立体画像表示装置12の表示座標系におけるX軸方向と一致し、撮像画像データの縦軸方向を表すv軸は、表示座標系におけるY軸方向と一致する。
図40(A)と図41(A)の撮像画像データには、観察者(O)と座席の背もたれ部が撮影されている。この撮像画像データから観察者(O)の顔画像領域と、座席の背もたれ部の画像領域を検出し、座席の背もたれ部全体の長さLSBから観察者(O)の両眼の高さに対応する座席の背もたれ部の長さLSE(本第2実施形態では、座面部の下面から観察者(O)の両眼までの背もたれに沿った長さ)を検出する。この長さLSEは、図40(B)では長さLSE1となり、図41(B)では長さLSE2となる。
撮像画像データから観察者の顔画像領域を検出する処理は、予め顔画像の特徴量(目や鼻,口,顎など)からテンプレートデータを生成しておき、撮像画像データと該テンプレートデータとをマッチングすることによって観察位置算出手段290が行う。
この検出処理において観察位置算出手段290は、観察者(O)の両眼の画像位置(u軸位置及びv軸位置)も併せて検出する。また、テンプレートデータは、観察者(O)の顔画像からサポートベクターマシン(SVM)やベクトル量子化などの機械学習手法を利用して生成する。
撮像画像データから座席の背もたれ部全体の画像領域を検出する処理についても同様に、観察位置算出手段290は、予め座席の背もたれ部の特徴量(背もたれ部の輪郭・色・模様情報など)からテンプレートデータを生成しておき、撮像画像データと該テンプレートデータとをマッチングすることによって行う。
さらに観察位置算出手段290は、座席の背もたれ部全体の画像領域から座席の背もたれ部全体の画像領域の長さLISBを検出し、顔画像領域から観察者の眼の画像位置(v軸位置)を検出して、観察者の両眼の高さに対応する画像領域の長さLISE(図40(B)では長さLISE1となり、図41(B)では長さLISE2となる)を検出するように構成されている。
そして、下記式(6)により観察位置算出手段290は、座席の背もたれ部全体の画像領域の長さLISBと、観察者の両眼の高さに対応する画像領域の長さLISEとの割合Rを算出する。
Figure 0006516234
ここで、座席の背もたれ部全体の長さLSBは一定であるため、これを予め座席基準情報として登録しておくように構成することで、観察位置算出手段290は、観察者の両眼の高さに対応する座席の背もたれ部の長さLSEを、割合Rと座席の背もたれ部全体の長さLSBとから下記式(7)により算出することができる。
Figure 0006516234
また、観察位置算出手段290は、上記により算出した観察者の両眼の高さに対応する座席の背もたれ部の長さLSEを使用して、座席背面部の傾斜に伴う観察距離ZODの変化量ZODCを算出するように構成されている。
ここで、観察距離の変化量ZODCが観察者の両眼の高さに依存する一例を図42に示す。
図42(A)では、観察者(O)の両眼の高さに対応する座席の背もたれ部の長さ(座面部の下面から観察者(O)の両眼までの背もたれに沿った長さ)が図40と同様にLSE1となり、図42(B)では、観察者(O)の両眼の高さに対応する座席の背もたれ部の長さが図41と同様にLSE2となる例である。
座席背面部の傾斜によって、傾斜角度θが0°からθS2へ変更された場合における観察距離の変化量ZODCは、下記式(8)に示す値(図42(A)の場合はLSE1sinθS2,42(B)の場合はLSE2sinθS2)となる。
Figure 0006516234
ここで、観察者の両眼の高さに対応する座席の背もたれ部の長さLSEは、図42(A)と図42(B)とで異なる値をとる。
より具体的には、図42(A)における観察者(O)の両眼の高さに対応する座席の背もたれ部の長さLSE1は、座席の背もたれ部全体の長さLSBの中心位置に当たるため、上記式(7)に割合R(0.5)の値を代入して下記式(9)となる。また、図42(B)における観察者(O)の両眼の高さに対応する座席の背もたれ部の長さをLSE2は、座席の背もたれ部全体の長さLSBの7割の位置に当たるため、同様に下記式(10)となる。
Figure 0006516234
Figure 0006516234
以上のように、観察位置算出手段290は、撮像手段280による撮影画像データを用いて、観察者の両眼の高さに対応する座席の背もたれ部の長さLSEを検出することにより、この長さLSEに依存する観察距離の変化量ZODCを算出することができる。
次いで、図43の外観図に示すように、座席背面部61Bに設置した立体画像表示装置12は、座席背面部61Bにある接合部材61Aの回転機構によって、表示座標系のY軸-Z軸平面上を回転して移動するように構成されている。
この回転機構により、座席背面部61Bの傾斜に伴って立体画像表示装置12の表示面が下向きに傾斜しても、後述する立体画像表示装置12の設置傾斜角度θSD(図45乃至図47参照)を変更することで、表示面の向きを調節することができる。
ここで、設置傾斜角度θSDの調整は、観察者が手動で行うようにしてもよいし、座席背面部の傾斜角度に合わせて自動的に立体画像表示装置12の設置傾斜角度θSDを変更するという構成を採ってもよい。
また、図43では、撮像手段280を立体画像表示装置12の前面上部に設置した例を記載したが、図44に示すように、撮像手段280を立体画像表示装置12から分離させ、座席へ直に設置するようにしてもよい。ただし、かかる構成を採る場合は、立体画像表示装置12の前方にいる観察者を撮影可能な位置に撮像手段280を設置し、撮像手段280に対する立体画像表示装置12の相対位置が既知であることが前提となる。
図43に示すように、撮像手段280と立体画像表示装置12が一体化している場合には、接合部材の回転機構によって立体画像表示装置12の設置傾斜角度θSDが変更されても、撮像手段280に対する立体画像表示装置12の相対位置は常に一定に保たれる。
しかしながら、図44に示すように、撮像手段280を立体画像表示装置12と分離し、座席背面部へ直に設置した場合には、接合部材の回転機構によって立体画像表示装置12の設置傾斜角度θSDが変更されると、撮像手段280に対する立体画像表示装置12の相対位置が変化する。このため、接合部材の回転機構による立体画像表示装置12の設置傾斜角度θSDを検出し、撮像手段280と立体画像表示装置12との相対位置PSDを算出する必要が生じる。
そこで、座席背面部と立体画像表示装置12のそれぞれに傾斜センサ(110A,110C)を設置した例を示す図45及び図46を参照して、立体画像表示装置12の設置傾斜角度θSDを検出する例を説明する。
座席背面部の表面方向と立体画像表示装置12の表示面方向が平行であるときの設置傾斜角度θSDの角度を0°とすると、立体画像表示装置12の設置傾斜角度θSDは、図45に示す通り、座席背面部に設置した傾斜センサ110Aで検出した座席背面部の傾斜角度θと立体画像表示装置12に設置した傾斜センサ110Cで検出した立体画像表示装置12の傾斜角度θとの加算値となる。
すなわち、観察位置算出手段290は、各傾斜センサで検出した座席背面部の傾斜角度θと立体画像表示装置12の傾斜角度θとから、撮像手段280に対する立体画像表示装置12の相対位置PSDを算出する。
この相対位置PSDは、撮像手段280の撮像位置Tから接合部材の回転中心位置Qまでの相対位置PSQと、接合部材の回転中心位置Qから立体表示パネル手段120の表示面の中心位置Dまでの相対位置PQDとを加算したものとなる。
ここでは、図45及び図46に示すように、撮像手段280の撮像位置Tから接合部材の回転中心位置Qまでの距離は常に一定であり、この距離をLSQとおく。また、接合部材の回転中心位置Qから立体表示パネル手段120の表示面の中心位置Dまでの距離も常に一定であり、この距離をLQDとおく。
距離LSQと距離LQDは既知の値であるため、座席背面部の傾斜角度θと立体画像表示装置12の傾斜角度θとから、撮像手段280に対する立体画像表示装置12の相対位置PSDを、観察位置算出手段290は下記式(11)より算出するように構成されている。
Figure 0006516234
ここで、PSD(x)は相対位置PSDのX軸方向の位置を,PSD(y)は相対位置PSDのZ軸方向の位置を,PSD(z)は相対位置PSDのZ軸方向の位置をそれぞれ示す。
SD(x)は、立体画像表示装置12の設置傾斜角度θSDに依存せず、常に一定となる。上記式(11)では、撮像手段280の撮影位置Tと立体表示パネル手段120の表示面の中心位置DとのX軸方向の位置が一致するものと仮定して、PSD(x)の値を0とした。
その他にも、かかる構成では、立体画像表示装置12の設置傾斜角度θSDの変化に伴い、撮像手段280のカメラのワールド座標系と、立体画像表示装置12の表示座標系との関係が変化する。
そこで図47に、撮像手段280のカメラのワールド座標系と立体画像表示装置12の表示座標系とを示し、座標系の変換処理にかかる構成を説明する。カメラのワールド座標系は、C軸,C軸,C軸による直交座標で表し、表示座標系は、X軸,Y軸,Z軸による直交座標で表す。また、撮像手段280のワールド座標系は、立体画像表示装置12の表示座標系のY軸-Z軸平面上を回転する。
立体画像表示装置12の設置傾斜角度θSDより、Y軸-Z軸平面上での回転行列が求まることから、カメラのワールド座標系の任意位置(c、c、c)を表示座標系へと変換するには、下記式(12)を用いて算出すれば良い。
Figure 0006516234
ここで、(x, y, z)はカメラのワールド座標系の任意位置(c、c、c)を表示座標系に変換した後の位置を示す。
以上の処理を実施することで、接合部材の回転機構によって立体画像表示装置12の設置傾斜角度θSDが変更され、撮像手段280に対する立体画像表示装置12の相対位置PSDが変化しても、変化後の相対位置PSDを算出し、撮像手段280で撮影したカメラのワールド座標系の位置を立体画像表示装置12の表示座標系の位置へ変換することができる。
そして、観察位置算出手段290は、移動物体状態検出手段110で検出した座席背面部の傾斜角度θと、撮像手段280で撮影した撮像画像データ内に映る観察者の顔画像領域とを参照して、観察位置PODを算出するように構成されている。
ところで、観察距離ZODについては、前述の第1実施形態と同様に、移動物体状態検出手段110にて検出した観察者の座席背面部の傾斜角度θSOとその前の座席の傾斜角度θSPとを用いて観察位置算出手段290が算出するという構成を採っている。ただし、本第2実施形態では、観察者の両眼の高さに対応する座席の背もたれ部の長さLSEを使用するため、観察距離ZODの算出式は、上記式(2)ではなく、下記式(13)となる。
Figure 0006516234
観察位置ZODの算出に関連する観察者の座席とその前の座席との位置関係を図48に示す。前述した通り、一般的な観察者の後頭部から両眼位置(眉間部)までの長さ(頭長)の平均値は約19cmであることから(人体計測データの報告資料)、第1実施形態と同様、座席の背もたれ部の前面位置から観察者の両眼位置までの距離ZOOを約19cmと仮定し、上記式(13)で算出した観察距離ZODから距離ZOOを減算した値(ZOD−ZOO)を図48のように観察距離として採用するようにしてもよい。
次いで、観察位置PODを算出するために、観察位置算出手段290は、撮像手段280で撮影した撮像画像データからX軸方向の観察位置POD(X)とY軸方向の観察位置POD(Y)とを算出するように構成されている。
一例として、撮像手段280の撮像面と立体表示パネル手段120の表示面が平行である場合の撮影環境を図49に示す。撮像手段280は、3次元空間上にある物体を2次元平面上の撮像面に投影し、撮像画像データとして記録する機能を有している。
Y軸方向の任意位置Yに物体を置き、撮像手段280から物体までの距離(Z軸方向)を観察距離ZOD1から観察距離ZOD2へ移動させた際に、撮像手段280で物体を撮影した撮像画像データを図50に示す。
図50(A)は、観察距離ZOD1にある物体を撮影した際の撮像画像データを示し、図50(B)は、観察距離ZOD2にある物体を撮影した際の撮像画像データを示す。各図に示す通り、撮像画像データのu軸方向はX軸方向と一致し、v軸方向はY軸方向と一致する。
撮像手段280は、3次元空間上にある物体を2次元平面の撮像面へ投影するため、同じY軸方向の任意値Yにある物体であっても、観察距離ZODの違いによって、撮像画像データ内に投影される物体のv軸位置が変化する。
3次元空間上の物体の位置(X、Y、Z)は、撮像手段280の焦点距離fと観察距離ZODを用いて、観察位置算出手段290が下記式(14),式(15),式(16)により算出する。
Figure 0006516234
Figure 0006516234
Figure 0006516234
ここで、u1は撮像画像データのu軸方向における物体の画像位置を示し、v1はv軸方向における物体の画像位置を示す。したがって、X軸方向の観察位置POD(X)とY軸方向の観察位置POD(Y)とは、下記式(17),式(18)により算出する。
Figure 0006516234
Figure 0006516234
これら各式において、uEはu軸方向における撮像画像データ内に撮影された観察者の両眼の画像位置を示し、vEはv軸方向における撮像画像データ内に撮影された観察者の両眼の画像位置を示す。また、各PSDは、上記式(11)で算出した撮像手段280に対する立体画像表示装置12の相対位置を示す。
以上により、観察位置算出手段290は、移動物体状態検出手段110で検出した座席背面部の傾斜角度と、撮像手段280で撮影した撮像画像データから、観察位置PODを算出することができる。
表示設定調整手段270は、観察位置算出手段290で算出した観察位置と、デバイス特性データ保管手段160に保管されたデバイス特性データとを参照し、座席背面部の傾斜に伴って出現する3Dクロストークや逆視の影響を軽減して、立体表示パネル手段120の表示面上に良好な立体画像が表示できるように、立体画像表示装置12の表示設定を調整するように構成されている。
前述した第1実施形態では、X軸方向における観察者の位置は常に一定であると仮定して、表示設定の調整処理を実施したが、本第2実施形態では、観察位置算出手段290にて算出した観察位置PODを参照して、X軸方向における観察者の移動にも対応して表示設定の調整処理を実施する。
立体表示パネル手段120の光学分離手段の光学分離特性が動的に変更可能である場合には、光学分離特性を変更することで、観察位置PODに合わせた表示設定の調整処理を実施するという構成を採用できる。
光学分離特性が動的に変更可能な光学分離手段として、液晶レンズを用いた場合には、液晶レンズのレンズパワーを局所的に変更することで、観察者が正常に立体画像を視認できる領域(正視領域)を観察位置PODに合わせて移動させるように構成する。
液晶レンズの電圧制御によって、液晶レンズのレンズパワーを局所的に変更し、正視領域の位置を変更した一例を図51に示す。
図51(A)は、立体表示パネル手段120の表示面の中央正面位置に正視領域が形成された光学モデルを表し、図51(B)は、立体表示パネル手段120の表示面の中央正面位置から右方向(X軸方向)へ移動した位置に正視領域が形成された光学モデルを表す。
前述の第1実施形態では、液晶レンズのレンズパワーを変更して立体表示パネル手段120の最適視認距離ODを変更したが、本第2実施形態では、液晶レンズのレンズパワーを局所的に変更することで、最適視認距離ODだけでなく、正視領域の位置をX軸方向へ移動させる、という構成を採っている。
この様子を、液晶レンズ120Aと表示パネル120Bを備えた立体表示パネル手段120の一例を示す図52及び図53に基づいて説明する。
図52及び図53における基本的な構成は、上述した図29及び図30の下の図(断面図)で示した構成と同様である。また、この図52及び図53における屈折率分布の大きさは、図29の上の図に示した場合と同様の値が得られるものとする。
まず、図52では、電圧Vが電圧Vよりも高い条件(電圧V>電圧V)で、制御電極Eと制御電極Eに対して電圧Vを、制御電極Eと制御電極Eに対して電圧Vをそれぞれ印加することにより、単位レンズ内において光線20が集光するX軸方向の位置が、制御電極Eと制御電極Eの境界位置(右眼用画素と左眼用画素との境界線位置)となる。
ここで、図52と図53とでは、単位画素位置に対する単位レンズのX軸方向の位置が制御電極一つ分相当の幅だけ異なることに留意されたい。
すなわち、図53では、制御電極Eと制御電極Eへ電圧Vを、制御電極Eと制御電極Eへ電圧Vを印加すると共に、単位レンズの位置をX軸のプラス方向(左方向)に制御電極一つの幅分移動させることにより、光線20が集光するX軸方向の位置が、制御電極Eと制御電極Eの境界位置(右眼用画素の中央位置)となり、光線20がX軸のマイナス方向(右方向)にずれて出射されている。
ここで、図52の状態に制御された液晶レンズ120Aによって形成される立体表示パネル手段120の光学モデルを図54に示し、図53の状態に制御された液晶レンズ120Aによる光学モデルを図55に示す。
図54の場合は、液晶レンズによって、光線20が集光するX軸方向の位置が右眼用画素と左眼用画素の境界位置となるため、正視領域は立体表示パネル手段120の中央正面位置に形成される。
これに対し、図55の場合は、液晶レンズによって、光線20が集光するX軸方向の位置が右眼用画素の中央位置となるため、正視領域は立体表示パネル手段120の中央正面位置より右側(X軸のマイナス方向)へ制御電極一つの幅分移動した位置に形成される。
上記のように、それぞれの制御電極E〜Eへの印加電圧を変更し、液晶レンズのレンズパワーを局所的に制御するという構成を採ることで、正視領域の位置を、Z軸方向だけでなく、X軸方向にも移動することが可能となる。
また、正視領域のX軸方向への移動量は、制御電極の本数の増減やピッチを調整することによっても変更することができる。
その他にも、電圧Vが電圧Vよりも高く、電圧Vが電圧Vよりも高い条件(電圧V>電圧V>電圧V)で、制御電極Eと制御電極Eに対して電圧Vを,制御電極Eに対して電圧Vを,制御電極Eに対して電圧Vをそれぞれ印加して液晶レンズを制御するようにしてもよい。
かかる構成を採れば、制御電極Eと制御電極Eへの印加電圧は異なるため、液晶の配向分布が非対称性を持ち、液晶レンズを通過する光線20の屈折方向も非対称となることから、液晶レンズの光軸が傾斜する。すなわち、この光軸の傾斜によって正視領域の形成位置を移動する、という構成を採ってもよい。
このように、光学分離素子の屈折率の分布を制御可能な構成を採ることで、正視領域の位置ならびに立体視域範囲を調節することが可能となる。
上記の一例では、立体表示パネル手段120の光学分離手段に液晶レンズを用いた例を示したが、液晶レンズに代えて、バリア位置が可変なパララックスバリアを用いてもよい。この場合も、パララックスバリア制御電極を単位画素内に複数本設け、制御電極に所定の電圧を印加し、バリア位置を制御するという構成を採ることで、正視領域を観察位置PODに合わせて移動させることができる。
以上のように、液晶レンズやバリア位置が可変なパララックバリア等を用いた表示設定の調整処理では、表示設定調整手段270が立体表示パネル手段120の光学分離手段を制御し、視領域の位置を変更するという構成により、観察位置に合わせた表示設定の調整処理を実現した。
次に、立体表示パネル手段120の光学分離手段の光学分離特性が静的で変更不可能である場合における表示設定の調整処理について記載する。
この場合は、立体表示パネル手段120の正視領域の位置が不変であるため、立体表示パネル手段120に表示する画像データ(L画像とR画像)の視差値を変更することで、観察位置PODに合わせて表示設定を調整するように構成する。
観察位置PODが正視領域から外れることで出現する3Dクロストークによる2重像の対策としては、画像データの視差値PAを調整して2重像の影響を軽減することが挙げられる。
具体的には、観察位置算出手段290で算出した観察位置PODと、デバイス特性データ保管手段160に保管された3Dクロストーク特性データを参照して表示設定調整手段270が、立体画像が表示可能である視差の限界値(視差許容値PAth)を算出し、視差値PAが視差許容値PAth以下となるように調整するという構成を採る。
ここで、図56に、観察位置PODから算出する立体表示パネル手段120の視野角θに対応する視差許容値PAthの一例を示す。
この図56の通り、視野角θが正視領域内であれば視差許容値PAthの値は増大し、反対に視野角θが3Dクロストーク領域内であれば視差許容値PAthの値は減少する。したがって、この視差許容値PAthの変化に合わせて立体表示パネル手段120に送信する画像データの視差値PAを変化させるように構成する。
これより、観察位置PODが3Dクロストーク領域内であれば、立体表示パネル手段120には、視差値PAが減少した画像データが表示される。
なお、3Dクロストーク特性データと観察位置PODを参照して、画像データの視差値を変更する表示設定調整処理の詳細については、上記特許文献7に技術開示されている。また、前述の第1実施形態にて参照した図28(分類表I)と同様に、画像データの視差値を変更する表示設定の調整処理は、光学分離特性が動的に変更可能な光学分離手段(液晶レンズ等)を用いた場合にも適用可能である。
観察位置PODが正視領域から外れることで出現する3Dモアレの対策としては、画像データの輝度調整処理を実施して3Dモアレの影響を軽減することが挙げられる。前述の第1実施形態では、X軸方向の観察位置POD(X)は常に一定であると仮定して立体表示パネル手段120の表示面上の輝度変動値を算出したが、本第2実施形態では、観察位置算出手段290にて算出した観察位置PODを参照して、表示設定調整手段270が輝度変動値を算出する、という構成を採っている。
この輝度変動値の算出処理では、観察位置PODと輝度-視野角特性データとを参照して、立体表示パネル手段120の表示面上に出現する3Dモアレの輝度変動値を算出する。そして、この算出値に基づいて表示設定調整手段270が、3Dモアレによる輝度変動値が平坦となるように画像データの輝度値を調整することで、3Dモアレの影響を軽減することが可能となる。
なお、輝度-視野角特性データと観察位置PODとを参照して、画像データの輝度値を変更する表示設定調整処理の詳細については、上記特許文献7に技術開示されている。
また、前述の第1実施形態にて参照した図36(分類表II)と同様に、画像データの輝度値を変更する表示設定の調整処理は、光学分離特性が動的に変更可能な光学分離手段(液晶レンズ等)を用いた場合にも適用可能である。
このように、観察位置に合わせて立体画像データの輝度値を変更するという構成を採ることで、3Dモアレの影響を軽減し、観察者への違和感を低減することが可能となる。
(動作説明)
次に、立体画像表示装置12における画像処理動作の内容(立体画像表示方法)を、図57に示すフローチャートに基づいて説明する。
ユーザの操作等により、立体画像表示にかかる指令信号を入力した立体画像表示装置11は、前述の第1実施形態と同様に、移動物体状態検出手段110によって、観察者の座席状態と、その前座席の座席状態とを検出する(図57:ステップS201)。
次に、撮像手段280を使用して、立体画像表示装置12の前方にいる観察者を含む2D画像を撮影し、2次元平面上の撮像画像データを観察位置算出手段290が取得する(図57:ステップS202)。
この撮像画像データを用いて観察位置算出手段290は、観察者の顔画像領域と座席の背もたれ部の画像領域とを検出する(図57:ステップS203)。
次いで、観察位置算出手段290は、観察者の立体画像表示装置12に対する相対位置を表す観察位置を算出する。その際、ステップS201で検出された各座席の傾斜角度と、ステップS202で記憶された撮像画像データとを参照すると共に、自身に予め登録された座席基準情報を用いて観察位置を算出する(図57:ステップS204)。
次に、前述の第1実施形態におけるステップS103及びS104と同様に、表示設定調整手段270によって、デバイス特性データ保管手段160からデバイス特性データを取得し(図57:ステップS205)、画像データ保管手段150から立体画像コンテンツである画像データを取得する(図57:ステップS206)。
次いで、表示設定調整手段270により、ステップS203で算出した観察位置とステップS204で取得したデバイス特性データとを参照して、観察位置に合わせた表示設定の調整処理を実施する。表示設定の調整処理としては、立体表示パネル手段120の光学分離手段を制御して正視領域を観察位置に合わせて移動させる方法や、S205で取得した画像データの視差値及び輝度値を、観察位置とデバイス特性データに合わせて変更する方法が挙げられる(図57:ステップS207)。
そして、前述の第1実施形態(ステップS106,ステップ107)と同様に、表示設定調整手段270により、上記ステップS206で調整した表示設定に従って画像データ保管手段150から取得した画像データを立体表示パネル手段120の画像表示パネルに表示し(図57:ステップS208)、次いで立体画像表示処理を中止するか否かを設定する(図57:ステップS209)。
以上のフローチャートにかかる処理により、座席背面部の傾斜に伴って立体画像表示装置の表示位置が移動しても、座席背面部の傾斜角度と撮影した撮像画像データとを参照し、座席背面部に設置した立体画像表示装置に対する観察者の相対位置(観察位置)を算出すると共に、これを用いて表示設定の調整処理を行うため、安価な計測装置だけで3Dクロストークによる2重像や逆視,3Dモアレの影響を軽減することができ、観察者へ違和感を与えない立体画像を提供することが可能となる。
また、本第2実施形態においても、視点数は2つに限定されるものではなく、多視点画像を投影する立体表示パネル手段120にも適用可能である。
ここで、上記各ステップS201〜S208(図57)における各工程の実行内容をプログラム化すると共に、この一連の各制御プログラムをコンピュータによって実現するように構成してもよい。
(第2実施形態の効果)
本第2実施形態では、撮像手段による撮像画像データを、移動物体の状態情報と共に使用して、立体表示パネル手段120に対する観察者の相対位置(観察位置)を算出し、これを用いて立体画像の表示設定を調整するという構成を採ったことから、観察者の両眼の高さをも考慮した立体画像の表示設定の調整処理を実現することができるため、より精度よく有効な立体画像を表示することが可能となる。
その他の構成及び動作については、第1実施形態で示したものと同様であり、他に生じる作用効果も同様である。
〔第3実施形態〕
本発明における立体画像表示装置の第3実施形態を図58乃至図64に基づいて説明する。上述した第1及び第2実施形態と同等の構成部材については、同一の符号を用いるものとする。
(全体的構成)
本第3実施形態では、立体画像表示装置の前方にいる観察者の身体の大きさを表すサイズ情報(観察者データ)を登録し、その観察者データを用いて、観察者の観察位置の立体表示パネルの表示面の中心位置に対する相対位置を表す観察位置PODを算出し、その観察位置PODに合わせて立体画像表示装置の表示設定の調整処理を実施するという構成を採用した。
すなわち、上述の第1及び第2実施形態では、観察者が座席の背もたれ部に寄り掛かっていることを想定して、観察距離ZOD及び観察位置PODを算出したが、本第3実施形態では、観察者が座席の背もたれ部に寄り掛かった状態だけでなく、座席の背もたれ部から離れた状態であっても、観察者データを用いて観察位置PODを算出するように構成した点に特徴がある。
本第3実施形態における立体画像表示装置13は、図58に示すように、移動物体状態検出手段110,立体表示パネル手段120,撮像手段280の他に、各種演算処理を実施する演算処理部133と、観察者が座席の背もたれ部と密接した状態にあるか否かを表す観察者状態情報を検出する観察者状態検出手段310と、を有している。
また、演算処理部133は、画像データ保管手段150,デバイス特性データ保管手段160,及び表示設定調整手段270を有すると共に、観察者状態検出手段310にて検出した観察者状態情報と撮像手段280による撮像画像データとを参照して観察者データを検出し保管する観察者データ保管処理手段350と、立体表示パネル手段120の表示面の中心位置に対する観察者の観察位置の相対位置を示す観察位置PODを算出する観察位置算出手段(相対位置算出手段)390と、を有している。
さらに、観察位置算出手段390は、上記撮像画像データから観察者の顔画像領域を検出する検出手段390Aと、上記観察者状態情報に基づいて観察者が座席の背もたれ部に密接した状態にあるか否かを判定する判定手段390Bと、を有すると共に、この判定手段390Bにて、密接した状態にある旨判定した場合には、移動物体状態検出手段110にて検出した状態情報と上記顔画像領域とを用いて観察位置PODを算出し、観察者が座席の背もたれ部から離れた状態にある旨判定した場合には、上記観察者データと上記顔画像領域とを用いて観察位置PODを算出するように構成されている。
以下に、立体画像表示装置13に含まれる各手段の機能を説明する。ここで、移動物体状態検出手段110,立体表示パネル手段120,画像データ保管手段150,デバイス特性データ保管手段160,表示設定調整手段270,及び撮像手段280については、上述した第1又は第2実施形態にて同一の符号を付した各手段と同様の構成である。
観察者状態検出手段310は、観察者が座席の背もたれ部と密接した状態であるか、離れた状態であるかを表す観察者状態情報を検出するように構成されている。この観察者状態情報は、例えば座席の背もたれ部に感圧センサを設置しておき、該感圧センサを用いて観察者状態検出手段310が検出するように構成できる。
感圧センサを設置した座席の一例を示す図59において、図59(A)は観察者(O)が座席の背もたれ部と密接した状態を示し、図59(B)は観察者(O)が座席の背もたれ部から離れた状態を示す。
図59(A)では、観察者(O)の体重によって、座席の背もたれ部に設置した感圧センサ310Aに圧力がかかるため、感圧センサ310Aの出力電圧値が上昇する。一方、図59(B)では、感圧センサ310Aに圧力がかからないため、感圧センサ310Aの出力電圧値は上昇しない。
このように、観察者と座席との位置関係によって変化する感圧センサ310Aの出力電圧値を計測することで、観察者状態情報を検出することができる。
観察者データ保管処理手段350は、観察者状態検出手段310で検出した観察者状態情報と撮像手段280による撮像で得た撮像画像データとを参照して、観察者の顔画像領域のサイズを示す観察者データを検出・保管するように構成されている。
観察者データの検出処理において観察者データ保管処理手段350は、初めに観察者状態検出手段310で検出した観察者状態情報を参照して、観察者が座席の背もたれ部と密接した状態であるときに、撮像手段280で観察者を撮影し、撮像画像データを取得する。次いで、観察者データ保管処理手段350は、この撮像画像データから前述の第1実施形態と同様に観察者の顔画像領域を検出し、この顔画像領域のサイズを観察者データとして検出する。
ここで、図60に、撮像手段280で撮影した撮像画像データの一例を示す。
この図60は、観察者の顔画像領域の輪郭位置から観察者データ保管処理手段350が検出するu軸方向における顔画像領域の幅FIWを示す。
観察者が座席の背もたれ部に密接した状態であれば、前述の第2実施形態と同様に観察距離ZODを算出することができる。また、実際の観察者の顔幅Fは、上記算出した観察距離ZOD及び撮像画像データから検出した顔画像領域の幅FIWを使用して、下記式(19)より算出するように構成する。
Figure 0006516234
ここで、上記fは、撮像手段280の焦点距離を示す。
観察者データ保管処理手段350は、算出した実際の観察者の顔幅Fを観察者データとして保管する。
また、実際の観察者の顔幅Fは、座席の背もたれ部の画像領域に占める顔画像領域の割合から算出するように構成してもよい。
この場合は、上記顔画像領域の幅FIWの他に、座席の背もたれ部の輪郭情報から座席の画像領域幅SIWを検出するという構成を採る。実際の座席の背もたれ部の幅Sは一定であるため、これを座席基準情報として予め登録しておくことにより、実際の観察者の顔幅Fは下記式(20)から算出できる。
Figure 0006516234
なお、上記の一例では、観察者データとして観察者の顔幅Fを保管したが、観察者データは観察者の身体の大きさを表すサイズ情報であればよく、観察者の顔幅Fだけに特定されるものではない。
例えば、観察者の両眼の瞳孔間隔を観察者データとして保管するようにしてもよい。
また、上記には観察者データの検出処理時に、観察者状態検出手段310で検出した観察者状態情報を参照し、観察者データ算出用の撮影画像データを取得する一例を示したが、観察者状態情報を参照する代わりに、立体画像表示装置13から観察者データを検出することを観察者へ報知し、その報知後に撮影画像データを取得するようにしてもよい。
観察者への報知方法の一例としては、図61に示すような通知画面を立体画像表示装置13へ表示することが挙げられる。例えば、該画面上に準備完了を通知するための確認ボタン等を設け(立体画像表示装置13等に予め設けられた操作ボタン等を代用してもよい)、観察者の押圧に起因する信号を受けて撮影画像データの取得を実行するという構成を採ってもよい。
また、飛行機の乗客者は、安全のため、離陸時に座席の背もたれに寄り掛かることを指示されるので、その際に撮影画像データを取得し、観察者データを保管するように構成してもよい。
観察位置算出手段390は、撮像手段280で撮影した撮像画像データから、検出手段390Aにより観察者の顔画像領域を検出し、また、観察者状態検出手段310で検出した観察者状態情報に基づいて、判定手段390Bにより観察者が背もたれ部に密接した状態にあるか否かを判定する。
そして、観察者が座席の背もたれ部に密接している場合に観察位置算出手段390は、前述の第2実施形態と同様に、移動物体状態検出手段110で検出した座席状態情報と撮像手段280で撮影した撮像画像データとを参照して観察位置PODを算出するように構成されている。
一方で、観察者が座席の背もたれ部から離れている場合に観察位置算出手段390は、観察者データ保管処理手段350に保管した観察者データと、撮像手段280で撮影した撮像画像データとを参照して観察位置PODを算出するように構成されている。
ここで、異なる観察距離ZODで撮影された撮像画像データの例を示す図62を参照して、観察者の位置変動に起因した顔画像領域の幅の変化を説明する。図62(A)は観察者が座席の背もたれ部に密接した場合の撮像画像データを示し、図62(B)は観察者が座席の背もたれ部から離れた場合(観察者が前座席に近づいた場合)の撮像画像データを示す。
観察者が座席の背もたれ部から離れ、撮像手段280に近接するほど、観察者の顔画像領域の幅FIWは増加する。例えば、図62(A)の場合は幅FIW1であるが、観察者が撮像手段280に近接した図62(B)の場合では幅FIW2にまで増加している。
実際の観察者の顔幅Fは観察者データとして保管されているため、観察位置算出手段390は、下記式(21)によって観察距離ZODを算出することができる。
Figure 0006516234
そして、X軸方向の観察位置POD(X)とY軸方向の観察位置POD(Y)を、前述の第2実施形態と同様に観察位置算出手段390が算出するように構成されている。
本第3実施形態では、上記のような構成を採ったため、観察者が座席の背もたれ部から離れた状態であっても、観察者の観察位置PODを算出することができる。
また、この算出した観察者の観察位置PODに合わせて、表示設定調整手段170が立体画像表示装置13の表示設定調整処理を実施することで、観察者が座席の背もたれ部から離れた状態であっても、安価な計測装置だけで3Dクロストークによる2重像や逆視,3Dモアレの影響を軽減することができるため、結果として、観察者へ違和感を与えない立体画像表示装置の提供が可能となる。
(動作説明)
次に、立体画像表示装置13における画像処理動作の内容(立体画像表示方法)を、図63及び図64に示すフローチャートに基づいて説明する。
〈観察者データの登録処理〉
まず、観察者状態検出手段310により、観察者が座席の背もたれ部に密接しているか否かを表す観察者状態を検出する(図63:ステップS301)。
次いで、ステップS301で検出した観察者状態を参照して観察者データ保管処理手段350が、観察者が背もたれ部に密接しているか否かを判定する(図63:ステップS302)。
その際、観察者が背もたれ部に密接していなければ(図63:ステップS302/いいえ)、ステップS301に戻り、改めて観察者状態を検出する。ここで、該検出に先立って、観察者に対し観察者データを検出する旨を報知し、観察者が背もたれ部に密接することを促すようにしてもよい。
一方で、観察者が背もたれ部に密接していれば(図63:ステップS302/はい)、撮像手段280を使用して、立体画像表示装置13の前方にいる観察者を2D画像として撮影し、撮像画像データを記憶する(図63:ステップS303)。
次に、観察者データ保管処理手段350は、ステップS303で記憶した撮像画像データを取得すると共に、この撮像画像データ内に撮影された観察者の顔画像領域を検出する(図63:ステップS304)。
このステップS304で検出した顔画像領域を参照して、観察者データ保管処理手段350は、実際の観察者の顔サイズを表す観察者データを算出すると共に(図63:ステップS305)、これを保管する(図63:ステップS306)。
観察者データの一例としては、観察者の顔幅Fが挙げられる。
以上のフローチャート処理により、観察者データを登録することができる。
〈立体画像表示処理〉
図64に示す立体画像表示処理方法のフローチャートによると、まず、観察者状態検出手段310により、観察者が座席の背もたれ部に密接しているか否かを表す観察者状態を検出する(図64:ステップS401)。
このステップS401で検出した観察者状態を参照して(図64:ステップS402)、観察者が背もたれ部に密接していれば(図64:ステップS402/はい)、観察者状態検出手段310にて各座席状態の検出を行い(ステップS403へ進み)、観察者が背もたれ部に密接していなければ(図64:ステップS402/はい)、観察者データ保管処理手段350に保管された観察者データを取得する(ステップS412へ進む)。
図64におけるステップS403からステップS411までの処理内容は、前述の第2実施形態におけるステップS201からステップS209まで(図57)の処理内容と同様であるため、ここでは省略する。
観察者データ保管手段310に保管された観察者データを取得した観察位置算出手段390は(図64:ステップS412)、ステップS404と同様に撮像手段280を使用して、立体画像表示装置13の前方にいる観察者を撮影し、撮像画像データを取得する(図64:ステップS413)。
次いで、観察位置算出手段390は、ステップS412で取得した観察者データと、ステップS412で取得した撮像画像データとを参照して、観察位置を算出する(図64:ステップS414)。
そして、図64に示すように、前述の第2実施形態におけるステップS205からステップS209まで(図57)の処理内容と同様であるステップS407からステップS411までの処理内容を実行する。
以上の処理により、観察者が座席の背もたれ部と密接した状態である場合の観察者データを予め算出し登録しておくことで、観察者が座席の背もたれ部から離れた状態であっても、安価な計測装置だけを使用して、観察者の観察位置PODを算出することができる。また、算出した観察者の観察位置PODに合わせて表示設定の調整処理を実施することで、安価な計測装置だけで3Dクロストークによる2重像や逆視,3Dモアレの影響を軽減し、これにより、観察者へ違和感を与えない立体画像表示装置を提供することが可能となる。
本第3実施形態においても、視点数は2つに限定されるものではなく、多視点画像を投影する立体表示パネル手段120にも適用可能である。
(第3実施形態の効果)
本第3実施形態では、観察者が座席の背もたれ部に密接した状態における観察者データを基準として参照すると共に、立体画像の表示設定の調整処理に際しても、観察者と該背もたれ部との位置関係を勘案するという構成を採ったため、これにより、観察者の状態に応じたより柔軟な観察位置を算出することができ、これを用いた高精度な調整処理に基づく立体画像表示を実現することが可能となる。
その他の構成及び動作については、上述した第1及び第2実施形態で示したものと同様であり、他に生じる作用効果も同様である。
〔第4実施形態〕
本発明における立体画像表示装置の第2実施形態を図65乃至図69に基づいて説明する。ここで、上述した第1乃至第3実施形態と同等の構成部材については、同一の符号を用いるものとする。
(全体的構成)
本第4実施形態では、撮像手段280で撮影した撮像画像データから、座席背面部の傾斜角度θを表す座席状態を検出することで、姿勢センサ等の移動物体状態検出手段を使用せずに、観察位置PODを算出し、その観察位置PODに合わせて立体画像表示装置の表示設定の調整処理を実施するという構成を採った点に特徴がある。
図65に示すように、立体画像表示装置14は、立体表示パネル手段120と,撮像手段280と、各種演算処理を実施する演算処理部134と、を有している。
また、演算処理部134は、画像データ保管手段150,デバイス特性データ保管手段160,及び表示設定調整手段270と共に、立体表示パネル手段120に対する観察者の相対位置を示す観察位置を算出する観察位置算出手段(相対位置算出手段)490を有している。
以下に、立体画像表示装置14に含まれる各手段の機能を説明する。ここで、立体表示パネル手段120,画像データ保管手段150,デバイス特性データ保管手段160,表示設定調整手段270,及び撮像手段280については、上述した第1乃至第3実施形態にて同一の符号を付した各手段と同様の構成である。
観察位置算出手段490は、撮像手段280で撮影した撮像画像データを参照して、観察位置PODを算出する。また、本第4実施形態の観察位置算出手段490では、撮像画像データを参照して座席背面部の傾斜角度θを表す座席状態を検出する。
ここで、図66に、座席背面部の傾斜角度θに伴って変化する撮像手段280から座席の背もたれ部までの距離(Z軸方向)を示す。
座席上部から座席下部までの背もたれ部の長さLSUDは一定であるため、予め座席基準情報として登録しておけば、下記式(22)より、座席背面部の傾斜角度θは、撮像手段280から座席上部までのZ軸方向の距離ZSDと、撮像手段280から座席下部までのZ軸方向の距離ZSUとを用いて算出できる。
Figure 0006516234
撮像手段280から座席上部までの距離ZSDと、撮像手段280から座席下部までの距離ZSUとは、撮像手段280で立体画像表示装置14の前方にある観察者の座席を撮影した撮像画像データを用いて観察位置算出手段490が算出する。
図67(A)に、観察者の座席を撮影した撮影画像データの一例を示す。図68(A)には、座席背面部の傾斜角度θが図67の場合よりも傾斜した際に、観察者の座席を撮影した撮像画像データを示す。また、図67(B)は、図67(A)の撮影画像データを撮影したときの座席状態を示し、図68(B)は、図68(A)の撮影画像データを撮影したときの座席状態を示す。
ここでは、図67に示す座席背面部の傾斜角度をθS1とし、図68に示す座席背面部の傾斜角度をθS2とする(θS1<θS2)。また、座席下部の画像領域幅をWISDとおき、座席上部の画像領域幅をWISUとする。
図67と図68と比較すると、座席背面部の傾斜角度θが大きくなることにより、撮像手段280から座席の背もたれ部までの距離が変化するため、これに伴って座席下部の画像領域幅WISDと座席上部の画像領域幅WISUとが変化する。(これら各図に示す通り、特にWISUが大きく変化する。)
ここで、実際の座席上部の幅WSUと座席下部の幅WSDは一定であり、既知の値なので、座席基準情報として予め登録しておく。これにより、撮像手段280から座席上部までの距離(Z軸方向)ZSUは、撮影画像データから座席上部の画像領域幅WISUを検出して用いることで、下記式(23)をもとに算出できる。
また、撮像手段280から座席下部までの距離ZSDも同様に、撮影画像データから座席下部の画像領域幅WISDを検出して用いることで、下記式(24)をもとに算出できる。
Figure 0006516234
Figure 0006516234
これら各式におけるfは、撮像手段280の焦点距離を示す。
以上より、撮像手段280によって座席上部と座席下部の画像領域幅WISU,WISDが検出可能である状況においては、傾斜センサ等の移動物体状態検出手段を使用することなく、撮像手段280で取得した撮像画像データから座席背面部の傾斜角度θを表す座席状態が検出できる。
上記の例では、撮像画像データから座席の背もたれ部の輪郭情報を検出し、座席上部及び下部の画像領域幅WISU及びWISDを検出することで、座席背面部の傾斜角度θを算出するという構成を採ったが、撮像画像データから検出する画像情報は、その他の画像情報であってもよい。
一例としては、予め登録したマークを座席の柄として座席の背もたれ部に印字し、そのマークを撮像画像データから検出することで、座席背面部の傾斜角度θを算出する、という構成と採ることができる。
なお、観察位置PODは、撮像画像データから算出した座席背面部の傾斜角度θを参照して、観察位置算出手段390が、上述した第2実施形態と同様の算出方法により求めるように構成されている。
(動作説明)
次に、立体画像表示装置14における画像処理動作の内容(立体画像表示方法)を、図69に示すフローチャートに基づいて説明する。
まず、撮像手段280を使用して、立体画像表示装置14の前方にいる観察者を含む2D画像を撮影し、撮像画像データを取得した観察位置算出手段490が(図69:ステップS501)、この撮像画像データから観察者の顔画像領域と座席の背もたれ部の画像領域を検出する(図69:ステップS502)。
次に、ステップS502で検出した座席の背もたれ部の画像領域情報から、観察位置算出手段490が座席背面部の傾斜角度を算出する(図69:ステップS503)。
ステップS504からステップS509までの処理内容は、上述した第2実施形態におけるステップS204からステップS209までの処理内容と同様である。
以上のフローチャート処理により、撮像画像データから座席背面部の傾斜角度θを算出し、立体画像表示装置に対する観察者の相対位置を表す観察位置PODを算出することで、傾斜センサ等の移動物体状態検出手段が無くても、安価な計測装置だけで3Dクロストークによる2重像や逆視,3Dモアレの影響を軽減することができ、観察者へ違和感を与えない立体画像表示装置を提供することが可能となる。
また、本第4実施形態においても、視点数は2つに限定されるものではなく、多視点画像を投影する立体表示パネル手段120にも適用可能である。
(第4実施形態の効果)
本第4実施形態では、撮像手段で撮影した撮像画像データから座席背面部の傾斜角度θ(座席状態)を検出するという構成を採ったことから、姿勢センサ等の移動物体状態検出手段を使用せずに算出した観察位置PODに合わせて立体画像の表示設定の調整処理を実施することが可能となり、このため、3Dクロストークによる2重像や逆視,3Dモアレの影響を安価な構成によって有効に軽減することができ、立体画像を観察者に違和感を与えることなく表示することが可能となる。
その他の構成及び動作については、上述した第1乃至第3実施形態で示したものと同様であり、他に生じる作用効果も同様である。
上述した各実施形態は、立体画像表示装置、立体画像表示方法、及びそのプログラムにおける好適な具体例であり、技術的に好ましい種々の限定を付している場合もある。しかし、本発明の技術範囲は、特に本発明を限定する記載がない限り、これらの態様に限定されるものではない。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、本発明は以下の構成に限定されるものではない。
(付記1:第1実施形態)
移動物体に設置された立体画像表示装置において、
前記移動物体の状態を検出する移動物体状態検出手段(110)と、
立体画像を投影する空間領域を分割し、この分割後の各空間領域それぞれに視差の異なる画像を投影することで、観察者の左右の眼に前記視差の異なる画像を投影する立体表示パネル手段(120)と、
前記移動物体状態検出手段(110)で検出した前記移動物体の状態情報から前記立体表示パネル手段(120)と前記観察者との観察距離を算出する観察距離算出手段(140)と、
前記観察距離に対応する前記立体表示パネル手段(120)の表示特性を含むデバイス特性データを保存するデバイス特性データ保管手段(160)と、
前記観察距離と前記デバイス特性データとを参照して、前記立体画像の表示設定を調整する表示設定調整手段(170)と、を有することを特徴とした立体画像表示装置(11)。
(付記2:第2実施形態)
移動物体に設置された立体画像表示装置において、
前記移動物体の状態を検出する移動物体状態検出手段(110)と、
立体画像を投影する空間領域を分割し、この分割後の各空間領域それぞれに視差の異なる画像を投影することで、観察者の左右の眼に前記視差の異なる画像を投影する立体表示パネル手段(120)と、
前記観察者を撮影し、撮影画像を撮像する撮像手段(280)と、
前記移動物体状態検出手段(120)で検出した前記移動物体の状態情報と前記撮像手段(280)で撮影した前記撮影画像から前記立体表示パネル手段(120)に対する前記観察者の相対位置を表す観察位置を算出する観察位置算出手段(290)と、
前記観察位置に対する前記立体表示パネル手段(120)の表示特性を含むデバイス特性データを保存するデバイス特性データ保管手段(160)と、
前記観察位置と前記デバイス特性データとを参照して、前記立体画像の表示設定を調整する表示設定調整手段(270)と、を有することを特徴とした立体画像表示装置(12)。
(付記3:第3実施形態)
移動物体である座席の可動式背もたれ部に設置された立体画像表示装置において、
前記移動物体の状態を検出する移動物体状態検出手段(110)と、
立体画像を投影する空間領域を分割し、この分割後の各空間領域それぞれに視差の異なる画像を投影することで、観察者の左右の眼に前記視差の異なる画像を投影する立体表示パネル手段(120)と、
前記観察者を撮影し、撮影画像を撮像する撮像手段(280)と、
前記移動物体は座席であり、該座席の背もたれ部が可動式であり、前記観察者が着座する前記座席への前記観察者の着座状態を検出する観察者状態検出手段(310)と、
前記観察者のサイズ情報を表す観察者データを保管する観察者データ保管手段(350)と、
前記立体表示パネル手段(120)に対する前記観察者の相対位置を表す観察位置を算出する観察位置算出手段(390)と、
前記観察位置に対応する前記立体表示パネル手段の表示特性を含むデバイス特性データを保存するデバイス特性データ保管手段(160)と、
前記観察位置と前記デバイス特性データとを参照して、前記立体画像の表示設定を調整する表示設定調整手段(270)と、を備え、
前記観察位置算出手段(390)は、前記撮像手段(280)で撮影した前記撮影画像から前記観察者が着座する座席の背もたれ部の画像領域に対する前記観察者の顔画像領域の割合を検出し、
前記観察者が前記観察者の着座する座席の背もたれ部に密接した状態では、前記移動物体状態検出手段(110)で検出した前記座席の状態情報と前記顔画像領域の割合とから前記観察位置を算出し、
前記観察者が着座する座席の背もたれ部から離れた状態では、前記観察者データと前記顔画像領域の割合とから前記観察位置を算出することを特徴とする立体画像表示装置(13)。
(付記4:第4実施形態)
移動物体に設置された立体画像表示装置において、
立体画像を投影する空間領域を分割し、この分割後の各空間領域それぞれに視差の異なる画像を投影することで、観察者の左右の眼に前記視差の異なる画像を投影する立体表示パネル手段(120)と、
観察者を撮影し、撮影画像を撮像する撮像手段(280)と、
前記撮像手段で撮影した前記撮影画像から前記移動物体の状態を検出し、前記移動物体の状態情報と前記撮影画像とを用いて、前記立体表示パネル手段に対する前記観察者の相対位置を表す観察位置を算出する観察位置算出手段(490)と、
前記観察位置に対する前記立体表示パネル手段の表示特性を含むデバイス特性データを保存するデバイス特性データ保管手段(160)と、
前記観察位置と前記デバイス特性データを参照して、前記立体表示パネル手段の表示設定を調整する表示設定調整手段(270)と、を有することを特徴とした立体画像表示装置(14)。
(付記5)
移動物体に設置されて立体画像を表示する立体画像表示装置であって、
隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段(120)と、
前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出手段(110)と、
この状態情報から前記立体表示パネル手段(120)とその表示面側に位置する特定の観察者との相対距離を算出する相対距離算出手段(140)と、
前記立体表示パネル手段(120)にかかるデバイス特性データを保存するデバイス特性データ保管手段(160)と、
前記相対距離と前記デバイス特性データとを参照して前記立体画像の表示設定を調整する表示設定調整手段(170)と、を有することを特徴とした立体画像表示装置。
(付記6)
前記付記5に記載の立体画像表示装置において、
前記移動物体は前記観察者用の座席であり、該座席の背もたれ部は可動式であり、
前記移動物体状態検出手段(110)は、前記座席の背もたれ部に設置されると共に、該背もたれ部の傾斜状態にかかる情報を前記状態情報として検出することを特徴とした立体画像表示装置。
(付記7)
前記付記5に記載の立体画像表示装置において、
前記移動物体は前記観察者用の座席であり、該座席の背もたれ部は可動式であり、
前記移動物体状態検出手段(110)は、前記観察者が着座する座席及び該座席の前座席の各々が有する背もたれ部の傾斜情報に基づいて前記状態情報を検出することを特徴とした立体画像表示装置。
(付記8)
前記付記5に記載の立体画像表示装置において、
前記移動物体は前記観察者用の座席であり、該座席の背もたれ部は可動式であり、
前記移動物体状態検出手段(110)は、前記座席の背もたれ部に設置した第1傾斜センサの出力値と前記座席の着座部に設置した第2傾斜センサの出力値とに基づいて前記状態情報を検出することを特徴とした立体画像表示装置。
(付記9)
前記付記5乃至8の何れか1つに記載の立体画像表示装置において、
前記相対距離算出手段(140)は、前後に並ぶ2つの座席間の設置位置情報を保有すると共に、この設置位置情報と前記状態情報とを用いて前記相対距離を算出することを特徴とした立体画像表示装置。
(付記10)
前記付記5乃至9の何れか1つに記載の立体画像表示装置において、
前記立体表示パネル手段は、
少なくとも第1視点用の画像を表示する第1のサブ画素及び第2視点用の画像を表示する第2のサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
前記各サブ画素から出射した光線を相互に異なる方向に振り分ける光線分離手段と、を含むことを特徴とした立体画像表示装置。
(付記11)
前記付記10に記載の立体画像表示装置において、
前記光線分離手段は、光線分離方向が変更可能なアクティブ素子からなり、
前記表示設定調整手段(170)は、前記相対距離に合わせて前記光線分離手段の屈折率の分布を制御することで立体視域範囲を調整することを特徴とした立体画像表示装置。
(付記12)
前記付記5乃至11の何れか1つに記載の立体画像表示装置において、
前記表示設定調整手段(170)は、前記相対距離に合わせて前記立体画像の視差値又は輝度値を変更することを特徴とした立体画像表示装置。
(付記13)
移動物体に設置されて立体画像を表示する立体画像表示装置であって、
隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段(120)と、
この立体表示パネル(120)の表示面前方を観察者と共に撮影し、撮像画像データとして記録する撮像手段(280)と、
この撮像画像データを用いて前記立体表示パネル手段(120)に対する前記観察者の相対位置を算出する相対位置算出手段(観察位置算出手段:290,390,490)と、
前記立体表示パネル手段(120)にかかるデバイス特性データを保存するデバイス特性データ保管手段(160)と、
前記相対位置と前記デバイス特性データとを参照して前記立体画像の表示設定を調整する表示設定調整手段(270)と、を有することを特徴とした立体画像表示装置。
(付記14)
前記付記13に記載の立体画像表示装置において、
前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出手段(110)をさらに有し、
前記相対位置算出手段(290,390)は、前記相対位置の算出に際して前記撮像画像データと前記状態情報とを用いることを特徴とした立体画像表示装置。
(付記15)
前記付記14に記載の立体画像表示装置において、
前記移動物体は前記観察者用の座席であり、該座席の背もたれ部は可動式であり、
前記移動物体状態検出手段(110)は、前記座席の背もたれ部に設置されると共に、該背もたれ部の傾斜状態にかかる情報を前記状態情報として検出することを特徴とした立体画像表示装置。
(付記16)
前記付記15に記載の立体画像表示装置において、
前記相対位置算出手段(290,390)は、前記撮像画像データから前記観察者が着座する座席の背もたれ部の画像領域に対する前記観察者の顔画像領域の割合を検出すると共に、この割合に係る情報と前記状態情報とを用いて前記相対位置を算出することを特徴とした立体画像表示装置。
(付記17)
前記付記15に記載の立体画像表示装置において、
前記観察者の着座状態にかかる観察者状態情報を検出する観察者状態検出手段(310)と、
この観察者状態情報と前記撮像画像データとを用いて観察者のサイズ情報を示す観察者データを検出し保管する観察者データ保管処理手段(350)と、を有し、
前記相対位置算出手段(390)は、
前記撮像画像データから前記観察者の顔画像領域を検出する検出手段(390A)と、前記観察者状態情報に基づいて前記観察者が前記背もたれ部に密接した状態にあるか否かを判定する判定手段(390B)と、を有すると共に、
この判定手段(390B)にて、密接した状態にある旨判定した場合には、前記状態情報と前記顔画像領域とを用いて前記相対位置を算出し、前記観察者が前記背もたれ部から離れた状態にある旨判定した場合には、前記観察者データと前記顔画像領域とを用いて前記相対位置を算出することを特徴とした立体画像表示装置。
(付記18)
前記付記17に記載の立体画像表示装置において、
観察者データ保管処理手段(350)は、前記観察者データを検出するに際して、前記観察者が前記背もたれ部に密接した状態にあるときの前記撮影画像データを用いることを特徴とした立体画像表示装置。
(付記19)
前記付記13に記載の立体画像表示装置において、
前記相対位置算出手段(490)は、前記撮像画像データを用いて前記移動物体の位置状態にかかる状態情報を検出すると共に、これに基づいて前記相対位置を算出することを特徴とした立体画像表示装置。
(付記20)
前記付記13に記載の立体画像表示装置において、
前記移動物体は前記観察者用の座席であり、該座席の背もたれ部は可動式であり、
前記相対位置算出手段(490)は、前記撮像画像データから前記観察者が着座する座席の背もたれ部の画像領域に対する前記観察者の顔画像領域の割合を検出すると共に、この割合に係る情報を用いて前記相対位置を算出することを特徴とした立体画像表示装置。
(付記21)
前記付記13乃至20の何れか1つに記載の立体画像表示装置において、
前記立体表示パネル手段は、
少なくとも第1視点用の画像を表示する第1のサブ画素及び第2視点用の画像を表示する第2のサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
前記各サブ画素から出射した光線を相互に異なる方向に振り分ける光線分離手段と、を含むことを特徴とした立体画像表示装置。
(付記22)
前記付記21に記載の立体画像表示装置において、
前記光線分離手段は、光線分離方向が変更可能なアクティブ素子からなり、
前記表示設定調整手段(270)は、前記相対位置に合わせて前記光線分離手段の屈折率の分布を制御することで立体視域範囲を調整することを特徴とした立体画像表示装置。
(付記23)
前記付記13乃至22の何れか1つに記載の立体画像表示装置において、
前記表示設定調整手段(270)は、前記相対位置に合わせて前記立体画像の視差値又は輝度値を変更することを特徴とした立体画像表示装置。
(付記24)
前記付記5乃至12に記載の立体画像表示装置において、
前記デバイス特性データは、前記相対距離に対応する情報であることを特徴とした立体画像表示装置。
(付記25)
前記付記13乃至23に記載の立体画像表示装置において、
前記デバイス特性データは、前記相対位置に対応する情報であることを特徴とした立体画像表示装置。
(付記26)
隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段(120)を有すると共に、移動物体に設置されて立体画像を表示する立体画像表示装置における立体画像表示方法であって、
前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出工程と、
この状態情報から前記立体表示パネル手段(120)とその表示面側に位置する特定の観察者との相対距離を算出する相対距離算出工程と、
前記立体表示パネル手段(120)にかかるデバイス特性データを受信するデバイス特性データ受信工程と、
前記相対距離と前記デバイス特性データとを参照して前記立体画像の表示設定を調整する表示設定調整工程と、
この調整後の表示設定に基づいて、前記各空間領域それぞれに対し前記視差の異なる画像を投影することで前記立体画像を表示する立体画像表示工程と、を有することを特徴とした立体画像表示方法。
(付記27)
隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段(120)を有すると共に、移動物体に設置されて立体画像を表示する立体画像表示装置における立体画像表示方法であって、
前記立体表示パネル(120)の表示面前方を観察者と共に撮影し、撮像画像データとして記録する撮像工程と、
この撮像画像データを用いて前記立体表示パネル手段(120)に対する前記観察者の相対位置を算出する相対位置算出工程と、
前記立体表示パネル手段(120)にかかるデバイス特性データを受信するデバイス特性データ受信工程と、
前記相対位置と前記デバイス特性データとを参照して前記立体画像の表示設定を調整する表示設定調整工程と、
この調整後の表示設定に基づいて、前記各空間領域それぞれに対し前記視差の異なる画像を投影することで前記立体画像を表示する立体画像表示工程と、を有することを特徴とした立体画像表示方法。
(付記28)
前記付記27に記載の立体画像表示方法において、
前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出工程をさらに有し、
前記相対位置算出工程では、この状態情報を前記撮像画像データと共に参照して前記相対位置を算出することを特徴とした立体画像表示方法。
(付記29)
前記付記27に記載の立体画像表示方法において、
前記移動物体が前記観察者用の座席であり、該座席の背もたれ部が可動式である場合に、
前記相対位置算出工程に先立って、
前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出工程と、
前記観察者の着座状態にかかる観察者状態情報を検出する観察者状態検出工程と、
前記相対位置算出工程では、
前記撮像画像データから前記観察者の顔画像領域を検出すると共に、前記観察者状態情報に基づいて前記観察者が前記背もたれ部に密接した状態にあるか否かを判定し、密接した状態にある旨判定した場合には前記状態情報と前記顔画像領域とを用いて前記相対位置を算出することを特徴とした立体画像表示方法。
(付記30)
前記付記27に記載の立体画像表示方法において、
前記移動物体が前記観察者用の座席であり、該座席の背もたれ部が可動式である場合に、
前記相対位置算出工程に先立って、
前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出工程と、
前記観察者の着座状態にかかる観察者状態情報を検出する観察者状態検出工程と、
この観察者状態情報と前記撮像画像データとを用いて観察者のサイズ情報を示す観察者データを検出し保管する観察者データ保管処理工程と、を有し、
前記相対位置算出工程では、
前記撮像画像データから前記観察者の顔画像領域を検出すると共に、前記観察者状態情報に基づいて前記観察者が前記背もたれ部に密接した状態にあるか否かを判定し、前記観察者が前記背もたれ部から離れた状態にある旨判定した場合には、前記観察者データと前記顔画像領域とを用いて前記相対位置を算出する判定算出工程と、を含むことを特徴とした立体画像表示方法。
(付記31)
前記付記27に記載の立体画像表示方法において、
前記移動物体が前記観察者用の座席であり、該座席の背もたれ部が可動式である場合に、
前記相対位置算出工程に先立って、
前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出工程と、
前記観察者の着座状態にかかる観察者状態情報を検出する観察者状態検出工程と、
この観察者状態情報と前記撮像画像データとを用いて観察者のサイズ情報を示す観察者データを検出し保管する観察者データ保管処理工程と、を有し、
前記相対位置算出工程では、
前記撮像画像データから前記観察者の顔画像領域を検出すると共に、前記観察者状態情報に基づいて前記観察者が前記背もたれ部に密接した状態にあるか否かを判定し、
密接した状態にある旨判定した場合には前記状態情報と前記顔画像領域とを用いて前記相対位置を算出し、前記観察者が前記背もたれ部から離れた状態にある旨判定した場合には、前記観察者データと前記顔画像領域とを用いて前記相対位置を算出することを特徴とした立体画像表示方法。
(付記32)
前記付記27に記載の立体画像表示方法において、
前記相対位置算出工程では、前記撮像画像データに基づいて前記移動物体の位置状態にかかる状態情報を検出すると共に、これに基づいて前記相対位置を算出することを特徴とした立体画像表示方法。
(付記33)
前記付記27に記載の立体画像表示方法において、
前記相対位置算出工程では、前記撮像画像データから前記観察者が着座する座席の背もたれ部の画像領域に対する前記観察者の顔画像領域の割合を検出すると共に、この割合に係る情報を用いて前記相対位置を算出することを特徴とした立体画像表示方法。
(付記34)
隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段(120)を有すると共に、移動物体に設置されて立体画像を表示する立体画像表示装置に適用する立体画像表示プログラムであって、
前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出機能、
この状態情報から前記立体表示パネル手段(120)とその表示面側に位置する特定の観察者との相対距離を算出する相対距離算出機能、
前記立体表示パネル手段(120)にかかるデバイス特性データを受信するデバイス特性データ受信機能、
前記相対距離と前記デバイス特性データとを参照して前記立体画像の表示設定を調整する表示設定調整機能、
この調整後の表示設定に基づいて、前記各空間領域それぞれに対し前記視差の異なる画像を投影することで前記立体画像を表示する立体画像表示機能、
を前記立体画像表示装置内に予め設けられたコンピュータに実現させることを特徴とした立体画像表示プログラム。
(付記35)
隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段(120)を有すると共に、移動物体に設置されて立体画像を表示する立体画像表示装置に適用する立体画像表示プログラムであって、
前記立体表示パネル(120)の表示面前方を観察者と共に撮影し、撮像画像データとして記録する撮像機能、
この撮像画像データを用いて前記立体表示パネル手段(120)に対する前記観察者の相対位置を算出する相対位置算出機能、
前記立体表示パネル手段(120)にかかるデバイス特性データを受信するデバイス特性データ受信機能、
前記相対位置と前記デバイス特性データとを参照して前記立体画像の表示設定を調整する表示設定調整機能、
この調整後の表示設定に基づいて、前記各空間領域それぞれに対し前記視差の異なる画像を投影することで前記立体画像を表示する立体画像表示機能、
を前記立体画像表示装置内に予め設けられたコンピュータに実現させることを特徴とした立体画像表示プログラム。
(付記36)
前記付記35に記載の立体画像表示プログラムにおいて、
前記移動物体が前記観察者用の座席であり、該座席の背もたれ部が可動式である場合に、
前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出機能、
前記観察者の着座状態にかかる観察者状態情報を検出する観察者状態検出機能、
前記撮像画像データから前記観察者の顔画像領域を検出する顔画像領域検出機能、
前記観察者状態情報に基づいて前記観察者が前記背もたれ部に密接した状態にあるか否かを判定する密接状態判定機能、
この密接状態判定機能にて、密接した状態にある旨判定した場合に前記状態情報と前記顔画像領域とを用いて前記相対位置を算出し、前記観察者が前記背もたれ部から離れた状態にある旨判定した場合に前記観察者データと前記顔画像領域とを用いて前記相対位置を算出する密接状態依拠算出機能、
を前記コンピュータに実現させることを特徴とした立体画像表示プログラム。
本発明は、立体画像表示装置に立体画像コンテンツを表示する機能を有する立体画像処理システム及び立体画像表示システムに適用可能である。また、本発明は、上記各実施形態等の内容に限られたものではなく、その趣旨を逸脱しない範囲で適宜変更することができる。
3 レンチキュラレンズ
3a,3b,3c,3d シリンドリカルレンズ(レンズ)
4 画素群
4L 左眼用画素
4R 右眼用画素
6 バリア(パララックスバリア)
6a スリット(パララックスバリア)
11,12,13,14 立体画像表示装置
20,21,22,23、24、25 光線
30 観察面
40 表示面(立体表示パネル手段の表示面)
55L 左眼
55R 右眼
60,61,62 座席
61A,62A 接合部材
61B 座席背面部
61C 座席の座面部
62D 外枠部
63 観察者の座席
64 前座席
70R,70R’,80R,90R 右眼領域
70L,70L’,72L,80L,82L,90L,92L 左眼領域
110 移動物体状態検出手段
110A,110B,110C 傾斜センサ
111 第1移動物体状態検出手段
112 第2移動物体状態検出手段
120 立体表示パネル手段
120A 液晶レンズ
120B 表示パネル
131,132,133,134 演算処理部
140 観察距離算出手段(相対距離算出手段)
150 画像データ保管手段
160 デバイス特性データ保管手段
170,270 表示設定調整手段
280 撮像手段
290,390,490 観察位置算出手段(相対位置算出手段)
310 観察者状態検出手段
310A 感圧センサ
350 観察者データ保管処理手段
共通電極
、E、E、E 制御電極
P 画素ピッチ(画素幅)
P’ 投影像の幅(観察面に投影された画素幅)
e 両眼間隔
OD 最適視認距離(最適観察距離)
ND 最短視認距離(最短観察距離)
FD 最長視認距離(最長観察距離)
L レンズ幅(シリンドリカルレンズ幅)
S バリア幅
h 画像表示パネルから光線分離手段までの距離(レンズの主点と画素との距離)

Claims (3)

  1. 移動物体に設置されて立体画像を表示する立体画像表示装置であって、
    隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段と、
    前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出手段と、
    この状態情報から前記立体表示パネル手段とその表示面側に位置する特定の観察者との相対距離を算出する相対距離算出手段と、
    前記立体表示パネル手段にかかる前記相対距離に対応する情報であるデバイス特性データを保存するデバイス特性データ保管手段と、
    前記相対距離と前記デバイス特性データとを参照して前記立体画像の視差値又は輝度値を前記相対距離に合わせて変更する表示設定調整手段と、を有し、
    前記立体表示パネル手段は、
    少なくとも第1視点用の画像を表示する第1のサブ画素及び第2視点用の画像を表示する第2のサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
    前記各サブ画素から出射した光線を相互に異なる方向に振り分ける光線分離手段と、を含み、
    前記移動物体は座席であり、該座席の背もたれ部は可動式であり、
    前記移動物体状態検出手段は、前記座席の背もたれ部に設置した第1傾斜センサの出力値と前記座席の着座部に設置した第2傾斜センサの出力値との差分値に基づいて前記状態情報を検出し、
    前記相対距離算出手段は、前後に並ぶ2つの座席間の設置位置情報を保有すると共に、この設置位置情報と前記状態情報とを用いて前記相対距離を算出し、
    前記立体表示パネル手段は、接合部材を介して前記座席の背面部に設置され、
    前記設置位置情報は、
    前記背もたれ部の可動部の支点位置から前記座席の背面部と前記接合部材との取り付け位置までの長さを示す接合部材取付長さL SP と、
    前記立体表示パネル手段の表示面に対して垂直な方向において、前記立体表示パネル手段の表示面の位置から当該立体表示パネル手段が設置された前記座席の背もたれ部の前面の位置までの距離を示す背もたれ幅Z SP とを含み、
    前記状態情報は、
    前記観察者の座席の鉛直方向からの傾斜角度θ SO と、
    前記観察者の前の座席の鉛直方向からの傾斜角度θ SP をとを含み、
    前記相対距離算出手段は、前記観察者の座席と前記観察者の前の座席との設置間隔の距離をZ SS としたとき、下記式(2)により前記相対距離Z OD を算出することを特徴とした立体画像表示装置。
    Figure 0006516234
  2. 移動物体に設置されて立体画像を表示する立体画像表示装置であって、
    隣り合う空間領域ごとに視差の異なる画像を投影する立体表示パネル手段と、
    前記移動物体の位置状態にかかる状態情報を検出する移動物体状態検出手段と、
    この状態情報から前記立体表示パネル手段とその表示面側に位置する特定の観察者との相対距離を算出する相対距離算出手段と、
    前記立体表示パネル手段にかかる前記相対距離に対応する情報であるデバイス特性データを保存するデバイス特性データ保管手段と、
    前記相対距離と前記デバイス特性データとを参照して前記立体画像の表示設定を調整する表示設定調整手段と、を有し、
    前記立体表示パネル手段は、
    少なくとも第1視点用の画像を表示する第1のサブ画素及び第2視点用の画像を表示する第2のサブ画素を含む画素がマトリクス状に複数配列された表示パネルと、
    前記各サブ画素から出射した光線を相互に異なる方向に振り分ける光線分離手段と、を含み、
    前記光線分離手段は、光線分離方向が変更可能なアクティブ素子からなり、
    前記表示設定調整手段は、前記相対距離に合わせて前記光線分離手段の屈折率の分布を制御することで立体視域範囲を調整し
    前記移動物体は座席であり、該座席の背もたれ部は可動式であり、
    前記移動物体状態検出手段は、前記座席の背もたれ部に設置した第1傾斜センサの出力値と前記座席の着座部に設置した第2傾斜センサの出力値との差分値に基づいて前記状態情報を検出し、
    前記相対距離算出手段は、前後に並ぶ2つの座席間の設置位置情報を保有すると共に、この設置位置情報と前記状態情報とを用いて前記相対距離を算出し、
    前記立体表示パネル手段は、接合部材を介して前記座席の背面部に設置され、
    前記設置位置情報は、
    前記背もたれ部の可動部の支点位置から前記座席の背面部と前記接合部材との取り付け位置までの長さを示す接合部材取付長さL SP と、
    前記立体表示パネル手段の表示面に対して垂直な方向において、前記立体表示パネル手段の表示面の位置から当該立体表示パネル手段が設置された前記座席の背もたれ部の前面の位置までの距離を示す背もたれ幅Z SP とを含み、
    前記状態情報は、
    前記観察者の座席の鉛直方向からの傾斜角度θ SO と、
    前記観察者の前の座席の鉛直方向からの傾斜角度θ SP をとを含み、
    前記相対距離算出手段は、前記観察者の座席と前記観察者の前の座席との設置間隔の距離をZ SS としたとき、下記式(2)により前記相対距離Z OD を算出することを特徴とした立体画像表示装置。
    Figure 0006516234
  3. 前記請求項1又は2記載の立体画像表示装置において、
    前記第1傾斜センサ及び前記第2傾斜センサは、重力加速度方向に対する傾斜角度を算出する加速度センサであり、Y 軸方向の加速度をY 、前記Y 軸に垂直なZ 軸方向の加速度をZ としたとき、前記重力加速度に対する傾斜角度θ は、下記の式(1)から算出することを特徴とした立体画像表示装置。
    Figure 0006516234
JP2014089883A 2014-04-24 2014-04-24 立体画像表示装置 Active JP6516234B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014089883A JP6516234B2 (ja) 2014-04-24 2014-04-24 立体画像表示装置
US14/694,507 US10237542B2 (en) 2014-04-24 2015-04-23 Stereoscopic image display device, stereoscopic image display method, and stereoscopic image display program
CN201510202519.2A CN105049832B (zh) 2014-04-24 2015-04-24 立体图像显示装置、立体图像显示方法以及立体图像显示程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014089883A JP6516234B2 (ja) 2014-04-24 2014-04-24 立体画像表示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018043738A Division JP6677387B2 (ja) 2018-03-12 2018-03-12 立体画像表示装置及び立体画像表示方法

Publications (3)

Publication Number Publication Date
JP2015210297A JP2015210297A (ja) 2015-11-24
JP2015210297A5 JP2015210297A5 (ja) 2017-04-06
JP6516234B2 true JP6516234B2 (ja) 2019-05-22

Family

ID=54336003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014089883A Active JP6516234B2 (ja) 2014-04-24 2014-04-24 立体画像表示装置

Country Status (3)

Country Link
US (1) US10237542B2 (ja)
JP (1) JP6516234B2 (ja)
CN (1) CN105049832B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6213812B2 (ja) * 2012-07-31 2017-10-18 Tianma Japan株式会社 立体画像表示装置及び立体画像処理方法
CN105657396A (zh) * 2015-11-26 2016-06-08 乐视致新电子科技(天津)有限公司 一种播放视频的处理方法及装置
CN105609088B (zh) * 2015-12-21 2018-12-14 联想(北京)有限公司 一种显示控制方法及电子设备
JP6588840B2 (ja) * 2016-02-04 2019-10-09 株式会社ジャパンディスプレイ 表示装置
CN109477967A (zh) * 2016-05-11 2019-03-15 威瑞股份公司 具可变焦平面的抬头显示系统
CN105954956B (zh) * 2016-05-26 2019-02-15 京东方科技集团股份有限公司 3d显示面板及其控制方法
CN106292093A (zh) * 2016-11-09 2017-01-04 宁波视睿迪光电有限公司 立体显示单元、系统及驱动电压调节方法
US10649131B2 (en) * 2016-11-09 2020-05-12 Sharp Kabushiki Kaisha Display device and head-mounted display
CN107024776A (zh) * 2017-05-22 2017-08-08 电子科技大学 棱镜隧道车辆立体显示系统
CN106990545A (zh) * 2017-05-22 2017-07-28 电子科技大学 二元镜组隧道车辆立体显示系统
CN108156442A (zh) * 2017-12-31 2018-06-12 深圳超多维科技有限公司 一种立体成像处理方法、装置和电子设备
CN108093243A (zh) * 2017-12-31 2018-05-29 深圳超多维科技有限公司 一种立体成像处理方法、装置和立体显示设备
US10853962B2 (en) 2018-02-22 2020-12-01 Panasonic Intellectual Property Management Co., Ltd. Device, system, and method of determining reclining state
CN108540791B (zh) 2018-04-25 2020-01-24 京东方科技集团股份有限公司 一种双视显示方法和装置
US11305877B2 (en) * 2018-09-20 2022-04-19 Panasonic Intellectual Property Management Co., Ltd. Electronic device and information processing apparatus
CN112929634A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 多视点裸眼3d显示设备和3d图像显示方法
JP7224559B2 (ja) * 2020-12-10 2023-02-17 三菱電機株式会社 遠隔制御マニピュレータシステムおよび遠隔制御支援システム
US11595628B2 (en) * 2021-05-02 2023-02-28 Thomas S. Sibley Projection system and method for three-dimensional images
US20230112984A1 (en) * 2021-10-11 2023-04-13 James Christopher Malin Contactless interactive interface

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526146A (en) * 1993-06-24 1996-06-11 International Business Machines Corporation Back-lighting system for transmissive display
GB2317291A (en) * 1996-09-12 1998-03-18 Sharp Kk Observer tracking directional display
US6157424A (en) * 1998-03-30 2000-12-05 Dimension Technologies, Inc. 2D/3D imaging display
JP2000152285A (ja) 1998-11-12 2000-05-30 Mr System Kenkyusho:Kk 立体画像表示装置
JP2001028767A (ja) * 1999-07-12 2001-01-30 Denso Corp 多重画像表示システム
GB2398130A (en) * 2003-02-05 2004-08-11 Ocuity Ltd Switchable active lens for display apparatus
FR2866843B1 (fr) * 2004-03-01 2006-05-26 Faurecia Sieges Automobile Systeme de siege d'automobile comportant un dispositif de mesure de l'inclinaison du dossier
JP4586416B2 (ja) 2004-05-20 2010-11-24 日産自動車株式会社 運転支援装置
JP5006587B2 (ja) 2006-07-05 2012-08-22 株式会社エヌ・ティ・ティ・ドコモ 画像提示装置および画像提示方法
JP2008209916A (ja) 2007-01-30 2008-09-11 Kyocera Corp 光合分波器およびこれを用いた光送受信器
JP2008279155A (ja) * 2007-05-14 2008-11-20 Panasonic Corp 画像表示装置
JP4958005B2 (ja) 2007-09-20 2012-06-20 株式会社デンソー 車載表示装置
JP4701278B2 (ja) * 2008-10-08 2011-06-15 本田技研工業株式会社 モニタ位置調整装置
JP2010285118A (ja) * 2009-06-15 2010-12-24 Panasonic Corp 映像表示システム
US8427591B2 (en) * 2010-03-17 2013-04-23 3Dv Co. Ltd. 3D liquid crystal display system
JP2012044308A (ja) * 2010-08-16 2012-03-01 Sharp Corp 3d画像出力装置及び3d画像表示装置
WO2012023509A1 (ja) 2010-08-18 2012-02-23 シャープ株式会社 キャリブレーションシステム
JP5625979B2 (ja) * 2011-02-10 2014-11-19 ソニー株式会社 表示装置および表示方法ならびに表示制御装置
JP5756303B2 (ja) 2011-02-17 2015-07-29 京楽産業.株式会社 パチンコ遊技機
JP2013121031A (ja) 2011-12-07 2013-06-17 Sony Corp 表示装置および方法、並びにプログラム
US20130181892A1 (en) * 2012-01-13 2013-07-18 Nokia Corporation Image Adjusting
JP5167439B1 (ja) * 2012-02-15 2013-03-21 パナソニック株式会社 立体画像表示装置及び立体画像表示方法
JP6380881B2 (ja) * 2012-07-31 2018-08-29 Tianma Japan株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
JP6213812B2 (ja) * 2012-07-31 2017-10-18 Tianma Japan株式会社 立体画像表示装置及び立体画像処理方法
JP6308513B2 (ja) 2012-07-31 2018-04-11 Tianma Japan株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
JP5921376B2 (ja) * 2012-08-01 2016-05-24 株式会社ジャパンディスプレイ 立体表示装置
DE112013005975T5 (de) * 2012-12-14 2015-08-20 Visteon Global Technologies, Inc. System und Verfahren zum automatischen Ausrichten eines Winkels eines dreidimensionalen Displays innerhalb eines Fahrzeuges
US9386335B2 (en) * 2013-11-19 2016-07-05 Atieva, Inc. Vehicle display with automatic positioning system

Also Published As

Publication number Publication date
CN105049832B (zh) 2019-02-22
JP2015210297A (ja) 2015-11-24
US10237542B2 (en) 2019-03-19
US20150312546A1 (en) 2015-10-29
CN105049832A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
JP6516234B2 (ja) 立体画像表示装置
US9880395B2 (en) Display device, terminal device, and display method
CN107105213B (zh) 立体图像显示装置
CN103595987B (zh) 立体图像显示装置、图像处理装置及图像处理方法
US11109015B2 (en) Display apparatus, display apparatus driving method, and electronic instrument
WO2015145933A1 (ja) 虚像表示装置、ヘッドアップディスプレイシステム及び乗物
US9684166B2 (en) Motor vehicle and display of a three-dimensional graphical object
JPWO2018008577A1 (ja) 頭部装着型ディスプレイ装置
JP2019512109A5 (ja)
JP2014106532A (ja) 立体画像表示装置
KR101046259B1 (ko) 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치
JP6677387B2 (ja) 立体画像表示装置及び立体画像表示方法
KR101746719B1 (ko) 디스플레이패널과 개별 렌즈간의 거리를 각각 달리하는 렌즈어레이를 이용한 3차원 영상 출력 방법
CN102802015A (zh) 一种立体图像视差优化方法
WO2020031549A1 (ja) 虚像表示装置
KR100893381B1 (ko) 실시간 입체영상 생성방법
JP6107009B2 (ja) スクリーン及び画像表示システム
WO2022255424A1 (ja) 映像表示装置
US20230097378A1 (en) Head mounted display and cross reality system
WO2023228770A1 (ja) 画像表示装置
WO2023054307A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JP2020141295A (ja) 車両の表示装置
Hasegawa et al. 55.4: Optimized Parallax Control of Arbitrary Viewpoint Images with Motion Parallax on Autostereoscopic Displays

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190409

R150 Certificate of patent or registration of utility model

Ref document number: 6516234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250