JP3577042B2

JP3577042B2 - Stereoscopic display device and screen control method in stereoscopic display device

Info

Publication number: JP3577042B2
Application number: JP2002006623A
Authority: JP
Inventors: 博康能瀬; 勉尾坂
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-01-15
Filing date: 2002-01-15
Publication date: 2004-10-13
Anticipated expiration: 2019-10-13
Also published as: JP2002303821A

Description

【０００１】
【発明の属する技術分野】
本発明はテレビ、ビデオ、コンピュータモニタ、ゲームマシンなどにおいて立体表示を行う立体ディスプレイ装置及び該装置における画面制御方法に関する。
【０００２】
【従来の技術】
従来、立体ディスプレイの方式として、右眼用と左眼用画像に対して偏光状態を異ならせ、偏光めがねを用いて左右の画像を分離するものがある。その偏光状態を異ならせるためにディスプレイ側に液晶シャッターを設け、ディスプレイの表示画像のフィールド信号に同期させて、偏光状態を切り替え、偏光めがねをかけた観察者は時分割で片目づつ左右画像を分離して立体視を可能にする方式が実用化されている。しかし、この方式では観察者は常に偏光めがねをかけねばならないという欠点があった。
【０００３】
それに対して、偏光めがねを用いない立体ディスプレイとして、ディスプレイの前面にレンチキュラーレンズを設け、空間的に左右の眼に入る画像を分離する方式がある。図１１はレンチキュラーレンズを用いた方式の従来例の説明図である。１は液晶ディスプレイで、液晶の表示画素部３はガラス基板２，４の間に形成されている。液晶ディスプレイ１の表面には、断面が図示のように半円状で各々紙面に直角方向に延びるシリンドリカルレンズからなるレンチキュラーレンズ５が設けられており、その焦点面に液晶の表示画素部３が位置するようになっている。
【０００４】
表示画素部３には図示のようにレンチキュラーレンズの一つのピッチに対応して右眼用画像（黒塗りの部分）、左眼用画像（白抜きの部分）がストライプ状に対となるよう交互に配置されており、レンチキュラーレンズ５により観察者の右眼Ｅ_Ｒ、左眼Ｅ_Ｌに光学的に分離して結像され立体視が可能となる。図中にはディスプレイの両端と中央部分の右眼用、左眼用画像の各々を観察できる空間的領域を示してあり、画面全面にわたって観察者の目（両眼中心距離はｅ）に左右分離して見える共通領域が図中の太線部分の立体視領域６である。さらに、この立体視領域６に隣接した領域（不図示）においても左右分離して立体視できる領域が存在する。
【０００５】
【発明が解決しようとする課題】
しかしながら、このような立体画像表示方式では、表示される右眼用画像と左眼用画像はステレオのカメラ、ＶＴＲなどで撮影した画像をそのまま表示しており、両画像中の対象の像はカメラからの距離により画面上での視差量が決まってくる。観察者が観察するときには、右眼用と左眼用画像の対象の像の視差量により奥行き感を認識しており、対象の像の視差量が観察者が一つの像として認識できる程度の距離以上離れてしまうと対象の像が二重になり見えにくくなるという欠点があった。
【０００６】
そこで本発明の目的は、画面内において、観察者の視ている位置における像が常に鮮明に違和感なく観察できるようにした立体ディスプレイ装置およびその画面制御方法を提供することにある。
【０００７】
【課題を解決するための手段】
このような課題を解決するために、本願における請求項１に記載の発明は、レンチキュラーレンズを画像表示部の前面に用いた立体ディスプレイにおいて、立体ディスプレイ上の観察者の視線位置を検出する手段と、その視線検出位置において右眼用画像と左眼用画像の観察対象の像がディスプレイ上で一致するように制御する手段とを備えた立体ディスプレイ装置を特徴とする。
【０００８】
また本願の請求項２に記載の発明は、レンチキュラーレンズを画像表示部の前面に用いた立体ディスプレイにおいて、立体ディスプレイ上の観察者の視線位置を検出し、その視線検出位置において右眼用画像と左眼用画像の観察対象の像がディスプレイ上で一致するように制御する立体ディスプレイ装置における画面制御方法を特徴とする。
【０００９】
【作用】
これによって、観察者の視線位置を検出し、その位置で左右画像の視線位置の対象の像を一致させることにより、視線位置の対象の像を鮮明に観察することができる。
【００１０】
【発明の実施の形態】
〈参考技術例１〉
図１，図２，図３は本発明の参考技術例１の説明図であり、以下図面を用いて説明する。図３は参考技術例１の原理の説明図である。３は液晶ディスプレイ、プラズマディスプレイ、蛍光表示管またはＣＲＴなどの表示素子の表示画素部を模式的に示しており、フェースプレートなどのガラス基板は省略して表示している。表示画素部３の前面にはアクリル樹脂などの透明な樹脂またはガラスからなるレンチキュラーレンズ５が配設されており、紙面に垂直方向にシリンドリカルな面が延びている。従来例で説明したように、レンチキュラーレンズ５により表示画素部３の画像は光学的に分解され、観察者の右眼には右眼用画像（表示画素の黒塗り部分）、左眼には左眼用画像（表示画素の白抜き部分）が入るようになっている。このレンチキュラーレンズ５と表示画素部３から構成される立体ディスプレイはその中央部分で、レンチキュラーレンズのシリンドリカルレンズの長手方向の回転軸１００で回転支持されて図のように角度を変えることができる。
【００１１】
図中には観察者が立体ディスプレイの中央線上の基準位置にいるときの右眼Ｅ_Ｒ、左眼Ｅ_Ｌの位置と立体視できる領域６ａを示しており、観察者が図のように基準位置からずれて右眼がＥ_Ｒ’、左眼がＥ_Ｌ’の位置にきたときには、それに応じて立体ディスプレイを角度θだけ回転させて立体視できる領域を６ｂのようになるように追従させる。たとえば、観察者の基準位置をディスプレイから約５０ｃｍとした時、回転角θが±５度の範囲で観察者に追従できるとすると立体視領域６ａは左右に±約４４ｍｍ移動する。これにより観察者の立体視領域は、立体ディスプレイが固定の状態で観察者に追従しないときは中央の基準位置を中心として左右に±３２．５ｍｍ（両眼距離の標準を６５ｍｍとする）の範囲であったものが、観察者に追従させて角度を変化させることにより±７６．５ｍｍと倍以上にすることができる。
【００１２】
図１は本参考技術例の装置の具体的な構成の説明図である。レンチキュラーレンズ５を設けた液晶ディスプレイ１は図示せぬ軸受けに支持された回転軸１５を中心に回動するようになっており、液晶ディスプレイ１の端部部材１６には回転駆動機構２１が設けられている。回転駆動機構２１は電磁コイルを利用したリニアアクチュエータ１７と部材１６をリニアアクチュエータに押しつけるための復元用ばね１８からなる。また、角度検出センサ２３は部材１６の一部に設けられたエンコーダー目盛り１９とフォトセンサ２０から構成されている。２２は超音波センサからなる頭部位置検出センサで、ディスプレイの左右に配置されて超音波の反射時間により各々観察者の頭部までの距離を検出し、図示せぬ検出回路で演算して観察者の頭部のディスプレイに平行な水平方向の位置を求めるものである。
【００１３】
図２は本参考技術例の装置の制御系の構成を示したブロック図である。ＣＰＵ３４は頭部位置検出センサ２２及び検出回路３２で検出した観察者の頭部位置を読み込み、その信号に基づいて液晶ディスプレイが観察者の方向を向くような目標の角度を演算する。同時に液晶ディスプレイの現在の角度を角度検出センサ２３及び検出回路３３を通して読み込み、目標の角度と比較して、その差が０となるように駆動回路３１が角度可変アクチュエータ１７により液晶ディスプレイの角度を制御している。これにより、液晶ディスプレイが動く範囲内で観察者は常に立体視領域のほぼ中央にいるように制御され、立体視領域を実質的に広くすることができる。本参考技術例は、超音波センサを用いたが、赤外線を用いた距離センサによる頭部位置検出センサで構成してもよいし、またビデオカメラにより観察者の頭部を撮影し、画像処理して頭部または両眼の位置を求める方式でもよい。
【００１４】
また、本参考技術例では液晶ディスプレイを直接回転制御していたが、モニターとして組み立てられたユニット全体を回転制御しても同様な効果が得られる。〈参考技術例２〉
図４，図５，図６は本発明の参考技術例２の説明図であり、以下図面を用いて説明する。図６は上記参考技術例２の原理の説明図である。３は液晶ディスプレイ、プラズマディスプレイ、蛍光表示管またはＣＲＴなどの表示素子の表示画素部を模式的に示しており、フェースプレートなどのガラス基板は省略している。表示画素部３の前面にはアクリル樹脂などの透明な樹脂またはガラスからなるレンチキュラーレンズ５が配設されており、紙面に垂直方向にシリンドリカルな面が延びている。従来例で説明したように、レンチキュラーレンズ５により光学的に分離されて、観察者の右眼には右眼用画像（表示画素の黒塗り部分）、左眼には左眼用画像（表示画素の白抜き部分）が入るようになっている。このレンチキュラーレンズの前面には、特開平５−１４２５００に開示された公知の可変頂角プリズム９が配設されている。この可変頂角プリズムは透明ガラス板１０，１１とその間に充填したシリコンオイルなどの透明液体またはシリコンゴムなどの柔らかい弾性体からなる透明部材１２と透明部材１２を封入するポリエチレンなどからなる蛇腹１３から構成されている。前面のガラス板１０は回転中心１４を軸として回転し、可変頂角プリズムの頂角θを自由に変えることができる。可変頂角プリズムはその頂角に応じて光線を曲げることができ、透明部材１２の屈折率をｎ、頂角をθ、入射光線と出射光線のふれ角をδとすると頂角の小さい範囲ではふれ角δは以下のように表される。
【００１５】
δ＝（ｎ−１）θ
ここで、透明部材１２としてシリコンオイルを用いた場合、約ｎ＝１．４なので頂角θを１０度とするとふれ角δは４度となる。
【００１６】
図中では観察者が立体ディスプレイの中央線上の基準位置にいるときの右眼Ｅ_Ｒ、左眼Ｅ_Ｌの位置と立体視できる領域６ａを示しており、観察者が図のように基準位置からずれて右眼がＥ_Ｒ’、左眼がＥ_Ｌ’の位置にきたときには、それに応じて可変頂角プリズムの頂角θを変化させ、立体視できる領域を６ｂとなるように追従させる。可変頂角プリズムの頂角がθのときは光線は図のように曲げられて立体視領域は６ｂのようにふれ角δだけ回転する。たとえば、観察者の基準位置をディスプレイから約５０ｃｍとしたとき、可変頂角プリズムのふれ角δが±４度（頂角で±１０度に相当）の範囲で観察者に追従できるとすると立体視領域は左右に±約３５ｍｍ移動する。これにより観察者の立体視領域は、立体ディスプレイが観察者に追従しないときは中央の基準位置を中心として左右に±３２．５ｍｍ（両眼距離の標準を６５ｍｍとする）であったものが、観察者に追従させて角度を変化させることにより±６７．５ｍｍとほぼ倍にすることができる。
【００１７】
図４は本参考技術例の装置の具体的な構成の説明図である。レンチキュラーレンズ５を設けた液晶ディスプレイ１の前面に可変頂角プリズム９を配置し、観察者は可変頂角プリズム９を通して映像を見るようになっている。可変頂角プリズム９の後面のガラス板１１は固定で、前面のガラス板１０は図示せぬ軸受けに支持された回転軸１５を中心に回動するようになっており、前面ガラス板１０の端部の部材１６に回転駆動機構２１が設けられている。回転駆動機構２１は電磁コイルを利用したリニアアクチュエータ１７と部材１６をリニアアクチュエータに押しつけるための復元用ばね１８からなる。また、角度検出センサ２３は部材１６の一部に設けられたエンコーダー目盛り１９とフォトセンサ２０から構成されている。２２は超音波センサからなる頭部位置検出センサで、ディスプレイの左右に配置されて超音波の反射時間により各々観察者の頭部までの距離を検出し、図示せぬ検出回路で演算して観察者の頭部のディスプレイに平行な水平方向の位置を求めるものである。
【００１８】
図５は本参考技術例の装置の制御系の構成を示したブロック図である。ＣＰＵ３４は頭部位置検出センサ２２及び検出回路３２で検出した観察者の頭部位置を読み込み、その信号に基づいて可変頂角プリズムの光軸が観察者の頭部の中央部の方向を向くような目標の頂角の角度を演算する。同時に可変頂角プリズム９の頂角を角度検出センサ２３及び検出回路３３を通して、現在の頂角の角度を読み込み、目標の頂角と比較して、その差が０となるように駆動回路３１、角度可変アクチュエータ１７により可変頂角プリズム９を制御している。これにより、可変頂角プリズムが動く範囲内で観察者は常に立体視領域のほぼ中央にいるように制御され、立体視領域を実質的に広くすることができる。本実施例では、超音波センサを用いたが、赤外線を用いた距離センサによる頭部位置検出センサで構成してもよいし、またビデオカメラにより観察者の頭部を撮影し、画像処理して頭部または両眼の位置を求める方式でもよい。
【００１９】
また、本参考技術例では、可変頂角プリズムの観察者側のガラス板を可動として説明したが、反対に、ディスプレイ側を可動にして、観察者側を固定としても同様の効果が得られる。
〈実施形態〉
図７〜図１０を用いて、本発明の実施形態を説明する。
【００２０】
一般に、レンチキュラーレンズを用いた立体ディスプレイにおける奥行き感は観察者の両眼に入る右眼用画像と左眼用画像の差異により生ずるもので、観察者が画像の中で注目している対象の右眼用画像と左眼用画像（以降右画像及び左画像と略す）の水平方向の位置の差により奥行きを感じている。図７は奥行きの違う対象Ａ，Ｂをカメラで撮影したときの左右画像における位置関係を示している。ＯＲ，ＯＬは撮影レンズで、各々撮像面６１，６２に結像し、その像を反転すると、右画像６３、左画像６４が得られる。各々の画像でＡ，Ｂの像の水平方向の位置は入れ替わっている。ここで得られた左右の画像をレンチキュラーレンズを用いた立体ディスプレイに表示するとき、左右の画像の水平方向の位置関係により観察者にどのように見えるかを示したのが図８（ａ），（ｂ）である。
【００２１】
図８（ａ）は対象Ａの左右画像の像ａ１，ａ２をディスプレイ画面上で一致させた場合で、対象Ａは画面上にあるように見え、対象Ｂは画面上で視差を持つため、画面の奥にあるように見える。また、図８（ｂ）は対象Ｂの左右画像の像ｂ１，ｂ２を一致させた場合で、対象Ｂは画面上に見え、対象Ａは画面の手前にあるように見える。すなわち、左右の画像をディスプレイ画面上で水平方向にずらすことにより、どの対象をディスプレイ画面上で一致して見えるようにするか選ぶことができる。
【００２２】
実際に観察者が立体ディスプレイを見るとき、対象の左右画像の像が画面上である程度以上の視差をもっていると２重の像を一つのものとして融合して認識するのが困難になり、対象の像がぼやけて鮮明に見えなくなる傾向がある。そこで、本実施例では立体ディスプレイに表示する際、観察者のディスプレイ画面上の視線位置を検出し、その視線位置の対象の像が画面上で一致するように左右画像を水平方向に移動させるように制御を行う。
【００２３】
図９は本実施形態の立体ディスプレイの画面制御の原理説明図で、図１０はその画面制御のフローを説明するブロック線図である。
【００２４】
図９（ａ）で、４１はレンチキュラーレンズ方式の立体ディスプレイ画面で、４２は左画像４５の中の対象像、４３は右画像４６の中の対象像であり、レンチキュラーレンズにより各々左眼、右眼に分離して観察されて立体視される。４４は観察者が注視している視線位置を中心とする領域で、図９（ｂ）のように、その領域で視線位置の対象像について、左画像４５と右画像４６を立体ディスプレイ画面４１に対して各々右と左に移動させることにより一致させることにより対象像はより鮮明に見えるようになる。
【００２５】
図９（ｃ）は実際の移動量の求め方の説明図であり、図１０は画面制御のフローチャートである。図９（ｃ）において、左画像４５、右画像４６がディスプレイ画面に対して図のようにｄｉだけずれた状態から始まるとして、視線が次の視線位置に移動する時の画面制御を説明する。視線が正６角形の対象４８（左画像４５上）、対象４９（右画像４６上）に移動した時、視線検出センサにより観察者の視線の平均滞留位置４７すなわちディスプレイ画面上の座標（Ｘ，Ｙ）を求め、そこを中心として前もって大きさが最適化されたウインドウ領域４４を設定する。次に、その視線滞留位置４７の左画像４５を基準とした水平座標ｘＬを求めるとｘ_Ｌ＝Ｘ＋ｄ_ｉとなる。そして、左画像のウインドウ領域４４内の画像を基準として、右画像上でもっとも相関の高い画像領域を探索しその位置ｘ_Ｒ（右画像４６を基準としたｘ座標）を求めるために右画像の同じ水平線上に沿って走査して画像相関を演算する。
【００２６】
画像相関演算の方法としては対応する各々のピクセルごとの濃度値の誤差の２乗和が最小となる位置を求める方法を用いる。視線滞留位置の左画像の水平座標ｘ_Ｌと右画像の水平座標ｘ_Ｒとから新たな左右画像のずらし量ｄ_ｉを求めると、ｄ_ｉ＝（ｘ_Ｌ−ｘ_Ｒ）／２となる。そのずらし量ｄ_ｉだけ左右画像をディスプレイ画面に対して水平方向に移動させ、再びレンチキュラーレンズ方式に対応するように左右画像が交互にストライプ状に並ぶような合成処理をして表示する。
【００２７】
以上の画像制御の流れを図１０に示す。視線の滞留位置が変化するごとにその位置の新たな対象像が左右画像で一致するように常に画面制御される。
【００２８】
ここで、左右画像をずらし量ｄ_ｉだけずらすと、ディスプレイ画面上では左右の部分が左右画像のどちらか一方の画像しかなくなるため、その部分ではレンチキュラーレンズの一つのピッチ内での表示はその一方の画像のストライプと同じものを他方の画像位置に配置して、左眼と右眼に同じ画像が入るようにする。これにより、その部分は立体感が得られないが、ディスプレイ画面の両端なので違和感は少ない。表示のディスプレイ画面の幅に対して左右画面の幅が十分大きい場合にはこのような処理は必要ない。
【００２９】
以上説明した画像制御は、ＣＰＵを用いてソフトウェアで処理してもよいし、専用の画像処理回路を用いてもよい。視線位置検出に関しては、ビデオカメラで観察者の頭部を撮影し、画像処理により両眼の部分を切り出し、黒目の部分と白目の部分をパターン認識して、両眼の黒目の間隔及び水平位置を視線位置と対応づける方式を用いることができる。また、参考技術例１で述べた頭部位置検出方法と、眼鏡のフレームに眼球に赤外線を投射するＬＥＤとその反射光を検出するＣＣＤカメラとを設け、そのプルキニエ像を利用して眼球の角度を求めて視線位置を検出する方式とを組み合わせた視線位置検出方式でもよい。
【００３０】
【発明の効果】
以上説明したように、本発明によれば、観察者の視線位置を検出し、その位置で左右画像の視線位置の対象の像を一致させることにより、像が二重に見えるような不都合が防止され、視線位置の対象の像を鮮明に観察することができる。
【図面の簡単な説明】
【図１】本発明の参考技術例１の立体ディスプレイ装置の概略構成を示す斜視図。
【図２】図１の装置の制御系の構成を示すブロック図。
【図３】図１の装置における立体視領域の拡大方法を説明するための図。
【図４】本発明の参考技術例２の立体ディスプレイ装置の概略構成を示す斜視図。
【図５】図４の装置における制御系の概略構成を示すブロック図。
【図６】図４の装置における立体視領域の拡大方法を説明するための図。
【図７】本発明の実施形態の立体ディスプレイ装置における立体視の原理を説明するための図。
【図８】立体視において左眼画像と右眼画像との位置の入れ替りを説明するための図。
【図９】（ａ）は立体ディスプレイ画面における左眼画像と右眼画像とを説明するための図。（ｂ）は立体ディスプレイ画面において左眼画像と右眼画像とをそれぞれ左と右に移動させて対象像を鮮明にする場合を示した図。（ｃ）は左画像と右画像を移動させる場合の移動量の求め方の説明図。
【図１０】本発明の実施形態である画像制御方法の説明図。
【図１１】レンチキュラーレンズを用いた従来の立体ディスプレイの説明図。
【符号の説明】
１…液晶ディスプレイ２，４…ガラス基板
３…表示画素部５…レンチキュラーレンズ
６…立体視領域９…可変頂角プリズム
１０，１１…透明ガラス板１２…透明部材
１３…蛇腹１４…回転中心
１５…回転軸１６…端部部材
１７…リニアアクチュエータ１８…復元用ばね
１９…エンコーダ目盛り２０…フォトセンサ
２１…回転駆動機構２２…頭部位置検出センサ
２３…角度検出センサ３２，３３…検出回路
３４…ＣＰＵ３１…駆動回路
４１…立体ディスプレイ画面４２…左画像の中の対象像
４３…右画像の中の対象像４５…左画像
４６…右画像４７…平均滞留位置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a three-dimensional display device that performs three-dimensional display on a television, a video, a computer monitor, a game machine, and the like, and a screen control method in the device.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a method of a three-dimensional display, there is a method in which a polarization state is made different for a right-eye image and a left-eye image, and left and right images are separated using polarized glasses. A liquid crystal shutter is provided on the display side to change the polarization state, and the polarization state is switched by synchronizing with the field signal of the display image on the display, and the viewer wearing polarized glasses separates the left and right images one by one with time sharing A system that enables stereoscopic viewing has been put to practical use. However, this method has a disadvantage that the observer must always wear polarized glasses.
[0003]
On the other hand, as a three-dimensional display that does not use polarized glasses, there is a method in which a lenticular lens is provided on the front of the display to spatially separate images entering the left and right eyes. FIG. 11 is an explanatory diagram of a conventional example using a lenticular lens. Reference numeral 1 denotes a liquid crystal display, and a liquid crystal display pixel portion 3 is formed between glass substrates 2 and 4. On the surface of the liquid crystal display 1, there is provided a lenticular lens 5 composed of a cylindrical lens having a semicircular cross section as shown in the figure and extending in a direction perpendicular to the plane of the drawing, and the display pixel portion 3 of the liquid crystal is positioned on the focal plane. It is supposed to.
[0004]
As shown in the drawing, the display pixel portion 3 alternates the right-eye image (black portion) and the left-eye image (white portion) in pairs in a stripe shape corresponding to one pitch of the lenticular lens. are arranged in the right eye E _R of the observer by the lenticular lens _5, it is imaged by optically separating the left eye E _L becomes possible stereoscopic. The figure shows a spatial area where both right and left eye images at both ends and the center of the display can be observed, and is separated into right and left eyes of the observer (the center distance between both eyes is e) over the entire screen. The common area that can be seen is the stereoscopic view area 6 indicated by the bold line in the figure. Further, in an area (not shown) adjacent to the stereoscopic viewing area 6, there is an area that can be stereoscopically viewed while being separated left and right.
[0005]
[Problems to be solved by the invention]
However, in such a stereoscopic image display method, the right-eye image and the left-eye image to be displayed are the images captured by a stereo camera, a VTR, or the like, and the target image in both images is the camera image. The amount of parallax on the screen is determined by the distance from. When the observer observes, the sense of depth is recognized by the amount of parallax between the target images of the right eye image and the left eye image, and the parallax amount of the target image is such that the observer can recognize as one image. There is a drawback that if the distance is more than the above, the image of the object becomes double and becomes difficult to see.
[0006]
Therefore, an object of the present invention is to provide a stereoscopic display device and a screen control method thereof, which enable an image at a position viewed by an observer to be always clearly and unobtrusively observed within a screen.
[0007]
[Means for Solving the Problems]
In order to solve such a problem, an invention according to claim 1 of the present application is directed to a stereoscopic display using a lenticular lens on the front surface of an image display unit, wherein a means for detecting a line of sight of an observer on the stereoscopic display is provided. And a means for controlling the right-eye image and the left-eye image to be observed on the display at the line-of-sight detection position.
[0008]
Further, the invention according to claim 2 of the present application is a stereoscopic display using a lenticular lens on the front surface of the image display unit, detects a line of sight of an observer on the stereoscopic display, and at the line of sight detection position an image for the right eye. A screen control method in a three-dimensional display device that controls an image of an observation target of a left-eye image to match on a display is characterized.
[0009]
[Action]
Thus, by detecting the line of sight of the observer and matching the target image of the line of sight of the left and right images at that position, the image of the object of the line of sight can be clearly observed.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
<Reference Technical Example 1>
FIGS. 1, 2 and 3 are explanatory views of a first embodiment of the present invention, which will be described below with reference to the drawings. FIG. 3 is an explanatory diagram of the principle of Reference Example 1. Reference numeral 3 schematically shows a display pixel portion of a display element such as a liquid crystal display, a plasma display, a fluorescent display tube, or a CRT, and a glass substrate such as a face plate is not shown. A lenticular lens 5 made of a transparent resin such as an acrylic resin or glass or the like is provided on the front surface of the display pixel section 3, and a cylindrical surface extends in a direction perpendicular to the paper surface. As described in the conventional example, the image of the display pixel portion 3 is optically decomposed by the lenticular lens 5, and the right eye image (black portion of the display pixel) is displayed on the right eye of the observer, and the left eye is displayed on the left eye. An eye image (white portion of the display pixel) enters. The three-dimensional display composed of the lenticular lens 5 and the display pixel unit 3 is rotatably supported at its central portion by a longitudinal rotation axis 100 of the cylindrical lens of the lenticular lens, and can change the angle as shown in the figure.
[0011]
In the drawing shows the right eye E _R, the region 6a that can position the stereoscopic left eye E _L when the observer is in the reference position of the central line of the three-dimensional display, the reference position as observer FIG When the right eye is shifted to the position of E _R ′ and the left eye is shifted to the position of E _L ′, the three-dimensional display is rotated by the angle θ in accordance with the position so that the region that can be stereoscopically viewed becomes like 6b. For example, assuming that the observer's reference position is about 50 cm from the display, if the rotation angle θ can follow the observer within a range of ± 5 degrees, the stereoscopic viewing area 6a moves left and right about ± 44 mm. Accordingly, when the stereoscopic display does not follow the observer in a state where the stereoscopic display is fixed, the stereoscopic viewing area of the observer has a range of ± 32.5 mm left and right around the center reference position (the standard of the binocular distance is 65 mm). Can be doubled to ± 76.5 mm or more by changing the angle following the observer.
[0012]
FIG. 1 is an explanatory diagram of a specific configuration of the device of the present embodiment. The liquid crystal display 1 provided with the lenticular lens 5 is adapted to rotate around a rotation shaft 15 supported by a bearing (not shown), and a rotation drive mechanism 21 is provided at an end member 16 of the liquid crystal display 1. ing. The rotation drive mechanism 21 includes a linear actuator 17 using an electromagnetic coil and a restoration spring 18 for pressing the member 16 against the linear actuator. The angle detection sensor 23 includes an encoder scale 19 provided on a part of the member 16 and a photo sensor 20. Numeral 22 is a head position detection sensor composed of an ultrasonic sensor, which is disposed on the left and right of the display, detects the distance to the observer's head based on the reflection time of the ultrasonic wave, and calculates by a detection circuit (not shown) for observation. The position of the person's head in the horizontal direction parallel to the display is determined.
[0013]
FIG. 2 is a block diagram showing a configuration of a control system of the device according to the present embodiment. The CPU 34 reads the observer's head position detected by the head position detection sensor 22 and the detection circuit 32, and calculates a target angle such that the liquid crystal display faces the observer based on the signal. At the same time, the current angle of the liquid crystal display is read through the angle detection sensor 23 and the detection circuit 33, compared with the target angle, and the drive circuit 31 controls the angle of the liquid crystal display with the variable angle actuator 17 so that the difference becomes zero. are doing. Thereby, the observer is controlled so as to be always substantially at the center of the stereoscopic viewing area within the range in which the liquid crystal display moves, and the stereoscopic viewing area can be substantially widened. Although this reference technology example uses an ultrasonic sensor, it may be configured with a head position detection sensor using a distance sensor using infrared rays, or may capture an observer's head with a video camera and perform image processing. Alternatively, the position of the head or both eyes may be obtained.
[0014]
Further, in this reference example, the rotation of the liquid crystal display is directly controlled, but the same effect can be obtained by controlling the rotation of the entire unit assembled as a monitor. <Reference Technical Example 2>
FIGS. 4, 5 and 6 are explanatory diagrams of a second embodiment of the present invention, which will be described below with reference to the drawings. FIG. 6 is an explanatory diagram of the principle of the second embodiment. Reference numeral 3 schematically shows a display pixel portion of a display element such as a liquid crystal display, a plasma display, a fluorescent display tube, or a CRT, and omits a glass substrate such as a face plate. A lenticular lens 5 made of a transparent resin such as an acrylic resin or glass or the like is provided on the front surface of the display pixel section 3, and a cylindrical surface extends in a direction perpendicular to the paper surface. As described in the conventional example, the image is optically separated by the lenticular lens 5 and the right eye image (black portion of the display pixel) is displayed on the right eye of the observer, and the left eye image (display pixel) is displayed on the left eye of the observer. White part). A known variable apex angle prism 9 disclosed in Japanese Patent Application Laid-Open No. 5-142500 is disposed on the front surface of the lenticular lens. The variable apex angle prism comprises transparent glass plates 10 and 11, a transparent member 12 made of a transparent liquid such as silicone oil or a soft elastic material such as silicone rubber filled between them, and a bellows 13 made of polyethylene or the like enclosing the transparent member 12. It is configured. The front glass plate 10 rotates about the rotation center 14 as an axis, and the apex angle θ of the variable apex angle prism can be freely changed. The variable apex angle prism can bend a light beam in accordance with the apex angle, and when the refractive index of the transparent member 12 is n, the apex angle is θ, and the deflection angle between the incident light beam and the outgoing light beam is δ, in the range where the apex angle is small, The deflection angle δ is expressed as follows.
[0015]
δ = (n−1) θ
Here, when silicon oil is used as the transparent member 12, the deflection angle δ is 4 degrees when the apex angle θ is 10 degrees because about n = 1.4.
[0016]
In the drawing shows the right eye E _R, the region 6a that can position the stereoscopic left eye E _L when the observer is in the reference position of the central line of the three-dimensional display, from a reference position as observer FIG When the right eye is shifted to the position of E _R ′ and the left eye is shifted to the position of E _L ′, the apex angle θ of the variable apex angle prism is changed accordingly, so that the region which can be stereoscopically viewed becomes 6b. When the apex angle of the variable apex angle prism is θ, the light beam is bent as shown in the figure, and the stereoscopic viewing area rotates by the deflection angle δ as shown in 6b. For example, when the reference position of the observer is about 50 cm from the display, if the deflection angle δ of the variable apex angle prism can follow the observer in a range of ± 4 degrees (corresponding to ± 10 degrees in the apex angle), stereoscopic vision is possible. The area moves left and right about ± 35 mm. Thereby, when the stereoscopic display does not follow the observer, the stereoscopic viewing area of the observer is ± 32.5 mm left and right around the center reference position (the standard of the binocular distance is 65 mm). By changing the angle so as to follow the observer, the angle can be almost doubled to ± 67.5 mm.
[0017]
FIG. 4 is an explanatory diagram of a specific configuration of the device of the present embodiment. A variable apex angle prism 9 is arranged on the front surface of the liquid crystal display 1 provided with the lenticular lens 5 so that an observer can view an image through the variable apex angle prism 9. The glass plate 11 on the rear surface of the variable apex angle prism 9 is fixed, and the glass plate 10 on the front surface is configured to rotate around a rotation shaft 15 supported by a bearing (not shown). A rotation drive mechanism 21 is provided on the member 16 of the section. The rotation drive mechanism 21 includes a linear actuator 17 using an electromagnetic coil and a restoration spring 18 for pressing the member 16 against the linear actuator. The angle detection sensor 23 includes an encoder scale 19 provided on a part of the member 16 and a photo sensor 20. Numeral 22 is a head position detection sensor composed of an ultrasonic sensor, which is disposed on the left and right of the display, detects the distance to the observer's head based on the reflection time of the ultrasonic wave, and calculates by a detection circuit (not shown) for observation. The position of the person's head in the horizontal direction parallel to the display is determined.
[0018]
FIG. 5 is a block diagram showing a configuration of a control system of the apparatus according to the present embodiment. The CPU 34 reads the observer's head position detected by the head position detection sensor 22 and the detection circuit 32, and based on the signal, sets the optical axis of the variable apex angle prism toward the center of the observer's head. Calculates the angle of the desired target vertex angle. At the same time, the apex angle of the variable apex angle prism 9 is read through the angle detection sensor 23 and the detection circuit 33, and the current apex angle is read and compared with the target apex angle. The variable apex angle prism 9 is controlled by an angle variable actuator 17. Thus, the observer is controlled so as to be always substantially at the center of the stereoscopic viewing area within the range in which the variable apex angle prism moves, and the stereoscopic viewing area can be substantially widened. In this embodiment, the ultrasonic sensor is used. However, the head sensor may be constituted by a head position detection sensor using a distance sensor using infrared rays, or the observer's head may be photographed by a video camera and subjected to image processing. A method of obtaining the position of the head or both eyes may be used.
[0019]
Further, in the present reference example, the glass plate on the observer side of the variable apex angle prism is described as being movable. Conversely, the same effect can be obtained by making the display side movable and the observer side fixed.
<Embodiment>
An embodiment of the present invention will be described with reference to FIGS.
[0020]
Generally, a sense of depth in a stereoscopic display using a lenticular lens is caused by a difference between a right-eye image and a left-eye image that enter both eyes of an observer. The depth is felt by the difference in the horizontal position between the image for the eye and the image for the left eye (hereinafter abbreviated as right image and left image). FIG. 7 shows a positional relationship between left and right images when subjects A and B having different depths are photographed by a camera. OR and OL are imaging lenses, which form images on the imaging surfaces 61 and 62, respectively, and when the images are inverted, a right image 63 and a left image 64 are obtained. The horizontal positions of the images A and B are interchanged in each image. When the obtained left and right images are displayed on a three-dimensional display using a lenticular lens, how the left and right images look to the observer based on the horizontal positional relationship between the left and right images is shown in FIG. (B).
[0021]
FIG. 8A shows a case where the left and right images a1 and a2 of the target A are matched on the display screen. The target A appears to be on the screen, and the target B has parallax on the screen. Looks like it is in the back. FIG. 8B shows a case in which the images b1 and b2 of the left and right images of the object B are matched. The object B appears on the screen, and the object A appears to be in front of the screen. In other words, by shifting the left and right images in the horizontal direction on the display screen, it is possible to select which target is to be seen in agreement on the display screen.
[0022]
When the observer actually looks at the stereoscopic display, if the images of the left and right images of the object have a certain degree of parallax on the screen, it becomes difficult to fuse and recognize the double images as one, and Images tend to be blurry and unclear. Therefore, in the present embodiment, when displaying on the stereoscopic display, the gaze position on the display screen of the observer is detected, and the left and right images are moved in the horizontal direction so that the target image of the gaze position matches on the screen. Control.
[0023]
FIG. 9 is a diagram illustrating the principle of screen control of the stereoscopic display according to the present embodiment, and FIG. 10 is a block diagram illustrating a flow of the screen control.
[0024]
In FIG. 9A, reference numeral 41 denotes a lenticular lens type stereoscopic display screen, reference numeral 42 denotes a target image in a left image 45, reference numeral 43 denotes a target image in a right image 46, and the left and right eyes are respectively lenticular lenses. It is separated and observed by the eyes and stereoscopically viewed. Reference numeral 44 denotes an area centered on the line of sight of the observer, and as shown in FIG. 9B, a left image 45 and a right image 46 are displayed on the stereoscopic display screen 41 for the target image of the line of sight in that area. On the other hand, by moving each of them right and left to make them coincide with each other, the target image can be seen more clearly.
[0025]
FIG. 9C is an explanatory diagram of how to determine the actual movement amount, and FIG. 10 is a flowchart of screen control. In FIG. 9C, screen control when the line of sight moves to the next line-of-sight position will be described assuming that the left image 45 and the right image 46 start from the state shifted from the display screen by di as shown in the figure. When the sight line moves to a regular hexagonal object 48 (on the left image 45) and an object 49 (on the right image 46), the sight line detection sensor detects the average staying position 47 of the sight line of the observer, that is, the coordinates (X, Y) is determined, and a window area 44 whose size has been optimized in advance is set around this. Then, the _x L = _X + _{d i} When determining the horizontal coordinate xL relative to the left image 45 of the line-of-sight dwell position 47. Then, based on the image in the window area 44 of the left image, right image to determine the searching the highest correlation image area on the right image the position x _{R (x} coordinates relative to the right image 46) The image correlation is calculated by scanning along the same horizontal line.
[0026]
As a method of the image correlation calculation, a method of finding a position where the sum of squares of the error of the density value for each corresponding pixel is minimized is used. When determining the shift amount _{d i} of the new left and right images from the horizontal coordinate _{x R} of the horizontal coordinate _{x L} and the right image of the image on the left line-of-sight dwell _position, a _{_{d i = (x L -x R}} ) / 2. As the shifting amount d _i just left and right images are moved in the horizontal direction with respect to the display screen, and displays the composite processing as left and right images are arranged in stripes alternately so as to correspond to the lenticular lens method again.
[0027]
FIG. 10 shows the flow of the above image control. Every time the position where the line of sight stays changes, the screen is always controlled so that the new target image at that position matches the left and right images.
[0028]
Here, when shifted by the shift amount d _i of the left and right images, for right and left parts is not only one of the images of the left and right images on the display screen, while the display in a single pitch of the lenticular lenses at the portion The same stripe as the image is arranged at the other image position so that the same image enters the left eye and the right eye. As a result, a three-dimensional effect cannot be obtained at that portion, but there is little sense of incongruity at both ends of the display screen. Such processing is not necessary when the width of the left and right screens is sufficiently large with respect to the width of the display screen of the display.
[0029]
The image control described above may be performed by software using a CPU, or a dedicated image processing circuit may be used. Regarding the gaze position detection, the observer's head is photographed with a video camera, the parts of both eyes are cut out by image processing, the pattern of black and white eyes is recognized, and the distance between the eyes and the horizontal position of the eyes. Can be used in correspondence with the line-of-sight position. In addition, a head position detection method described in Reference Technical Example 1 and an LED for projecting infrared rays to the eyeball and a CCD camera for detecting reflected light provided on the frame of the eyeglasses are provided, and the angle of the eyeball is obtained using the Purkinje image. The eye-gaze position detection method may be combined with a method of detecting the eye-gaze position by calculating the gaze position.
[0030]
【The invention's effect】
As described above, according to the present invention, by detecting the line of sight of the observer and matching the target images of the line of sight of the left and right images at that position, it is possible to prevent the inconvenience that the image looks double. Thus, the image of the target at the line of sight can be clearly observed.
[Brief description of the drawings]
FIG. 1 is a perspective view showing a schematic configuration of a three-dimensional display device according to a first embodiment of the present invention;
FIG. 2 is a block diagram showing a configuration of a control system of the apparatus shown in FIG.
FIG. 3 is a view for explaining a method of enlarging a stereoscopic viewing area in the apparatus of FIG. 1;
FIG. 4 is a perspective view showing a schematic configuration of a three-dimensional display device according to a second embodiment of the present invention;
FIG. 5 is a block diagram showing a schematic configuration of a control system in the apparatus shown in FIG. 4;
FIG. 6 is a view for explaining a method of enlarging a stereoscopic viewing area in the apparatus of FIG. 4;
FIG. 7 is a view for explaining the principle of stereoscopic viewing in the stereoscopic display device according to the embodiment of the present invention.
FIG. 8 is a diagram for explaining the exchange of positions of a left-eye image and a right-eye image in stereoscopic vision.
FIG. 9A is a diagram for explaining a left-eye image and a right-eye image on a stereoscopic display screen. FIG. 3B is a diagram illustrating a case where a left-eye image and a right-eye image are moved left and right, respectively, on a stereoscopic display screen to sharpen a target image. FIG. 4C is an explanatory diagram of a method of obtaining a moving amount when moving the left image and the right image.
FIG. 10 is an explanatory diagram of an image control method according to an embodiment of the present invention.
FIG. 11 is an explanatory diagram of a conventional three-dimensional display using a lenticular lens.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Liquid crystal display 2,4 ... Glass substrate 3 ... Display pixel part 5 ... Lenticular lens 6 ... Stereoscopic viewing area 9 ... Variable angle prism 10,11 ... Transparent glass plate 12 ... Transparent member 13 ... Bellows 14 ... Rotation center 15 ... Rotating shaft 16 End member 17 Linear actuator 18 Restoring spring 19 Encoder scale 20 Photosensor 21 Rotary drive mechanism 22 Head position detection sensor 23 Angle detection sensors 32 and 33 Detection circuit 34 CPU 31 ... Drive circuit 41 ... Stereoscopic display screen 42 ... Target image in left image 43 ... Target image in right image 45 ... Left image 46 ... Right image 47 ... Average stay position

Claims

In a three-dimensional display using a lenticular lens in front of an image display unit, a means for detecting a line-of-sight position of an observer on the three-dimensional display, and at the line-of-sight detection position, an image to be observed of an image for the right eye and an image for the left eye is displayed. A stereoscopic display device, comprising: means for performing control on the display so as to match each other.

In a screen control method for a three-dimensional display using a lenticular lens on the front of an image display unit, a gaze position of an observer on the three-dimensional display is detected, and a right-eye image and a left-eye image are observed at the gaze detection position. A screen control method in a three-dimensional display device, wherein control is performed such that images match on a display.