JP5170254B2 - 表示装置、端末装置および表示方法 - Google Patents

表示装置、端末装置および表示方法 Download PDF

Info

Publication number
JP5170254B2
JP5170254B2 JP2010540421A JP2010540421A JP5170254B2 JP 5170254 B2 JP5170254 B2 JP 5170254B2 JP 2010540421 A JP2010540421 A JP 2010540421A JP 2010540421 A JP2010540421 A JP 2010540421A JP 5170254 B2 JP5170254 B2 JP 5170254B2
Authority
JP
Japan
Prior art keywords
display device
display
image
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010540421A
Other languages
English (en)
Other versions
JPWO2010061689A1 (ja
Inventor
哲史 佐藤
幸治 重村
芹沢  昌宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Tianma Japan Ltd
Original Assignee
NEC Corp
NLT Technologeies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, NLT Technologeies Ltd filed Critical NEC Corp
Priority to JP2010540421A priority Critical patent/JP5170254B2/ja
Publication of JPWO2010061689A1 publication Critical patent/JPWO2010061689A1/ja
Application granted granted Critical
Publication of JP5170254B2 publication Critical patent/JP5170254B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/28Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays involving active lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/31Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers involving active parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/315Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像を表示する表示装置および表示方法に関し、特に立体画像を表示する表示装置、端末装置および表示方法に関する。
近年、携帯電話やPDA(Personal Digital Assistant)の発展にともない、表示装置の小型化、高精細化が進んでいる。一方で、携帯機器の新たな付加価値として立体表示装置が注目されている。立体画像を表示する手段としては、両眼視差を有する画像をそれぞれ左右の眼に投影する方式が一般的であり、画像振分手段としてレンチキュラレンズやパララックスバリアを表示パネルに備える方式の立体表示装置がある。また、右眼と左眼とに集光する2つの光源を備え、左右の視差像を右眼と左眼とに交互に投影する時分割方式の立体表示装置がある(例えば、特許文献1参照。)。
これらの方式の立体表示装置は、特殊な眼鏡を装着する必要がなく、眼鏡を装着する煩わしさがない点で携帯機器への搭載に適している。実際にパララックスバリア方式の立体表示装置を搭載した携帯電話が製品化されている(例えば、非特許文献1参照。)。
ただし、これらの方式では視差画像は空間的に分離して投影されるため、観察者が正規に立体として見える場所は限定される。観察者が立体として見える領域は立体視域と呼ばれ、立体視域は立体表示装置の設計時に決定される。観察者の両眼の位置が立体視域から外れると、左眼用画像と右眼用画像が重なって見えたり(いわゆる二重画像)、奥行き感が逆になった映像が見えたり(いわゆる逆視)するという問題がある。
ここで、立体視域について図を参照し説明する。
はじめに、画像振分手段にパララックスバリアを用いたときの立体視域について説明する。
図1にパララックスバリア方式の立体表示装置において、観察者の左右両眼に視差画像を投影する光学モデルの一例を示す。図1は、観察者の頭上から見た断面図であり、観察者の両眼(右眼55Rと左眼55L)が表示装置の表示面より最適観察距離OD離れた観察面30に位置し、かつ観察者の両眼中心との表示パネルの中心とが一致する位置関係となっている。
表示パネル(図示なし)は、マトリックス状に配列された画素となる光変調素子群から構成されており(例えば液晶パネル)、図1には、交互に並ぶ右眼用画素4Rと左眼用画素4Lとのうちパネル両端と中心との各画素のみ図示している。画像振分手段として機能するパララックスバリア6は、観察者から見て表示パネルの奥に配置されている。パララックスバリア6は、細い縦縞状の多数のスリット6aが形成されたバリア(遮光板)であり、表示パネルの左眼用画素4Lと右眼用画素4Rとが並ぶ方向に対して、バリアの長手方向が直交するように配置されている。パララックスバリアのさらに奥には光源(図示なし:いわゆるバックライト)が設置され、光源から出た光はスリット6aを通過し、表示パネル内の画素において強度が変調され観察者に向けて投影される。右眼用画素4R及び、左眼用画素4Lの投影方向は、スリット6aの存在により制限される。ここで、各々のスリット6aから出た光のうち最も近い画素を通る光の軌跡を光線20として図示すると、全ての右眼用画素4Rの投影像が重なる右眼領域70Rと、全ての左眼用画素4Lの投影像が重なる左眼領域70Lとが得られる。右眼領域70Rでは右眼用画素4Rからの投影像しか観察できず、また左眼領域70Lでは左眼用画素4Lからの投影像しか観察できない。そのため、観察者の右眼55Rが右眼領域70R内に位置し、左眼55Lが左眼領域70L内に位置しているとき、左右の眼に視差画像を投影すると観察者は立体画像として視認する。逆にいえば、観察者は、右眼55Rが右眼領域70R内に位置し、かつ左眼55Lが左眼領域70L内に位置しているときに所望の立体画像を観察できる。
図1の表示装置は、観察面30において、右眼領域70R、左眼領域70Lの幅が最大になるように、各右眼用画素4Rと左眼用画素4L(幅P)の距離ODにおける投影像(幅P’)が全て重なるように設計されている。この投影像の幅P’は、主にスリット6aと画素との距離h、画素ピッチP、最適観察距離ODにより決定できる。P’を広げれば、右眼領域70R、左眼領域70Lの幅は広がるが、観察者の両眼は各々を任意の位置に置くことは不可能なので、立体画像を視認できる立体視域は必ずとも広がるわけではない。両眼の間隔をeとすると、P’は両眼間隔eと等しくなるように設計することが好ましい。P’が両眼間隔eよりも小さな場合には、立体視が行える領域はP’に制限される。また、P’が両眼間隔eよりも大きな場合においては、両方の眼が右眼領域70R、あるいは、左眼領域70Lに位置する領域が増えるだけである。また、観察者が立体視を行えるパネルとの最短距離NDや最長距離FDも、両眼間隔eの制約と右眼領域70R、左眼領域70Lとから決まる。
以上のように、視差画像の投影によって観察者が立体を視認する領域は、画像振分手段により光学的に決定される右眼領域70R、左眼領域70Lだけではなく、観察者の両眼間隔eから決まる。そのため、立体視域を観察者の右眼55Rと左眼55Lとの中点Mの領域で表現することもある。
図2に示すように、この場合の立体視域71はダイヤモンド状の四角形となる。ただし、図2の立体視域71は、観察者の両眼を含む平面と表示パネル面との平行関係が保たれるときのみ有効である。
また、図3に、画像振分手段として機能するパララックスバリア6が、観察者から見て表示パネルの手前に配置されている場合の光学モデルを示す。観察者の表示パネルの奥に配置されている例と同様に、観察者は最適観察位置ODに位置し、観察面30において、左右各画素(幅P)の投影像(幅P’)は重なるように設計されている。各々の画素から出た光のうち最も近いスリット6aを通る光の軌跡を光線20として図示することで、全ての右眼用画素4Rの投影像が重なる右眼領域70Rと、全ての左眼用画素4Lの投影像が重なる左眼領域70Lとが得られる。
次に、画像振分手段にレンチキュラレンズを用いたときの立体視域を図4に示す。
図4は図3において、画像振分手段がかわっただけである。
レンチキュラレンズ方式の光学モデルを用いて、観察者が立体視域から外れた場合について考察する。
図5は、観察者が右に移動し、右眼55Rと左眼55Lとの中点Mを用いて表現した立体視域71を外れたときの観察者の頭上から見た断面図である。観察者の右眼55Rは右眼領域70R外に位置し、左眼55Lが右眼領域70R内に位置する。このとき、観察者の右眼55Rの位置には、左眼用画素4L及び、右眼用画素4Rから出た光の中で、最も近いシリンドリカルレンズ3aの主点(頂点)を通る光線20は届かない。しかしながら、左眼用画素4Lから出た光の中で2番目に近いシリンドリカルレンズ3aの主点(頂点)を通る光に着目し、光線21として図示すると、第2の左眼領域72が得られる。つまり、図5においては、観察者は右眼55Rで左眼用画素4Lからの投影像を観察し、左眼55Lで右眼用画素4Rからの投影像を観察することになり、視差画像を観察すると飛び出しと奥行きとが反対となり(いわゆる逆視)所望の立体像を観察できない。
上記の問題を解決するために、観察者の位置を常時検出し、検出された位置に応じて右眼用画素と左眼用画素の表示を入れ換える方法が提案されている(例えば、特許文献2参照。)。
また、カメラを用いて観察者を撮影し、得られる顔画像から視点位置を検出し、視差画像を調整する方法が提案されている(例えば、特許文献3参照。)。
また、視点位置検出方法においては、赤外光照射装置とカメラを用い、瞳孔部分を検出する方法が提案されている(例えば、特許文献4参照。)。
特開2001−66547号公報(3〜4頁、図6) 特開平9−152668号公報 特開2000−152285号公報 特開平11−72697号公報
日経エレクトロニクス,2003年1月6日,No.838号,p.26−27
携帯型の立体表示装置においては、観察者は自らの体を使い立体視に最適な位置に表示装置を調整できる反面、装置の操作や乗り物の揺れなどの外的要因により表示装置自体が傾いたり移動したりすることがある。
表示装置が動いた結果、観察者の両眼位置が立体視域から外れることがある。観察者は二重画像や逆視を見る不快感が伴うばかりでなく、場合によっては、繰り返して正規の立体と二重画像や逆視を見ることにより疲労感が発生し、めまいや乗り物酔いのような症状に陥る場合もある。
しかしながら、一般的な視点追従方式では、カメラや視点位置検出の画像処理機能、赤外線照射装置を搭載しなくてはならず、装置の大型化や高度な画像処理能力の要求などにより、携帯型の立体表示装置に適さないという問題点がある。
本発明は、上述した課題を解決する表示装置、端末装置および表示方法を提供することを目的とする。
本発明の表示装置は、
画像を表示する表示装置であって、
当該表示装置の動きを検出し、該検出した動きに応じて、立体表示と平面表示とのどちらか一方で前記画像を表示する。
また、本発明の表示方法は、
画像を表示装置に表示する表示方法であって、
前記表示装置の動きを検出する処理と、
前記検出した動きに応じて、立体表示と平面表示とのどちらか一方で前記画像を表示する処理とを有する。
以上説明したように本発明においては、表示装置の動きを検出し、検出した動きに応じて、立体表示と平面表示とのどちらか一方で画像を表示する構成としたため、観察者の意図に反して表示装置が動くことにより観察者が立体視域から外れた場合であっても、容易に逆視画像や二重画像を観察することを防ぎ、観察者に不快感や疲労感を与えることを避けることができる。
パララックスバリアが表示パネルの奥に設置されば場合のパララックスバリア方式の立体表示装置の光学モデルを示す図である。 観察者の右眼と左眼との中点Mを用いて、立体視が行える領域をMの領域として表現した図である。 パララックスバリアが表示パネルの手前に設置されば場合のパララックスバリア方式の立体表示装置の光学モデルを示す図である。 レンチキュラレンズ方式の立体表示装置の光学モデルを示す図である。 観察者が立体視域から外れた場合を説明する光学モデルを示す図である。 本発明に係る表示装置の正面図である。 本発明に係る表示装置の断面図である。 本発明の第1の実施の形態における表示コントローラの機能ブロック図である。 本発明の第1、第2の実施形態における画像データのイメージである。 本発明の第1、第2の実施形態における画像データのイメージである。 観察者が本発明の表示装置を最適位置で、視差画像を観察するときの光学モデルである。 本発明の表示装置において、画素の投影像の幅が観察者の両眼間隔と等しくない場合の光学モデルである。 本発明の表示装置において、画像振分手段の中心スリットと端のスリットとの距離が両眼間隔と等しくない場合の光学モデルである。 本発明の表示装置において、画像振分手段の中心スリットと端のスリットとの距離が両眼間隔と等しくない場合の光学モデルである。 本発明の表示装置がX軸に沿って移動したときの光学モデルである。 本発明の表示装置がX軸に沿って移動したときの光学モデルである。 本発明の表示装置がZ軸に沿って移動したときの光学モデルである。 本発明の表示装置がZ軸に沿って移動したときの光学モデルである。 本発明の表示装置がX軸およびZ軸に沿って移動したときの光学モデルである。 本発明の表示装置がX軸およびZ軸に沿って移動したときの光学モデルである。 本発明の表示装置がY軸を回転軸として傾いたときの光学モデルである。 本発明の表示装置がY軸を回転軸として傾いたときの光学モデルである。 本発明の表示装置に加速度センサを設置したときの一例を示す図である。 加速度センサを設置した本発明の表示装置において、X軸回りの回転をした場合の重力加速度を基準に傾き角を算出する説明図である。 加速度センサを設置した本発明の表示装置において、Y軸回りの回転をした場合の重力加速度を基準に傾き角を算出する説明図である。 本発明の第1、第3、第4、第6の実施形態における動作を説明するためのフローチャートである。 本発明の第2の実施形態における機能ブロック図である。 本発明の第2、第3、第5、第7の実施形態における動作を説明するためのフローチャートである。 本発明の第3、第4の実施形態における機能ブロック図である。 本発明の第3の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第3の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第3、第4の実施形態における機能ブロック図である。 本発明の第4の実施形態において用いる表示パネルの画素構造を説明する模式図である。 本発明の第4の実施形態において用いる表示パネルの画素構造を説明する模式図である。 本発明の第4の実施形態において用いる表示パネルとレンチキュラレンズの位置関係を示す模式図である。 本発明の第4、第5の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第4、第5の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第4、第5の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第4、第5の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第6の実施形態において用いる表示パネルの画素構造を説明する模式図である。 本発明の第6の実施形態において最適観察距離離れた平面に向けて画像を投影する光学モデルを示す図である。 本発明の第6の実施形態において、観察者の右眼が領域74B、左眼が領域74Cに位置するときの光学モデルを示す図である。 発明の第6、第7の実施形態における画像生成部で生成される画像データのイメージ図である。 発明の第6、第7の実施形態における画像生成部で生成される画像データのイメージ図である。 本発明の第6の実施形態において、観察者が様々な組み合わせで視差画像を観察するときの光学モデルを示す図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
(第1の実施の形態)
[構成の説明]
図6は、本発明を適用した表示装置の一例を正面から見た図である。
図7は、図6中の線bにおける筐体断面を観察者の頭上から見た断面図である。
本発明の表示装置は、表示パネル11、画像振分手段13、表示コントローラ12、操作スイッチ14が筐体10内に収まっている。
表示パネル11は、複数の単位画素がマトリックス状に形成された透過型液晶パネルであり、立体表示を行うときは、観察者の両眼が並ぶ方向と平行となる方向である水平方向に並ぶ単位画素を、交互に左眼用画素4L、右眼用画素4Rとして使用する。なお、図7において、表示パネル11の両端および中央以外の左眼用画素4L、右眼用画素4Rは図示を省略している。
画像振分手段13は、パララックス・バリアパターンを表示する電気光学素子であり、たとえば、透過型液晶パネルが適用可能である。パララックス・バリアパターンが表示されたとき、スリットとして働く透過部が表示パネル11に対して垂直となり、右眼用画素4Rと左眼用画素4Lとの間に位置するように表示パネル11の上に配置される。表示パネル11との距離、スリットのピッチは、観察者の最適観察位置を定めたとき、表示パネル11の全て右眼用画素4Rからの投影画像は観察者50の右眼55Rに投影され、表示パネル11の全ての左眼用画素4Lからの投影画像は観察者50の左眼55Lに投影されるように設計するのが好ましい。なお、パララックス・バリアパターンを表示しないときは、バリアとして機能しないため、観察者の両眼には、通常のパネル表示と同様に、右眼用左眼用両方の画素からの投影画像が投影される。この画像振分手段13により、表示パネル11に表示された画像の、表示パネル11から外部への投影が制御される。
表示コントローラ12は、表示パネル11を駆動する機能、バリアを制御する機能、筐体10の動きを検出し、立体視の判別を行う機能を有する。
図8を用いて、表示コントローラ12について説明する。
図8は、本発明の第1の実施の形態における表示コントローラ12の機能ブロック図である。
表示コントローラ12は、画像生成部100、検出部80、判定部90、表示パネル駆動回路110、画像振分制御回路111から構成される。
検出部80は、筐体10が動いた結果生じる変位を検出するためのセンサで構成される。筐体10の変位とは、傾き角の変化や移動量であり、例えば、加速度センサや地磁気センサ等のセンサを用いると、重力加速度や地磁気を基準として算出できる。
判定部90は、検出部80のセンサから得られる傾き角、移動量に関する情報と、表示パネル11の立体視域に関する情報等を保持するメモリ91を備え、また、検出部80のセンサから適宜得られる情報とメモリ91に蓄えられた情報とから観察者の両眼が立体視域内であるかを判定するための演算器92を備える。
画像生成部100は、表示パネル11に送る画像データを生成する機能を備え、演算器101、データ蓄積部102、メモリ103、外部IF(Interface:インターフェイス)104から構成される。また、画像生成部100は判定部90からの信号に応じて、視差を有する画像データ(3Dデータ)生成、あるいは、視差の無い画像データ(2Dデータ)生成する機能を備えている。
画像データの生成は、データ蓄積部102の表示対象データを演算器101で読み出して画像処理を施して行うが、表示対象データが奥行き情報を含む3次元データであり、演算器101でレンダリング処理を施すことによって2次元画像データを生成する方法が好ましい。立体表示に用いる3Dデータ、すなわち、視差を有する左右両眼用の2次元画像データは、観察者の左右両眼に相当する仮想の2視点を設定し、各々レンダリング処理を施して生成する。一方、平面表示に用いる2Dデータ、すなわち、視差の無い画像データは、観察者の両眼の中央に相当する1視点を設定し、レンダリング処理を施し生成する。ただし、視差画像を用いて立体表示を行うときは、表示パネル11の単位画素を水平方向に、右眼用画素、左眼用画素として交互に用いる。このため、立体表示用に生成する各2次元画像データの水平方向の解像度は、表示パネル11の半分となる。つまり、生成する画像データのイメージを図示すると、3Dデータは図9(a)、2Dデータは図9(b)のようになる。
前述のように、画像データの生成は、奥行き情報を含む3次元データより生成する方法が好ましいが、データ蓄積部102に予めレンダリング処理を施した表示対象データを蓄積しておき、選択的に読み出してもよい。すなわち、奥行き情報を含まない図9(a)および図9(b)に相当する2次元データの形式で蓄積し、立体表示が平面表示に応じて選択し、読み出す方法でもよい。この方法では、レンダリング処理が不要となるため、レンダリングを要する方法よりも演算器101の処理能力や演算速度が低くてよい。このため、画像生成部100を安価に構成できる利点がある。
上記のようにして、画像生成部100は、判定部90からの信号に応じて、2D/3Dデータを生成し、表示パネル駆動回路110へ出力する。これと同時に、画像生成部100は、立体表示時はバリアを有効にする信号を、また平面表示時のときはバリアを無効にする信号を画像振分制御回路111に送る機能を備える。
表示パネル駆動回路110は、表示パネル11を駆動するために必要な信号(同期信号等)生成する機能を備え、画像振分制御回路111では、パララックス・バリアパターンを表示するための信号を生成する機能を備える。
なお、画像振分手段13は、パララックス・バリアパターンをオン/オフする電気光学素子のかわりに、例えば、複数の液晶レンズを用いてレンチキュラレンズを構成した、電気信号によりオン/オフできる電気光学素子を使用してもよい。
さらに、図8において説明の便宜上、判定部90と画像生成部100とに演算器92,101が独立して存在するが、同一の演算器であってもよい。また、適用する携帯型表示装置の他の機能(例えば通信制御)を処理する演算器や、他のプロセッサ内に処理機能を設けてもよい。
次に、立体視域内に観察者の両眼が位置するかどうかを判定する方法について図を参照し説明する。なお、以降の説明において、画像振分手段はパララックス・バリアパターンを表示する電気光学素子を用いるが、前述の通りレンチキュラレンズを構成する手段でもよい。レンチキュラレンズの場合は、以下の説明において、パララックスバリアをレンチキュラレンズに、スリットをレンズの主点に置き換えればよい。
図10は、観察者50が本発明の表示装置において立体視を行うとき、すなわち、視差画像を観察するときの光学モデルの一例である。
説明のため、XYZ直交座標系を以下のように定義する。観察者50の両眼が並ぶ方向であり、表示パネル11の水平方向である方向をX軸と定める。また、表示装置の投影面(あるいは平行関係にある画素がマトリックス状に形成される面)とX軸と直交する方向をY軸と定める。また、表示装置の投影面と直角に交わる軸をZ軸とする。XYZ軸の正負の方向は、図10に示す通りとする。
図10において、観察者50と表示装置とは立体視を行う際に最も適した位置関係にあり、画像振分手段13と観察者の両眼55R及び55Lとまでの距離を最適観察距離ODとし、距離OD離れたXY平面を最適観察面とする。
また、画像振分手段13は、パララックスバリアとして機能している状態であり、中心のスリットと端のスリットとの間の距離をWSとする。
表示パネル11は、複数の単位画素を含み、X軸方向に交互に左眼用画素4L、右眼用画素4Rとして使用しているが、中心の部分の左眼用画素4L、右眼用画素4Rのみを図示している。単位画素のピッチ(幅)をPとしたとき、各画素から最短に位置するスリットから投影される投影像の最適観察面における幅をP’とする。また、表示パネル11の両端と中心との左眼用画素および右眼用画素から投影像P’を形成する光線をそれぞれ22R、23R、24R、25R、22L、23L、24L、25Lとする。
図10のように、表示パネル11と画像振分手段13とは、最適観察面で全ての右眼用画素の投影像P’が重なり、また、全ての左眼用画素の投影像P’が重なるように設計されることが好ましい。さらに、P’は観察者の両眼間隔eと等しく設定することが好ましい。
なお、最適観察距離ODは設計値である。上記の設計条件では、観察者が適切に立体視を行える右眼領域70Rおよび左眼領域70Lは、図10に示すように、画像振分手段の両端のスリットから出る光線22R、23R、24R、22L、23L、24Lから決まる。
図11に画素の投影像の幅P’が観察者の両眼間隔eと等しくない場合の光学モデルを示す。
背景技術で前述したように、P’<eのときは立体視域が狭くなる。また、P’>eのときは右眼領域70Rおよび左眼領域70Lを広げることが可能となるが、観察者の両眼を任意の位置に置くことは不可能であるため、両眼間隔制限により立体視域が広がるわけではない。しかしながら、P’<eの場合においては、例えば、画素とパララックスバリアとの距離が長くてもよく、表示装置を設計する上で構成要素の選択肢が増えるという利点がある。また、P’>eの場合においては、観察者50が最適な観察位置からずれたときに、左右の眼に反対の視差画像が投影され、飛び出しと奥行きとが反対となって見える(いわゆる逆視)領域を抑制する効果がある。以後の説明では、P’=eと設定された表示パネル11を光学モデルに用いるが、P’<eあるいはP’>eの表示パネルも本発明に適用することは可能である。
また、図10は、WSと投影像の幅P’とが等しく設計された場合、すなわちWSと観察者の両眼間隔eとが等しい光学モデルである。
図12にWS>e(=P’)、WS<e(=P’)としたときの光学モデル示す。図12(a)は、WS>eの場合であり、図12(b)は、WS<eの場合である。
観察者50が立体視を行える右眼領域70Rおよび左眼領域70Lは、同じ最適観察距離ODで設計したとき、WS>eの場合、前後方向に狭くなり、WS<eの場合は前後方向に広がる。eは、成人の両眼間隔の平均値から、62mmから65mmとして設計することが適当である。e=63mmを採用すると、図10の立体表示装置の横方向はWS×2=126mm程度となる。そこで、携帯型の表示装置としてのサイズを考慮すると、WS>e、WS=e、WS<eのいずれも適用範囲である。以後の説明においては、便宜上WS=eの光学モデルを用いる。
図10〜図12(a)、(b)に示したように、右眼用の投影像が重なる右眼領域70R、左眼用の投影像が重なる左眼領域70Lは、設計条件によって決定される。設計条件により領域の大きさは変化するが、出来上がった表示装置においては、立体表示を行うときに変化するものでなく表示装置固有の領域である。したがって、設計条件から導き出した右眼領域70R、左眼領域70L、あるいは出来上がった表示装置から測定によって求めた右眼領域70R、左眼領域70Lを立体視域のデータとして記憶しておき、観察者の両眼位置のデータを取得し、演算器を用いてそれらを比較すれば、立体視域内に観察者の両眼が位置するかどうかを判定できる。ここで、立体視域と観察者の両眼位置とは相対的な関係である。そのため、観察者の両眼が最適観察位置から動かなければ、表示装置筐体10の動きに応じて立体視の可否は決定される。本発明の表示装置は、立体視域のデータを記憶し、表示装置筐体10の動きを検出することによって、観察者の両眼が立体視域内に位置するかどうかを判定する。
立体視の判定においては、右眼領域70R、左眼領域70Lを形成する菱形の境界情報を記憶しておくことが好ましい。図10〜図12(a)、(b)に示した菱形の境界情報は、図10で示した光線22R、23R、24R、22L、23L、24Lで決定されている。
しかしながら、例えば、左右用の各画素の投影像P’が全て重ならない場合、図10で示した光線25R、25Lもそれぞれ領域70R、70Lの境界となり、さらに、左右の投影像が重なり合い二重画像が観える領域(3Dクロストーク領域)の大きさによっては、これを考慮した光線で決めることも可能である。そのため、結果として境界情報が菱形以外の多角形でも構わない。しかし、表示装置の設計条件にもよるが、前記した右眼及び左眼領域情報である多角形の境界情報がなくとも判定は可能である。以下に、一例を説明する。
図10に示す筐体10と観察者50との位置関係を最適観察位置とし、図を参照して、観察者50が移動せずに筐体10が動いたときの立体視が可能な範囲について説明する。
図13は、筐体10がX軸に沿って平行に移動したときの立体視の限界を示す図である。
図13(a)はX軸の正(+)の方向へ、図13(b)はX軸の負(−)の方向に移動したときの図である。観察者50が適切に立体視を行えるのは、右眼55Rが右眼領域70Rにあり、かつ左眼55Lが左眼領域70Lにあるときである。そのため、X軸の正(+)の方向へ移動量の限界は表示装置から出る光線22R、23Rと両眼が重なるときとなる。また、X軸の負(−)の方向へ移動量の限界は表示装置から出る光線22L、23Lと両眼が重なるときである。
図14は、筐体10がZ軸に沿って平行に移動したときの立体視の限界を示す図である。
図14(a)は筐体10がZ軸の正(+)の方向に移動したときの図である。また、図14(b)は筐体10がZ軸の負(−)の方向に移動したときの図である。Z軸の正(+)の方向へ移動量の限界は表示装置から出る光線23R、23Lと両眼が重なるときとなる。また、Z軸の負(−)の方向へ移動量の限界は表示装置から出る光線22L、22Lと両眼が重なるときである。
図15は、筐体10が表示パネル11面と観察者50の両眼を含む観察面との平行関係を維持したまま、X軸方向、Z軸方向に移動したときの立体視の限界を示す図である。
図15(a)は筐体10がX軸の正(+)の方向ならびにZ軸の正(+)の方向に移動したときであり、観察者50が適切に立体視を行える限界は、光線23Rと右眼55Rとが重なるときである。また、図15(b)は筐体10がX軸の負(−)の方向ならびにZ軸の負(−)の方向に移動したときであり、観察者50が適切に立体視を行える限界は、光線22Rと右眼55Rとが重なるときである。
以上、WS=eとした図13(a)、(b)〜図15(a)、(b)用いて立体視の限界条件を説明した。WS<e、WS>eの場合も、XZ平面において、Z軸と光線24Rあるいは光線24Lとのなす角が、Z軸と光線22Rあるいは光線22Lとのなす角よりも大きくならない限り、光線24R、光線24Lは、立体視の限界を決定する条件に寄与しない。したがって、立体視の限界を決定する条件は、表1となる。
Figure 0005170254
光線22R、23R、24R、及び光線22L、23L、24Lと、表示面との傾きは、立体表示装置を設計したときに決定される。このため、最適観察位置からの筐体10の移動量が得られれば、立体視の可否を算出できる。
上記の条件は筐体10が傾くことなく、すなわち、表示パネル11面と観察者両眼の位置する面とが平行関係を維持しているときである。筐体10が傾いたときの立体視の限界は、傾き角を加味した算出が必要となる。
図16は、筐体10が表示パネル11表面を中心として、Y軸を回転軸として傾いた場合の立体視の限界を示す図である。図16(a)はY軸の正(+)の方向をみて左回りに回転したときの図であり、観察者50が適切に立体視を行える限界は、光線23Lと左眼55Lとが重なるときである。また、図16(b)はY軸の正(+)の方向をみて右回りに回転したときの図であり、観察者50が適切に立体視を行える限界は、光線23Rと右眼55Rとが重なるときである。光線23R、23Lの傾きは表示装置の設計で決定されているため、筐体10の最適観察位置からの傾き角が得られれば、立体視の可否を算出できる。
以上のように、最適観察位置からの筐体10の移動量と傾き角、ならびに、設計で決まる光線22R、光線22L、光線23R、光線23Lのパネル表面との角度によって、立体視の判定を行うことができる。
次に、検出部80の傾き角検出81、移動量検出82の具体的な検出手段について説明する。
傾き角と移動量の検出の一例として、3軸加速度センサを用いる場合を挙げて説明する。
加速度センサの出力には、我々が知りたい傾き角と移動量以外にさまざまな信号が含まれている。その主なものは、重力加速度による地軸に向かう加速度成分および筐体を持つ人体と筐体とが同時に受ける振動等の使用環境要因のノイズ成分である。使用環境が原因の振動等のノイズ成分は、フィルタにより除去する事が有効である。フィルタとしては、デジタルフィルタが最適である。しかし、環境と使用者の特性によっては、フーリエ変換もしくはウェーブレット変換により周波数領域の特性を利用するフィルタが有効な場合も多い。以下では、これらのフィルタリング処理が施された後の信号の検出方法について述べる。
加速度センサを筐体10に設置した様子を図17に示す。
パネルのレンチキュラレンズ3の座標系と、加速度センサの座標系とを図17のように定義する。すなわち、Z軸の正方向(図で矢印のある方向)に観察者が位置し、Z軸の負方向に存在するパネルを観察している。また、観察者から見たパネルの上方向はY軸の正方向、パネルの下方向はY軸の負方向である。パネルは地軸の鉛直方向から傾いて使用される事が多く、この状態を図18に示す。
図18は、図17のY軸、Z軸を含む平面から見た図であり、パネルと地軸の鉛直方向の傾き角度をφ、重力加速度ベクトルをGで示す。
移動量は、加速度センサ出力の時間積分により速度を算出し、算出された速度を時間積分する事により算出できる。ただし、2つの点に注意する必要がある。第1点は、積分によるノイズの蓄積である。第2点は、重力加速度の影響である。
まず、第1点のノイズの蓄積について説明する。検出された加速度にノイズが混入すると、それが単発のノイズであっても、積分の効果により、速度や移動量が大きく変化することである。すなわち、単発のノイズαが混入した信号を積分すると、そのノイズ以降の速度がα・Δtだけ変化する(ここで、Δtは、ノイズ混入から積分終了までの時間を示す)。移動量の計算においては、ノイズ混入以降、α・(Δt)2だけ変化する。このように、積分により、特に移動量に大きな変化が生じる。
このノイズに対しては、次の2つの方法が有効である。第1の方法は、ノイズを平滑化するフィルタを利用することである。第2の方法は、積分時間を短く設定することである。すなわち、積分時間が短いとΔtも小さくなるため、ノイズにより移動量の変動が小さくなる。短い積分時間で得られた短い移動量を加算することにより、所望の時間での移動量を計算できる。
次の第2点の重力加速度に関し、述べる。重力加速度は常に存在するため、全ての加速度センサ出力に混入している。このため、重力加速度の影響を排除するには、例えば、初期状態における加速度センサの出力ax0,ay0,az0を記録しておき、それ以降の加速度出力センサの出力と初期状態の加速度センサの出力との差分のみを積分において利用する。
このような方法により、重力加速度の影響を受けずに、移動量を算出することが出来る。尚、Z軸回りの回転が生じていない条件では、axへの重力加速度の影響はない。このため、Z軸回りの回転が観測されない場合は、初期状態のay0およびaz0のみを記録し差分を取る事により、算出をより簡単にすることが可能である。
傾き角に関しては、いくつかの傾きが考えられる。まず、飛行機や車の挙動に習い、ピッチ・ロール・ヨーの傾き、すなわち、各座標軸回りの回転を考える。すべての傾きは、これらピッチ・ロール・ヨーの組み合わせで表現できるため、基本的なピッチ・ロール・ヨーが解析できると全ての傾きを容易に解析できる。
ここで、座標系とピッチ・ロール・ヨーの関係を次のように定義する。ピッチは、X軸回りの回転とする。すなわち、観察者から見て、パネルの上端部(+Y側)が近づくか、パネルの下端部(−Y側)が近づくかという回転である。また、ロールは、Y軸回りの回転とする。すなわち、観察者から見て、パネルの右端部(+X側)が近づくか、パネルの左端部(−X側)が近づくかという回転である。また、ヨーは、Z軸回りの回転である。すなわち、観察者から正面から観察した平面内で、パネルが観察者の視線の方向を中心に回転するような回転である。
ここで、ピッチは次のようにして求めることが可能である。
図18にY軸、Z軸を含む平面、並びにその面内の重力加速度Gを示す。
変位は、X軸回りの回転のみとする。Y軸方向の加速度センサは、重力加速度のうちY軸に沿った成分を検出する。すなわち、GのY軸への射影である、−G・cos(φ)を検出する。観察者に静止状態で、立体視を行いやすい姿勢で筐体10を保持してもらい、その時の加速度センサの出力を初期値としてメモリすると、このGのY軸への射影成分が検出できる。この観察容易な初期状態でのY軸方向の加速度センサの出力をay0とすると、ay0=−G・cos(φ)である。重力加速度は、地上でほぼ一定の値を取るため、観察容易な初期状態でのピッチ角度Φ0は、Φ0=arccos(−ay0/G)で求めることが出来る。
同様にして、傾き角が変化した時のピッチ角度Φは、その時々の加速度センサの出力ayを用いて、Φ=arccos(−ay/G)で与えられる。このピッチ角度Φにより、初期状態のピッチ角度Φ0との変化や、時々刻々でのピッチ角度の変化を得ることが出来る。
さて、立体視の視認性に大きく影響を与える、ロールを求める方法も、ピッチを求める方法と同様である。この場合、変異は、Y軸回りの回転のみとする。Y軸方向の重力加速度成分は、図18と同様であり、−G・cos(Φ)のまま変化しない。一方、Z軸方向の重力加速度成分は、Y軸回りの回転がない図18の状態では、−G・sin(Φ)であるが、Y軸回りの回転が発生すると、Z軸方向の成分とX軸方向の成分とに分かれる。この様子を、図19に示す。
図19で、破線で示したX軸、Z軸は、Y軸回りの回転が発生する前の軸方向である。この時、重力加速度のY軸と垂直な成分は、Z軸の負方向にあり、−G・sin(Φ)である。さて、Y軸回りの角度βの回転を考える。この時、X軸およびZ軸は、図19のX’とZ’の位置にそれぞれ移動する。Z’軸上の重力加速度成分は、−G・sin(Φ)・cos(β)となる。ピッチの時の初期状態と同様に、Z軸方向の初期状態を求めておくと、β=0でのZ軸上の重力加速度成分である−G・sin(Φ)がZ軸の加速度センサの出力az0として検出される。傾き角度が変化した時のロール角度βは、その時々の加速度センサの出力azを用いて、β=arccos{−az/[G・sin(Φ)]}で与えられる。このロール角度βにより、時々刻々でのロール角度の変化を得ることが出来る。
この例では、3軸加速度センサを例として示したが、ピッチ・ロール等は2軸の加速度センサでも検出できることは自明である。
以上、傾き角および移動量の検出の一例を説明したが、傾き角の検出に地磁気センサを用い、移動量の検出に加速度センサを用いてもよい。3軸地磁気センサによる傾き角の検出方法は、前述の加速度センサによる傾き角の説明において、重力加速度を地磁気に置き換えることで説明できる。また、傾き角の検出には、角速度センサあるいはジャイロセンサ、移動量の検出には、小型カメラあるいは超音波発信源と超音波センサを適用すること可能である。
[動作の説明]
次に、本発明の実施の形態の動作について図20のフローチャートを参照して説明する。
はじめに、立体表示が開始されると同時に、筐体10の動きを検出するセンサも起動する。
次に、観察者を最適観察位置に導くために基準画面を表示する。なお、第1の実施の形態において立体表示とは、画像振分手段の機能をオンとし(例えば、パララックス・バリアパターン表示)、表示パネル11には図9(a)に示すような視差を有する画像データを送り、各々の画像を観察者の左右の眼に投影することである。
ステップ1にて観察者は基準画面の表示が立体として良好に見られるよう筐体10の位置、傾きを調整する。
次に、ステップ2にて観察者が筐体10の位置、傾きを調整した状態における検出部80の出力を初期値として記録し、所望の立体表示のコンテンツを再生する。
ステップ3にて検出部80からの出力と初期値の記録とから所定期間ΔTの移動量、傾き角を算出する。
算出された移動量、傾き角をもとにステップ4にて立体視の判定を行う。これは、算出された移動量、傾き角が、あらかじめ設定されたそれぞれの閾値よりも大きいかどうかに基づいて判定される。例えば、算出された移動量があらかじめ設定された移動量閾値よりも小さな場合、立体視が可能と判定される。また、算出された傾き角があらかじめ設定された傾き角閾値よりも小さな場合、立体視が可能と判定される。立体視が可能と判定された場合、続けてステップ5にて立体表示を行い、ステップ7に進む。
立体視が不可能と判定された場合、ステップ6にて平面表示に切り換える。第1の実施の形態において平面表示とは、画像振分手段の機能をオフにし(例えば、パララックス・バリアパターン非表示)、表示パネル11には、図9(b)に示すような視差のない画像データを送り、視差のない画像を観察者に投影することである。平面表示に切り換えた後は、ステップ3に戻り、再び所定期間ΔTの移動量、傾き角を算出する。
ステップ7では、筐体10の動きを算出する際に基準とする初期値を更新するか判定する。ステップ7の判定結果がNoの場合はステップ3に戻る。また、ステップ7の判定結果がYesの場合はステップ2に戻り、このときの検出部80の出力をステップ1で記録した初期値と置き換えて記録する。すなわち、初期値を更新する。
以後、上記のステップが繰り返される。
前述の動作フローにおいて、所定期間ΔTは、表示パネル11のフレーム周期程度から0.2秒程度の間に設定するのが好ましい。図20のフローチャートよりわかるように、ΔTが長いと筐体10の動きに対して、立体表示から平面表示への切り換えが遅れる。その結果として観察者が逆視や二重画像を観たのちに平面表示へ切換わることになる。
このため、ΔTは短い方がよいが、表示パネル11の1フレーム周期内で複数回の立体表示と平面表示を切換えようとしても表示画面全体へ画像データを切り換える時間がない。つまり、ΔTをフレーム周期よりも短くしても筐体10の動きへの切り換え追従に関しては、あまり効果がない。
なお、ステップ7は、観察者の姿勢の変化や、表示装置の持ち方を変えたりするときに起こる筐体位置および傾きの変化に対応するための機能である。したがって、ステップ7の判定は、通過毎に行う必要はない。通過回数をカウントし、適当なカウント値になったときに観察者に表示装置の操作スイッチ等から判定を入力させてもよいし、所定のカウント値のとき自動的にYesとなるようにしてもよい。ただし、移動量の検出に加速度センサを用いるときには、積算誤差をクリアする働きがあるため初期値の更新は適当に行うことが好ましい。
また、ステップ4における立体視の判定条件は、先に図13(a)、(b)〜図16(a)、(b)を用いて説明したように、表示装置の設計で決定される右眼領域70R、左眼領域70Lと、同様に設計時に設定された観察者両眼の最適位置から導かれる立体視の限界条件である。しかしながら、上記の設計条件から導かれた立体視の判定条件は、初期設定に適用し、ステップ1において観察者が立体視を行いながら、筐体10を移動させたり、傾けたりして、立体視の限界を探り、立体視の限界条件を記憶させる機能(立体視の限界時の移動量や傾き量あるいは、関連するセンサ出力を記録させる機能)を備えてもよい。この場合、観察者に作業負担がかかるが、表示装置の設計パラメータである両眼間隔、観察距離ではなく、自身の両眼間隔と好みの観察距離が反映され、個々の観察者に適した立体表示と平面表示との切り換えが可能になる。さらに、一度、記録させた立体視の限界条件を表示装置電源が切断されても保存する機能を備えれば、観察者が表示装置を使用する度に立体視の限界条件を記録させる作業せずに済む。
(第2の実施の形態)
第2の実施の形態は、前述の第1の実施の形態と同じ構成であり、観察者の両眼が立体視域にあるか判定する方法も同じである。しかし、観察者の両眼が立体視外と判定され平面表示に切り換えてから、再び立体表示を行うまでの動作が異なる。より具体的には、一旦、平面表示に切り換えたのちは、筐体10の位置および傾きが記録された初期値近傍に、戻ってから、立体表示を再開することを特徴とする。立体表示再開する初期値近傍の値(以降、2D→3D戻り値と呼ぶ)は、例えば、表示画面に大/中/小と選択肢を示し(例えば「大」は初期値の±10%、「中」は初期値の±5%、「小」は初期値の±2%とする)、観察者が好みに合わせて設定をすることが好ましい。すなわち、第2の実施の形態においては、第1の実施の形態に比べ、2D→3D戻り値を設定する機能が加わり、動作が異なる。
図21は本発明の第2の実施の形態における機能ブロック図である。第1の実施の形態と同様に、表示パネル11、画像振分手段13、表示コントローラ12から構成され、表示コントローラ12は、画像生成部100、検出部80、判定部90、表示パネル駆動回路110、画像振分制御回路111から構成される。図21に示すように、第2の実施の形態の構成は、前述のように、判定部90のなかに2D→3D戻り値設定93機能が追加された以外は、第1の実施の形態において説明したとおりである。また、観察者の両眼が立体視域にあるか判定する方法も第1の実施の形態において説明したとおりである。
2D→3D戻り値については、例えば、図10に示した右眼領域70R、左眼領域70Lを最適な観察者の右目位置、左目位置を中心として縮小した戻り値の判定用領域を算出し判定にもちいればよい。
第2の実施の形態の動作について図22のフローチャートを参照して説明する。
はじめに、立体表示が開始されると同時に、筐体10の動きを検出するセンサも起動する。
次に、観察者を最適観察位置に導くために基準画面を表示する。なお、第2の実施の形態において立体表示とは、第1の実施の形態と同じく画像振分手段の機能をオンにし(例えば、パララックス・バリアパターン表示)、表示パネルには図9(a)に示すような視差を有する画像データを送り、各々の画像を観察者の左右の眼に投影することである。
ステップ11にて観察者は基準画面の表示が立体として良好に見られるよう筐体10の位置、傾きを調整する。また、平面表示から立体表示に切り換えるときの2D→3D戻り値設定93を行う。
次に、ステップ12にて観察者が筐体10の位置、傾きを調整した状態における検出部80の出力を初期値として記録し、所望の立体表示のコンテンツを再生する。
ステップ13にて検出部80からの出力と初期値の記録から所定期間ΔTの移動量、傾き角を算出する。
算出された移動量、傾き角をもとにステップ14にて立体視の判定を行う。これは、第1の実施の形態と同様に、算出された移動量、傾き角が、あらかじめ設定されたそれぞれの閾値よりも大きいかどうかに基づいて判定される。例えば、算出された移動量があらかじめ設定された移動量閾値よりも小さな場合、立体視が可能と判定される。また、算出された傾き角があらかじめ設定された傾き角閾値よりも小さな場合、立体視が可能と判定される。立体視が可能と判定された場合、続けてステップ15にて立体表示を行い、ステップ17に進む。
立体視が不可能と判定された場合、ステップ16にて平面表示に切り換える。第2の実施の形態において平面表示とは、第1の実施の形態と同じく画像振分手段の機能をオフにし(例えば、パララックス・バリアパターン非表示)、表示パネルには、図9(b)に示すような視差のない画像データを送り、視差のない画像を観察者に投影することである。
平面表示に切り換えた後は、ステップ18に進み、所定期間ΔTの移動量、傾き角を算出する。次に、ステップ19にて、算出された移動量、傾き角が設定された2D→3D戻り値であるか判定を行う。ここで、2D→3D戻り値内であれば、ステップ15にて立体表示に切り換える。2D→3D戻り値内でなければ、平面表示のままステップ18に戻る。つまり、2D→3D戻り値内にならない限り、ステップ18とステップ19を繰り返し立体表示に復旧しない。
検出部80の出力が2D→3D戻り値内になり、立体表示に切換わった後は、ステップ17に進む。
ステップ17では、筐体10の動きを算出する際に基準とする初期値を更新するか判定する。ステップ17の判定結果がNoの場合はステップ13に戻る。また、ステップ17の判定結果がYesの場合はステップ12に戻り、このときの検出部の出力をステップ11で記録した初期値と置き換えて記録する。すなわち、初期値を更新する。
以後、上記のステップが繰り返される。
図22を用いて説明した前述の動作フローにおいて、第1の実施の形態の動作で説明したとおり、所定期間ΔTは、表示パネル11のフレーム周期程度から0.2秒程度の間に設定するのが好ましい。また、ステップ17の判定は、第1の実施の形態の動作で説明したとおり、通過毎に行う必要はない。通過回数をカウントし、適当なカウント値になったときに観察者に表示装置の操作スイッチ等から判定を入力させてもよいし、所定のカウント値のとき自動的にYesとなるようにしてもよい。さらに、ステップ14に立体視の判定条件を第1の実施の形態の動作で説明したとおり、観察者が立体視の限界条件を決定し記憶させる機能を備えてもよい。
以上の説明のように、第2の実施の形態は第1の実施の形態に比べ、処理が複雑となり機能も追加されているが、立体表示に戻すポイントを観察者が自ら設定するため、立体表示に戻るときの違和感を抑える効果や、立体表示と平面表示が頻繁に切換わることによって生じる不快感を抑制する効果が生じる。
(第3の実施の形態)
第3の実施の形態は、画像振分手段として、前述の第1および2の実施の形態において用いた電気信号によりオン/オフできる電気光学素子(例えば、パララックス・バリアパターンを表示する透過型液晶パネル)ではなく、通常の光学素子(パララックスバリア、レンチキュラレンズ等)を用いること特徴とする。画像振分手段以外の他の構成については、第1の実施の形態と同じである。
図23に第3の実施の形態の機能ブロック図を示す。
第3の実施の形態は第1の実施の形態と同様に、表示パネル11、画像振分手段13、表示コントローラ12から構成される。しかし、前述のように画像振分手段が通常の光学素子であるため、表示コントローラ12は、第1の実施の形態(図8)のから画像振分制御回路111を省いた構成となる。
図23に示すように、第3の実施の形態の表示コントローラ12は、画像生成部100、検出部80、判定部90、表示パネル駆動回路110から構成され、各々構成要素の役割については第1の実施の形態と同様であるため説明省略する。
ただし、画像生成部100で生成する平面表示に用いる2Dデータが第1の実施の形態と異なる。第3の実施の形態においては、画像振分機能をオフできない。そのため、平面表示を行うときも立体表示と同様に、表示パネルの単位画素を水平方向に、右眼用画素、左眼用画素として交互に用いることになる。このため、平面表示用に生成する各2次元画像データの水平方向の解像度も表示パネルの半分となる。画像データの生成は、第1の実施の形態と同様に、奥行き情報を含む3次元データにレンダリング処理を施す方法が好ましく、立体表示用3Dデータは、観察者の両眼に相当する仮想の2視点を設定し、一方、平面表示用の2Dデータは、観察者の両眼の中央に相当する1視点を設定しレンダリング処理を施し生成する。前述のように生成する画像データのイメージを図示すると、3Dデータは図24(a)、2Dデータは図24(b)のようになる。
第1の実施の形態と同様に、画像データの生成は、奥行き情報を含む3次元データより生成する方法が好ましいが、データ蓄積部102に予めレンダリング処理を施した図24(a)、(b)に示すような表示対象データを蓄積しておき、選択的に読み出してもよい。レンダリング処理が不要となるため、レンダリングを要する方法より演算器101の処理能力や演算速度が低くてよい。このため、画像生成部100を安価に構成できる利点がある。
第3の実施の形態の動作は、第1の実施の形態と共通点が多いため、第1の実施の形態の動作を説明した図20のフローチャートを用いて差異のみを説明する。
第3の実施の形態においては、ステップ6で平面表示に切換えるとき、画像振分手段の制御を行わない。また、第3の実施の形態における平面表示は、図24(a)に示す右眼画像を左右両画素へ送る、あるいは、左眼画像を左右両画素へ送る、または、図24(b)に示す画像データを送ることにより視差のない画像を観察者に投影することである。つまり、左右両画素へ送る画像データを互いに同一のデータとすることである。
ここで、ステップ16の平面表示は、図10及び図13(a)、(b)〜図16(a)、(b)の説明時の座標系を用いて、判定時の筐体10の移動方向がX軸の負の方向、あるいは、傾きが左回転のときは、左眼用データを左右両画素に送るとよい。また、判定時の筐体10の移動方向がX軸の正の方向、あるいは、傾きが右回転のときは、左眼用データを左右両画素に送るとよい。
前述のようにデータを切り換えることで、立体表示から平面表示の切り換わるときの違和感を減少させる効果が生まれる。ただし、我々の調査によると、観察者によっては、立体表示から平面表示に切り換るとき、筐体10の移動方向や傾き方向に関わらず、右目用データあるいは左目用データに切り換る方が自然に感じるというケースも見られた。本ケースで観察者が自然に感じるデータは、観察者の利き目と合った表示データであった。このため、ステップ6の平面表示において、左右両画素に送るデータは、観察者自らが設定できる機能を設けることがより好ましい。
また、第3の実施の形態の構成において、第2の実施の形態の適用も可能である。
この場合、機能ブロック図は図25に示すように、判定部90に2D→3D戻り値設定93機能が加わったものとなる。前述のように、第3の実施の形態の構成が第2の実施の形態の構成と異なる点は、画像振分制御回路111がない点と、画像生成部100において生成される画像データが異なる点とである。動作においては、図22に示すフローチャートが適用でき、先に説明したように、平面表示への切換え(ステップ16)における画像振分手段の制御がない点と平面表示に適用する画像データ以外は、第2の実施の形態と同じ動作である。さらに、平面表示に適用する画像データを上記のように、筐体10の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
以上、本発明の第1および第2の実施の形態と第3の実施の形態との違いについて説明した。第3の実施の形態は、第1および第2の実施の形態のように電気光学素子を使用しない。そのため、平面表示時の水平方向の解像度が劣るが、低コストと装置を製作でき、さらに装置筐体も若干小さくすることが可能であり、信頼性も高まるといった効果がある。
(第4の実施の形態)
第4の実施の形態における構成は、標準的な平面表示パネルの画像を構成する最小表示単位である1つの画素に相当する部分から、観察者の右眼と左眼とに異なる画像を投影できる表示パネルを用いることを特徴とする。前述の表示パネルとは、たとえば、特許文献1記載の時分割法式の立体表示パネルである。たとえば、標準的な平面表示パネルに対して、観察者の両眼の並ぶ方向である横方向に2倍の画素数を有する表示パネルである。
第4の実施の形態を適用した表示装置の一例は、第1の実施の形態で説明したものと同様に図6に示す正面図となる。同様に、図6中の線bにおける筐体10の断面図である図7に示すように、第4の実施の形態の表示装置は、表示パネル11、画像振分手段13、表示コントローラ12、操作スイッチ14が筐体10内に収まっている。表示パネル11は、複数の単位画素に形成された透過型液晶パネルであるが、標準的な平面表示パネルと比較し以下の特徴をもつ。
図26(a)は、標準的な平面表示パネルの画素構造の模式図であり、横方向に6個、縦方向に3個のマトリクス状に配列された画素4から構成され、画素4は各々の任意の階調表現が可能であり、入力されたデータに応じて6×3の画像を表現できる。ここで、画素4を正方形で表現しているが、説明の便宜上であり、6×3の画素から画像表現を行った際の縦横比率が等しければ、どのような形状でもよい。
一方、図26(b)に、第4の実施の形態に用いる一例の表示パネルの画素構造を図26(a)と比較したときの模式図を示す。標準的な平面表示パネルの画素4を縦に分割した形状の画素41が、横方向に12個、縦方向に3個のマトリクス状に配列する。画素41は各々任意の階調表現が可能であり、12×3の画像を表現することが可能であるが、縦に対して横が半分となっているため、表示画面サイズは、図26(a)に示す標準的な平面表示パネルと同じである。ここで、画素41を長方形で表現しているが、説明の便宜上であり、縦横の比率が2:1であれば、どのような形状でもよい。そして、立体表示を行うとき、画素41は水平方向に交互に左眼用画素4L、右眼用画素4Rとして機能するように、図27に示すように画像振分手段13であるレンチキュラレンズを配置する。
第4の実施の形態の機能ブロック図は、第3の実施の形態と同じ図23となる。
第4の実施の形態が第3の実施の形態と異なる点は、画像生成部100において生成される画像データである。画像データの生成は、前述の実施の形態と同じく、データ蓄積部102の表示対象のデータが奥行き情報を含む3次元データであり、演算器101でレンダリング処理を施すことによって2次元画像データを生成する方法が好ましい。立体表示に用いる3Dデータ、すなわち、視差を有する左右両眼用の2次元画像データは、観察者の左右両眼に相当する仮想の2視点を設定し、各々レンダリング処理を施して生成する。
一方、平面表示に用いる2Dデータ、すなわち、視差の無い画像データは、観察者の両眼の中央に相当する1視点を設定し、レンダリング処理を施し生成してもよい。第4の実施の形態の表示パネルは、水平方向に2倍の解像度を有するため、平面表示に用いる2Dデータとして、立体表示用にレンダリング処理を施した右眼用データを左右両眼用のデータとし、または、立体表示用にレンダリング処理を施した左眼用データを左右両眼用のデータとしてもよい。生成する3Dデータ、2Dデータの画像データのイメージを図示すると、図28(a)から図28(d)のようになる。
第4の実施の形態においても、データ蓄積部102に予めレンダリング処理を施した表示対象データ、すなわち、奥行き情報を含まない図28(a)に相当する2次元データの形式で蓄積しておいてもよい。この形式は、2台のカメラを用いて撮影した実写コンテンツに多く用いられている。また、図28(a)と図28(d)とに相当する2次元データを蓄積しておいてもよい。前述の通り、これらの場合、レンダリング処理が不要となるため、演算器101やメモリ103を安価に構成できる利点がある。
なお、図27において、画像振分手段13にレンチキュラレンズ用いているが、パララックスバリアを用いることも可能である。パララックスバリアを用いることにより、レンチキュラレンズに比べて明るさが劣るものの、より低コストで表示装置を製作できる効果がある。
立体視域内に観察者の両眼が位置するかを判定する方法については、第1の実施の形態で説明したとおりである。
第4実施の形態の動作は、第3の実施の形態と同様に説明できる。第4実施の形態の動作と第3の実施の形態とが違う点は、図20のフローチャートを参照し、ステップ6において適用する平面表示のデータのみである。
第4の実施の形態においても、平面表示とは、第3の実施の形態と同様に、右眼用画素4Rと左眼用画素4Lとに送る画像データを互いに同一のデータとすることである。ただし、第3の実施の形態とは適用する画像データの水平方向の解像度が異なり、画像データのイメージを図示すると、図28(b)から図28(d)のいずれでもよい。
そして、第3の実施no形態と同様に、平面表示に適用する画像データを筐体10の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
[効果]
第4の実施の形態の立体表示装置においては、図26の(b)に模式図を示す表示パネル11を使用するため平面表示と立体表示とで解像度が変わらない。このため、例えば、図20のステップ4からステップ6の平面表示切り換え時に、第1の実施の形態および第2の実施の形態では、水平方向の解像度が変化することによって違和感が生じるのに対して、違和感が発生しないという効果がある。
なお、本実施の形態では、1つの単位画素からなる立体画素ユニットを用いた構成として、単位画素に右眼用画素と左眼用画素とを水平方向に設けているが、これに限定されない。
他の例として、バックライト制御等による光学振り分け手段を用いて、単位画素から時分割に出射された光線を観察者の左右の眼に視差画像を投影する方式でも同様に適用可能で、上記と同じ効果が得られる。
(第5の実施の形態)
第5の実施の形態は、前述の第4の実施の形態の構成において、第2の実施の形態の動作を適用したものである。
第5の実施の形態における機能ブロック図は図27と同じである。第5の実施の形態と第4の実施の形態との違いは、第5の実施の形態には、判定部90のなかに第2の実施の形態で説明した2D→3D戻り値設定93機能がある点のみであり、説明を略す。
動作については、第2の実施の形態とほぼ同様である。図22のフローチャートを参照し、第5の実施の形態と第2の実施の形態との違いは、画像振分手段のオン/オフ制御がない点と、ステップ16において適用する画像データとである。第5の実施の形態において、平面表示に適用する画像データは、第4の実施の形態で説明とおり、図28(b)から図28(d)のいずれでもよい。また、適用する画像データを筐体10の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
[効果]
第5の実施の形態の立体表示装置においては、第4の実施の形態と同じく、平面表示と立体表示との解像度が同じであるため、解像度の変化による違和感が発生しないという効果、ならびに第2の実施の形態と同じく立体表示と平面表示とが頻繁に切換わることによって生じる不快感を抑制する効果がある。
(第6の実施の形態)
第6の実施の形態は、少なくとも3つ以上の各視点用画素を水平方向に設けた表示パネルを用いることを特徴とする。ここで、各視点用画素として各単位画素を用いることも可能であるが、本実施の形態の説明においては、標準的な平面表示パネルの画像を構成する最小表示単位である一つの単位画素に相当する部分に、少なくとも3つ以上の各視点用画素を水平方向に設けた表示パネルを用いて説明を行う。すなわち視点数をNとすると、標準的な平面表示パネルの画像を構成する最小表示単位である一つの画素に相当する部分に、N個の画素を設けたことを特徴とする表示パネルを用いるということである。
以下、N=4の場合を例に第6の実施の形態について説明する。
第6の実施の形態を適用した表示装置は、図6に示すように、表示パネル11、画像振分手段13、表示コントローラ12、操作スイッチ14が筐体10内に収まっている。表示パネル11は、前述のように、標準的な平面表示パネルの画像を構成する最小表示単位である1つの画素に相当する部分に4個の画素を有する。
図29は、第6の実施の形態に用いる表示パネルの画素構造の模式図である。
図26(a)に示す標準的な平面表示パネルの画素4に対して、第6の実施の形態では図29に示すように、縦に4分割した形状の画素が、横方向に24個、縦方向に3個のマトリクス状に配列する。図29の各々の画素は、任意の階調表現が可能であり(例えば、液晶パネル)、24×3の画像を表現することが可能であるが、縦に対して横が1/4となっているため、表示画面サイズは、図26(a)に示す6×3の画素から構成される標準的な平面表示パネルを同じである。図29において、画素を長方形で表現しているが、説明の便宜上であり、縦横で画素数の比率が4:1であれば、どのような形状でもよい。また、表示パネルを24×3の画素から構成しているが、説明の便宜上であり、目的に応じて総画素数を定めればよい。これらの画素は、立体表示を行うとき、水平方向に第1の視点用画素4D、第2の視点用画素4C、第3の視点用画素4B、第4の視点用画素4Aとして機能し、図29に示すように画像振分手段13であるレンチキュラレンズが配置される。
第6の実施の形態に用いる表示パネルの立体表示について図を参照して説明する。
図30は、表示パネル面と平行関係にあり、最適観察距離OD離れた観察面30に向けて画像を投影する光学モデルの断面図である。
表示パネル(図示なし)は、前述のようにマトリックス状に配列された画素となる光変調素子群から構成されており(例えば液晶パネル)、図30には、第1の視点用画素4D、第2の視点用画素4C、第3の視点用画素4B、第4の視点用画素4Aが順番に並ぶ様子のみ図示している。
画像振分手段として機能するレンチキュラレンズ3は、表示パネルの前面(観察面30側)に配置され、表示パネルの背面(レンチキュラレンズ3と反対側)には、光源(図示なし:いわゆるバックライト)が設置される。レンチキュラレンズ3は、多数のシリンドリカルレンズ3aが一次元配列されたレンズアレイである。シリンドリカルレンズ3aは、かまぼこ状の凸部を有する一次元レンズであり、長手方向にレンズ効果は持たず、その直交方向である配列方向にのみレンズ効果を有する。レンチキュラレンズ3は、表示パネルの第1の視点用画素4D、第2の視点用画素4C、第3の視点用画素4B、第4の視点用画素4Aが並ぶ方向に対して、シリンドリカルレンズ3aの長手方向が直交するように配置されている。シリンドリカルレンズ3aは、前記画素4D、4C、4B、4Aを1組として、4画素1組に対して1個設けられる。
各画素から出た光は、レンチキュラレンズ3により偏向され投影される。各々の画素から出た光の中で、最も近いシリンドリカルレンズ3aの主点(頂点)を通る光に着目し、光線として図示する。すると、全ての第1の視点用画素4Dからの投影像が重なる領域74Dと、全ての第2の視点用画素4Cからの投影像が重なる74C、同様に第3の視点用画素4Bから領域74B、第4の視点用画素4Aから領域74Aが得られる。なお、各画素のピッチをPとしたとき、最適観察距離OD離れた観察面30における投影像の幅をP’とする。
図30は、観察者50の右眼55Rを領域74B、左眼55Lを領域74Cに位置させたときのモデル図である。
ここで、第2の視点用画素4Cと第3の視点用画素4Bに送られる画像データ間に視差があれば、観察者は立体画像として認識する。また、観察者の右眼を領域74A、左眼を領域74Bに位置させてもよく、図31に示すように、第6の実施の形態においては、観察者は領域74A〜領域74Dの間で様々な組み合わせの視差画像を楽しむことが可能である。ここで、領域74Aから領域74Dに投影する画像を、表示対象を4視点からレンダリング処理した画像とすれば、観察者は観察位置を変化させることにより、異なる角度からの立体画像を楽しむことができると同時に運動視差も付与されるため、より立体感を与える効果がある。
第6の実施の形態の機能ブロックは、第4の実施の形態と同じであるため、図23を参照とする。機能ブロック図は同じであるが、用いる表示パネルが異なるため、画像生成部100において生成するデータは異なる。
画像データの生成は、前述の実施の形態を同じく、データ蓄積部102の表示対象のデータが奥行き情報を含む3次元データであり、演算器101でレンダリング処理を施すことによって2次元画像データを生成する方法が好ましい。立体表示に用いる3Dデータ、すなわち、視差を有する4つの2次元画像データは、仮想の4視点を設定し、各々レンダリング処理を施して生成する。
一方、平面表示に用いる2Dデータ、すなわち、視差の無い画像データは、観察者の両眼の中央に相当する1視点を設定し、レンダリング処理を施し生成してもよい。第6の実施形態の表示パネルは、水平方向に4倍の解像度を有するため、平面表示に用いる2Dデータとして、立体表示用にレンダリング処理を施したデータ(4画像)のうちの1つを利用してもよい。
生成する3Dデータ、2Dデータの画像データのイメージを図32(a)、図32(b)に示す。
ここで、データ蓄積部に予めレンダリング処理を施した表示対象データ、すなわち、奥行き情報を含まない図32(a)に相当する2次元データの形式で蓄積しておいてもよい。例えば4台分のカメラを用いて撮影した実写コンテンツにも対応できる。また、図32(a)と図32(b)とに相当する2次元データを蓄積しておいてもよい。これらの場合、レンダリング処理が不要となるため、演算器やメモリを安価に構成できる利点がある。
上記のようにして、画像生成部100は、2D/3Dデータを判定部90からの信号に応じて、2D/3Dデータを生成し、表示パネル駆動回路110へ出力する。
なお、第6の実施の形態の構成において、画像振分手段13にレンチキュラレンズ用いているが、パララックスバリアを用いることも可能である。パララックスバリアを用いることにより、レンチキュラレンズに比べて明るさが劣るものの、より低コストで表示装置を製作できる効果がある。
第6の実施の形態において、立体視域内に観察者の両眼が位置するかを判定する条件は、図30に示した菱形の領域74A〜74Dの境界線情報を利用すればよい。ただし、図31に示す領域74A〜領域74Dの組み合わせが許容される。さらに、例えば、領域74Aと領域74Bとに投影される画像にあまり視差がなく、二重画像が気にならなければ、図33に示す両方みえる位置も許容される。したがって、本実施の形態においては、観察者が好みに合わせてように立体視の条件を決定することが好ましい。
[動作の説明]
第6の実施の形態の動作は、第3および第4実施形態の動作と同様に図20に示すフローチャートで説明できる。動作において違う点は、ステップ6において適用する平面表示のデータが異なる点である。第6の実施の形態において平面表示とは、第1の視点用画素から第4の視点用画素に送る画像データを全て同じすることである。画像データのイメージを図示すると、図32(a)のいずれか、あるいは、図32(b)となる。
また、図20のステップ4における立体視の判定は、他の実施の形態においても説明したように、設計条件から導かれた立体視の判定条件は初期設定に適用し、ステップ1において観察者が立体視を行いながら、筐体10を移動させたり、傾けたりして、立体視の限界を探り、立体視の限界条件を記憶させてもよい。先の判定する条件の説明で述べたように、第6の実施の形態においては、特にこの方法が有効である。
さらに、ステップ6の平面表示は、判定時の筐体10の移動方向がX軸の負の方向、あるいは、傾きが左回転のときは、第1の視点用データを4種の画素に送るとよい。また、判定時の筐体の移動方向がX軸の正の方向、あるいは、傾きが右回転のときは、第4の視点用データを4種の画素に送るとよい。前述のようにデータを切り換えることで、立体表示から平面表示の切り換わるときの違和感を減少させる効果が生まれる。
ただし、我々の調査によると、観察者によっては、立体表示から平面表示に切り換るとき、筐体10の移動方向や傾き方向に関わらず、第1・第2視点用データあるいは第3・第4視点用データに切り換る方が自然に感じるというケースも見られた。本ケースで観察者が自然に感じるデータは、観察者の利き目と合った表示データであった。このため、ステップ6の平面表示において、4種の画素に送るデータは、観察者自らが設定できる機能を設けることが好ましい。
以上、第6の実施の形態の説明を4視点分の画素を設けるパネルとして行ったが、視点数はN視点としてよい。その場合は、画像生成部100で生成する画像データもN視点分用意する。
(第7の実施の形態)
第7の実施の形態は、前述の第6の実施の形態の構成において、第2の実施の形態の動作を適用したものであり、平面表示に切り換えてから、再び立体表示を行うまでの動作が異なる。
構成については、判定部90のなかに2D→3D戻り値設定93機能がある点以外は第6の実施の形態と同じであるため説明を略す。また、第7の実施の形態に用いる表示パネルは、第6の実施の形態と同様に、4視点分の画素を有するパネルとして説明するが、視点数はN、画像データ数もN視点分としてよい。
第7の実施の形態の動作は、第3および第5実施形態の動作と同様に図22に示すフローチャートで説明できる。ステップ16において適用する平面表示のデータは、第6の実施形態と同様に、図32(a)のいずれか、あるいは、図32(b)となる。
また、ステップ16の平面表示を行うときの適用データは、第6の実施の形態で説明したように、筐体10の移動、傾き方向に応じて選択したり、観察者の利き目と合わせて選択したりする機能を備えてもよい。
第7の実施の形態の立体表示装置においては、第6の実施の形態と同じく、観察者が違う角度からの立体画像を楽しむことができると同時に運動視差も付与され、より立体感を与える効果がある。
本発明は、携帯電話、携帯型パソコン、携帯型ゲーム機、携帯メディアプレーヤー等の携帯型情報端末(端末装置)に適用できる。
以上説明したように本発明の立体表示装置は、表示装置を含む筐体の動きを検出し、立体表示が適当でない状況では、視差の無い画像を投影することにより、観察者に不快感を与えず、めまいや乗り物酔いのような症状を起こさない効果がある。立体視域の判定を筐体の動きの検出と演算から行うことにより、カメラや視点位置検出の画像処理機能、および赤外線照射装置を必要とした従来の視線追従型と比較し、簡易に安価な表示装置を提供できる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2008年11月26日に出願された日本出願特願2008−300965を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (20)

  1. 立体表示と平面表示とのどちらか一方で画像を表示する表示装置であって、
    当該表示装置の動きを検出する検出部と、
    前記検出部が検出した当該表示装置の動きを示す値と、あらかじめ設定された閾値とを比較する判定部と、
    前記判定部における比較の結果に基づいて、少なくとも2つの視差を有する画像データと、視差の無い画像データとのどちらか一方を生成して出力する画像生成部と、
    複数の単位画素から構成され、前記画像生成部が出力した画像データを表示する表示パネルと、
    前記表示パネルに表示された画像データの、該表示パネルから外部への投影を制御する画像振分手段とを有し、
    前記検出部は、前記表示装置の動きとして当該表示装置の傾き角を検出し、
    前記判定部は、前記検出部が検出した傾き角と、あらかじめ設定された傾き角閾値とを比較し、
    前記画像生成部は、前記判定部における比較の結果、前記傾き角が前記傾き角閾値よりも小さな場合、前記視差を有する画像データを生成し、それ以外の場合は、前記視差の無い画像データを生成する表示装置。
  2. 請求項1に記載の表示装置において、
    前記検出部は、加速度センサまたは地磁気センサまたはジャイロセンサの角速度センサであることを特徴とする表示装置。
  3. 請求項1または請求項2に記載の表示装置において、
    前記検出部は、前記表示装置の動きとして、さらに当該表示装置の移動量を検出し、
    前記判定部は、前記検出部が検出した移動量とあらかじめ設定された移動量閾値とをさらに比較し、
    前記画像生成部は、前記判定部における比較の結果、前記傾き角が前記傾き角閾値よりも小さく、前記移動量が前記移動量閾値よりも小さな場合、前記視差を有する画像データを生成し、それ以外の場合は、前記視差の無い画像データを生成することを特徴とする表示装置。
  4. 請求項3に記載の表示装置において、
    前記検出部は、加速度センサまたは超音波センサまたは小型カメラであることを特徴とする表示装置。
  5. 立体表示と平面表示とのどちらか一方で画像を表示する表示装置であって、
    当該表示装置の動きを検出する検出部と、
    前記検出部が検出した当該表示装置の動きを示す値と、あらかじめ設定された閾値とを比較する判定部と、
    前記判定部における比較の結果に基づいて、少なくとも2つの視差を有する画像データと、視差の無い画像データとのどちらか一方を生成して出力する画像生成部と、
    複数の単位画素から構成され、前記画像生成部が出力した画像データを表示する表示パネルと、
    前記表示パネルに表示された画像データの、該表示パネルから外部への投影を制御する画像振分手段とを有し、
    前記画像生成部は、前記判定部における比較の結果、前記表示装置の動きを示す値が前記閾値よりも小さな場合、前記視差を有する画像データを生成し、それ以外の場合は、前記視差の無い画像データを生成し、前記検出部が検出した当該表示装置の動きの方向に応じて任意の視点用画像を選択して出力する表示装置。
  6. 請求項1乃至5のいずれか1項に記載の表示装置において、
    前記立体表示と前記平面表示とが互いに同じ解像度であることを特徴とする表示装置。
  7. 請求項1乃至5のいずれか1項に記載の表示装置において、
    前記立体表示が、2つ以上の視点画像の表示を行うことを特徴とする表示装置。
  8. 請求項1乃至7のいずれか1項に記載の表示装置において、
    前記画像振分手段は、電気光学素子からなることを特徴とする表示装置。
  9. 請求項8に記載に表示装置において、
    前記画像振分手段は、前記判定部における比較の結果、前記表示装置の動きを示す値が前記閾値よりも小さな場合、オンとし、それ以外の場合は、オフとすることを特徴とする表示装置。
  10. 請求項1乃至7のいずれか1項に記載の表示装置において、
    前記画像生成部は、前記判定部における比較の結果にかかわらず、前記視差を有する画像データを生成し、
    前記表示パネルは、前記判定部における比較の結果、前記表示装置の動きを示す値が前記閾値よりも小さな場合、前記単位画素を用いて少なくとも2つの視差を有する前記画像データを表示し、それ以外の場合は、前記単位画素を用いて前記視差を有する画像データのうち1つの画像データを表示することを特徴とする表示装置。
  11. 請求項1乃至9のいずれか1項に記載の表示装置において、
    前記表示パネルは、各単位画素を右眼用画素と左眼用画素とし、少なくとも2つの単位画素から構成される立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
  12. 請求項1乃至9のいずれか1項に記載の表示装置において、
    前記表示パネルは、前記単位画素に右眼用画素と左眼用画素とを水平方向に設け、1つの単位画素から構成される立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
  13. 請求項1乃至9のいずれか1項に記載の表示装置において、
    前記表示パネルは、少なくとも3つ以上の単位画素から構成される各視点用画素を立体画素ユニットとして水平方向に設け、該立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
  14. 請求項1乃至9のいずれか1項に記載の表示装置において、
    前記表示パネルは、少なくとも3つ以上の各視点用画素を1つの単位画素内に立体画素ユニットとして水平方向に設け、1つの単位画素から構成される立体画素ユニットを用いて前記画像データを表示することを特徴とする表示装置。
  15. 請求項1乃至14のいずれか1項に記載の表示装置において、
    前記画像生成部は、奥行き情報を持つ表示対象データに対して、該奥行き情報に応じた視差量を展開することを特徴とする表示装置。
  16. 請求項1乃至14のいずれか1項に記載の表示装置において、
    前記画像生成部は、左眼用と中央用と右眼用との3つの画像を有する表示対象データに対して、前記少なくとも2つの視差を有する画像データを該左眼用の画像データおよび右眼用の画像データとし、前記視差の無い画像データを該中央用の画像データとすることを特徴とする表示装置。
  17. 請求項1乃至16のいずれか1項に記載の表示装置において、
    前記画像生成部は、前記視差の無い画像データを生成する場合、外部から設定された観察者の利き目に応じて任意の視点用画像を選択して出力することを特徴とする表示装置。
  18. 請求項1乃至17のいずれか1項に記載の表示装置を用いた端末装置。
  19. 画像を表示装置に表示する表示方法であって、
    前記表示装置の動きを検出する検出処理と、
    前記検出した当該表示装置の動きと、あらかじめ設定された閾値とを比較する比較処理と、
    前記比較の結果に基づいて、少なくとも2つの視差を有する画像データと、視差の無い画像データとのどちらか一方を生成する生成処理と、
    前記生成した画像データを表示する処理とを有し、
    前記検出処理は、前記表示装置の傾き角を検出し、
    前記比較処理は、前記検出した傾き角と、あらかじめ設定された傾き角閾値とを比較し、
    前記生成処理は、前記比較の結果、前記傾き角が前記傾き角閾値よりも小さな場合、前記視差を有する画像データを生成し、それ以外の場合は、前記視差の無い画像データを生成する表示方法。
  20. 請求項19に記載の表示方法において、
    前記検出処理は、さらに前記表示装置の移動量を検出し、
    前記比較処理は、前記検出した移動量と、あらかじめ設定された移動量閾値とをさらに比較し、
    前記生成処理は、前記比較の結果、前記傾き角が前記傾き角閾値よりも小さく、前記移動量が前記移動量閾値よりも小さな場合、前記視差を有する画像データを生成し、それ以外の場合は、前記視差の無い画像データを生成することを特徴とする表示方法。
JP2010540421A 2008-11-26 2009-10-07 表示装置、端末装置および表示方法 Active JP5170254B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010540421A JP5170254B2 (ja) 2008-11-26 2009-10-07 表示装置、端末装置および表示方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008300965 2008-11-26
JP2008300965 2008-11-26
PCT/JP2009/067469 WO2010061689A1 (ja) 2008-11-26 2009-10-07 表示装置、端末装置および表示方法
JP2010540421A JP5170254B2 (ja) 2008-11-26 2009-10-07 表示装置、端末装置および表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012278159A Division JP5497882B2 (ja) 2008-11-26 2012-12-20 表示装置、端末装置および表示方法

Publications (2)

Publication Number Publication Date
JPWO2010061689A1 JPWO2010061689A1 (ja) 2012-04-26
JP5170254B2 true JP5170254B2 (ja) 2013-03-27

Family

ID=42225569

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010540421A Active JP5170254B2 (ja) 2008-11-26 2009-10-07 表示装置、端末装置および表示方法
JP2012278159A Active JP5497882B2 (ja) 2008-11-26 2012-12-20 表示装置、端末装置および表示方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012278159A Active JP5497882B2 (ja) 2008-11-26 2012-12-20 表示装置、端末装置および表示方法

Country Status (5)

Country Link
US (2) US9122064B2 (ja)
EP (1) EP2365701A1 (ja)
JP (2) JP5170254B2 (ja)
CN (3) CN104914587B (ja)
WO (1) WO2010061689A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7084107B2 (ja) 2014-04-02 2022-06-14 アルケマ フランス 溶融状態で高いレベルの流動性を有する、新規耐衝撃性改質熱可塑性組成物

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2355526A3 (en) 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP5898842B2 (ja) 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
JP5800501B2 (ja) * 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
US20110304695A1 (en) * 2010-06-10 2011-12-15 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP5263355B2 (ja) 2010-09-22 2013-08-14 株式会社ニコン 画像表示装置及び撮像装置
CN102447919A (zh) * 2010-10-08 2012-05-09 宏碁股份有限公司 三维视频图像调整方法及装置
JP6021296B2 (ja) 2010-12-16 2016-11-09 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
JP2015038650A (ja) * 2010-12-24 2015-02-26 株式会社東芝 情報処理装置及び情報処理方法
JP5122659B2 (ja) * 2011-01-07 2013-01-16 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
JP2012243012A (ja) * 2011-05-18 2012-12-10 Sony Corp 表示制御装置、表示制御方法、プログラム、および記録媒体
JP5770018B2 (ja) * 2011-06-03 2015-08-26 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法及び表示制御システム
US9914056B2 (en) 2011-06-03 2018-03-13 Nintendo Co., Ltd. Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
EP2549720A1 (en) * 2011-07-22 2013-01-23 ST-Ericsson SA Method for a mobile electronic device and such a mobile electronic device
JP6380881B2 (ja) 2012-07-31 2018-08-29 Tianma Japan株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
TWI509289B (zh) * 2012-08-27 2015-11-21 Innocom Tech Shenzhen Co Ltd 立體顯示裝置及其影像顯示方法
CN102798982B (zh) * 2012-08-31 2015-11-25 深圳超多维光电子有限公司 一种立体显示设备及立体显示控制方法
TWI463181B (zh) * 2012-09-25 2014-12-01 Au Optronics Corp 三維顯示器系統及其控制方法
JP5639138B2 (ja) * 2012-10-24 2014-12-10 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US9118911B2 (en) * 2013-02-07 2015-08-25 Delphi Technologies, Inc. Variable disparity three-dimensional (3D) display system and method of operating the same
CN105378541B (zh) * 2013-03-25 2018-06-15 约瑟夫·杰格 振动格栅空间可视化装置
JP6604493B2 (ja) * 2013-09-26 2019-11-13 Tianma Japan株式会社 立体画像表示装置及び端末装置
JP6443654B2 (ja) * 2013-09-26 2018-12-26 Tianma Japan株式会社 立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム
KR20150093014A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10156723B2 (en) * 2016-05-12 2018-12-18 Google Llc Display pre-distortion methods and apparatus for head-mounted displays
CN106454326A (zh) * 2016-10-13 2017-02-22 张家港康得新光电材料有限公司 串扰值的测试装置
EP3425907B1 (en) * 2017-07-03 2022-01-05 Vestel Elektronik Sanayi ve Ticaret A.S. Display device and method for rendering a three-dimensional image
JP2019066753A (ja) * 2017-10-04 2019-04-25 三菱電機株式会社 立体画像表示装置
WO2019150880A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020004275A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体
US10795176B2 (en) * 2018-08-24 2020-10-06 3D Media Ltd Three-dimensional display adapted for viewers with a dominant eye
JP7105173B2 (ja) * 2018-11-02 2022-07-22 京セラ株式会社 3次元表示装置、ヘッドアップディスプレイ、移動体、およびプログラム
JP7433902B2 (ja) * 2019-04-26 2024-02-20 Tianma Japan株式会社 表示装置
JP2021131490A (ja) * 2020-02-20 2021-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP7475191B2 (ja) * 2020-04-28 2024-04-26 京セラ株式会社 眼間距離測定方法および較正方法
US11538214B2 (en) * 2020-11-09 2022-12-27 Meta Platforms Technologies, Llc Systems and methods for displaying stereoscopic rendered image data captured from multiple perspectives

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294861A (ja) * 2003-03-27 2004-10-21 Sanyo Electric Co Ltd 立体映像表示装置
JP2004356997A (ja) * 2003-05-29 2004-12-16 Fuji Photo Film Co Ltd 立体視画像管理装置および方法並びにプログラム
JP2005006114A (ja) * 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2005151080A (ja) * 2003-11-14 2005-06-09 Sanyo Electric Co Ltd 立体映像表示装置
JP2005266293A (ja) * 2004-03-18 2005-09-29 Mitsubishi Electric Corp 液晶表示装置及び画像表示システム
JP2007318184A (ja) * 2004-08-18 2007-12-06 Sharp Corp 立体画像生成装置及びその立体画像生成方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3387624B2 (ja) * 1994-05-20 2003-03-17 キヤノン株式会社 立体ディスプレイ装置
JP3030243B2 (ja) 1995-02-22 2000-04-10 三洋電機株式会社 立体映像表示装置
DE69733233T2 (de) * 1996-09-11 2006-01-19 Canon K.K. Bildverarbeitung zur dreidimensionalen Wiedergabe von Bilddaten auf der Anzeige eines Bildaufnahmegeräts
JP3397602B2 (ja) * 1996-11-11 2003-04-21 富士通株式会社 画像表示装置及び方法
JPH1172697A (ja) 1997-08-28 1999-03-16 Nec Corp 視点位置検出方法及び検出装置
JPH11234703A (ja) 1998-02-09 1999-08-27 Toshiba Corp 立体表示装置
JP3646969B2 (ja) * 1998-05-25 2005-05-11 富士通株式会社 3次元画像表示装置
JP4149037B2 (ja) 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
JP2000152285A (ja) 1998-11-12 2000-05-30 Mr System Kenkyusho:Kk 立体画像表示装置
JP3585781B2 (ja) 1999-08-31 2004-11-04 株式会社東芝 立体表示装置
JP3969252B2 (ja) * 2002-08-27 2007-09-05 日本電気株式会社 立体画像平面画像切換表示装置及び携帯端末装置
US7199845B2 (en) * 2002-09-26 2007-04-03 Sharp Kabushiki Kaisha 2D/3D switch liquid crystal display panel and 2D/3D selection liquid crystal display
CN1329765C (zh) * 2002-10-30 2007-08-01 株式会社半导体能源研究所 显示装置和电子设备
WO2004093467A1 (ja) * 2003-04-17 2004-10-28 Sharp Kabushiki Kaisha 3次元画像作成装置、3次元画像再生装置、3次元画像処理装置、3次元画像処理プログラムおよびそのプログラムを記録した記録媒体
WO2004107763A1 (ja) * 2003-05-28 2004-12-09 Sanyo Electric Co., Ltd. 立体映像表示装置及びプログラム
JP2005167310A (ja) 2003-11-28 2005-06-23 Sharp Corp 撮影装置
JP2006023599A (ja) 2004-07-09 2006-01-26 Ts Photon:Kk 2d/3d切換式ディスプレイシステム
JP2006047507A (ja) 2004-08-02 2006-02-16 Sharp Corp 表示装置及び表示方法
JP4619216B2 (ja) 2005-07-05 2011-01-26 株式会社エヌ・ティ・ティ・ドコモ 立体画像表示装置及び立体画像表示方法
JP2007047294A (ja) 2005-08-08 2007-02-22 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP4977995B2 (ja) 2005-10-26 2012-07-18 日本電気株式会社 携帯表示装置
JP5006587B2 (ja) * 2006-07-05 2012-08-22 株式会社エヌ・ティ・ティ・ドコモ 画像提示装置および画像提示方法
KR100823197B1 (ko) * 2007-03-02 2008-04-18 삼성에스디아이 주식회사 전자 영상 기기 및 그 구동방법
KR20080093637A (ko) * 2007-04-17 2008-10-22 삼성전자주식회사 입체 영상 표시 장치 및 방법
JP2008300965A (ja) 2007-05-29 2008-12-11 Funai Electric Co Ltd 電話機

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294861A (ja) * 2003-03-27 2004-10-21 Sanyo Electric Co Ltd 立体映像表示装置
JP2004356997A (ja) * 2003-05-29 2004-12-16 Fuji Photo Film Co Ltd 立体視画像管理装置および方法並びにプログラム
JP2005006114A (ja) * 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2005151080A (ja) * 2003-11-14 2005-06-09 Sanyo Electric Co Ltd 立体映像表示装置
JP2005266293A (ja) * 2004-03-18 2005-09-29 Mitsubishi Electric Corp 液晶表示装置及び画像表示システム
JP2007318184A (ja) * 2004-08-18 2007-12-06 Sharp Corp 立体画像生成装置及びその立体画像生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7084107B2 (ja) 2014-04-02 2022-06-14 アルケマ フランス 溶融状態で高いレベルの流動性を有する、新規耐衝撃性改質熱可塑性組成物

Also Published As

Publication number Publication date
US9122064B2 (en) 2015-09-01
CN104914587A (zh) 2015-09-16
JPWO2010061689A1 (ja) 2012-04-26
WO2010061689A1 (ja) 2010-06-03
JP5497882B2 (ja) 2014-05-21
US9880395B2 (en) 2018-01-30
EP2365701A1 (en) 2011-09-14
CN104914587B (zh) 2017-12-01
US20150338669A1 (en) 2015-11-26
CN104409032B (zh) 2017-05-10
JP2013128285A (ja) 2013-06-27
US20110221750A1 (en) 2011-09-15
CN102292998A (zh) 2011-12-21
CN104409032A (zh) 2015-03-11
CN102292998B (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
JP5497882B2 (ja) 表示装置、端末装置および表示方法
CN103595987B (zh) 立体图像显示装置、图像处理装置及图像处理方法
JP5006587B2 (ja) 画像提示装置および画像提示方法
US9432657B2 (en) Naked-eye stereoscopic display apparatus, viewpoint adjustment method, and naked-eye stereoscopic vision-ready video data generation method
CN103595988A (zh) 立体图像显示装置、图像处理装置及图像处理方法
JP2010171608A (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP2015210297A (ja) 立体画像表示装置,立体画像表示方法,及び立体画像表示プログラム
JP2008146221A (ja) 画像表示システム
KR20120051287A (ko) 사용자 위치 기반의 영상 제공 장치 및 방법
JP6238532B2 (ja) 画像表示装置及び画像表示方法
KR20140067575A (ko) 삼차원 이미지 구동 방법 및 이를 수행하는 입체 영상 표시 장치
JP2018121114A (ja) 表示装置
US20190273914A1 (en) System and method for enhanced motion parallax in a 3d display
JP4929768B2 (ja) 視覚情報呈示装置及び視覚情報呈示方法
US20190141314A1 (en) Stereoscopic image display system and method for displaying stereoscopic images
JP2008541165A (ja) フラットパネルディスプレイを利用した3次元映像表示装置
JP2015037282A (ja) 画像処理装置、画像処理方法及びプログラム
JP6677387B2 (ja) 立体画像表示装置及び立体画像表示方法
JP2013168781A (ja) 表示装置
KR101093929B1 (ko) 깊이 지도를 이용하여 3차원 영상을 표시하는 방법 및 시스템
WO2013031864A1 (ja) 表示装置
KR20120070362A (ko) 입체영상표시장치 및 그 구동방법
US20170052684A1 (en) Display control apparatus, display control method, and program
Sakamoto et al. Design of monocular multiview stereoscopic 3D display
JP2015119228A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121217

R150 Certificate of patent or registration of utility model

Ref document number: 5170254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250