JP4005782B2

JP4005782B2 - 携帯型情報処理端末装置

Info

Publication number: JP4005782B2
Application number: JP2001280828A
Authority: JP
Inventors: 研一亀山
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-09-14
Filing date: 2001-09-14
Publication date: 2007-11-14
Anticipated expiration: 2021-09-14
Also published as: JP2003084701A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を表示するための携帯型情報処理端末装置に関する。
【０００２】
【従来の技術】
近年、携帯電話や携帯型コンピュータの著しい性能向上に伴い、より多くの情報を効率的に表示する技術が強く求められるようになってきている。しかし、携帯機器では可搬性が重要であるため、機器をできるだけ小型化したいという欲求が強く、単純にディスプレイサイズを拡大することは好ましくない。ディスプレイの解像度を上げ、より小さいながらもより詳細な像を表示することは可能だが、文字の可読性や目の疲労等の問題から好ましい方法とは言えない。例えば、６０歳以上の高齢者では、文字の大きさを、背景が白地の場合で１０ポイント、複雑な背景の場合で１２ポイント以上にしないと読みづらいという調査結果が得られている（日経新聞２００１／９／９）。色合いや透明度を変えて、重ね書きする方法も提案されているが、像を見やすくするためには、状況に応じて表示物を適切に配置しなければならず、携帯機器にはそぐわない計算機パワーが必要となる。また、ディスプレイをフレキシブルにして画面を巻き取ったり、折りたたむアイデアもあるが、信頼性や耐久性の面で課題がある。また、機器の持ち方やボタンを利用して表示画面をスクロールする技術も開発されているが、必ずしも使い勝手は良くなかった。
一方、ヘッドマウンティドディスプレイ（以下、ＨＭＤと記述する）やフェイスマウントディスプレイ（以下、ＦＭＤと記述する）のように高精細表示素子と拡大光学系をディスプレイ使用者の眼前に配置するシステムでは、大画面を見ることは可能だが、装置を観察者に固定装着する必要があり、煩わしかった。観察者の頭部にプロジェクタを装着し、映像を投射するヘッドマウンティドプロジェクタ（以下、ＨＭＰと記述する）についても同様である。
【０００３】
また、１枚の像の観察角度を変えると複数の異なるイメージが見えるという技術もある。しかし、この技術は、静止イメージを対象としたものであり、携帯機器を対象とした電子ディスプレイへの適用例は存在しなかった。
【０００４】
【発明が解決しようとする課題】
上述したように、従来の携帯電話や携帯型コンピュータのディスプレイでは、画面が小さいため、多くの情報を素早く眺めるためには画面のスクロール等の手段をつかわざるをえず不便であった。ディスプレイ自体を折り曲げたり、畳むことで可搬性をあげる方法もあるが、機構が複雑になるため信頼性に乏しかった。また、ディスプレイを高精細化し、像を縮小して眺める方法も文字の可読性や目の疲労の問題から好ましい方法とは言えなかった。
【０００５】
別の方法として、超小型ディスプレイの画像を光学系を用いて拡大し、虚像として提示するＨＭＤやＦＭＤ、ＨＭＰのような方法もある。しかし、ＨＭＤやＦＭＤ、ＨＭＰで安定して画像を見るためには、使用者の顔面にディスプレイが近接するように装置を頭部に固定装着させる必要がある。近年、非球面プリズム等の採用により、ディスプレイの軽量化、小型化は進んでいるが、このような機器の顔面への近接、頭部への装着は、不快なものであり、かつ着脱も不便である。また、観察者の知覚する像の奥行き位置と光学系によって作られる像の奥行き位置、および目の光軸とディスプレイの光軸が合わない状態で長時間像を見つづけると、眼の輻輳・調節機能が自然視と異なった状態となるために、著しい眼の疲労を覚える場合がある。特にＨＭＤ、ＦＭＤ、ＨＭＰでは着脱の不便さから長時間、像を観察する可能性が高いため、この眼の疲労が特に問題となっていた。
【０００６】
一方、このような携帯機器の大部分は個人のみが使用するものであり、他人から表示情報を覗き込まれたくないという要求もある。実際、携帯電話や携帯コンピュータ向けの覗き見防止用フィルターが販売されているほどである。
【０００７】
本発明は、上記事情を考慮してなされたもので、より多くの情報を同時に提示可能な携帯型情報処理端末装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る携帯型情報処理端末装置は、第１の画像を表示する第１の表示素子と、前記第１の画像の観察方向を特定する光学部品と、前記第１の画像を透過させ且つ外光を反射させる反射材と、前記第１の画像を透過させ且つ前記反射材による反射光を光源として第２の画像を表示する第２の表示素子と、少なくとも前記第１の表示素子に表示させる前記第１の画像を生成するための情報処理装置とを備えたことを特徴とする。
【０００９】
また、本発明に係る携帯型情報処理端末装置は、各観察方向に対応する領域にそれぞれ各観察方向に対応する画像を表示する小型表示素子と、前記各観察方向に対応する領域に表示された前記各観察方向に対応する画像に対してそれぞれ当該観察方向を特定する光学部品と、前記各観察方向に対応する画像をそれぞれ生成するための情報処理装置とを備えたことを特徴とする。
【００１０】
携帯機器向けディスプレイとして望ましい属性は例えば以下のようになる。１．持ち運び時のサイズが小さい
２．より多くの情報が一度に表示できる
３．他人から覗きこまれない
４．使用時、体を拘束しない（装着型ではない）
５．壊れにくい
本発明では、これらの属性を満たすために、例えば、立体ディスプレイやプロジェクタ等に適用される光学系を応用することができる。例えば、立体ディスプレイやプロジェクタでは、画像の観察方向を制限するような光指向性素子を用いる。背面プロジェクタと同じ光学系を用いた場合、指向性を強くすれば像を明るくかつ観察領域を狭くすることが可能である。従って、このプロジェクタ像よりも低い輝度の像が常に表示されるようにすれば、像が観察できない場合に他の情報の表示に用いることが可能である。また、例えば、立体ディスプレイに用いられるレンティキュラレンズは画素ごとに異なる指向性を付与できるため、左右両眼に夫々の視点からの像を提示できる。すなわち、観察角度を変えれば異なる画像を提示できる。立体ディスプレイでは左右眼に視差を与えるために画像は左右に分離される構成だが、上下に分割するように構成すれば、上下にディスプレイを傾けることによって、異なる２次元像を提示できる。観察角度はミラーやプリズムを使って変えられるため、一つのディスプレイでありながら、同一方向から複数の異なる像を眺めることが可能となる。また、画像に指向性を与える機構の副作用として、画像情報を他人から覗き込まれにくくすることも可能となる。
【００１１】
このように本発明によれば、より多くの情報を同時に提示させることができる。使用者は、視点を変更するかまたは端末装置を前後あるいは左右に傾けるなどすることによって、複数の画像情報を表示素子上の画像を変更することなく観察可能となる。また、使用者は、より多くの情報を素早く眺めることができる。
【００１２】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００１３】
（第１の実施形態）
図１に、本発明の第１の実施形態に係る携帯型情報処理端末装置の構成例を示す。
【００１４】
図１に示されるように、本携帯型情報処理端末装置は、小型表示素子（第１の表示素子）１、光学部品２、反射材３、表示素子（第２の表示素子）５、情報処理装置７を備えている。また、位置指示装置６と瞳位置検出装置８の一方又は双方を更に備えてもよい。
【００１５】
小型表示素子１は、微小画像を生成するための素子であり、情報処置装置４から与えられる電気的信号により画像を表示する。小型表示素子１は、例えば、液晶と光源、有機エレクトロルミネッセンスデバイス（有機ＥＬ）、フィールドエミッションデバイス（ＦＥＤ）、または発光ダイオード（ＬＥＤ）等を用いて構成することができる。
【００１６】
光学部品２は、画像を拡大しかつその観察方向を特定するものである。光学素子２は、例えば、レンズ、プリズム、ミラー、ホログラフィック素子（ＨＯＥ）もしくは散乱板等の要素、またはそれらの組み合わせから構成される。
【００１７】
反射材３は、可視光の一部を透過させるものであり、小型表示素子１の像を透過させつつ、図中の４で示すような外光を反射する素材である。
【００１８】
表示素子５は、この反射光により可視となる表示素子である。表示素子５は、表示パタンを変化させられるものであってもよいし、変化させられないものであってもよい。
【００１９】
なお、表示素子１の表示輝度または空間周波数を、第２の表示素子５の表示輝度または空間周波数に比べて高くするのが望ましい。
【００２０】
位置指示装置６は、表示面の位置を特定するものである。位置指示装置６には、例えば、タブレットなどに用いられる感圧シートを用いることができる。
【００２１】
情報処理装置７は、第１の表示素子１による画像または像（例えば、表示素子５が表示パタンを変化させられないものである場合）、または第１の表示素子１と第２の表示素子５による画像または像（例えば、表示素子５が表示パタンを変化させられるものである場合）を生成するための処理を行う機能を持つ。情報処理装置７は、例えば、マイクロコンピュータおよびソフトウェア、あるいは専用の半導体素子等を用いて構成することができる。
【００２２】
瞳位置検出装置８は、端末使用者（観察者）の左右どちらか又は両方の瞳位置を検出する装置である。瞳位置検出装置８には、例えば、小型ＣＣＤカメラを用いてもよい。このカメラを用いた使用者の瞳位置を認識法については、例えば、文献（福井、山口著「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８０−Ｄ２、Ｎｏ．８、ｐｐ．２１７０−２１７）などがある。
【００２３】
次に、本実施形態において、観察位置を僅かに変化させるだけで全く異なる像を眺めることができる原理について簡単に説明する。まず、光学部品２として例えばズームとフレネルレンズを用いた構成とすると、第１の表示素子１による像２０が観察できる領域２２は、図２に示すような限られた部分になる。従って、第１の表示素子１による像２０が、第２の表示素子５による像２１より明るく鮮明であれば、領域２２に使用者の目２３がある場合、第１の表示素子１による像２０が見え、第２の表示素子５による像は見えない。すなわち、第１の表示素子１による像２０は、第２の表示素子５による像２１より輝度が高く、空間周波数も高めであることが望ましい。
【００２４】
一方、使用者の目が図２で示す観察域に無い場合は、第１の表示素子１による像２０は見えず、代わって第２の表示素子５による像２１が見える。従って、端末を少し傾けたり動かすだけで、第１の表示素子１による像を眺めたり第２の表示素子５による像を眺めることが可能となる。
【００２５】
第１の表示素子と第２の表示素子との利用方法には、種々のバリエーションがある。例えば、第１の表示素子に文書データ（例えば、メールの内容）を表示させ、第２の表示素子に該文書データに関連する画像データ（例えば、メールの添付ファイルの内容）を表示させる方法、第１の表示素子に現在ページを表示させ、第２の表示素子にその前ページ又は次ページを表示する方法（これら方法において、第１の表示素子と第２の表示素子とを逆に使ってもよい）など、種々の利用方法が可能である。
【００２６】
ここで、図３に、位置指示装置６を備えた場合の第１の表示素子と第２の表示素子との利用方法の一例を示す。図において、（ａ）は第２の表示素子による像の一例を示し、（ｂ）は第１の表示素子による像の一例を示している。この例では、（ａ）のように第２の表示素子による像として仮のボタン（ソフトウェア・ボタン）を表示させるとともに、ボタンの機能を位置指示装置６の出力から対応させるようにしている。このようにすれば、全画面を、画像表示域としても、パネル操作域としても活用することができる。
【００２７】
なお、図３において、第１の表示素子と、第２の表示素子の役割を逆にしてもよい（すなわち、この場合、第１の表示素子にボタンを表示することになる）。
【００２８】
また、図４に、位置指示装置６及び瞳位置検出装置８を備えた場合の第１の表示素子と第２の表示素子との利用方法の一例を示す。瞳位置検出装置８がある場合は、使用者の瞳が図２に示す観察域２２に入っているか否かを判定することが可能である。そこで、第１の表示素子に対しても第２の表示領域に対しても位置指示装置６により位置の指示ができるようにした場合に、瞳位置検出装置８により、使用者の瞳が観察域２２に入っているか否かを判定し、使用者の瞳が観察域２２に入っている場合と入っていない場合とで、画面内の位置指示装置６の出力の意味を変えることができる。例えば、図４のように指示位置は画面上で同じ位置であっても、（ｂ）のように使用者が第１の表示素子による像を見ている場合には、Ａボタンとして機能し、他方、（ａ）のように使用者が第２の表示素子による像を見ている場合には、Ｂボタンとして機能するようにすることもできる。
【００２９】
また、瞳位置検出装置８により、使用者の瞳が観察域２２に入っているか否かを判定し、使用者の瞳が観察域２２に入っている場合と入っていない場合とで、位置指示装置６を使用可能にするか否かを切り替えることができる。
【００３０】
以上の他にも、種々のバリエーションが考えられる。
【００３１】
（第２の実施形態）
図５に、本発明の第２の実施形態に係る携帯型情報処理端末装置の構成例を示す。
【００３２】
図１に示されるように、本携帯型情報処理端末装置は、小型表示素子３１、光学部品３２、情報処理装置３４、相対位置検出装置３５を備えている。また、位置指示装置３３と相対位置検出装置３５の一方又は双方を更に備えてもよい。
【００３３】
小型表示素子３１は、第１の実施形態の小型表示素子１と同様であるが、ここでは、その画面の対角が５型以下であるものとする（ただし、５型を越える場合もあり得る）。
【００３４】
光学部品３２は、画像の予め決められた複数（２以上の所定数）の領域に対して観察方向を特定する部品である。光学部品３２は、例えば、レンティキュラレンズ、ハエの目レンズ、パララックスバリア、回折格子、もしくはミラー、またはこれらの組み合わせにより構成される。
【００３５】
位置指示装置３３は、表示面の位置を特定する装置である。位置指示装置３３には、例えば、タブレットなどに用いられる感圧シートを用いることができる。
【００３６】
情報処理装置３４は、互いに異なった角度から観察される異なる複数の画像または像を生成するための処理を行う機能を持つ。情報処理装置３４は、例えば、マイクロコンピュータおよびソフトウェア、あるいは専用の半導体素子等を用いて構成することができる。
【００３７】
相対位置検出装置３５は、端末装置全体の傾き、または端末使用者の瞳位置と端末装置の位置関係、もしくは端末使用者の頭部と端末装置の位置関係を計測する装置である。相対位置検出装置には、例えば、端末装置全体の傾きを計測する場合には、傾斜計や加速度計を用いてもよいし、あるいは端末使用者の瞳や頭部と端末装置との相対位置を計測する場合には、小型ＣＣＤカメラを用いてもよい。
【００３８】
次に、本実施形態において、観察位置を僅かに変化させるだけで全く異なる像を眺めることができる原理について簡単に説明する。まず、光学部品３２として、例えばレンティキュラレンズを用いるとする。レンティキュラレンズは、図６に示すように、背面の像に光学的に指向性を付与させる。従って、図６の場合、背面の画像の斜線を引いた領域４２は、空間領域４０から見え、空間領域４１からは見えない。一方、背面画像の斜線を引いていない領域４３は、空間領域４１からは見えるが、空間領域４０からは見えない。立体ディスプレイでは、この原理を利用して、空間領域４０に使用者の右目、空間領域４１に使用者の左目が入るようにすることで、両眼視差を提示している。立体ディスプレイでは、左目、右目に視差画像を提示することが目的だが、本ディスプレイは、この原理を、観察方向によって異なる映像を提示するデバイスとして用いる。そのため、画像の分離は両眼、すなわち左右方向に対してではなく、上下方向に生ずるのが望ましい。そこで、画像が上下方向に分離されるように両眼と同じ水平な方向に縞状に分割し、かつレンティキュラレンズのレンズ効果も上下方向に起こるようにカマボコ状の形状が上下に並ぶように配置する。また、好ましくは、各縞の間に黒もしくは白または画像背景近時色の帯状領域を設けることで、画像の切り替わり付近での像の混合を防ぐことができる。
【００３９】
以上のように、異なった角度から異なった像を見ることが可能となるため、第１の実施形態と同様に、第１の表示素子と第２の表示素子とを種々の形態で利用方法することができる。また、第１の実施形態と同様に、位置指示装置３３を備えて、全画面を画像表示域としても、パネル操作域としても活用できる（図３参照）。また、第１の実施形態と同様に、位置指示装置３３及び相対位置検出装置３５を備えて、使用者が見ている像を相対位置検出装置３５の出力から調べ、それに基づいて、使用者が位置指示装置３３で画面内のある領域を指示したときの意味を変化させることができる（図４参照）。
【００４０】
なお、観察者に表示する画像は、当該小型ディスプレイ装置内部に蓄積されたデータでもよい。この場合には、例えば、小型ディスプレイ装置は、画像データを蓄積するためのメモリを備えればよい。
また、観察者に表示する画像は、当該小型ディスプレイ装置内部に蓄積されたデータでなくてもよい。この場合には、例えば、小型ディスプレイ装置は、外部から画像データを受信するための装置（例えば、ネットワークアダプタ）を備えればよい。また、外部から受信した、符号化された画像データを表示可能とするために、該符号化された画像データを復号するための装置（例えば、ＭＰＥＧ４デコーダ）を更に備えてもよい。これによって、多様な情報を表示する装置として利用することができる。
また、上記の内部に蓄積された画像データを表示する機能と、外部から受信した画像データを表示する機能の両方を備えるようにしてもよい。
【００４１】
なお、以上で説明した携帯型情報処理端末装置は、画像を表示する以外にも所定の目的に応じた機能を備えていてもよい。例えば、携帯型情報処理端末装置は、携帯型計算機であってもよいし、携帯電話であってもよい。
【００４２】
なお、以上説明したきた構成部分のうち処理を行う部分に相当する機能は、ソフトウェアとして実現することも可能である。
【００４３】
なお、この発明の実施の形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能あるいは要素を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。また、例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。また、例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
また、この発明の実施の形態で例示した各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
また、この発明の実施の形態は、個別装置としての発明、個別装置を組み込んだシステムとしての発明、個別装置内部の構成部分についての発明、またはそれらに対応する方法の発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【００４４】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【００４５】
【発明の効果】
本発明によれば、より多くの情報を同時に提示可能な携帯型情報処理端末装置が実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る携帯型情報処理端末装置の構成例を示す図
【図２】同実施形態の原理について説明するための図
【図３】同実施形態の応用例について説明するための図
【図４】同実施形態の操作例について説明するための図
【図５】本発明の第２の実施形態に係る携帯型情報処理端末装置の構成例を示す図
【図６】同実施形態の原理について説明するための図
【符号の説明】
１，３１…小型表示素子
２，３２…光学部品
３…反射材
５…表示素子
６，３３…位置指示装置
７，３４…情報処理装置
８…瞳位置検出装置
３５…相対位置検出装置

Claims

第１の画像を表示する第１の表示素子と、
前記第１の画像の観察方向を特定する光学部品と、
前記第１の画像を透過させ且つ外光を反射させる反射材と、
前記第１の画像を透過させ且つ前記反射材による反射光を光源として第２の画像を表示する第２の表示素子と、
少なくとも前記第１の表示素子に表示させる前記第１の画像を生成するための情報処理装置とを備えたことを特徴とする携帯型情報処理端末装置。
前記情報処理装置は、前記第２の表示素子に表示させる前記第２の画像をも生成することを特徴とする請求項１に記載の携帯型情報処理端末装置。
前記第２の表示素子に表示される前記第２の画像は、予め定められた画像パタンであることを特徴とする請求項１に記載の携帯型情報処理端末装置。
前記第１の表示素子の表示輝度又は空間周波数を、前記第２の表示素子の表示輝度又は空間周波数に比べて高くしたことを特徴とする請求項１に記載の携帯型情報処理端末装置。
前記光学部品は、レンズ、プリズム、ミラー、ホログラフィック素子若しくは散乱板、又はこれらの組み合わせにより構成されることを特徴とする請求項１に記載の携帯型情報処理端末装置。
前記第１の表示素子又は前記第２の表示素子に複数の指示用画像が表示された状態において、その表示面における前記複数の指示用画像にそれぞれ対応する位置に対する指示入力を受け付けるための位置指示装置を更に備え、
前記指示入力が受け付けられた場合に、いずれの前記指示用画像に対応する位置に対する指示入力が受け付けられたかに応じて、所定の制御を行うことを特徴とする請求項１に記載の携帯型情報処理端末装置。
前記携帯型情報処理端末装置を使用する使用者の瞳位置を検出する瞳位置検出装置を更に備え、
前記瞳位置検出装置により検出された前記瞳位置に基づいて、前記使用者が前記第１の表示素子の前記第１の画像を観察可能な状態にあるか又は前記第２の表示素子の前記第２の画像を観察可能な状態にあるかを判定し、この判定結果に基づいて所定の制御を行うことを特徴とする請求項１に記載の携帯型情報処理端末装置。
前記携帯型情報処理端末装置を使用するユーザの瞳又は頭部と前記携帯型情報処理端末装置との位置関係を計測する相対位置検出装置を更に備え、
前記位置関係に基づいて、前記使用者がいずれの前記観察方向に対応する画像を観察可能な状態にあるかを判定し、この判定結果に基づいて所定の制御を行うことを特徴とする請求項１に記載の携帯型情報処理端末装置。