図1から図32は本発明の実施例1を示したものであり、図1は頭部装着型の情報表示装置の使用形態を示す斜視図である。
なお、本実施例の情報表示装置は、以下に説明するように、頭部装着型の情報表示装置(頭部装着型表示装置)となっている。
この情報表示装置1は、図1に示すように、略めがね型をなす頭部装着部2と、この頭部装着部2と例えば接続手段たるケーブル3を介して接続された本体部たる制御/記録部4と、該情報表示装置1に係る操作入力を遠隔で行うためのリモートコントロール部(以下では、リモコン部と略称する。)5と、に大別される。
上記頭部装着部2は、シースルー表示時に観察対象(外界)を実質的に直接観察することが可能であるとともに、該観察対象に重畳して情報も観察することができるように構成されたものである。この頭部装着部2は、形状が略めがね型をなすことで分かるように、視度補正用の一般的な眼鏡とほぼ同様にして頭部に装着し用いるものとなっており、重量やサイズ等も通常の眼鏡に極力近似するように小型軽量化が図られている。
上記ケーブル3は、一端側に設けられた接続端子3aを頭部装着部2のケーブル接続端子21(図2等参照)と接続し、他端側に設けられた接続端子3bを制御/記録部4のケーブル接続端子49(図6参照)と接続することにより、これら頭部装着部2と制御/記録部4とを接続するようになっている。なお、ここでは、頭部装着部2と制御/記録部4とを電気的に接続する接続手段として、有線でなるケーブル3を用いているが、これに限らず、例えば無線で互いに通信する手段を用いても構わない。
上記制御/記録部4は、この情報表示装置1全体の制御を行うとともに、上記頭部装着部2により観察する情報の再生も行うことができるように構成されたものである。この制御/記録部4は、腰のベルト等に取り付けた状態、あるいは上着の内ポケット等に収納した状態、などの各種の状態で使用することができるように、やはり可能な範囲内での小型軽量化が図られたものとなっている。もちろん、ケーブル3として長いものを用いるなどにより、この制御/記録部4をカバンなどに収納した状態で使用することも可能である。
上記リモコン部5は、この情報表示装置1に対して比較的頻繁に行われる操作を、観察者が遠隔操作により手元で行うためのものである。従って、このリモコン部5は、例えば片手の掌に収まる程度の小型な大きさで、かつ軽量となるように構成されており、上記制御/記録部4に対して例えば無線で通信を行うようになっている。
これらの頭部装着部2と制御/記録部4とリモコン部5とは、本実施例では互いに別体として構成されており、これにより、頭部装着部2を小型軽量化することによる装着感の向上、リモコン部5の採用による操作性の向上、などを図るようにしている。
次に、図2から図4を参照して、頭部装着部2の外観および概要について説明する。図2は頭部装着部を示す正面図、図3は頭部装着部を示す平面図、図4は頭部装着部を示す右側面図である。
この頭部装着部2は、一般的な眼鏡におけるレンズ、リム、ブリッジ、智などに相当する部分であるフロント部11と、このフロント部11の左右両側から後方(観察対象と反対側)に向けて各延設されており該フロント部11に対して折り畳み可能となっているテンプル部12と、を有して構成されている。
上記フロント部11は、フレーム部13と、このフレーム部13に対して左右両眼に各対応するように取り付けられた導光部材たる透明光学部材14,15と、を有して構成されている。
このフレーム部13の中央部には、鼻梁に対してこの頭部装着部2を載置するための鼻パッド部19や、上記透明光学部材14,15の間となる上部に形成されたブリッジ部20が設けられている。
上記テンプル部12は、丁番24,25を用いて上記フロント部11と接続されていて、これによって該フロント部11に対して折り畳み可能となっている。すなわち、非使用時には、テンプル部12をフロント部11の中央部に向けて折り曲げ、該フロント部11に沿って折り畳まれた位置を取らせることができるために、小型化して収納や運搬を便利に行うことが可能となっている。また、左右の各テンプル部12の先端部には、耳にかけるための先セルモダン26,27がそれぞれ設けられている。
さらに、左眼側(つまり、図2や図3における右側)のテンプル部12には電装部30aが、また、右眼側(つまり、図2や図3における左側)のテンプル部12には電装部30bが、各テンプル部12に対してそれぞれ一体的に設けられている。これらの電装部30a,30bは、主にシースルー表示の制御を行う電子回路を収納するためのものとなっている。従って、テンプル部12を折り畳んだときには、これらの電装部30a,30bも該テンプル部12に従って折り畳まれることになる。このように、折り曲げ可能なテンプル部12に電装部30a,30bを配置したために、情報表示装置1をコンパクトに収納することが可能となる。
また、左眼側の電装部30aの後ろ側(観察者の耳に近い側)の下端部には、上記ケーブル3の一端側に配設された接続端子3aを接続するためのケーブル接続端子21が設けられている。なお、後述するシースルー画像表示部6(図11参照)の電子回路は、フロント部11の内部と、上記電装部30a,30bと、に分散されて配置されており、頭部装着部2全体の形状や重量バランスを適切にして、装着感が良好となるようにしている。
そして、フロント部11の右側と丁番24との間の部分、およびフロント部11の左側と丁番25との間の部分は、該フロント部11内部の各回路と電装部30a,30bの各回路とを、後述する図19と図20に示すような構成により接続するフレキシブルプリント基板等がそれぞれ格納されるボックス部33となっている。
次に、図5から図9を参照して、制御/記録部4の外観および概要について説明する。図5は操作パネルを閉じた状態の制御/記録部を示す平面図、図6は操作パネルを閉じた状態の制御/記録部を示す右側面図、図7は操作パネルを閉じた状態の制御/記録部を示す左側面図、図8は操作パネルに配置された操作スイッチ類を示す平面図、図9は操作パネルを開いた状態の制御/記録部を示す斜視図である。
この制御/記録部4は、制御/記録本体部41と、この制御/記録本体部41に対してヒンジ43を介して開閉自在に設けられた操作パネル42と、を有して構成されている。
上記制御/記録本体部41は、後述するような各回路を内蔵するとともに、上記操作パネル42を開いたときに観察可能となる位置に液晶モニタであるLCD表示素子(以下、「LCD」と省略する。)48が配設されたものとなっている。このLCD48は、情報を表示する(例えば、記録されている画像を再生して表示したり、後述するようなパーソナルコンピュータ(PC)接続端子51を介して入力される画面を表示したりする)のに用いられる他に、この情報表示装置1に係る各種のモードを設定するためのメニュー画面等の表示にも用いられるようになっている。さらに、この制御/記録本体部41には、上記操作パネル42を開閉する際に指先等を掛け易いように、凹部45が形成されている。
また、この制御/記録本体部41の右側面には、図6に示すように、ヒンジ46により該制御/記録本体部41に対して開閉自在となる蓋52が設けられており、該蓋52の係止部52aを制御/記録本体部41側の被係止部52bに係止させることで、閉じ状態が保たれるようになっている。この蓋52を開くと、該図6に示すように、上記ケーブル3を介して頭部装着部2のケーブル接続端子21と接続されるようになされたケーブル接続端子49と、テレビと接続するための端子であるAV/S接続端子50と、パーソナルコンピュータ(PC)と接続するための端子であるPC接続端子51と、が露呈する。このように、コード類は、制御/記録本体部41の右側面において、まとめて接続されるようになっており、他の面からコード類が延出することがなく、コードを取り回すときの煩わしさを軽減することができるようになっている。
一方、制御/記録本体部41の左側面にも、図7に示すように、ヒンジ47により該制御/記録本体部41に対して開閉自在となる蓋53が設けられており、該蓋53の係止部53aを制御/記録本体部41側の被係止部53bに係止させることで、閉じ状態が保たれるようになっている。この蓋53を開くと、該図7に示すように、カードメモリ等でなる着脱式の記録手段たる記録用メモリ120(図11等参照)を挿入するための記録用メモリ挿入口54と、電源を供給するためのバッテリを着脱自在に挿入するためのバッテリ挿入口55と、が露呈するようになっている。
上記操作パネル42は、閉じた状態でも外部に露呈する外面側に図5に示すように電源スイッチ44が配設されていて、さらに、開いた状態でのみ操作可能に露呈する内面側に、図8に示すような各種の操作スイッチ類が配置されている。
すなわち、操作パネル42の内面側には、音声を再生するためのスピーカ56と、このスピーカ56から発生される音声のボリュームを大きくするためのスイッチ57と、該ボリュームを小さくするためのスイッチ58と、上記記録用メモリ120に記録された画像情報を再生したり一時停止したりするための再生/停止スイッチ59と、画像を逆方向に早送りしてサーチするためのスイッチ61と、画像を順方向に早送りしてサーチするためのスイッチ62と、情報表示装置1に係る各種の機能や日付などを設定するためのメニュー画面を上記LCD48に表示するためのメニューボタン63と、該メニュー画面に表示されている各項目の内の着目項目を上、下、左、右の各方向へ移動したり表示情報を同各方向へスクロールしたりするためのメニュー選択スイッチ66,67,68,69と、表示されている着目項目等を確定するための確定スイッチ65と、が配設されている。
なお、本実施例の情報表示装置1においては、後述するように、画像を表示する領域を示す表示枠内から画像が消失した時間が所定時間Ts以上となったときに、この情報表示装置1全体の消費電力を低減する低消費電力モードに自動的に設定するようになっているが、このときの所定時間Tsも、上記メニュー選択スイッチ66,67,68,69等を操作することにより設定することができるようになっている。
このように、操作パネル42に配置されたスイッチ類は、主に、変更の頻度が比較的低い情報を設定するためのスイッチ類となっている。
続いて、図10を参照して、リモコン部5の外観および概要について説明する。図10はリモコン部の構成を示す平面図である。
このリモコン部5は、上述したように、比較的高い頻度でこの情報表示装置1に係る情報を変更するためのスイッチ類が配置されたものとなっていて、図10に示すように、キーボード71と、ドームポインタ操作部72と、アンテナ73と、を有して構成されている。
上記キーボード71は、主に、文字データの入力を行うための入力手段である。このキーボード71により入力された文字データは、上記頭部装着部2におけるシースルー画像表示部6(図11参照)と、上記制御/記録部4におけるLCD48と、の少なくとも一方に表示することもできるようになっている。さらに、このキーボード71には、表示された項目や文字情報などを上または下、あるいは左または右へスクロールするためのスクロール手段を兼ねるキーも含まれている。
上記ドームポインタ操作部72は、スクロール手段であり、ポインタ74と、左ボタン75と、右ボタン76と、を有して構成されている。上記ポインタ74は、例えば指先で操作することにより、マウスポインタを移動させることのできるポインティングデバイスである。つまり、このポインタ74の操作は、パーソナルコンピュータ等において広く使用されているマウスを移動させる操作に相当する。また、上記左ボタン75と右ボタン76とは、それぞれ、通常のマウスにおける左ボタンおよび右ボタンに相当するものである。従って、上記ポインタ74を操作することにより画面上のマウスポインタを移動させ、所望の位置で上記左ボタン75または右ボタン76を操作することにより、マウスを移動させてクリックしたのと同様の操作が行われる。
上記アンテナ73は、このような操作によりリモコン部5に入力された情報を、制御/記録部4へ送信するための送信手段である。制御/記録部4は、こうしてリモコン部5から受信した情報に応じて、その操作内容に応じた処理を実行するようになっている。
図11は情報表示装置の主として電子回路に係る構成を示すブロック図である。
この情報表示装置1の構成は、上述したように、頭部装着部2と、制御/記録部4と、リモコン部5と、に大別される。これら内の頭部装着部2は、主とした電子回路として、シースルー画像表示部6を備えている。また、制御/記録部4とシースルー画像表示部6とは上記ケーブル3を介して接続されており、制御/記録部4とリモコン部5とは無線を介して接続されている。
上記制御/記録部4は、メモリ116と、D/A変換回路117と、上記LCD48と、LCDドライバ118と、圧縮/伸張回路119と、選択回路121と、上記記録用メモリ120と、ハードディスク122と、上記スピーカ56と、受信回路123と、表示用メモリ125と、キャラクタジェネレータ126と、第1操作スイッチ113と、EEPROM114と、電源回路124と、第1CPU111と、を有して構成されている。
上記メモリ116は、表示手段を構成する第1の記憶手段であり、第1CPU111により生成された画像や文字などの情報、あるいは、記録用メモリ120やハードディスク122に記憶されている画像や文字などの情報、を読み出して、読み出した信号を一時的に記憶するフレームバッファ等により構成されている。
D/A変換回路117は、このメモリ116に記憶されているデジタル信号をアナログ信号に変換するものである。
上記LCD48は、上記図9にも示したものであり、このD/A変換回路117により変換されたアナログの画像信号に基づいて画像を表示したり、その他の情報を表示したりするものである。
上記LCDドライバ118は、このLCD48を制御して駆動するためのものである。
上記圧縮/伸張回路119は、圧縮回路部と伸張回路部とを有して構成されていて、圧縮回路部により上記メモリ116に記憶されているデジタル信号を圧縮するとともに、伸張回路部により上記記録用メモリ120から読み出した圧縮されたデジタル信号を伸張するものである。
上記選択回路121は、第1CPU111からの制御信号に基づいて、信号の入力先および出力先を双方向に選択するための回路である。ここに、双方向とは、メモリ116、記録用メモリ120、ハードディスク122、圧縮/伸張回路119の何れもが、入力先と出力先との何れにもなり得るということである。例えば、選択回路121は、圧縮/伸張回路119により圧縮されたデジタル信号を、記録用メモリ120、ハードディスク122、メモリ116の何れへ出力するかを選択するようになっている。また、記録用メモリ120またはハードディスク122に記録された情報をメモリ116に取り込んで再生表示などをする場合には、該選択回路121は、第1CPU111からの制御信号に基づいて、記録用メモリ120とハードディスク122との何れか一方からの出力信号を選択し、圧縮/伸張回路119に出力するようになっている。さらに、該選択回路121は、第1CPU111からの制御信号に基づいて、メモリ116から記録用メモリ120またはハードディスク122へ、あるいは記録用メモリ120またはハードディスク122からメモリ116へ、のデータの転送を、圧縮/伸張回路119を介して行うか、もしくは圧縮/伸張回路119を介さないで行うかの選択も行うようになっている。情報が例えば文字データ以外の画像データ(以下では、「画像データ」は、文字データを除く情報を総称していうものとする。)である場合には、圧縮/伸張回路119を介して圧縮処理または伸張処理を行ってから転送を行い、一方、文字データである場合には、該圧縮/伸張回路119を介することなく転送を行う。
上記記録用メモリ120は、上述したように、例えば着脱式のメモリカード等で構成されていて、上記選択回路121により選択されたときに、上記圧縮/伸張回路119により圧縮されたデジタル信号を記録するものである。
上記ハードディスク122は、この制御/記録部4に内蔵されたものであり、上記選択回路121により選択されたときに、上記圧縮/伸張回路119により圧縮されたデジタル信号を記録するようになっている。
上記スピーカ56(図8等参照)は、第1CPU111の制御に基づいて、音声を伴う画像を再生するときに該音声の再生を行ったり、あるいは必要に応じて警告用の音声を発生したりするためのものである。
上記受信回路123は、上記リモコン部5の後述する送信回路133から無線で送信された信号を受信するためのものである。
上記表示用メモリ125は、表示手段を構成する第2の記憶手段であり、シースルー画像表示部6に表示する画像データを格納するためのものである。この表示用メモリ125は、シースルー画像表示部6の後述するLCD104に設けられている表示用のピクセルに一対一に対応するメモリセルを有して構成されている。
上記キャラクタジェネレータ126は、リモコン部5のキー入力操作に応じた文字データを発生するためのものである。
上記第1操作スイッチ113は、当該情報表示装置1に係る各種の操作入力を行うための入力手段であり、調整手段、時間設定手段を兼ねていて、上記図8に示したような各種のスイッチ類を含んで構成されている。
上記EEPROM114は、表示制御手段を構成する第3の記憶手段であり、この情報表示装置1において用いられる各種のデータ等を記録するためのものである。このEEPROM114には、メモリ116に記憶されている原情報と、表示用メモリ125のメモリセルと、のマッピングに係る対応関係が、後述するようなテーブルとして記憶されている。
上記電源回路124は、例えば着脱式となるように構成されたバッテリ等を含んで構成されていて、この制御/記録部4へ電源を供給するだけでなく、上記頭部装着部2のシースルー画像表示部6へも上記ケーブル3を介して電源を供給し得るように構成されている。
第1CPU111は、この制御/記録部4内の各回路を制御するとともに、上記シースルー画像表示部6内の後述する第2CPU112と通信を行うことにより、該シースルー画像表示部6の制御も行うものであり、この情報表示装置に係る統合的な制御手段であって、表示手段、表示制御手段、移動制御手段、調整手段も兼ねたものとなっている。
このような制御/記録部4の作用は、ほぼ次のようになっている。
メモリ116内の情報は、圧縮/伸張回路119内の圧縮回路部で圧縮された後に、記録用メモリ120またはハードディスク122に記憶される。
また、上記第1操作スイッチ113のメニューボタン63やメニュー選択スイッチ66,67,68,69、確定スイッチ65などの操作により、記録用メモリ120またはハードディスク122に既に記録されている情報が選択されて、上記再生/停止スイッチ59の操作により再生の指示が行われた場合には、記録用メモリ120またはハードディスク122に記録されている情報が読み出されてメモリ116に一時的に記録される。このとき、記録用メモリ120またはハードディスク122に記録されている情報が、画像データである場合には、圧縮/伸張回路119内の伸張回路部により伸張された後に、メモリ116へ転送される。また、記録用メモリ120またはハードディスク122に記録されている情報が、文字データである場合には、圧縮/伸張回路119を介することなく、選択回路121からメモリ116へそのまま転送される。
このメモリ116に記憶された情報は、D/A変換回路117によりアナログの画像信号に変換された後に、LCD48に表示されるか、または、後述するような所定のマッピング処理が行われた後にシースルー画像表示部6の後述するLCD104に表示される。LCD48に表示が行われるときには、該LCD48の動作は、LCDドライバ118から発生される信号により制御される。一方、シースルー画像表示部6のLCD104により表示が行われるときには、EEPROM114に記憶されているテーブルを参照して、メモリ116に記憶されている画像データを、表示用メモリ125のメモリセルへマッピングする処理が行われる。こうして、表示用メモリ125に記憶されたマッピング後の画像データが、シースルー画像表示部6のLCD104へ出力されるようになっている。
また、リモコン部5のキーボード71等からキー入力操作が行われると、該操作に応じて、キャラクタジェネレータ126が文字データを発生させる。この文字データは、第1CPU111により所定の画像データ等と合成された後に、メモリ116に一時的に記録され、上述したように、LCD48またはシースルー画像表示部6のLCD104に表示される。
次に、上記シースルー画像表示部6は、画像や文字等を、反射型コンバイナとしてのホログラフィー光学素子(以下、「HOE(Holographic Optical Element)」と呼ぶ。)により観察者の眼99へ投影して、観察者の視野方向前方に虚像として表示するための表示手段である。さらに、このシースルー画像表示部6は、頭部装着部2のヨー方向およびピッチ方向(これらの方向については後述する。)の傾き角度を検出するための手段も兼ねている。
すなわち、このシースルー画像表示部6は、LEDドライバ101と、LED102と、集光レンズ103と、LCD104と、LCDドライバ105と、第1HOE106と、第2HOE107と、角速度センサ81と、角速度センサ84と、増幅器82と、増幅器85と、A/D変換回路83と、第2CPU112と、を有して構成されている。
上記LEDドライバ101は、上記第2CPU112の制御に基づいて、後述するLED102を発光させるものである。
上記LED102は、このLEDドライバ101により駆動されて光を発光する発光源であり、表示手段の構成要素となっている。
上記集光レンズ103は、このLED102により発光された光を集光するものであり、上記表示手段の構成要素である。
上記LCD104は、画像等の情報を表示する透過型液晶等でなる表示素子であり、表示画素であるピクセルを2次元状に等間隔に複数配列して構成されている。このLCD104は、上記表示手段の構成要素であり、上記集光レンズ103を介したLED102の光により背面側から照明されるようになっている。
上記LCDドライバ105は、上記第2CPU112の制御に基づいて、このLCD104を駆動して画像等の情報を表示させるものであり、移動制御手段の一部を構成している。
上記第1HOE106は、上記LCD104を介して射出される光を後述するように収差を補正しながら鉛直下方(図16参照)へ向けて反射する反射光学部材であり、表示手段を構成するものとなっている。
上記第2HOE107は、この第1HOE106からの光を観察者の眼へ向けて反射し回折させることにより、上記LCD104に表示された画像や文字等の情報を観察可能に投影するとともに、外界光を観察者の眼へ向けて透過させ得るように構成されたコンバイナであり、表示手段を構成するものとなっている。
上記角速度センサ81は、角度検出手段を構成しており、この頭部装着部2のヨー方向(後述する図13参照)の角速度を検出するためのものである。
上記増幅器82は、この角速度センサ81の出力を増幅するためのものである。
上記角速度センサ84は、角度検出手段を構成しており、この頭部装着部2のピッチ方向(後述する図12参照)の角速度を検出するためのものである。
上記増幅器85は、この角速度センサ84の出力を増幅するためのものである。
上記A/D変換回路83は、増幅器82を介して出力される角速度センサ81の出力と、増幅器85を介して出力される角速度センサ84の出力と、をそれぞれデジタル信号に変換して、上記第2CPU112へ出力するためのものである。
上記第2CPU112は、このシースルー画像表示部6の制御を主として行うための制御手段であり、表示手段、表示制御手段、角度検出手段、移動制御手段、調整手段を兼ねたものとなっている。また、第2CPU112は、角速度センサ81,84から出力される角速度情報に基づいて、観察者の頭部の傾き角度を検出するための角度検出手段を兼ねている。この第2CPU112は、上記第1CPU111と双方向に接続されていて、互いに通信を行いながら、所定の動作を連携して実行するようになっている。
続いて、上記リモコン部5は、第2操作スイッチ131と、デコーダ132と、送信回路133と、電源回路134と、を有して構成されている。
上記第2操作スイッチ131は、上記図10に示したようなスイッチ類を含んで構成される入力手段であり、調整手段、時間設定手段を兼ねたものとなっている。
上記デコーダ132は、この第2操作スイッチ131からの操作入力を、無線送信用の信号に変換するためのものである。
上記送信回路133は、このデコーダ132により変換された信号を、上記アンテナ73を介して、上記制御/記録部4の受信回路123へ無線で送信するためのものである。
上記電源回路134は、このリモコン部5内の各回路へ電源を供給するためのものであり、電池等を含んで構成されている。
続いて、図12〜図18を参照して、シースルー画像表示部6の主として光学的な構成について説明する。図12はピッチ方向を説明するための図、図13はヨー方向を説明するための図、図14はシースルー画像表示部の光学系の原理を説明するための図、図15はシースルー画像表示部の光学系の構成を示す一部断面を含む正面図、図16はシースルー画像表示部の光学系の一構成例を示す左側面図、図17はシースルー画像表示部の光学系の他の構成例を示す左側面図、図18はシースルー画像表示部の光学系の構成を示す平断面図である。
このシースルー画像表示部6は、観察者が実質的に直接観察している観察対象上に、画像や文字などの情報を虚像としてスーパーインポーズ表示することができるようになっており、このような表示を、以下では、シースルー表示と呼ぶことにする。なお、「実質的に直接観察している」とは、肉眼で観察している場合だけでなく、ガラスやプラスチックなどで形成された略平板な透明部材を介して観察している場合や、あるいは視度調整用のレンズを介して観察している場合などを含んでいる。
まず、頭部の傾きに関する用語について、図12および図13を参照して説明する。「ピッチ方向」とは、図12に示すように、頭部の前後方向の傾きをいう。また、「ヨー方向」とは、図13に示すように、頭部の左右方向の傾きをいう。なお、頭部装着部2は、観察者が頭部に装着した状態で用いるように構成されたものであるために、頭部装着部2の傾きを検出することと、観察者の頭部の傾きを検出することとは、ほぼ同義となっている。
図14を参照して、この実施例1におけるシースルー画像表示部6の光学系(以下、「シースルー画像表示光学系」という。)によりシースルー画像を表示する原理について説明する。
LED102により発光された光は、集光レンズ103により集光されて、LCD104を背面から照明する。ここに上記LED102は、R(赤),G(緑),B(青)の3色の光をそれぞれ発光可能なダイオードを含んで構成されており、文字情報を表示する場合には、例えばG(緑)のダイオードのみを発光させるなどが可能である。
第2CPU112は、画像や文字などの情報に対応する信号を生成して、LCDドライバ105へ出力する。LCDドライバ105は、この信号に基づいてLCD104を駆動することにより、該LCD104に画像や文字などを表示させる。
上記LED102の光を受けてLCD104から射出された画像や文字は、第2HOE107によって反射された後に、観察者の眼に導かれる。こうして、観察者は、画像や文字を虚像VIとして観察することができる。なお、この図14では原理を説明しているために、第1HOE106の図示は省略している。
第2HOE107は、フォトポリマーや重クロム酸ゼラチン等の感光材料を使用した体積位相型のホログラフィー光学素子であり、上記LED102により発光されるR,G,Bの各波長において最大の反射率で光を反射する特性を備えるように設計されている。従って、例えば文字を表示するときにGの光を発光させる場合には、グリーンの文字が虚像としてクリアに表示されることになる。一方、カラー画像を観察可能に表示するときには、LCD104にカラー画像を表示させるとともに、上記LED102によりR,G,B3色の光を発光させれば良い。HOEは、優れた波長選択性を備えており、上述したR,G,Bの各波長の光線に対しては極めて狭い波長幅において高い反射特性を示す一方で、それ以外の波長の光線に対しては高い透過特性を示す。従って、表示光と同じ波長域の外界光は回折反射されて観察者の瞳に届かないが、それ以外の波長域の外界光は観察者の瞳に到達する。一般に、可視光は、波長の帯域幅が広いために、R,G,Bの各波長を含む極めて狭い波長幅の光が到達しなくても、何等支障なく外界像を観察することが可能である。
上記第1HOE106は、LCD104からの光を第2HOE107に導くように反射するだけでなく、像面歪曲も補正する機能を備えたものとなっている。なお、ここでは第1HOE106を用いたが、これに代えて、自由曲面の光学素子を用いることも可能である。自由曲面の光学素子は、小型軽量でありながら複雑な収差を補正することができるために、重量をあまり増加させることなく収差の少ないクリアな像を表示することが可能となる。
続いて、図15から図18を参照して、上記シースルー画像表示光学系の具体的な配置例を説明する。
上記フレーム部13の内部における観察対象側の部分であって、上記透明光学部材14(または/および透明光学部材15)の上部となる位置に、上記LED102,集光レンズ103,LCD104,第1HOE106が図15に示すように順に配置されている。これらの各部材は、図18に示すように、保持枠144,145により挟み込まれるようにして固定されている。このとき、上記LED102は、電気回路基板141に実装された状態で、上記保持枠144,145により固定されるようになっている。また、これらの内の第1HOE106は、上述したように、LED102からの光を鉛直下方へ向けて反射するように、傾けて配置されている。
上記透明光学部材14(または/および透明光学部材15)は、図16、図17に示すように、透明なガラスやプラスチック等により所定の厚みを有するように形成された導光部材142,143と、これらの導光部材142,143の間に挟み込まれながら後方へ向けて光を反射するように傾けて配設された上記第2HOE107と、を有して構成されている。このような構成において、上記第1HOE106から反射された光は、第2HOE107の上側に配置された導光部材142の内部を透過して、該第2HOE107に到達するようになっている。なお、この導光部材142の内部における光の伝播は、図16に示すように透過のみであっても良いし、図17に示すように透過と内面における全反射とを組み合わせたものであっても構わない。図17に示したような光学設計を行えば、透明光学部材14(または/および透明光学部材15)を肉薄にすることが可能となるために、頭部装着部2の軽量化をより一層図ることができる。
また、上記フレーム部13の内部における観察者の頭部側(観察対象と反対側)の部分には、図18に示すように、上記LEDドライバ101やLCDドライバ105を実装する電気回路基板146が、上記保持枠144を挟んでシースルー画像表示光学系と反対の側に配設されている。
なお、シースルー画像表示光学系は、上述したような各部材の内の、LED102と、集光レンズ103と、LCD104と、第1HOE106と、第2HOE107と、導光部材142,143と、を含むものとなっている。
観察者は一般的に両眼で観察対象を観察するために、上記シースルー画像表示部6をどのように配置するかについては、例えば以下のような、2つの例が考えられる。
まず、第1の構成例は、両眼の内の、一方の眼に対応する部分のみを上記図15等に示したようなシースルー画像表示光学系により構成し、他方の眼に対応する部分はシースルー画像表示機能を備えていない単なる透明な光学部材により構成するというものである。このときには、他方の眼に対応する透明な光学部材は、視感透過特性が透明光学部材14(または透明光学部材15)と同じ特性のものとすることが望ましく、これにより、長時間使用しても眼の疲労を少なくすることが可能となる。
次に、第2の構成例は、両眼のそれぞれに対応して、上記図15等に示したようなシースルー画像表示光学系を構成するというものである。このようなペアのシースルー画像表示光学系を用いる場合には、さらに眼の疲労を少なくすることが可能であるとともに、必要に応じて立体的に観察される画像を表示することも可能となる。
次に、図19および図20を参照しながら、フロント部11の電装部と、テンプル部12の電装部30aと、を電気的に接続する構成について説明する。図19はフロント部11と丁番部200とテンプル部12とを含む接続部分の構造を示す一部断面を含む平面図、図20は丁番部200とテンプル部12との接続部分を図19の左側から略右方向へ見た図である。
ここに、上記丁番部200は、丁番24を含む、テンプル部12とフロント部11(あるいは、フレーム部13)とを接続する部分の総称である。
この情報表示装置1は、上記図3にも示したように、左右のテンプル部12が、使用状態では、フロント部11に対してほぼ直角の状態となり、非使用時に、丁番24,25を回転中心として、フロント部11へ向けて内側に折り畳むことができるようになっている。ここでは、右側の丁番24を含む丁番部200の近傍について説明するが、左側の丁番25を含む丁番部も同様である。
この丁番部200における丁番24は、ひじ継手として構成されており、図20に示すように、フロント部11側に設けられた円筒状のネジ孔193aが形成されたコの字状の軸受け193と、テンプル部12側に設けられた円筒状の孔194aが形成された軸受け194と、を互いの孔193a,194aが貫通するように組み合わせて、これらの孔193a,194aに連結ピンとしての機能を果たす軸191を挿通して構成されたものである。なお、図20においては、テンプル部12に属する部分に点線でハッチングを施している。
図19に示すように、フロント部11に設けられた電気回路基板184は、フレキシブルプリント基板185の一端側に電気的に接続されている。このフレキシブルプリント基板185は、フロント部11内から丁番部200内へ渡って配設され、他端側が図20に示すような複数の接点187に電気的に接続されている。これらの接点187は、丁番部200内に立設された壁部195に設けられたものであり、フレキシブルプリント基板185と各接点187との接続は、接続部186を介して行われている。
一方、フロント部11側の軸受け193に対して相対的に回転するようになされたテンプル部12側の軸受け194は、周面に沿って円弧状をなす同軸接点である導体188が、軸方向に沿って複数設けられている。これらの導体188は、上記複数の接点187に各対応するものであり、絶縁体の中に埋め込まれていて、該絶縁体から露呈する表面には例えば金メッキが施されたものとなっている。なお、導体188は、表面全体に金メッキが施されたものであっても構わない。
このような構成により、フロント部11とテンプル部12とが相対的に回転しても、接点187と導体188との電気的接続が維持されるようになっている。そして、LEDドライバ101やLCDドライバ105等の画像投影に係る回路部と、電装部30aに配設された回路部と、をケーブルやプリント基板等を配線して接続する必要がないために、外観をすっきりと美しく保つことができる。特に、この情報表示装置1の頭部装着部2は頭部に装着して用いられる部分であって、外観が第三者に目立つことになるために、このような構成を採用することにより、大きな効果を得ることができる。
上記接点187は、該軸受け194の周面上において、接続部189を介してフレキシブルプリント基板190の一端側と電気的に接続されている。このフレキシブルプリント基板190の他端側は、図示はしないが、テンプル部12の電装部30aに係る電気回路基板に接続されており、さらには、上記ケーブル3を介して制御/記録部4と電気的に接続されるようになっている。
このような構成により、フレーム部13に配設されているシースルー画像表示部6のLEDドライバ101やLCDドライバ105を駆動するための信号が、例えば電装部30aに配設された第2CPU112から伝達されるようになっている。そして、例えば電装部30bに上記角速度センサ81,84、増幅器82,85、A/D変換回路83が配設されているものとすると、これらからの検出信号が、同様にして、フロント部11を介して電装部30aの第2CPU112に伝達される。
続いて、図21〜図23を参照して、情報表示装置1による画像表示の概要について説明する。図21は表示しようとする原画像を示す図、図22はLCD104のピクセルと原画像との対応を示す図、図23は虚像として投影された画像と原画像との対応を示す図である。
今、表示しようとする原画像151が、図21に示すようなものであるとする。なお、ここでは、原画像151と、LCD104上に表示する画像と、虚像として観察される画像と、の対応関係を明らかにすることが目的であるために、原画像151を適宜の領域に区分して、各領域にハッチングを施している。図21〜図23において共通のハッチングが施されている画像領域は、互いに対応する領域となっている。なお、原画像データは、上述したように、上記メモリ116に記憶されているものである。
この図21において、1つの升目が原画像151を構成する1画素に相当している。この原画像151が、例えば撮像素子により撮像して得られた画像データである場合には、1つの升目は、該撮像素子の1画素に対応する。このような升目で示される各画素の情報が、上記メモリ116に記憶されている。
この図21に示すような原画像151において、中心部の6×6画素領域が領域a、それから周り1画素の幅をおいた1辺10画素でなる1画素の幅の領域が領域b、さらにその周りの2画素の幅をおいた1辺16画素でなる1画素の幅の領域が領域c、その周りの3画素の幅をおいた1辺24画素でなる1画素の幅の領域が領域d、となっている。このように、中心部の領域aから周辺部の領域dに行くに従って、より広い間隔で(粗く)間引くようにしている。
次に、表示素子であるLCD104の表示面152は、図22に示すようになっている。この図22においては、表示面152における1つの升目が1つの表示画素を示している。そして、このLCD104に対する表示画像データは、上記表示用メモリ125に記憶されるようになっている。このときには、上述したように、表示画素とメモリセルとが一対一に対応するように、表示画素に表示するためのデータが、表示用メモリ125のメモリセルに記憶される。このとき、表示用メモリ125に記憶される表示画像データは、例えば上記メモリ116に記憶されている原画像データから、EEPROM114に記憶されているテーブルを参照して以下に説明するようなマッピングを行うことにより作成されたものである。このように、EEPROM114に記憶されたテーブルは、図21のどの位置の画素データを、図22に示すLCD104のどの位置にマッピングするか、すなわち原画像151が記憶されているメモリ116の各アドレスに記憶された情報を、表示用メモリのどのアドレスのメモリセルに記憶するか、が予め記憶されたものとなっている。
具体的には、上記図21に示した領域aの画像データは、LCD104の中心部の6×6表示画素でなる領域aに表示される。従って、この領域aの画像データについては、水平/垂直方向ともに一定の解像度(ここでは、原画像の解像度)が保たれる。次に、領域aの周りには、該領域aに密接するようにして、つまり間を開けることなく、領域bの画像データが表示される。ただし、このときに表示される領域bは1辺8表示画素で構成されているのに対して、上記原画像151の領域bは1辺10画素で構成されているために、上記EEPROM114のテーブルを参照することにより、適切なマッピングが行われる。このときのマッピングは、1辺10画素の画素データを1辺8表示画素の画素データに変換する減画素処理を実質的に行うマッピングとなっている。同様に、領域cは、LCD104においては領域bの外側に間を開けることなく配置され、1辺10表示画素で構成されている。従って、該領域cは、1辺16画素から1辺10表示画素へのマッピングが行われることになる。さらに、領域dは、LCD104においては領域cの外側に間を開けることなく配置され、1辺12表示画素で構成されている。従って、該領域dは、1辺24画素から1辺12表示画素へのマッピングが行われることになる。
この図22に示したようなLCD104上の表示画像を、シースルー画像表示光学系を用いて投影したときに、所定の距離位置に虚像153として観察されるのが図23に示すような像となっている。すなわち、観察される虚像153においては、LCD104上の表示画像が、中心から周辺に行くに従って、より周辺方向に引き延ばされるような像となっている。より詳しくは、虚像153上のある画素が、原画像151において対応する画素と同じ位置関係(より正確には、相似の位置関係)となるように、周辺方向への引き延ばしが行われるようになっている。従って、シースルー画像表示光学系は、画像の周辺部分ほどより画像の周辺へ引き延ばして、原画像151の画素位置関係を復元するような設計の光学系となっている。
図23に示したような虚像153は、周辺に行くほど解像度が低下しているが、これは、網膜の中心から周辺に行く程急激に低下する人間の視力の特性に合わせたものであるために、観察者が画像の中心を注視する限りにおいては、実用上の問題が発生することはない。
このような構成によれば、LCD104を構成する表示画素(ピクセル)の数を少なくすることができるために、情報表示装置1を小型化および低価格化することが可能となる。
なお、図21と図22とに示したような関係においては、図21に示すような原画像151の画素を間引いて図22に示すような表示画素を生成している(つまり、サンプリングしている)が、これに限らず、1つの表示画素を、複数の原画像151の画素データを用いて算出する(つまり、補間等により算出する)ようにしても構わない。間引きによるサンプリングの場合には、処理の負荷が軽いために、高速かつ低消費電力で処理を行うことができる利点がある。一方、補間等により算出する場合には、より原画像151に忠実な画像を表示することが可能となる。
次に、図24から図26は、情報表示装置1による画像表示の他の例を示したものである。図24は表示しようとする原画像を示す図、図25はLCD104のピクセルと原画像との対応を示す図、図26は虚像として投影された画像と原画像との対応を示す図である。
上記図21〜図23に示した例においては、画面の中央から周辺に向かって二次元的に、つまり垂直方向および水平方向に解像度を低くするようにしたが、図24から図26に示す例は、画面の垂直方向にのみ解像度を変化させるようにしたものとなっている。
図24に示す原画像151において、領域a、領域b、領域c、領域dを図示のように水平方向に画像の全幅をもつ領域としてとっている。すなわち、領域aは、原画像151の中心部を含むように、垂直方向が中心部の6画素、水平方向が水平全画素、となるように設定されている。領域bは、この領域aの上側および下側に、1画素分の間隔をおいて、垂直方向に1画素の幅で、水平方向に水平全画素となるような帯状の領域として設定されている。そして、領域cは、この領域bの上側および下側に、2画素分の間隔をおいて、垂直方向に1画素の幅で、水平方向に水平全画素となるような帯状の領域として設定されている。さらに、領域dは、この領域cの上側および下側に、3画素分の間隔をおいて、垂直方向に1画素の幅で、水平方向に水平全画素となるような帯状の領域として設定されている。このように、中心部の領域aから垂直方向の周辺部の領域dに行くに従って、より広い間隔で(粗く)間引くようにしている。こうして、この図24に示す例は、水平方向の解像度を一定に保ったまま、垂直方向の解像度を周辺に行く程低下させるようにサンプリングするものとなっている。
次に、表示素子であるLCD104の表示面152は、図25に示すようになっている。
上記領域aの画像データは、LCD104の中心部の、垂直方向が6画素、水平方向が水平全画素でなる領域aに表示される。従って、この領域aの画像データについては、水平/垂直方向ともに一定の解像度が保たれる(より正確には、図24、図25に示す例では、垂直方向には原画像の解像度が保たれるが、水平方向については、原画像データの水平全画素数と、LCD104の水平全表示画素数と、の関係に応じて解像度が低下している。)。その上下には、この領域aに密接するようにして、つまり間を開けることなく、領域bの画像データが表示される。さらに、領域cは、LCD104においては領域bの外側に間を開けることなく配置される。そして、領域dは、LCD104においては領域cの外側に間を開けることなく配置される。このときの原画像151からLCD104のピクセルへのマッピング(つまり、メモリ116から表示用メモリ125のメモリセルへのマッピング)も、上述と同様に、EEPROM114のテーブルを参照することにより行われる。
なお、LCD104の垂直方向および水平方向のピクセル構成は一定であるのに対して、表示しようとする原画像の垂直方向および水平方向の画素構成は種々のもの(例えば、静止画像や動画像、異なる解像度の画像、縦位置画像や横位置画像など)があるために、あらゆる原画像に対するマッピング用のテーブルデータをEEPROM114に記憶させておくのは困難である。従って、一般的に広く使用されているような画素構成の原画像をマッピングするためのテーブルデータのみをEEPROM114に記憶させておき、それ以外のものについては第1CPU111が演算を行ってマッピングするようにすると良い。このようにすれば、代表的なデータについては高速に処理して表示することができるとともに、テーブルとして記憶されていない画素構成の原画像データについても所望に表示することが可能となる。
そして、この図25に示したようなLCD104上の表示画像を、シースルー画像表示光学系を用いて投影したときに、所定の距離位置に虚像153として観察されるのが図26に示すような像となっている。すなわち、観察される虚像153においては、LCD104上の表示画像が、中心から上下の周辺部に行くに従って、より垂直方向に引き延ばされるような像となっている。従って、シースルー画像表示光学系は、垂直方向において、周辺部に行くほど像を拡大するような光学系となっている。このときに、虚像153上のある画素が、原画像151において対応する画素と同じ位置関係(相似の位置関係)となるように、垂直方向への引き延ばしが行われるのは、上述と同様である。
従って、図25に示したような虚像は、垂直方向の解像度は周辺に行くほど低下するが、水平方向の解像度は一定に保たれるようになっている。
これら図24〜図26に示したような画素データの対応関係を実現するような構成を採用すれば、観察者が観察する画像の解像度を1次元方向にのみ変化させるものであるために、2次元方向に解像度を変化させるマッピングに比して、メモリ116から表示用メモリ125への画素データのマッピングをより簡単に行うことができる。
なお、上記図21〜図23に示したような例、あるいは上記図24〜図26に示したような例の他に、LCD104の所定位置(例えば表示面の中心位置)を中心にして、該中心から見た方向によることなく該中心からの距離のみに応じて解像度が粗くなるように、つまり、同心円状の周辺に行く程解像度が粗くなるように、マッピングすることも可能である。
また、図21〜図26は、技術的な思想を説明するための例であるために、例示のものは、実際の原画像やLCD104の構成とは異なる(つまり、実際の画素数やピクセル数はもっと多く、原画像についても上述したように種々の画素構成のものがある。)。従って、画素数や原画像のサンプリング間隔の具体的な数値については、設計に応じて様々な値をとることになる。
さらに、上記図23や図26に示したような観察される画像が上記図21や図24に示したような原画像と相似であるためには、原画像から表示素子としてのLCD104への画像のマッピングを第1の写像とし、LCD104にマッピングされた画像を光学系により表示する過程を第2の写像とすると、これら第1の写像と第2の写像とが互いに逆写像(より正確には、画素数が減少する不可逆変化が行われているために逆写像にはなり得ず、幾何的な位置関係についてのみが逆写像となるようにする。)の関係にある必要がある。この関係を確保するには、上記マッピングの処理に合わせて上記光学系の特性を決定するように設計を行うよりも、該光学系の特性に合わせてマッピングの処理をプログラムにより調整する方が容易である。
以上説明したように、本技術は、原画像を、所定位置を中心にして、周辺に行く程低解像度で表示素子に表示し、この表示素子に表示された画像を光学系を介して周辺に行く程拡大して表示するものとなっている。
次に、メモリ116に記憶されている原画像の情報を、表示用メモリ125の各アドレスにマッピングして、LCD104に表示する作用について説明する。
図11に示したメモリ116には、表示を行う対象となる原画像が記憶されていて、この原画像が例えば高精細の画像であるものとする。このメモリ116のどのアドレスのデータを、表示用メモリ125のどのアドレスに書き込むかは、上述したように、EEPROM114にテーブルとして予め対応付けて記憶されている。
上記表示用メモリ125の各メモリアドレスは、LCD104の所定のピクセルに1:1に対応するように構成されている。LCD104は、LCDドライバ105により駆動されることで、上記表示用メモリ125のデータを画像として表示するようになっている。
上述したような構成において、第1CPU111は、上記EEPROM114に記憶されているテーブルを参照しながら、メモリ116のデータを表示用メモリ125の各アドレスにマッピングする。
このEEPROM114に記憶されているテーブルは、上述したような周辺部ほど拡大するように画像を虚像として投影するシースルー画像表示光学系の写像の、逆写像を実現するようなテーブルとして、予め記憶されたものである。従って、シースルー画像表示光学系の光学的性質(設計により定められたものを用いても構わないが、光学系の個体差等を考慮して、各製品毎に測定したものを用いるようにしても良い。)に基づき、写像を算出し、その逆写像を算出して、さらに減画素の処理を行うことによりテーブルを算出することができる。
表示用メモリ125にマッピングされた情報は、LCD104により表示され、第1HOE106により反射されて、コンバイナとしての第2HOE107により観察者の眼99に導かれる。
これにより、観察者は、図23または図26に示したような画像を、所定の位置に虚像として観察することができる。
なお、上記EEPROM114に記憶されたテーブルは、上述したように、設計的に定まるものであるが、情報表示装置1を製造する過程においては各種の製作誤差が発生する可能性がある。そこで、こうした誤差を、次のような手段により補正するようにしている。
この補正を行うために、原画像として、図27に示すようなテストチャート155の画像を用意して、メモリ116に記憶しておく。図27は、テストチャートの例を示す図である。このテストチャート155は、例えば、垂直方向の複数の直線および水平方向の直線をそれぞれ等間隔に配置することにより、方眼状に線を引いたチャートとなっている。
そして、メモリ116に記憶されているこのテストチャート155のデータを、EEPROM114に記憶されているテーブルを参照しながら、表示用メモリ125にマッピングする。
上記表示用メモリ125に記憶されたデータは、LCD112により表示され、第1HOE106および第2HOE107を含むシースルー画像表示光学系により、周辺が拡大された虚像として観察者の眼へ投影され、観察者は、メモリ116に記憶されたテストチャート155と相似な図形を観察することができる。
ここで、上記第2HOE107を介して表示された画像を、製造時の補正用データ取得用に設けられている撮像装置により撮像する。この撮像装置は、画像の歪みが生じないものであるか、または画像の歪みについての情報が既知のものであるとする。この撮像装置より得られた画像データから、情報表示装置1に発生しているテストチャート155の幾何的な歪みに関する情報を解析して、取得する。そして、この解析データに基づいて、該歪みを補正することができるように、EEPROM114のテーブルを修正する処理を行う。このとき、表示される像とその像を補正する様子とを観察することができるように、撮像装置により得られた画像データを、調整用のモニタに表示すると良い。
例えば、水平方向の直線として表示されるべき線(つまり、この線が、修正後に達成されるべき線157である。)が、図28に示すように、左右の周辺部へ行くに従って上に持ち上がるような曲線156として、観察者の眼に表示されるものとする。図28は、上記図27に示したテストチャートにおける一水平方向の直線の修正前後の様子を示す図である。ここに、画像の中心を原点として、水平右方向にx軸、垂直上方向にy軸をそれぞれとるとすると、表示画像のある位置P(x,y)において、垂直方向の歪みΔyが生じていることになる。そこで、この歪みΔyを求めて、該歪みΔyの大きさから、上記表示画像P(x,y)の画像が、修正された位置Qに表示されるように、EEPROM114のテーブルを修正することになる。このような、ある位置P(x,y)における歪みΔyの検出を、画像を構成する全ての画素について行うと、処理に膨大な時間を要してしまうために、画像内の幾つかの箇所に代表点を定めて、これらの代表点について歪みΔyを検出し、それ以外の点については補間等により歪みΔyを推定すれば良い。こうして、全画素に係る歪みΔyが求められたところで、これらの歪みΔyを補正することができるようにEEPROM114のテーブルを修正する。
このような修正は、検査員が手動で行うことも不可能ではないが、生産性やコスト、検査員の個人差等を考慮すると、あまり現実的ではないために、上述したように、自動計測を行ってテーブルデータを自動的に補正するような検査補正システムを用いるようにすると良い。ただし、観察者が使用時に補正を行う場合には、テストチャート155の像を第2HOE107を介して観察しながら、手動で行うことが考えられる。
なお、上述では、図28に示したような垂直方向の歪みΔyを補正の対象としたが、補正の対象となる歪みはこれに限るものではなく、水平方向の歪みや、回転方向の歪みなど、各種の幾何的な歪みを対象とすることができる。
また、メモリ116の原画像情報を入力情報、EEPROM114のテーブル情報を中間情報、虚像として観察される画像を出力情報、とすると、上述したようなEEPROM114に記憶するテーブルの修正方法は、上記入力情報と上記出力情報との関係から、上記中間情報を実験的に求めることが可能であることを示している。中間情報の特徴は、光学系により定まるが、このような実験的な中間情報の求め方は、特定の光学系に依存するものではないために、他の光学系を採用したとしても中間情報を求めることが可能である。従って、周辺の像を拡大するという技術思想に適合した光学系であれば、本実施例に記載した光学系に限定されることなく、種々の光学系を広く適用することが可能である。
続いて、図29は表示画面の初期位置を調整する処理を示すフローチャートである。この図29に示す処理を、図31、図32を参照して説明する。図31は表示画面の初期位置を調整するときの画面の表示例を示す図、図32は表示画面の初期位置が調整されたときの画面の表示例を示す図である。
本実施例の情報表示装置1は、後述するように、観察者の頭部の動きにかかわらず、あたかも表示画像が外界に固定されているように表示することができるものとなっている。従って、観察者が頭部を傾けると、その動きに応じて、頭部の傾きと反対の方向に該傾き量に応じた量だけ画像をシフトさせるものとなっている。この図29に示す処理は、頭部のどの傾き角度を基準にして、このようなシフトを行うかを調整するための処理となっている。
今、観察者が、例えば丁度正面を向いているときに、ほぼ図31に示すような画面が表示されているものとする。なお、この図31において、表示可能範囲91を点線により示しており、この表示可能範囲91内の右下の位置に表示枠92が表示され、この表示枠92の内側が表示画面93となっている。
このような状態において、観察者がリモコン部5を用いて所定のキー操作を行うことにより、この情報表示装置1を調整モードに設定すると、表示可能範囲91内の左側には、該図31に示すように、調整モードであることを示す「ADJ」の文字94が表示される(ステップS1)。
次に、リモコン部5のポインタ74を上下左右にキー操作すると、無線を介して、制御/記録部4の第1CPU111が、該キー入力を検出する(ステップS2)。
そして、検出されたのが上方向のキー操作である場合には、該キー操作がなされている間、表示枠92および表示画面93を所定の移動速度で表示可能範囲91内において上方向に移動する(ステップS3)。
また、検出されたのが下方向のキー操作である場合には、該キー操作がなされている間、表示枠92および表示画面93を所定の移動速度で表示可能範囲91内において下方向に移動する(ステップS4)。
さらに、検出されたのが左方向のキー操作である場合には、該キー操作がなされている間、表示枠92および表示画面93を所定の移動速度で表示可能範囲91内において左方向に移動する(ステップS5)。
そして、検出されたのが右方向のキー操作である場合には、該キー操作がなされている間、表示枠92および表示画面93を所定の移動速度で表示可能範囲91内において右方向に移動する(ステップS6)。
これら、ステップS3〜S6の何れかの操作が終了したら、リモコン部5の左ボタン75がクリックされるのを待機する(ステップS7)。ここで、左ボタン75がクリックされるまでは、上記ステップS2へ行って、キー入力の処理を継続して行う。
一方、左ボタン75がクリックされた場合には、表示枠92の位置が確定したことになる。そして、これと同時に、調整モードであることを示す「ADJ」の文字94が消える。これにより、例えば図32に示すような状態の表示枠92および表示画面93が、虚像として表示されることになる。
その後、角速度センサ81,84の出力に基づいて演算された頭部のヨー方向およびピッチ方向の角度データθy ,θp をリセットして(ステップS8)、表示画面の位置調整を終了する。
このような調整を行うことにより、初期状態における表示枠92および表示画面93の位置が確定するとともに、該初期状態を基点として角度データθy ,θp の測定がその後に行われることになる。
なお、図31、図32に示す例では、表示枠92を境界線を用いて明示したが、必ずしも明示しなくても構わない。
また、ここでは、初期位置の調整を、上記図29に示したような処理を実行することにより行っていたが、これに限るものでもない。例えば、頭部が所定の傾き角度となっているとき(具体例としては、観察者が初期位置に設定したい傾き角度に頭部をしたとき)に、予め定められたキー入力操作(例えば、上記左ボタン75をクリックする操作)を行うことにより、表示画面を所定の位置に設定するとともに、上記角度データθy ,θp をリセットするようにしても良い。このような操作系を採用することにより、より簡単に、表示枠92および表示画面93の初期位置を調整することが可能となる。
続いて、図30は、画像の表示位置を制御する処理を示すフローチャートである。
この図30に示す処理は、画面の表示領域を、頭部の傾き角と反対の方向にシフトさせることにより、あたかも外部に固定されたモニタを観察しているような感覚を与える処理となっている。
なお、頭部の傾き角に応じてモニタの表示領域をシフトする際に、表示領域の変更が頭部の傾き角の変化に高速かつスムーズに追従するときは良いが、実際は表示領域の変更速度には限界があるために、表示領域の更新のスムーズさが損なわれる可能性がある。そこで、本実施例では、スムーズさが著しく損なわれることのないようなある所定以上の角度変化が生じたときにのみ、表示領域の更新を行うようにしている。
しかし、このように処理しても、頭部の傾き角度が微小変動する毎にある程度の遅れをもって表示領域の更新が行われ、特に更新が頻繁であると、観察者に違和感を与えることになる。そこで本実施例においては、頭部の傾きが順方向に変化しているときと、逆方向に変化した直後と、において、頭部の傾き角度変化の閾値に変化をもたせるようにしている。すなわち、表示領域の更新を行う順方向の角度変化に対して、逆方向の角度変化を検出した直後の角度変化を大きくするという、いわゆるヒステリシス特性をもたせることにより、上記違和感の軽減を図るようにしている(後述するステップS15〜S19およびステップS22参照)。また、本実施例においては、スクロール操作が行われたときには、表示領域内の画像をスクロールするように該表示領域の更新を行うようにしている(後述するステップS23〜S25参照)。
このような処理について、図30を参照しながら詳細に説明する。
この処理を開始すると、まず、角速度センサ81により検出された観察者の頭部のヨー方向の角速度情報を入力するとともに(ステップS11)、角速度センサ84により検出された観察者の頭部のピッチ方向の角速度情報を入力する(ステップS12)。
そして、上記ステップS11で取得したヨー方向の角速度を時間積分することにより、ヨー方向の角度変化Δθy [rad]を演算するとともに(ステップS13)、上記ステップS12で取得したピッチ方向の角速度を時間積分することにより、ピッチ方向の角度変化Δθp [rad]を演算する(ステップS14)。
次に、予め定められた時間(所定時間)内における、上記ヨー方向の角度変化の絶対値|Δθy |と、ピッチ方向の角度変化の絶対値|Δθp |と、の少なくとも一方が、所定値(所定の第1の閾値)α1 よりも大きいか否か、つまり、|Δθy |>α1 と|Δθp |>α1 との少なくとも一方が成立しているか否かを判断する(ステップS15)。
ここで、|Δθy |と|Δθp |との少なくとも一方が上記所定値α1 よりも大きいと判断された場合には、さらに、所定値α1 よりも大きいと判断された角度変化Δθy またはΔθp が、前回検出された値と反対方向の値になっているか否か(つまり、前回検出時と符号が逆になっているか否か)を判断する(ステップS16)。この処理は、頭部の傾き角度の変化が、順方向のままであるか、または逆方向に変わったか、を判断する処理となっている。
このステップS16において、反対方向の値になっていると判断された場合には、上記ヨー方向の角度変化の絶対値|Δθy |と、ピッチ方向の角度変化の絶対値|Δθp |と、の少なくとも一方が、第2の所定値(所定の第2の閾値)α2 (ただし、第2の所定値α2 は、α2 >α1 を満たす値)よりも大きいか否か、つまり、|Δθy |>α2 と|Δθp |>α2 との少なくとも一方が成立しているか否かをさらに判断する(ステップS17)。
このステップS17において、|Δθy |と|Δθp |との少なくとも一方が上記第2の所定値α2 よりも大きいと判断された場合、または上記ステップS16において反対方向ではないと判断された場合には、上記Δθy またはΔθp に対応する表示枠92(および表示画面93)の移動量を演算する(ステップS18)。この移動量の演算は、観察者の眼から画面までの距離をLとしたときに、L×Δθy またはL×Δθp を算出することにより行われる。
次に、演算された移動量に基づいて、移動後の表示枠92(および表示画面93)が、少なくとも一部は表示可能範囲91の中に入っているか、または全部が外になってしまうか、を判断する(ステップS19)。
ここで、表示枠92の全部が表示可能範囲91の外になってしまうと判断された場合には、上記第1CPU111の内部に設けられたタイマにより計測している時間が、表示枠92の全部が最初に表示可能範囲91の外になってしまってから、継続して、予めEEPROM114に記憶されている所定時間Ts以上になっているか否かを判断する(ステップS20)。
このステップS20において、所定時間Tsが経過していると判断された場合は、この情報表示装置1を低消費電力モードに設定して、電源回路124から供給される電力の低減を行い(ステップS21)、その後に、この処理を終了する。なお、上記所定時間Tsは、上述したように、図8に示すメニューボタン63、メニュー選択スイッチ66,67,68,69、確定スイッチ65などを操作することにより、所望の時間的長さに設定することができるようになっている。この低消費電力モードは、具体的には、第1CPU111と第2CPU112との一部の機能に関する動作を除いて、これら第1CPU111と第2CPU112のその他の動作や、あるいはCPU以外の他のブロックの動作を停止することにより行われるが、これは公知の手段と同様である。
一方、上記ステップS19において、表示枠92の少なくとも一部が表示可能範囲91に入っていて画像を表示することが可能であると判断された場合、または上記ステップS20において、表示枠92が非表示となった時間が上記所定時間Tsよりも短かった場合には、観察者の頭部のヨー方向またはピッチ方向への角度変化と反対方向に、上記ステップS18で演算された移動量に相当する量だけ表示画面を移動するように、表示枠92の情報および表示画面93の情報を表示用メモリ125へマッピングして記憶させる(ステップS22)。その後は、上記ステップS11へ戻って、上述したような処理を繰り返して行う。
一方、上記ステップS15において、|Δθy |と|Δθp |との両方が上記所定値α1 以下であると判断された場合、または上記ステップS17において、|Δθy |と|Δθp |との両方が上記第2の所定値α2 以下であると判断された場合には、表示枠92内の表示画面93をスクロールする操作が行われているか否かを判断する(ステップS23)。なお、このスクロール操作は、リモコン部5のポインタ74を上下左右にキー操作することにより行われるようになっており、これらのキー操作の何れかが行われている間は、該キー操作に応じた指定方向に表示画面93がスクロールされることになる。
このステップS23において、スクロール操作が行われていることを検出した場合には、表示用メモリ125における表示枠92内に対応するメモリセルの位置に、スクロール操作に応じて表示画面93がスクロールされるように、メモリ116から原画像を読み出してマッピングし記憶させる(ステップS24)。
その後、スクロール操作が終了したか否かを判断し(ステップS25)、終了するまでは上記ステップS24へ戻って、上述したようなマッピング処理を繰り返して行う。
こうしてスクロール操作が終了していると判断された場合、または上記ステップS23においてスクロール操作が行われていないと判断された場合には、上記ステップS11へ戻って、上述したような動作を繰り返して行う。
なお、この図30を参照して説明したような処理は、主に第1CPU111(図11参照)により行われるものであるが、該第1CPU111にかかる負荷の大きさに応じて、第2CPU112に該処理の一部を担わせるような分散処理を行っても構わない。
また、上述では、メモリ116に記憶されている原画像に基づいてLCD104に表示するための表示用のデータを生成したが、例えばキャラクタジェネレータ126により生成されたキャラクタデータや、その他の定型データなどについては、メモリ116を経由することなく、表示用メモリ125に直接書き込むようにしても構わない。ただし、このときには、EEPROM114のテーブルを参照して、表示位置に応じた処理を行ってから表示用メモリ125に書き込むようにするのは、メモリ116に記憶されている原画像の場合と同様である。
一方、これとは逆に、メモリ116から読み出した原画像のデータをリアルタイムで処理して、表示用メモリ125に書き込むことなく、LCDドライバ105による表示制御に同期するように第2CPU112から出力するようにすることも可能である。
さらに、上述では、周辺部の解像度を低下させた表示画像を、原画像との幾何的な相似性が略保たれるように観察者の眼に投影するタイプの情報表示装置を例に挙げたが、これに限るものではなく、スクリーン等に画像を投影して表示するようなプロジェクタ装置等にも周辺部の解像度を低下させる技術を適用することが可能である。
このような実施例1によれば、人間の眼の特性を考慮して、視力が良い網膜の中心部分に対応する画像の解像度が高くなるようにし、視力があまり良くない網膜の周辺部分に対応する画像の解像度は低くなるようにしたために、表示素子に設けられている限られた数のピクセルを有効に利用しながら、高い解像感の画像を観察することが可能となる。これにより、従来と同様の解像感を得るには、よりピクセル数が少なく小型で安価な表示素子を用いることが可能となる。あるいは、従来と同様の表示素子を用いる場合には、より高い解像感を得ることができる。
このとき、観察される画像が、原画像とほぼ相似となるようにしているために、画像の周辺部が圧縮や伸張されることなく、自然な画像を観察することができる。
さらに、周辺部における解像度の減少を、原画像からメモリセルへのマッピングにより行っているために、高速に処理を行うことが可能となって、画像を表示するまでの遅延時間を極力短縮することができる。このとき、マッピングの対応関係を、EEPROMにテーブルとして記憶させておくことにより、CPU等にあまり負荷をかけることなく、高速に処理を行うことができる。
そして、所定の基準位置を画像の中の1点とすることにより、表示素子のピクセルを、より効率的に使用して解像感を向上することができる。
また、所定の基準位置を、画像の中の1点を通る直線とすることにより、マッピングの処理をより簡単かつ高速に行うことが可能となる。
そして、このような構成は、観察者の頭部に装着して用い、表示情報を観察者の眼に投影するタイプの頭部装着型の情報表示装置において、特に有効に用いることができる。
加えて、表示領域内の表示情報をスクロールすることができるように構成したために、最も高い解像度が得られる部分に、所望の情報を表示することができる。これにより、小型で軽量な装置でありながら、任意の画像を鮮明に観察することが可能となる。
また、観察者の頭部の傾きに関わらず、該観察者から観察したときの虚像の位置がほぼ一定となるように、観察者の頭部の傾き方向とは逆方向に画像を移動させるようにしたために、観察者は、あたかも外界に固定された(例えば大型の)表示画面を観察しているように画像を観察することが可能となる。
さらに、表示する画像の初期位置を調整することができるようにしたために、観察者の個人差や使用目的に応じた最適な初期位置を選択することができる。したがって、例えば電車の中でパーソナルコンピュータ用のモニタとして使用する場合などに、斜め下方に表示画面を設定して、リモコン部により文字入力を行うことなどが可能となる。そして、この初期位置を基準として頭部の傾き角度を検出するために、例えば自然体のときの頭部の位置を中心にして、画像を観察することが可能となる。このような表示画面の初期位置を調整は、あたかも外界に設置した表示画面を最適な位置に設置するような感覚となり、便利な機能となる。
加えて、画像の初期位置を所望の位置に移動させることができるようにする場合には、調整の自由度が高まり、一方、予め定められた初期位置に調整する場合には操作が簡単となる。
また、頭部の角度が変化したときでも、所定時間内の角度の変化量が第1の閾値以下の場合には、頭部の角度変化と反対方向への表示画面のシフトは行わないようにしたために、頭部が微小変化する毎に演算を行う必要がなくなり、CPUの負荷を軽減することができる。
さらに、頭部の角度が反対方向に変化した場合には、頭部の角度変化と反対方向へ表示画面をシフトする処理を行うか否かを判断するための閾値を、同一方向の場合に比して大きくするようにした(第2の閾値)ために、所定位置を中心とした頭部の微小振動により画面がちらつくのを効果的に防止することができる。
そして、表示枠が表示可能範囲を逸脱して、所定時間以上表示されなかったときには、この情報表示装置を自動的に低消費電力モードに切り替えるようにしたために、特に意識的に電源を切る操作を行わなくても、消費電力の低減を図ってバッテリ寿命等を延ばすことができる。例えば、上述したように、電車の中などでパーソナルコンピュータ用のモニタとして使用する場合であって、斜め下方に表示画面を設定している場合などには、電車から降りるときに頭部を持ち上げると画面が視界から消えて、妨げるものなく外界を観察することができるために、表示装置を取り外すことなく安全に通常の行動をとることができるとともに、表示装置の電源を切ることなく消費電力の低減を図ることができる。こうして、気軽に使えながら、高度な機能を提供可能なウエアラブルな携帯型の情報表示装置となる。
また、低消費電力モードに切り替えるまでの所定時間を所望の長さの時間に設定することができるようにしたために、観察者のニーズに応じた使い方が可能となる。
なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。