JP3744984B2 - 情報表示装置 - Google Patents
情報表示装置 Download PDFInfo
- Publication number
- JP3744984B2 JP3744984B2 JP28249295A JP28249295A JP3744984B2 JP 3744984 B2 JP3744984 B2 JP 3744984B2 JP 28249295 A JP28249295 A JP 28249295A JP 28249295 A JP28249295 A JP 28249295A JP 3744984 B2 JP3744984 B2 JP 3744984B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- small screen
- color
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は情報表示装置に関し、特に観察者の頭部に装着して使用される頭部搭載型の情報表示装置 (HMD,Head Mounted Display) に関する。
【０００２】
【従来の技術】
近年、CRT や液晶ディスプレイ(LCD) 等の電子的な表示装置が小型化され、これを用いた高性能の頭部搭載型の表示装置（ヘッドマウントディスプレイ）が用いられてきた。
【０００３】
そして、HMD が小型になり、その表示画質が向上するにつれてHMD に計算機の演算結果を表示する情報表示装置が出現してきた。
【０００４】
HMD としては使用時に外界が見えず、CRT やLCD に表示する画像のみが観察できるタイプと、主として外界を観察し、これにオーバーラップしてCRT やLCD に表示する画像を副次的に観察する所謂シースルータイプとがある。
【０００５】
【発明が解決しようとする課題】
シースルータイプのHMD に情報を表示する場合に、外界のシーンとCRT やLCD 等の表示器に表示する画像の間の相互作用により表示器の表示が見難くなることがある。
【０００６】
具体的には、
・オーバラップして表示する部分の外界の色と表示色が似ていて見ずらい。
・オーバラップして表示する部分の外界の明るさが非常に明るくて見ずらい。
・外界の空間周波数（風景の細かさ）が高い（細かい）ところに表示された場合、背景と表示が重なって見難い。
等である。
【０００７】
本発明は、情報表示装置に撮像手段を付加して外景を撮像手段により撮像しその撮像情報に基づいて、情報供給手段からの情報を表示する部分の該情報の表示状態を適切に制御することにより情報を視認し易く、疲れない情報表示装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１の発明の情報表示装置は、表示手段と、該表示手段からの光を観察者に導く光学系とを有し、情報供給手段が供給する情報を前記表示手段に表示すると共に、該情報を、前記光学系を介して外景にオーバーラップして観察者に視認させる情報表示装置において、前記外景を撮像する撮像手段を有し、該撮像手段によって検出された、前記情報をオーバーラップして表示する部分の外景の明るさの状態に応じて、前記情報の表示色又は表示位置を変更することを特徴としている。
請求項２の発明の情報表示装置は、表示手段と、該表示手段からの光を観察者に導く光学系とを有し、情報供給手段が供給する情報を前記表示手段に表示すると共に、該情報を、前記光学系を介して外景にオーバーラップして観察者に視認させる情報表示装置において、前記外景を撮像する撮像手段を有し、該撮像手段によって検出された、前記情報をオーバーラップして表示する部分の外景の色相の状態に応じて、前記情報の表示色又は表示位置を変更することを特徴としている。
請求項３の発明の情報表示装置は、表示手段と、該表示手段からの光を観察者に導く光学系とを有し、情報供給手段が供給する情報を前記表示手段に表示すると共に、該情報を、前記光学系を介して外景にオーバーラップして観察者に視認させる情報表示装置において、前記外景を撮像する撮像手段を有し、該撮像手段によって検出された、前記情報をオーバーラップして表示する部分の外景の空間周波数の状態に応じて、前記情報の表示位置を変更することを特徴としている。
【０００９】
【発明の実施の形態】
図１は本発明の情報表示装置の実施形態１の要部概略図である。図は実施形態１の一部を破断して表示している。図中、１は観察者、５１６は計算機（情報供給手段）である。５３６は計算機５１６の表示器（表示手段）であり、CRT や液晶表示素子(LCD) 等で構成し、計算機５１６の演算結果（情報）を表示する。５３７は光学素子（光学系）であり、一方の面は凹面の非球面であり、その上にハーフミラー膜を付けており、表示器に表示した表示情報を反射して虚像を形成し、観察者１に視認させる。光学素子５３７の他方の面は凹面と殆ど同じ非球面の凸面であり、観察者１は該光学素子５３７を通して外景を視認する。従って観察者１は外界の中に表示器５３６に表示した情報をオーバーラップして視認する。なお、表示器５３６の視野角は観察者１の視野角θと略同じに設定している。５３８は装着手段であり、表示器５３６、光学素子５３７、カメラ５３１等を観察者１の頭部に固定する。
【００１０】
カメラ５３１はレンズ５０１を通して外界をモニターしている。レンズ５０１の視野角は観察者１の視野角と略同じに設定している。
【００１１】
計算機５１６はカメラ５３１と一体にしても良いし、又、点線で示しているようにHMD から離して設けても良い。この時は計算機５１６として一般的なパーソナル・コンピュータを用いても良い。
【００１２】
本情報表示装置は外界の視野の中の一部に計算器の演算結果をオーバーラップ式に表示するものであるが、表示する情報が外界の色と同じであったり、表示部分の外界の空間周波数が高くて（外界の像が細かくて）情報を見ずらい場合は表示色を変えたり或は表示部分を変えたりする構成を有する。
【００１３】
図２は実施形態１のカメラ５３１の電気回路の構成図である。図中、レンズ５０１は物体の像を撮像素子５０２の撮像面上に結像する。レンズ５０１の焦点距離は観察者１の眼の視野角θと略一致するように設定している。撮像素子５０２はCCD 、撮像管、その他の素子で構成し、レンズ５０１によって結像された被写体の像を時系列の電気信号に変換する。５０３は撮像素子５０２を駆動するためのドライバである。５０４はタイミングジェネレータであり、撮像素子５０２、ドライバ５０３及び信号処理回路５０５を含むカメラの各構成要素に必要な各種のタイミング信号を発生し、各構成要素に送る。又、計算機５１６の出力端子ｇから出力される小画面設定信号に対してそれに応じたタイミングの信号を発生してトランスミッションゲート５１１へ出力する。
【００１４】
信号処理回路５０５は撮像素子５０２から出力する被写体像の情報をタイミングジェネレータ５０４からの信号に基づいて規定の画像情報信号に変換する。この部分での信号処理の方法及び回路は公知の方法及び回路で容易に実現できる。
【００１５】
規定の画像情報信号にはR,G,B 信号、輝度信号(Y) 、色差信号(R-Y,B-Y) 等があるがここではその全ての信号が信号処理回路５０５によって作られ、その出力端子R,G,B,Y から出力される。
【００１６】
一画面分のR,G,B 信号は画像情報としてカメラのホスト機とでもいう計算機５１６の端子ａ，ｂ，ｃに入力し、計算機５１６は外界の画像情報を受け取る。
【００１７】
信号処理回路５０５から出力する輝度信号Y は後述する情報を表示する画面の一部（小画面）を切り出すトランスミッションゲート５０６の入力端子ａに入力される。トランスミッションゲート５０６の制御端子ｂには後述する小画面を切り出すタイミング信号が入力され、出力端子ｃからは切り出された小画面の画像の輝度信号のみが出力される。
【００１８】
トランスミッションゲート５０６からの出力はハイパスフィルタ（ＨＰＦ）５０７に入力され、切り出された小画面の空間周波数が高い（画像のパターンが細かい）場合にのみハイパスフィルタ５０７の出力には信号が現れる。
【００１９】
ハイパスフィルタ５０７からの出力は検波回路５０８に入力し、ハイパスフィルタ５０７に出力信号があった場合それを積算し、切り出された小画面の空間周波数の高い部分の総量を検出する。
【００２０】
検波回路５０８からの出力は比較回路５０９に入力され、閾値と比較されて閾値よりも大きい（比較回路５０９からの出力＝１）か小さい（比較回路５０９からの出力＝０）かを判定して計算機５１６の入力端子ｄに入力する。
【００２１】
以上によって計算機５１６はトランスミッションゲート５０６〜比較回路５０９によって切り出した小画面の空間周波数判定を行う。即ち小画面の画像が空間周波数の高い部分を含むか否かを判定する。
【００２２】
次に切り出した小画面の画像の色が頻繁に変化するか否かを判定する部分について説明する。信号処理回路５０５からの色信号赤(R) 及び青(B) は除算回路５１０の入力端子ａ及びｂに入力され、ここで比R/B を算出して端子ｃから出力する。この信号R/B は画像の色温度（色相）に関する情報を含んでいる。即ち信号R/B が大きいほど色温度が低く（赤みが強く）、信号R/B が小さいほど色温度が高い（青みが強い）。
【００２３】
除算回路５１０からの出力はトランスミッションゲート５１１の入力端子ａに入力される。トランスミッションゲート５１１の制御端子ｂにはトランスミッションゲート５０６の制御端子と同じ切り出し信号がタイミングジェネレーター５０４より入力される。トランスミッションゲート５１１の出力端子ｃからは切り出された小画面の画像のR/B 信号が出力され、これが積分回路５１２に入力される。
【００２４】
積分回路５１２はこのR/B 信号を切り出された小画面にわたって積算し、計算機５１６の入力端子ｅに出力する。この出力信号はアナログ信号である。計算機５１６がディジタルコンピュータの場合、入力端子ｅはアナログ信号入力端子であり、アナログ信号をディジタル信号に変換するA/D 変換器を内蔵していて信号入力時に計算機５１６が扱える信号に変換する。
【００２５】
計算器５１６は入力端子ｅからの信号により色相が表示色と類似であるか否かを判定する。
【００２６】
トランスミッションゲート５１１からの出力信号は同時にハイパスフィルタ５１３に入力され、画像の色が変化していればここから出力信号が発生し、検波回路５１４に入力される。
【００２７】
検波回路５１４はハイパスフィルタ５１３に出力信号があった場合にそれを積算し、切り出された小画面で色が頻繁に変化する部分の総量を算出し、その結果を比較回路５１５に出力する。
【００２８】
比較回路５１５では検波回路５１４からの出力を閾値と比較して閾値よりも大きい（比較回路５１５からの出力＝１）か小さい（比較回路５１５からの出力＝０）かを判定して計算機５１６の入力端子ｆに入力する。
【００２９】
以上によって計算機５１６はトランスミッションゲート５１１〜比較回路５１５によって切り出した小画面の画像の色が頻繁に変化するか否かを判定できる。即ち、入力端子ｆへの入力信号がローの場合は切り出された部分の色は頻繁に変化せず、略一定であり、入力端子ｅから入力されるアナログ信号の大きさは色相に対応している。又、入力端子ｆの入力信号がハイであれば、切り出した部分の画像の色が頻繁に変化していると判定する。
【００３０】
そこで、計算機５１６は入力端子ｅ及びｆを介して受け取る信号から切り取った小画面の色相が頻繁に変化せず且つ或る色相で略均一であるか否かの判定ができる。
【００３１】
なお、要素５０１〜５１５等はカメラ５３１の一要素を構成している。
【００３２】
図３は実施形態１のカメラによる切り出し画面設定の説明図である。撮像素子５０２の画素数は水平方向にm・H 個、垂直方向にn・V 個であり、図示するようにこの画面を水平方向にｍ分割、垂直方向にｎ分割して小画面を構成する。従って分割された個々の小画面の画素数は水平方向Ｈ個、垂直方向Ｖ個である。図示するように左上隅を小画面(1,1) 、右下隅を小画面(n,m) と呼ぶこととする。なお、カメラは通常のテレビジョンのように水平方向に走査するため垂直方向の画素数はライン数と呼ぶこととする。なお、前記のように表示器５３６の視野角及び観察者１の視野角及びカメラ５３１の視野角はすべて略同じであるので、以上の小画面の設定は表示器５３６及び観察者１の視野にも対応している。
【００３３】
図４は実施形態１のカメラの画像切り出しに関するタイミングチャートである。例として図３の小画面(i,j) の画像を切り出す場合について説明する。
【００３４】
図４中、ａは水平走査のタイミングを示す図であり、各ラインの読出タイミングで発生するパルスをラインパルスと呼ぶ。即ち、
１のタイミングで第１のラインが読み出され、
２のタイミングで第２のラインが読み出され、
・・・・・・・
となる。小画面(i,j) は第(i-1)・V+1 ライン〜第i・V ラインにあるから、図に示したＴ，Ｂを
Ｔ＝（ｉ−１）・Ｖ＋１
Ｂ＝ｉ・Ｖ
として、この期間ハイレベルとなる図４のｂに示すタイミングのパルスを発生させられれば切り出しのライン期間に同期できる。
【００３５】
図４のｃは水平走査の各画素を読み出すタイミングを示す図であり、各画素の読み出しタイミングで発生するパルスを画素パルスと呼ぶ。即ち、
１のタイミングで第１画素が読み出され
２のタイミングで第２画素が読み出され
・・・・・・・
となる。小画面(i,j) は第(j-1)・H+1 〜第j・H 画素にあるから、図に示したＬ，Ｒを
Ｌ＝（ｊ−１）・Ｈ＋１
Ｒ＝ｊ・Ｈ
として、この期間ハイレバルとなる図４のｄに示すタイミングのパルスを発生させられれば切り出しの画素期間に同期できる。
【００３６】
そして、図４のｂ及びｄに示すパルスの論理的なAND をとると、切り出し小画面の読み出しタイミングに同期させることができる。
【００３７】
図５は図４に示した切り出しタイミングのパルスを発生させる電気回路図である。図中、５２１はパルスカウンターであり、入力端子ａに入力してくるパルスの数を数える。そしてパルスカウンター５２１の出力端子ｂは複数本数で構成していて、カウント結果を２進数で夫々マグニチュードコンパレータ５２２及び５２３へ並列出力する。
【００３８】
マグニチュードコンパレータとは２つの入力端子ａ及びｂからの２進数の変数Ｐ及びＱに対して：
Ｐ＞Ｑ ならば出力端子ｃがハイ（論理的に１）になり、
Ｐ≦Ｑ ならば出力端子ｃがロー（論理的に０）になる
素子であり、例えば株式会社東芝から東芝TC74HC85APとして発売されている。
【００３９】
例えば図５の電気回路は水平方向のパルス発生電気回路図であるとする。この時、マグニチュードコンパレータ５２２及び５２３の入力端子ｂには、選択する小画面の値ｊを用いて計算機５１６が設定した値Q1=(j-1)・H及びQ2=j・Hが印加される。
【００４０】
マグニチュードコンパレータ５２３の出力端子ｃからの出力Ｃは反転回路５２４に入力され、反転回路５２４からの出力Ｄと マグニチュードコンパレータ５２２からの出力Ｂはアンド回路５２５の２つの入力端子ａ，ｂに入力される。そしてアンド回路５２５からの出力Ｅに希望する切り出し波形（パルス）が得られる。
【００４１】
この回路の作用について説明する。図６は図５の回路中の各要素の信号図形である。図５の回路において、パルスカウンター５２１の入力端子ａには、図６のＡに示す画素パルスを入力する。パルスカウンター５２１は到来する画素パルスを計数して計数結果（読み出し画素位置）Ｐをマグニチュードコンパレータ５２２及び５２３の入力端子ａに入力する。
【００４２】
一方、マグニチュードコンパレータ５２２及び５２３の入力端子ｂには計算機５１６から夫々Q1=(j-1)・H及びQ2=j・Hが入力されている。するとマグニチュードコンパレータ５２２は入力端子ｂへの入力値がQ1=(j-1)・Hであるから、到来した画素パルスがP=(j-1)・H+1 に達すると
Ｐ＞Ｑ1 ＝（ｊ−１）・Ｈ
の条件が成り立ち、図６のＢに示すようにその出力端子ｃからの出力Ｂがハイに転じて、それ以後この値が維持される。
【００４３】
マグニチュードコンパレータ５２３は入力端子ｂへの入力値がQ2=j・Hであるから、到来した画素パルスがP=j・H+1 に達すると
Ｐ＞Ｑ2 ＝ｊ・Ｈ
の条件が成り立ち、図６のＣに示すようにその出力端子ｃからの出力Ｃがハイに転じて、それ以後この値が維持される。
【００４４】
マグニチュードコンパレータ５２３からの出力Ｃは反転回路５２４によって反転され、図６のＤの波形になる。
【００４５】
そしてアンド回路５２５には図６のＢ及びＤの波形が入力するので、その出力Ｅは図６のＥに示すように、(j-1)・H+1 番目〜j・H 番目でハイになる波形になる。
【００４６】
同様に、垂直方向のパルス発生電気回路でも図５で( ) 中に示したようにマグニチュードコンパレータ５２２、５２３の入力端子ｂへQ1=(i-1)・V及びQ2=i・Vを入力することにより小画面(i,j) の垂直方向の画素部相当でハイになる波形を得ることができる。
【００４７】
こうして小画面(i,j) を選択するために、図２のトランスミッションゲート５０６及び５１１の制御端子ｃに印加すべきタイミング信号が形成される。
【００４８】
更に、上記の説明でｉ及びｊは夫々
ｉ＝１、２、・・・・ｎ
ｊ＝１、２、・・・・ｍ
と独立に変化させることができるためｍ×ｎ分割した各々の小画面に対して空間周波数の判定及び色相・色均一性の判定ができる。
【００４９】
以上の説明ではハードウエアで全ての作用を行っているが、例えばこれを計算機５１６の画像メモリーに取り込んで画像処理的に全く同様の処理を実行できる。
【００５０】
次に、表示色変更（パターンマッチ）の動作について説明する。
【００５１】
図７は実施形態１において、外景に計算機５１６の表示をオーバーラップして表示している図である。観察者１の視野角と表示器５３６の視野角とカメラ５３１の撮影画面は略一致しており、表示器５３６の視野は図３で説明したように小画面に領域分割されている。今の場合、説明を簡単にする為に撮影画面は縦・横共に４分割しているものとし、各小画面を小画面(1,1),(1,2),・・・・(4,4) とする。
【００５２】
計算機５１６は小画面(4,3) 内部のＡ部分に文字情報を表示し、文字の線の部分以外は背景をそのまま表示するものとする。
【００５３】
仮に表示の文字の色が赤色であったとして、背景に同色の物体、例えば赤色の自動車が入ってきた場合、計算機５１６の表示と背景との区別がつきにくくなって判読しにくくなる。
【００５４】
図８は図２に示す計算機５１６の一部分のブロック図である。図中、５３１は図２に示すカメラである。又、５３２はカメラ画像判定回路であり、図２の計算機５１６の端子ｄ，ｅ，ｆ，ｇに対する入出力を制御し画像を判定する。５３４は演算論理回路であり、不図示の内蔵されたプログラム（ソフトウエア）に従って計算機５１６の各部からの情報を入力し、それを元に演算判定し、その結果に基づいて計算機５１６の各部を制御する。
【００５５】
５３５は画面表示制御回路であり、演算論理回路５３４からの情報を元に表示信号を作り、表示器５３６を制御する。表示器５３６は画面表示制御回路５３５から送られてくる演算論理回路５３４の結果に基づいた情報を表示する。
【００５６】
図９は図８の計算機の色均一性・色相判定の動作のフローチャートである。これについて説明する。
【００５７】
step 541: まず、プログラムに従って表示しようとしている小画面(4,3) のデータを演算論理回路５３４からカメラ画像判定回路５３２に送る。カメラ画像判定回路５３２はこれを受けて計算機５１６の端子ｇから規定の領域指定信号をタイミングジェネレータ５０４に送る。タイミングジェネレータ５０４はトランスミッションゲート５０６及び５１１の制御端子ｂに図７の小画面(4,3) を切り出すタイミングの信号を送り、これによってこの小画面が切り出される。
【００５８】
step 542: 計算機５１６のカメラ画像判定回路５３２は入力端子ｅ及びｆからの入力に基づいて小画面(4,3) の色情報を演算論理回路５３４に送る。演算論理回路５３４はその情報から背景に対する色情報を把握する。
【００５９】
step 543: 演算論理回路５３４は把握した背景の色情報をもとに背景の色があまり変化せず且つ表示する色と類似しているか否か色相一致を判定する。
【００６０】
これがyes と判定されればstep 544へ進み、noと判定されればそのまま表示して終了する。
【００６１】
step 544: 表示色を異なる色相に変更して表示して終了する。
【００６２】
以上のように本実施形態は、計算機５１６が供給する情報を表示器５３６に表示する際、外景中で該情報をオーバーラップして表示する部分の色相の状態をカメラ５３１で検出し、その結果に基づいて該情報の表示状態、即ち色相を制御することにより表示情報が見易い情報表示装置を達成している。
【００６３】
図１０は本発明の情報表示装置の実施形態２の説明図である。実施形態１では表示部分の背景の色が表示色と類似であると判定されれば、同じ表示部分に表示色を異なる色相に変更して表示したが、本実施形態ではその場合、同じ色で表示部分を変更して表示する点が異なっており、その他の構成は同じである。
【００６４】
即ち、図１０において小画面(4,3) の部分Ａの背景が表示色と類似の色である場合は表示する場所を変え、小画面(4,4) の部分Ｂ又は小画面(4,2) の部分Ｃに表示するのである。
【００６５】
ハードウエアとしては図２〜図８までに説明したものがそのまま使え、ソフトウエアのみを変更すれば良い。図１１は本実施形態のフローチャートである。これについて説明する。
【００６６】
step 551: まず、プログラムに従って表示しようとしている小画面(4,3) のデータを演算論理回路５３４からカメラ画像判定回路５３２に送る。カメラ画像判定回路５３２はこれを受けて計算機５１６の端子ｇから規定の領域指定信号をタイミングジェネレータ５０４に送る。タイミングジェネレータ５０４はトランスミッションゲート５０６及び５１１の制御端子ｂに図１０の小画面(4,3) を切り出すタイミングの信号を送り、これによってこの小画面が切り出される。
【００６７】
step 552: 計算機５１６のカメラ画像判定回路５３２は入力端子ｅ及びｆからの入力に基づいて小画面(4,3) の色相に関する情報を演算論理回路５３４に送る。演算論理回路５３４はその情報から背景に対する色情報を把握する。
【００６８】
step 553: 演算論理回路５３４は把握した背景の色情報をもとに背景の色があまり変化せず且つ表示する色と類似しているか否かの色相一致を判定する。
【００６９】
背景の色が表示色と類似であると判定されればstep 555へ進み、背景の色が表示色と異なると判定されればstep 554へ進む。
【００７０】
step 555: 別の小画面、例えば小画面(4,4) を選択する。この作業は次のように行う。即ち、小画面(4,4) のデータを演算論理回路５３４からカメラ画像判定回路５３２に送り、カメラ画像判定回路５３２はこれを受けて計算機５１６の端子ｇから規定の領域指定信号をタイミングジェネレータ５０４に送る。タイミングジェネレータ５０４はトランスミッションゲート５０６及び５１１の制御端子ｂに小画面(4,4) を切り出すタイミングの信号を送り、これにより小画面(4,4) が切り出される。
【００７１】
そしてstep 552へ帰る。そしてここで再びこの小画面の色均一性・色相判定を行い、色相の変化、表示色との類似度判定を行い、step 553へ進む。その結果、今度選んだ小画面の色相は表示色と類似していないことが判った場合は次のstep
554に進む。
【００７２】
step 554: 表示する小画面領域が前記のように小画面(4,3) と異なる可能性があるため、色相判定した小画面の番号を確認する。そして確認された小画面のデータを演算論理回路５３４から画面表示制御回路５３５へ送り、表示器５３６の規定の箇所［小画面(4,3) ならば部分Ａ，小画面(4,4) ならば部分Ｂ、小画面(4,2) ならば部分Ｃ］に情報を表示して終了する。
【００７３】
以上のように本実施形態は、計算機５１６が供給する情報を表示器５３６に表示する際、外景中で該情報をオーバーラップして表示する部分の色相の状態をカメラ５３１で検出し、その結果に基づいて該情報の表示状態、即ち表示位置を制御することにより表示情報が見易い情報表示装置を達成している。
【００７４】
図１２は本発明の情報表示装置の実施形態３のフローチャートである。本フローチャートは実施形態２のフローチャートを小変更したものである。本実施形態は表示する部分の空間周波数の高低をも判断して、もし表示部分の空間周波数が高ければ、この部分を避けて表示するようにしたものである。
【００７５】
実施形態２と異なる部分のみ説明する。図１２の本実施形態のフローチャートは図１１のフローチャートのstep 551とstep 552との間にstep 560が挿入されている点のみ異なっている。
【００７６】
step 560: 図２のハイパスフィルタ５０７〜比較回路５０９で抽出して入力端子ｄを介して計算機５１６へ入力された信号から該当小画面の空間周波数を分析し、その結果選択された小画面では空間周波数が高いと判定される場合は細かい模様が背景にきて見難いと判断して、この小画面に表示するのは止め、step 555へ進んで、別の小画面の選定に移る。
【００７７】
もし、空間周波数が低いと判断された場合は背景はフラットで細かい模様は無く、この小画面は表示に適する小画面と判断し、step 552へ進み、色相の類似度判定に進む。
【００７８】
以上のように本実施形態は、計算機５１６が供給する情報を表示器５３６に表示する際、外景中で該情報をオーバーラップして表示する部分の空間周波数の状態及び色相の状態をカメラ５３１で検出し、その結果に基づいて該情報の表示状態、即ち表示位置を制御することにより表示情報が空間周波数も色相も均一なフラットな部分に背景と異なる色相の表示が為されるために非常に見易い表示になる。
【００７９】
以上の説明から明らかなように、本発明の情報表示装置を用いることによってHMD へ計算機の演算結果を表示する際、それとオーバラップして見える外界の状況に応じた表示を行って情報を視認し易い情報表示装置を達成している。
【００８０】
具体的には、表示する部分の外界の色があまり変化せず且つ表示色と外界の色が似ていて区別がつきにくい場合、表示色を変更することによって表示する情報が容易に区別ができ、見易くなる。
【００８１】
又は、表示色とは異なる色の外界の部分に表示を移すことによって区別をつけ易く見易いものにする。
【００８２】
その上、場合によっては、空間周波数が低く、色の均一性が高く、色相も異なる位置に表示を移して区別がつけ易く見易いものにすることもできる。
【００８３】
なお、実施形態１では外景中でオーバーラップして表示する部分の色相の状態をカメラ５３１で検出して情報の表示状態を制御したが、カメラ５３１の輝度チャンネル（Y)によってオーバーラップして表示する部分の輝度の状態を検出し、その部分の明るさが極めて明るい場合には例えば該情報を黒色で表示するか、或は別の小画面に表示すれば、オーバラップして表示する部分の外界の明るさが非常に明るくて見ずらくなる場合でも見易い情報表示が達成できる。
【００８４】
【発明の効果】
本発明は以上の構成により、情報表示装置に撮像手段を付加して外景を撮像手段により撮像しその撮像情報に基づいて、情報供給手段からの情報を表示する部分の該情報の表示状態を適切に制御することにより情報を視認し易く、疲れない情報表示装置を達成する。
【図面の簡単な説明】
【図１】 本発明の情報表示装置の実施形態１の要部概略図
【図２】 実施形態１のカメラの電気回路の構成図
【図３】 実施形態１のカメラに対する切り出し画面設定の説明図
【図４】 実施形態１のカメラの画像切り出しに関するタイミングチャート
【図５】 図４に示した切り出しタイミングのパルスを発生させる電気回路図
【図６】 図５の回路中の各要素の信号図形
【図７】 外界に計算機の表示をオーバーラップして表示している図
【図８】 図２に示す計算機の一部分のブロック図
【図９】 図８の計算機の色均一性・色相判定の動作のフローチャート
【図１０】 本発明の実施形態２の説明図
【図１１】 実施形態２のフローチャート
【図１２】 本発明の実施形態３のフローチャート
【符号の説明】
１ 観察者
５０１ レンズ
５０２ 撮像素子
５０３ ドライバ
５０４ タイミングジェネレータ
５０５ シンゴウ処理回路
５０６、５１１ トランスミッションゲート
５０７、５１３ ハイパスフィルター
５０８、５１４ 検波回路
５０９、５１５ 比較回路
５１０ 除算回路
５１２ 積分回路
５１６ 計算機
５２１ パルスカウンタ
５２２、５２３ マグニチュードコンパレーター（ＭＣ）
５２４ 反転回路
５２５ アンド回路
５３１ カメラ
５３２ カメラ画像判定回路
５３３ 入力制御
５３４ 演算論理回路
５３５ 画面表示制御回路
５３６ 表示器
５３７ 光学素子（光学系）
５３８ 装着手段
【発明の属する技術分野】
本発明は情報表示装置に関し、特に観察者の頭部に装着して使用される頭部搭載型の情報表示装置 (HMD,Head Mounted Display) に関する。
【０００２】
【従来の技術】
近年、CRT や液晶ディスプレイ(LCD) 等の電子的な表示装置が小型化され、これを用いた高性能の頭部搭載型の表示装置（ヘッドマウントディスプレイ）が用いられてきた。
【０００３】
そして、HMD が小型になり、その表示画質が向上するにつれてHMD に計算機の演算結果を表示する情報表示装置が出現してきた。
【０００４】
HMD としては使用時に外界が見えず、CRT やLCD に表示する画像のみが観察できるタイプと、主として外界を観察し、これにオーバーラップしてCRT やLCD に表示する画像を副次的に観察する所謂シースルータイプとがある。
【０００５】
【発明が解決しようとする課題】
シースルータイプのHMD に情報を表示する場合に、外界のシーンとCRT やLCD 等の表示器に表示する画像の間の相互作用により表示器の表示が見難くなることがある。
【０００６】
具体的には、
・オーバラップして表示する部分の外界の色と表示色が似ていて見ずらい。
・オーバラップして表示する部分の外界の明るさが非常に明るくて見ずらい。
・外界の空間周波数（風景の細かさ）が高い（細かい）ところに表示された場合、背景と表示が重なって見難い。
等である。
【０００７】
本発明は、情報表示装置に撮像手段を付加して外景を撮像手段により撮像しその撮像情報に基づいて、情報供給手段からの情報を表示する部分の該情報の表示状態を適切に制御することにより情報を視認し易く、疲れない情報表示装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１の発明の情報表示装置は、表示手段と、該表示手段からの光を観察者に導く光学系とを有し、情報供給手段が供給する情報を前記表示手段に表示すると共に、該情報を、前記光学系を介して外景にオーバーラップして観察者に視認させる情報表示装置において、前記外景を撮像する撮像手段を有し、該撮像手段によって検出された、前記情報をオーバーラップして表示する部分の外景の明るさの状態に応じて、前記情報の表示色又は表示位置を変更することを特徴としている。
請求項２の発明の情報表示装置は、表示手段と、該表示手段からの光を観察者に導く光学系とを有し、情報供給手段が供給する情報を前記表示手段に表示すると共に、該情報を、前記光学系を介して外景にオーバーラップして観察者に視認させる情報表示装置において、前記外景を撮像する撮像手段を有し、該撮像手段によって検出された、前記情報をオーバーラップして表示する部分の外景の色相の状態に応じて、前記情報の表示色又は表示位置を変更することを特徴としている。
請求項３の発明の情報表示装置は、表示手段と、該表示手段からの光を観察者に導く光学系とを有し、情報供給手段が供給する情報を前記表示手段に表示すると共に、該情報を、前記光学系を介して外景にオーバーラップして観察者に視認させる情報表示装置において、前記外景を撮像する撮像手段を有し、該撮像手段によって検出された、前記情報をオーバーラップして表示する部分の外景の空間周波数の状態に応じて、前記情報の表示位置を変更することを特徴としている。
【０００９】
【発明の実施の形態】
図１は本発明の情報表示装置の実施形態１の要部概略図である。図は実施形態１の一部を破断して表示している。図中、１は観察者、５１６は計算機（情報供給手段）である。５３６は計算機５１６の表示器（表示手段）であり、CRT や液晶表示素子(LCD) 等で構成し、計算機５１６の演算結果（情報）を表示する。５３７は光学素子（光学系）であり、一方の面は凹面の非球面であり、その上にハーフミラー膜を付けており、表示器に表示した表示情報を反射して虚像を形成し、観察者１に視認させる。光学素子５３７の他方の面は凹面と殆ど同じ非球面の凸面であり、観察者１は該光学素子５３７を通して外景を視認する。従って観察者１は外界の中に表示器５３６に表示した情報をオーバーラップして視認する。なお、表示器５３６の視野角は観察者１の視野角θと略同じに設定している。５３８は装着手段であり、表示器５３６、光学素子５３７、カメラ５３１等を観察者１の頭部に固定する。
【００１０】
カメラ５３１はレンズ５０１を通して外界をモニターしている。レンズ５０１の視野角は観察者１の視野角と略同じに設定している。
【００１１】
計算機５１６はカメラ５３１と一体にしても良いし、又、点線で示しているようにHMD から離して設けても良い。この時は計算機５１６として一般的なパーソナル・コンピュータを用いても良い。
【００１２】
本情報表示装置は外界の視野の中の一部に計算器の演算結果をオーバーラップ式に表示するものであるが、表示する情報が外界の色と同じであったり、表示部分の外界の空間周波数が高くて（外界の像が細かくて）情報を見ずらい場合は表示色を変えたり或は表示部分を変えたりする構成を有する。
【００１３】
図２は実施形態１のカメラ５３１の電気回路の構成図である。図中、レンズ５０１は物体の像を撮像素子５０２の撮像面上に結像する。レンズ５０１の焦点距離は観察者１の眼の視野角θと略一致するように設定している。撮像素子５０２はCCD 、撮像管、その他の素子で構成し、レンズ５０１によって結像された被写体の像を時系列の電気信号に変換する。５０３は撮像素子５０２を駆動するためのドライバである。５０４はタイミングジェネレータであり、撮像素子５０２、ドライバ５０３及び信号処理回路５０５を含むカメラの各構成要素に必要な各種のタイミング信号を発生し、各構成要素に送る。又、計算機５１６の出力端子ｇから出力される小画面設定信号に対してそれに応じたタイミングの信号を発生してトランスミッションゲート５１１へ出力する。
【００１４】
信号処理回路５０５は撮像素子５０２から出力する被写体像の情報をタイミングジェネレータ５０４からの信号に基づいて規定の画像情報信号に変換する。この部分での信号処理の方法及び回路は公知の方法及び回路で容易に実現できる。
【００１５】
規定の画像情報信号にはR,G,B 信号、輝度信号(Y) 、色差信号(R-Y,B-Y) 等があるがここではその全ての信号が信号処理回路５０５によって作られ、その出力端子R,G,B,Y から出力される。
【００１６】
一画面分のR,G,B 信号は画像情報としてカメラのホスト機とでもいう計算機５１６の端子ａ，ｂ，ｃに入力し、計算機５１６は外界の画像情報を受け取る。
【００１７】
信号処理回路５０５から出力する輝度信号Y は後述する情報を表示する画面の一部（小画面）を切り出すトランスミッションゲート５０６の入力端子ａに入力される。トランスミッションゲート５０６の制御端子ｂには後述する小画面を切り出すタイミング信号が入力され、出力端子ｃからは切り出された小画面の画像の輝度信号のみが出力される。
【００１８】
トランスミッションゲート５０６からの出力はハイパスフィルタ（ＨＰＦ）５０７に入力され、切り出された小画面の空間周波数が高い（画像のパターンが細かい）場合にのみハイパスフィルタ５０７の出力には信号が現れる。
【００１９】
ハイパスフィルタ５０７からの出力は検波回路５０８に入力し、ハイパスフィルタ５０７に出力信号があった場合それを積算し、切り出された小画面の空間周波数の高い部分の総量を検出する。
【００２０】
検波回路５０８からの出力は比較回路５０９に入力され、閾値と比較されて閾値よりも大きい（比較回路５０９からの出力＝１）か小さい（比較回路５０９からの出力＝０）かを判定して計算機５１６の入力端子ｄに入力する。
【００２１】
以上によって計算機５１６はトランスミッションゲート５０６〜比較回路５０９によって切り出した小画面の空間周波数判定を行う。即ち小画面の画像が空間周波数の高い部分を含むか否かを判定する。
【００２２】
次に切り出した小画面の画像の色が頻繁に変化するか否かを判定する部分について説明する。信号処理回路５０５からの色信号赤(R) 及び青(B) は除算回路５１０の入力端子ａ及びｂに入力され、ここで比R/B を算出して端子ｃから出力する。この信号R/B は画像の色温度（色相）に関する情報を含んでいる。即ち信号R/B が大きいほど色温度が低く（赤みが強く）、信号R/B が小さいほど色温度が高い（青みが強い）。
【００２３】
除算回路５１０からの出力はトランスミッションゲート５１１の入力端子ａに入力される。トランスミッションゲート５１１の制御端子ｂにはトランスミッションゲート５０６の制御端子と同じ切り出し信号がタイミングジェネレーター５０４より入力される。トランスミッションゲート５１１の出力端子ｃからは切り出された小画面の画像のR/B 信号が出力され、これが積分回路５１２に入力される。
【００２４】
積分回路５１２はこのR/B 信号を切り出された小画面にわたって積算し、計算機５１６の入力端子ｅに出力する。この出力信号はアナログ信号である。計算機５１６がディジタルコンピュータの場合、入力端子ｅはアナログ信号入力端子であり、アナログ信号をディジタル信号に変換するA/D 変換器を内蔵していて信号入力時に計算機５１６が扱える信号に変換する。
【００２５】
計算器５１６は入力端子ｅからの信号により色相が表示色と類似であるか否かを判定する。
【００２６】
トランスミッションゲート５１１からの出力信号は同時にハイパスフィルタ５１３に入力され、画像の色が変化していればここから出力信号が発生し、検波回路５１４に入力される。
【００２７】
検波回路５１４はハイパスフィルタ５１３に出力信号があった場合にそれを積算し、切り出された小画面で色が頻繁に変化する部分の総量を算出し、その結果を比較回路５１５に出力する。
【００２８】
比較回路５１５では検波回路５１４からの出力を閾値と比較して閾値よりも大きい（比較回路５１５からの出力＝１）か小さい（比較回路５１５からの出力＝０）かを判定して計算機５１６の入力端子ｆに入力する。
【００２９】
以上によって計算機５１６はトランスミッションゲート５１１〜比較回路５１５によって切り出した小画面の画像の色が頻繁に変化するか否かを判定できる。即ち、入力端子ｆへの入力信号がローの場合は切り出された部分の色は頻繁に変化せず、略一定であり、入力端子ｅから入力されるアナログ信号の大きさは色相に対応している。又、入力端子ｆの入力信号がハイであれば、切り出した部分の画像の色が頻繁に変化していると判定する。
【００３０】
そこで、計算機５１６は入力端子ｅ及びｆを介して受け取る信号から切り取った小画面の色相が頻繁に変化せず且つ或る色相で略均一であるか否かの判定ができる。
【００３１】
なお、要素５０１〜５１５等はカメラ５３１の一要素を構成している。
【００３２】
図３は実施形態１のカメラによる切り出し画面設定の説明図である。撮像素子５０２の画素数は水平方向にm・H 個、垂直方向にn・V 個であり、図示するようにこの画面を水平方向にｍ分割、垂直方向にｎ分割して小画面を構成する。従って分割された個々の小画面の画素数は水平方向Ｈ個、垂直方向Ｖ個である。図示するように左上隅を小画面(1,1) 、右下隅を小画面(n,m) と呼ぶこととする。なお、カメラは通常のテレビジョンのように水平方向に走査するため垂直方向の画素数はライン数と呼ぶこととする。なお、前記のように表示器５３６の視野角及び観察者１の視野角及びカメラ５３１の視野角はすべて略同じであるので、以上の小画面の設定は表示器５３６及び観察者１の視野にも対応している。
【００３３】
図４は実施形態１のカメラの画像切り出しに関するタイミングチャートである。例として図３の小画面(i,j) の画像を切り出す場合について説明する。
【００３４】
図４中、ａは水平走査のタイミングを示す図であり、各ラインの読出タイミングで発生するパルスをラインパルスと呼ぶ。即ち、
１のタイミングで第１のラインが読み出され、
２のタイミングで第２のラインが読み出され、
・・・・・・・
となる。小画面(i,j) は第(i-1)・V+1 ライン〜第i・V ラインにあるから、図に示したＴ，Ｂを
Ｔ＝（ｉ−１）・Ｖ＋１
Ｂ＝ｉ・Ｖ
として、この期間ハイレベルとなる図４のｂに示すタイミングのパルスを発生させられれば切り出しのライン期間に同期できる。
【００３５】
図４のｃは水平走査の各画素を読み出すタイミングを示す図であり、各画素の読み出しタイミングで発生するパルスを画素パルスと呼ぶ。即ち、
１のタイミングで第１画素が読み出され
２のタイミングで第２画素が読み出され
・・・・・・・
となる。小画面(i,j) は第(j-1)・H+1 〜第j・H 画素にあるから、図に示したＬ，Ｒを
Ｌ＝（ｊ−１）・Ｈ＋１
Ｒ＝ｊ・Ｈ
として、この期間ハイレバルとなる図４のｄに示すタイミングのパルスを発生させられれば切り出しの画素期間に同期できる。
【００３６】
そして、図４のｂ及びｄに示すパルスの論理的なAND をとると、切り出し小画面の読み出しタイミングに同期させることができる。
【００３７】
図５は図４に示した切り出しタイミングのパルスを発生させる電気回路図である。図中、５２１はパルスカウンターであり、入力端子ａに入力してくるパルスの数を数える。そしてパルスカウンター５２１の出力端子ｂは複数本数で構成していて、カウント結果を２進数で夫々マグニチュードコンパレータ５２２及び５２３へ並列出力する。
【００３８】
マグニチュードコンパレータとは２つの入力端子ａ及びｂからの２進数の変数Ｐ及びＱに対して：
Ｐ＞Ｑ ならば出力端子ｃがハイ（論理的に１）になり、
Ｐ≦Ｑ ならば出力端子ｃがロー（論理的に０）になる
素子であり、例えば株式会社東芝から東芝TC74HC85APとして発売されている。
【００３９】
例えば図５の電気回路は水平方向のパルス発生電気回路図であるとする。この時、マグニチュードコンパレータ５２２及び５２３の入力端子ｂには、選択する小画面の値ｊを用いて計算機５１６が設定した値Q1=(j-1)・H及びQ2=j・Hが印加される。
【００４０】
マグニチュードコンパレータ５２３の出力端子ｃからの出力Ｃは反転回路５２４に入力され、反転回路５２４からの出力Ｄと マグニチュードコンパレータ５２２からの出力Ｂはアンド回路５２５の２つの入力端子ａ，ｂに入力される。そしてアンド回路５２５からの出力Ｅに希望する切り出し波形（パルス）が得られる。
【００４１】
この回路の作用について説明する。図６は図５の回路中の各要素の信号図形である。図５の回路において、パルスカウンター５２１の入力端子ａには、図６のＡに示す画素パルスを入力する。パルスカウンター５２１は到来する画素パルスを計数して計数結果（読み出し画素位置）Ｐをマグニチュードコンパレータ５２２及び５２３の入力端子ａに入力する。
【００４２】
一方、マグニチュードコンパレータ５２２及び５２３の入力端子ｂには計算機５１６から夫々Q1=(j-1)・H及びQ2=j・Hが入力されている。するとマグニチュードコンパレータ５２２は入力端子ｂへの入力値がQ1=(j-1)・Hであるから、到来した画素パルスがP=(j-1)・H+1 に達すると
Ｐ＞Ｑ1 ＝（ｊ−１）・Ｈ
の条件が成り立ち、図６のＢに示すようにその出力端子ｃからの出力Ｂがハイに転じて、それ以後この値が維持される。
【００４３】
マグニチュードコンパレータ５２３は入力端子ｂへの入力値がQ2=j・Hであるから、到来した画素パルスがP=j・H+1 に達すると
Ｐ＞Ｑ2 ＝ｊ・Ｈ
の条件が成り立ち、図６のＣに示すようにその出力端子ｃからの出力Ｃがハイに転じて、それ以後この値が維持される。
【００４４】
マグニチュードコンパレータ５２３からの出力Ｃは反転回路５２４によって反転され、図６のＤの波形になる。
【００４５】
そしてアンド回路５２５には図６のＢ及びＤの波形が入力するので、その出力Ｅは図６のＥに示すように、(j-1)・H+1 番目〜j・H 番目でハイになる波形になる。
【００４６】
同様に、垂直方向のパルス発生電気回路でも図５で( ) 中に示したようにマグニチュードコンパレータ５２２、５２３の入力端子ｂへQ1=(i-1)・V及びQ2=i・Vを入力することにより小画面(i,j) の垂直方向の画素部相当でハイになる波形を得ることができる。
【００４７】
こうして小画面(i,j) を選択するために、図２のトランスミッションゲート５０６及び５１１の制御端子ｃに印加すべきタイミング信号が形成される。
【００４８】
更に、上記の説明でｉ及びｊは夫々
ｉ＝１、２、・・・・ｎ
ｊ＝１、２、・・・・ｍ
と独立に変化させることができるためｍ×ｎ分割した各々の小画面に対して空間周波数の判定及び色相・色均一性の判定ができる。
【００４９】
以上の説明ではハードウエアで全ての作用を行っているが、例えばこれを計算機５１６の画像メモリーに取り込んで画像処理的に全く同様の処理を実行できる。
【００５０】
次に、表示色変更（パターンマッチ）の動作について説明する。
【００５１】
図７は実施形態１において、外景に計算機５１６の表示をオーバーラップして表示している図である。観察者１の視野角と表示器５３６の視野角とカメラ５３１の撮影画面は略一致しており、表示器５３６の視野は図３で説明したように小画面に領域分割されている。今の場合、説明を簡単にする為に撮影画面は縦・横共に４分割しているものとし、各小画面を小画面(1,1),(1,2),・・・・(4,4) とする。
【００５２】
計算機５１６は小画面(4,3) 内部のＡ部分に文字情報を表示し、文字の線の部分以外は背景をそのまま表示するものとする。
【００５３】
仮に表示の文字の色が赤色であったとして、背景に同色の物体、例えば赤色の自動車が入ってきた場合、計算機５１６の表示と背景との区別がつきにくくなって判読しにくくなる。
【００５４】
図８は図２に示す計算機５１６の一部分のブロック図である。図中、５３１は図２に示すカメラである。又、５３２はカメラ画像判定回路であり、図２の計算機５１６の端子ｄ，ｅ，ｆ，ｇに対する入出力を制御し画像を判定する。５３４は演算論理回路であり、不図示の内蔵されたプログラム（ソフトウエア）に従って計算機５１６の各部からの情報を入力し、それを元に演算判定し、その結果に基づいて計算機５１６の各部を制御する。
【００５５】
５３５は画面表示制御回路であり、演算論理回路５３４からの情報を元に表示信号を作り、表示器５３６を制御する。表示器５３６は画面表示制御回路５３５から送られてくる演算論理回路５３４の結果に基づいた情報を表示する。
【００５６】
図９は図８の計算機の色均一性・色相判定の動作のフローチャートである。これについて説明する。
【００５７】
step 541: まず、プログラムに従って表示しようとしている小画面(4,3) のデータを演算論理回路５３４からカメラ画像判定回路５３２に送る。カメラ画像判定回路５３２はこれを受けて計算機５１６の端子ｇから規定の領域指定信号をタイミングジェネレータ５０４に送る。タイミングジェネレータ５０４はトランスミッションゲート５０６及び５１１の制御端子ｂに図７の小画面(4,3) を切り出すタイミングの信号を送り、これによってこの小画面が切り出される。
【００５８】
step 542: 計算機５１６のカメラ画像判定回路５３２は入力端子ｅ及びｆからの入力に基づいて小画面(4,3) の色情報を演算論理回路５３４に送る。演算論理回路５３４はその情報から背景に対する色情報を把握する。
【００５９】
step 543: 演算論理回路５３４は把握した背景の色情報をもとに背景の色があまり変化せず且つ表示する色と類似しているか否か色相一致を判定する。
【００６０】
これがyes と判定されればstep 544へ進み、noと判定されればそのまま表示して終了する。
【００６１】
step 544: 表示色を異なる色相に変更して表示して終了する。
【００６２】
以上のように本実施形態は、計算機５１６が供給する情報を表示器５３６に表示する際、外景中で該情報をオーバーラップして表示する部分の色相の状態をカメラ５３１で検出し、その結果に基づいて該情報の表示状態、即ち色相を制御することにより表示情報が見易い情報表示装置を達成している。
【００６３】
図１０は本発明の情報表示装置の実施形態２の説明図である。実施形態１では表示部分の背景の色が表示色と類似であると判定されれば、同じ表示部分に表示色を異なる色相に変更して表示したが、本実施形態ではその場合、同じ色で表示部分を変更して表示する点が異なっており、その他の構成は同じである。
【００６４】
即ち、図１０において小画面(4,3) の部分Ａの背景が表示色と類似の色である場合は表示する場所を変え、小画面(4,4) の部分Ｂ又は小画面(4,2) の部分Ｃに表示するのである。
【００６５】
ハードウエアとしては図２〜図８までに説明したものがそのまま使え、ソフトウエアのみを変更すれば良い。図１１は本実施形態のフローチャートである。これについて説明する。
【００６６】
step 551: まず、プログラムに従って表示しようとしている小画面(4,3) のデータを演算論理回路５３４からカメラ画像判定回路５３２に送る。カメラ画像判定回路５３２はこれを受けて計算機５１６の端子ｇから規定の領域指定信号をタイミングジェネレータ５０４に送る。タイミングジェネレータ５０４はトランスミッションゲート５０６及び５１１の制御端子ｂに図１０の小画面(4,3) を切り出すタイミングの信号を送り、これによってこの小画面が切り出される。
【００６７】
step 552: 計算機５１６のカメラ画像判定回路５３２は入力端子ｅ及びｆからの入力に基づいて小画面(4,3) の色相に関する情報を演算論理回路５３４に送る。演算論理回路５３４はその情報から背景に対する色情報を把握する。
【００６８】
step 553: 演算論理回路５３４は把握した背景の色情報をもとに背景の色があまり変化せず且つ表示する色と類似しているか否かの色相一致を判定する。
【００６９】
背景の色が表示色と類似であると判定されればstep 555へ進み、背景の色が表示色と異なると判定されればstep 554へ進む。
【００７０】
step 555: 別の小画面、例えば小画面(4,4) を選択する。この作業は次のように行う。即ち、小画面(4,4) のデータを演算論理回路５３４からカメラ画像判定回路５３２に送り、カメラ画像判定回路５３２はこれを受けて計算機５１６の端子ｇから規定の領域指定信号をタイミングジェネレータ５０４に送る。タイミングジェネレータ５０４はトランスミッションゲート５０６及び５１１の制御端子ｂに小画面(4,4) を切り出すタイミングの信号を送り、これにより小画面(4,4) が切り出される。
【００７１】
そしてstep 552へ帰る。そしてここで再びこの小画面の色均一性・色相判定を行い、色相の変化、表示色との類似度判定を行い、step 553へ進む。その結果、今度選んだ小画面の色相は表示色と類似していないことが判った場合は次のstep
554に進む。
【００７２】
step 554: 表示する小画面領域が前記のように小画面(4,3) と異なる可能性があるため、色相判定した小画面の番号を確認する。そして確認された小画面のデータを演算論理回路５３４から画面表示制御回路５３５へ送り、表示器５３６の規定の箇所［小画面(4,3) ならば部分Ａ，小画面(4,4) ならば部分Ｂ、小画面(4,2) ならば部分Ｃ］に情報を表示して終了する。
【００７３】
以上のように本実施形態は、計算機５１６が供給する情報を表示器５３６に表示する際、外景中で該情報をオーバーラップして表示する部分の色相の状態をカメラ５３１で検出し、その結果に基づいて該情報の表示状態、即ち表示位置を制御することにより表示情報が見易い情報表示装置を達成している。
【００７４】
図１２は本発明の情報表示装置の実施形態３のフローチャートである。本フローチャートは実施形態２のフローチャートを小変更したものである。本実施形態は表示する部分の空間周波数の高低をも判断して、もし表示部分の空間周波数が高ければ、この部分を避けて表示するようにしたものである。
【００７５】
実施形態２と異なる部分のみ説明する。図１２の本実施形態のフローチャートは図１１のフローチャートのstep 551とstep 552との間にstep 560が挿入されている点のみ異なっている。
【００７６】
step 560: 図２のハイパスフィルタ５０７〜比較回路５０９で抽出して入力端子ｄを介して計算機５１６へ入力された信号から該当小画面の空間周波数を分析し、その結果選択された小画面では空間周波数が高いと判定される場合は細かい模様が背景にきて見難いと判断して、この小画面に表示するのは止め、step 555へ進んで、別の小画面の選定に移る。
【００７７】
もし、空間周波数が低いと判断された場合は背景はフラットで細かい模様は無く、この小画面は表示に適する小画面と判断し、step 552へ進み、色相の類似度判定に進む。
【００７８】
以上のように本実施形態は、計算機５１６が供給する情報を表示器５３６に表示する際、外景中で該情報をオーバーラップして表示する部分の空間周波数の状態及び色相の状態をカメラ５３１で検出し、その結果に基づいて該情報の表示状態、即ち表示位置を制御することにより表示情報が空間周波数も色相も均一なフラットな部分に背景と異なる色相の表示が為されるために非常に見易い表示になる。
【００７９】
以上の説明から明らかなように、本発明の情報表示装置を用いることによってHMD へ計算機の演算結果を表示する際、それとオーバラップして見える外界の状況に応じた表示を行って情報を視認し易い情報表示装置を達成している。
【００８０】
具体的には、表示する部分の外界の色があまり変化せず且つ表示色と外界の色が似ていて区別がつきにくい場合、表示色を変更することによって表示する情報が容易に区別ができ、見易くなる。
【００８１】
又は、表示色とは異なる色の外界の部分に表示を移すことによって区別をつけ易く見易いものにする。
【００８２】
その上、場合によっては、空間周波数が低く、色の均一性が高く、色相も異なる位置に表示を移して区別がつけ易く見易いものにすることもできる。
【００８３】
なお、実施形態１では外景中でオーバーラップして表示する部分の色相の状態をカメラ５３１で検出して情報の表示状態を制御したが、カメラ５３１の輝度チャンネル（Y)によってオーバーラップして表示する部分の輝度の状態を検出し、その部分の明るさが極めて明るい場合には例えば該情報を黒色で表示するか、或は別の小画面に表示すれば、オーバラップして表示する部分の外界の明るさが非常に明るくて見ずらくなる場合でも見易い情報表示が達成できる。
【００８４】
【発明の効果】
本発明は以上の構成により、情報表示装置に撮像手段を付加して外景を撮像手段により撮像しその撮像情報に基づいて、情報供給手段からの情報を表示する部分の該情報の表示状態を適切に制御することにより情報を視認し易く、疲れない情報表示装置を達成する。
【図面の簡単な説明】
【図１】 本発明の情報表示装置の実施形態１の要部概略図
【図２】 実施形態１のカメラの電気回路の構成図
【図３】 実施形態１のカメラに対する切り出し画面設定の説明図
【図４】 実施形態１のカメラの画像切り出しに関するタイミングチャート
【図５】 図４に示した切り出しタイミングのパルスを発生させる電気回路図
【図６】 図５の回路中の各要素の信号図形
【図７】 外界に計算機の表示をオーバーラップして表示している図
【図８】 図２に示す計算機の一部分のブロック図
【図９】 図８の計算機の色均一性・色相判定の動作のフローチャート
【図１０】 本発明の実施形態２の説明図
【図１１】 実施形態２のフローチャート
【図１２】 本発明の実施形態３のフローチャート
【符号の説明】
１ 観察者
５０１ レンズ
５０２ 撮像素子
５０３ ドライバ
５０４ タイミングジェネレータ
５０５ シンゴウ処理回路
５０６、５１１ トランスミッションゲート
５０７、５１３ ハイパスフィルター
５０８、５１４ 検波回路
５０９、５１５ 比較回路
５１０ 除算回路
５１２ 積分回路
５１６ 計算機
５２１ パルスカウンタ
５２２、５２３ マグニチュードコンパレーター（ＭＣ）
５２４ 反転回路
５２５ アンド回路
５３１ カメラ
５３２ カメラ画像判定回路
５３３ 入力制御
５３４ 演算論理回路
５３５ 画面表示制御回路
５３６ 表示器
５３７ 光学素子（光学系）
５３８ 装着手段
Claims (3)
- 表示手段と、該表示手段からの光を観察者に導く光学系とを有し、情報供給手段が供給する情報を前記表示手段に表示すると共に、該情報を、前記光学系を介して外景にオーバーラップして観察者に視認させる情報表示装置において、前記外景を撮像する撮像手段を有し、該撮像手段によって検出された、前記情報をオーバーラップして表示する部分の外景の明るさの状態に応じて、前記情報の表示色又は表示位置を変更することを特徴とする情報表示装置。
- 表示手段と、該表示手段からの光を観察者に導く光学系とを有し、情報供給手段が供給する情報を前記表示手段に表示すると共に、該情報を、前記光学系を介して外景にオーバーラップして観察者に視認させる情報表示装置において、前記外景を撮像する撮像手段を有し、該撮像手段によって検出された、前記情報をオーバーラップして表示する部分の外景の色相の状態に応じて、前記情報の表示色又は表示位置を変更することを特徴とする情報表示装置。
- 表示手段と、該表示手段からの光を観察者に導く光学系とを有し、情報供給手段が供給する情報を前記表示手段に表示すると共に、該情報を、前記光学系を介して外景にオーバーラップして観察者に視認させる情報表示装置において、前記外景を撮像する撮像手段を有し、該撮像手段によって検出された、前記情報をオーバーラップして表示する部分の外景の空間周波数の状態に応じて、前記情報の表示位置を変更することを特徴とする情報表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28249295A JP3744984B2 (ja) | 1995-10-04 | 1995-10-04 | 情報表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28249295A JP3744984B2 (ja) | 1995-10-04 | 1995-10-04 | 情報表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09101477A JPH09101477A (ja) | 1997-04-15 |
| JP3744984B2 true JP3744984B2 (ja) | 2006-02-15 |
Family
ID=17653154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28249295A Expired - Fee Related JP3744984B2 (ja) | 1995-10-04 | 1995-10-04 | 情報表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3744984B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2530510A2 (en) | 2011-06-01 | 2012-12-05 | Sony Corporation | Display apparatus |
| EP2535760A2 (en) | 2011-06-16 | 2012-12-19 | Sony Corporation | Display apparatus |
| WO2013111471A1 (ja) | 2012-01-24 | 2013-08-01 | ソニー株式会社 | 表示装置 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6483484B1 (en) | 1998-12-18 | 2002-11-19 | Semiconductor Energy Laboratory Co., Ltd. | Goggle type display system |
| JP4566311B2 (ja) * | 1998-12-18 | 2010-10-20 | 株式会社半導体エネルギー研究所 | ゴーグル型表示装置 |
| CN101080691B (zh) | 2004-12-14 | 2010-12-22 | 松下电器产业株式会社 | 信息提示装置及信息提示方法 |
| JP5119636B2 (ja) | 2006-09-27 | 2013-01-16 | ソニー株式会社 | 表示装置、表示方法 |
| US8830143B1 (en) | 2006-09-28 | 2014-09-09 | Rockwell Collins, Inc. | Enhanced vision system and method for an aircraft |
| JP2009192583A (ja) * | 2008-02-12 | 2009-08-27 | Konica Minolta Holdings Inc | 頭部装着式映像表示装置 |
| JP5375481B2 (ja) * | 2009-09-24 | 2013-12-25 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| JP2012120067A (ja) * | 2010-12-03 | 2012-06-21 | Brother Ind Ltd | シースルー型画像表示装置およびシースルー型画像表示方法 |
| US8681073B1 (en) * | 2011-09-29 | 2014-03-25 | Rockwell Collins, Inc. | System for and method of controlling contrast or color contrast in see-through displays |
| US9339726B2 (en) * | 2012-06-29 | 2016-05-17 | Nokia Technologies Oy | Method and apparatus for modifying the presentation of information based on the visual complexity of environment information |
| JP6520119B2 (ja) * | 2012-08-06 | 2019-05-29 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP6273677B2 (ja) * | 2013-02-28 | 2018-02-07 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JP6225504B2 (ja) * | 2013-06-24 | 2017-11-08 | 株式会社デンソー | ヘッドアップディスプレイ、及びプログラム |
| JP6396070B2 (ja) * | 2014-04-25 | 2018-09-26 | 株式会社ソニー・インタラクティブエンタテインメント | 画像融合システム、情報処理装置、情報端末、および情報処理方法 |
| JP2016024208A (ja) * | 2014-07-16 | 2016-02-08 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
| JP6582419B2 (ja) * | 2015-01-27 | 2019-10-02 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
| CN104699250B (zh) | 2015-03-31 | 2018-10-19 | 小米科技有限责任公司 | 显示控制方法及装置、电子设备 |
-
1995
- 1995-10-04 JP JP28249295A patent/JP3744984B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2530510A2 (en) | 2011-06-01 | 2012-12-05 | Sony Corporation | Display apparatus |
| EP3037867A1 (en) | 2011-06-01 | 2016-06-29 | Sony Corporation | Display apparatus |
| EP2535760A2 (en) | 2011-06-16 | 2012-12-19 | Sony Corporation | Display apparatus |
| WO2013111471A1 (ja) | 2012-01-24 | 2013-08-01 | ソニー株式会社 | 表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09101477A (ja) | 1997-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3744984B2 (ja) | 情報表示装置 | |
| US6078353A (en) | All-pixels reading type electronic endoscope apparatus | |
| US7068241B2 (en) | Stereo picture recognition device and method of displaying stereo picture | |
| US7420601B2 (en) | Digital camera and method of controlling a digital camera to determine image sharpness | |
| US20100277636A1 (en) | Imaging device | |
| JPH05260352A (ja) | ビデオカメラ | |
| JP2007214964A (ja) | 映像表示装置 | |
| CN102006346A (zh) | 投影仪装置 | |
| CN108135740A (zh) | 手术显微镜、图像处理装置和图像处理方法 | |
| JPH11161773A (ja) | 画像処理方法及び画像入力装置 | |
| US6893132B2 (en) | Camera-assisted presentation system | |
| JPH0340592A (ja) | 高輝度立体用ｌｃｄプロジェクタ駆動方法 | |
| JP2020078051A (ja) | 後方表示装置、後方表示方法、およびプログラム | |
| US11588976B2 (en) | Image capturing apparatus having image capturing device provided with polarization elements and method of controlling same | |
| JP3386082B2 (ja) | 撮影装置におけるビューファインダー | |
| JP2007122340A (ja) | 画像表示システム | |
| US20060221200A1 (en) | Display device and portable imaging device | |
| US20220108658A1 (en) | Display device, photoelectric conversion device, electronic device, moving body, and wearable device | |
| JP2007219069A (ja) | 映像表示装置 | |
| JP3607727B2 (ja) | 映像信号再生装置 | |
| JP2007193254A (ja) | 映像表示装置 | |
| JP2007199593A (ja) | 映像表示装置 | |
| JPH07287191A (ja) | 立体効果発生メガネ | |
| JP7541095B2 (ja) | 撮像装置、及びプログラム | |
| JP2010010846A (ja) | 画質評価支援装置及び画質評価支援方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050419 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051024 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051116 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131202 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |