JPH02291787A

JPH02291787A - 広視野表示装置

Info

Publication number: JPH02291787A
Application number: JP1113034A
Authority: JP
Inventors: Hiroyuki Yamaguchi; 博幸山口; Akira Tomono; 明伴野
Original assignee: A T R TSUSHIN SYST KENKYUSHO KK
Current assignee: A T R TSUSHIN SYST KENKYUSHO KK
Priority date: 1989-05-02
Filing date: 1989-05-02
Publication date: 1990-12-03
Anticipated expiration: 2013-04-15
Also published as: JP2741063B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野］この発明は広視野表示装置および広視野撮影装置に関し
、特に、テレビ会議システムや遠隔操作システムなどに
用いられ、広い視野の画像を高精細に表示できるような
広視野表示装置および広視野の画像を高精細で撮影する
広視野撮影装置に関する。

［従来の技術］画像通信技術や遠隔操作技術の発達により、遠隔地にい
る相手の顔画像を見ながら会話や会議ができるテレビ会
議ンステムや、放射線被曝のおそれのある原子炉内のよ
うに、危険な場所での作業にテレビカメラを搭載したロ
ボットを用いて人が安全な場所からこれを操作すること
が実用に供されあるいは供されようとしている。これら
はいずれも遠隔地に赴くことなく、安全かつ手軽にある
いは時間の節約をして、遠隔地あるいは話し相手の状況
を把握するものである。このように遠隔地画像の表示に
おいては、臨場感、すなわち、あたかもそこにいるよう
な感覚を観察者に与えるように、表示画面の大型化が重
要な要件の１つである。

これに関して、畑田，坂田．日下が［画面サイズによる
方向感覚誘導効果」テレビジョン学会誌第３３巻．第５
号，第４０７頁〜第４１３頁，１９７９年において、臨
場感効果は２０゜以下の狭い呈示画面では非常に弱く、
８０゜近辺以上になると飽和状態になると報告している
。

第１２図は従来の広視野表示装置の一例を示す図であり
、前述の畑田らが発表したものである。

第１２図を参照して、半球状スクリーン１０１には画像
表示面が設けられていて、この半球状スクリーン１０１
の半径中心に投影画角１８ｏ゜の魚眼レンズを設けたス
ライドブロジェクタ１０２が配置されている。同じ仕様
のレンズを用いて撮影されたスライドフィルムがスライ
ドブロジェクタ１０２によって投影され、半球状スクリ
ーン１０１に画像が表示される。この装置に対して、観
察者１０３はスライドブロジエクタ１０２の真下位置よ
りスクリーン上の画像を観察する。このようにして視野
角１８０°という広視野に画像を表示できるが、高精細
表示のためには、スライドフィルムを用いる必要があり
、電気通信によって伝送された画像や計算機によって生
成された画像の表示には使用できないという欠点がある
。

第１３図は従来の広視野表示装置の他の例を示す図であ
って、廣瀬が「空間知覚と認知工学」計測と制御，　Ｖ
ｏ　［２７，　Ｎｏ　１，第４３頁〜第４８頁，昭和６
３年において発表したものである。

第１３図において、計算機１１１によって生成された左
眼用と右眼用からなる立体画像は観察者の眼の前に配置
された液晶ディスプレイ１１２，１１３に表示される。

液晶ディスプレイ１１２，１１３と観察者の眼球の間に
は拡大レンズ系（図示せず）が設けられていて、観察者
は視野角１２０゜で画像を立体的に観察できるようにな
っている。

ここで、液晶ディスプレイ１１２．１１３および拡大レ
ンズ系は相互に固定され、これがベルトなどによって観
察者の頭部に固定されている。

また、動作人力用手袋１１４によって液晶ディスプレイ
１１２，１１３に表示されたメニュー画面の選択ができ
るようになっており、観察者はあたかも液晶ディスプレ
イ１１２，１１３、により広視野に表示された画面を仮
想的に自分のまわりの広がる空間として感じることを可
能にしている。

［発明が解決しようとする課題］上述の第１３図に示した広視野表示装置においては、左
右の眼のそれぞれに対応して設けられている液晶ディス
プレイ１１２，１１３により表示された画像を呈示する
ようになっているため、この画像を広視野で表示すると
、ディスプレイの１画素に対応する視覚が大きくなり、
表示できる画像を高精細にできず、メニュー画面の文字
も大きくする必要があり、したがって臨場感に乏しいと
いう欠点があった。

一方、両眼視差を用いる立体画像において、両眼視差弁
別可能な最小視差瓜（左右の画像の違いが知覚される最
小の値）は、０．００３゜とされている（長田，「奥行
信号分離式立体画像表示装置と両眼立体視特性の測定」
医用電子と生体工学，第２０巻，第３号，第１５４頁〜
第１６１頁，１９８２年）。この単位画素あたりの視差
量が０．００３゜より大きくなると、奥行が不連続に表
現されてしまう。そこで、単位画素あたりの視差量を０
．００３°とし、これをたとえば視野角１２０゛にわた
って表現するには、４０．０００Ｘ４ｏ，ｏｏｏ画素か
らなる画像を左右の眼の各々に呈示する必要がある。こ
れを実現する１つの方法として、複数画面をつなぎ合わ
せることが容易に想像できる。しかしながら、そのとき
、１画面１０００ｘｌＯ００画素くらいの表示素子しか
実現できないため、上述の画像を合成するには、１６０
０画面のつなぎ合わせを必要とし、実際的な方法ではな
いという欠点があった。

それゆえに、この発明の主たる目的は、比較的簡単な構
成で広い視野の画像を高精細に表示し得る広視野表示装
置および広視野の画像を高精細に撮影し得る広視野撮影
装置を提供することである。

［課題を解決するための手段］第１請求項にかかる発明は、撮影装置で撮影されあるい
は計算機上で生成された画像を広い視野で高精細に表示
する広視野表示装置であって、広い視野で画像を表示す
る第１の表示手段と、映像観察者が第１の表示手段の表
示面を注視している注視点を検出する注視点検出手段と
、検出された注視点の近傍の画像を高精細に表示する第
２の表示手段と、第１の表示手段に表示されている広視
野表示画像と第２の表示手段に表示されている注視点近
傍画像とを重ね合わせる画像重ね合わせ手段と、映像観
察者の注視点が移動したとき、注視点検出手段の出力に
応答して、第２の表示手段によって表示されている注視
点近傍の画像を走査する走査手段とを備えて構成される
。

第２請求項にかかる発明は、少なくとも第２の表示手段
によって表示される注視点近傍画像を第１の表示手段に
よって表示される広視野表示画像に投影する手段を含ん
で画像重ね合わせ手段が構成される。

第３請求項にかかる発明は、第１の表示手段によって表
示される広視野表示画像と第２の表示手段によって表示
される注視点近傍画像との重ね合わせ部分を表示しない
手段を含んで画像重ね合わせ手段が構成される。

第４請求項にかかる発明は、第１の表示手段によって表
示される広視野表示画像と、第２の表示手段によって表
示される注視点近傍画像との境界部分が滑らかとなるよ
うに処理する平滑フィルタ手段を含んで画像重ね合わせ
手段が構成される。

第５請求項にかかる発明は、第２の表示手段によって表
示される注視点の近傍をブロック分けしかつその注視点
近傍の画像の中心部から境界部分に向かうにつれてブロ
ック寸法を大きくすることによって境界部分が滑らかと
なるように表示させる手段を含んで平滑フィルタ手段が
構成される。

第６請求項にかかる発明は、第２の表示手段によって表
示される注視点の画像を画像重ね合わせ手段に向けて反
射させるための反射鏡と、注視点検出手段によって注視
点の移動が検出されたことに応答して、反射鏡の反射角
度を制御する手段とを含んで走査手段が構成される。

第７請求項にかかる発明は、第１の表示手段と、注視点
検出手段と、第２の表示手段と、画像重ね合わせ手段と
、走査手段は、それぞれ観察者の左右の眼に対応して１
対ずつ設けられる。

第８請求項にかかる発明は、画像重ね合わせ手段によっ
て重ね合わされた画像を拡大して表示面に投影する投影
手段を含む。

第９請求項にかかる発明は、広い視野の画像を撮影する
広視野撮影装置であって、広い視野の画像を通常の分解
能で撮影する第１の撮影手段と、観察者の注視点近傍の
画像を高精細に撮影する撮影手段と、観察者の注視点が
移動したことに応じて、第２の撮影手段の撮影位置を変
更する変更手段を備えて構成される。

第１０請求項にかかる発明は、第１の撮影手段と第２の
撮影手段と変更手段を、観察者の左右の眼に対応してそ
れぞれ１対ずつ設けられる。

［作用］第１請求項にかかる発明は広い視野の表示画像と観察者
が注視している注視点の近傍の画像とを重ね合わせ、観
察者の注視点が移動したとき注視点近傍の画像を走査す
ることにより、広い視野の画像を高精細に表示できる。

第２請求項にかかる発明は、広い視野の画像と注視点の
近傍画像とを投影することによって画像を重ね合わせる
。

第３請求項にかかる発明は、広い視野の表示画像のうち
、注視点近傍画像と重なる部分を表示させないことによ
り両者の画像を重ね合わせる。

第４請求項にかかる発明は、広い視野の表示画像と注視
点近傍画像との境界部分が滑らかとなるように平滑フィ
ルタ手段によって処理する。

第５請求項にかかる発明は、注視点の近傍の画像をブロ
ック分けしかつ中心部から境界部分に向かうにつれてブ
ロック寸法を大きくすることによって、境界部分が滑ら
かとなるように表示する。

第６請求項にかかる発明は、注視点近傍画像を画像重ね
合わせ手段に向けて反射鏡によって反射させ、注視点の
移動が検出されたことに応答して反射鏡の反射角度を制
御する。

第７請求項にかかる発明は、観察者の左右の眼に対応し
て広い視野の画像と注視点近傍画像とを重ね合わせるこ
とにより、両眼の立体視像を表示させる。

第８Ｍ求項にかかる発明は、重ね合わされた画像を拡大
して表示することにより観察者は、自然な状態で画像を
観察できる。

第９請求項にかかる発明は、広い視野の画像を通常の分
解能で高精細に撮影するとともに、観察者の注視点近傍
画像を撮影し、観察者の注視点が移動したことに応じて
撮影位置を変更することによって、広い視野の画像と注
視点近傍画像を高精細に撮影する。

第１０請求項にかかる発明は、観察者の左右の眼に対応
して広い視野の画像と注視点近傍画像を撮影することに
より、両眼立体視に必要な画像を撮影する。

［発明の実施例］第１図はこの発明の広視野表示装置の第１実施例の構成
を示す図である。第１図を参照して、この実施例におい
ては、広い視野の画像を表示するための広視野画像表示
ＣＲＴディスプレイ１と、観察者の注視点近傍の画像を
表示する注視点近傍画像表示用ＣＲＴディスプレイ５と
が設けられる。

広視野画像表示ＣＲＴディスプレイ１の前方には凸レン
ズ２ａ．２ｂ，３ａが配置され、広視野画像表示ＣＲＴ
ディスプレイ１に表示された画像が凸レンズ２ａ，２ｂ
および３ａを介してフルミラ−１０に投影され、フルミ
ラー１０によって画像が反射されてハーフミラー１１に
入射される。

一方、注視点近傍画像表示用ＣＲＴディスプレイ５の前
方には凸レンズ６ａ，６ｂおよび７が配置されていて、
注視点近傍画像表示用ＣＲＴディスプレイ５に表示され
た注視点近傍画像は凸レンズ６ａ；　６ｂおよび７を介
してＸ軸方向回転ミラー８で反射され、ｙ軸方向回転ミ
ラー９に投影される。ｙ軸方向回転ミラー９は注視点近
傍画像をハーフミラー１１に投影させる。したがって、
ハーフミラー１１によって広視野画像と注視点近傍画像
とが重ね合わせる。重ね合わせられた画像はハーフミラ
ー１２から凸レンズ３ｂを介して広角接眼光学系４に映
し出される。観察者は広角接眼光学系４に映し出された
広視野画像と注視点近傍画像とを眼１６によって観察す
る。

ハーフミラー１２に関連して注視点検出装置１３が設け
られている。この注視点検出装置１３は観察者の注視点
を観察するものであって、赤外線発光装置と赤外線検出
カメラとによって構成される。発光された赤外線は赤外
線ハーフミラー１２によって反射され、凸レンズ３ｂ，
広角接眼光学系４を介して観察者の眼１６に入射され、
赤外線が網膜で反射される。反射された赤外線は広角接
眼光学系４，凸レンズ３ｂを介して赤外線ハーフミラー
１２で反射され、注視点検出装置１３の赤外線検出カメ
ラによって検出され、観察者の眼１６の注視点が検出さ
れる。注視点検出装置１３の出力は回転ミラー制御回路
１４に与えられるとともに、画像処理装置１５に与えら
れる。回転ミラー制御回路１４はＸ軸方向回転ミラー８
をＸ軸方向に回転させるとともに、ｙ軸方向回転ミラー
９をｙ軸方向に回転させる。画像処理装置１５は広視野
画像表示用ＣＲＴディスプレイ１と注視点近傍画像表示
用ＣＲＴディスプレイ５にそれぞれ表示するための画像
信号を生成する。

第２図は第１図に示した画像処理装置の一例を示すブロ
ック図である。第２図を参照して、画像処理装置１５は
中央処理部２０と広視野画像蓄積部２１と高精細画像蓄
積部２２とを含む。広視野画像蓄積部２１には広視野画
像データが蓄積されており、高精細画像蓄積部２２には
観察者の注視点近傍の高精細な画像が蓄積されている。

次に、第１図および第２図を参照して、この発明の一実
施例の具体的な動作について説明する。

中央処理部２０は広視野画像蓄積部２１に蓄積されてい
る広視野画像データを出力端子１９から出力して広視野
画像表示用ＣＲＴディスプレイ１に与え、広視野画像を
表示させる。凸レンズ２ａは広視野画像表示用ＣＲＴデ
ィスプレイ１の管面中心よりこの凸レンズ２ａの焦点距
離だけ離れた位置に配置されており、広視野画像表示用
ＣＲＴディスプレイ１に表示された画像は凸レンズ２ａ
を通過すると平行光束となり、これは凸レンズ２ｂおよ
び３ａにより平行光束の直径が小さくされてフルミラー
１０によって光路が変更され、ハーフミラー１１および
１２を通過して凸レンズ３ｂにより平行光束が結像され
る。結像された像は広角接眼光学系４により広視野に広
げられる。観察者は眼１６を広角接眼光学系４の接眼部
に近づけることにより、分解能は粗いが大まかに広視野
の画像を観察することができる。

広視野画像の呈示により、観察者は注意をひいた箇所に
高速に眼球を運動させることによって、注視点の移動を
行なう。注視点検出装置１３が赤外線を射出すると、こ
の赤外線は平行光束中に配置された赤外線反射ハーフミ
ラー１２により平行光束中に入り、凸レンズ３ｂおよび
広角接眼光学系４を介して観察者の眼１６に入る。注視
点の移動に伴なう眼球運動により、観察者の眼１６の瞳
孔の位置も移動するが、眼１６に入った赤外線は広視野
画像の注視点方向へ移動した位置の瞳孔で最も強く反射
される。この反射光は広角接眼光学系４および凸レンズ
３ｂを介して赤外線反射ハーフミラー１２によって反射
され、注視点検出装置１３に入る。

この際、ハーフミラー１１と赤外線反射ハーフミラー１
２との間に赤外線カットフィルタを挿入するとともに、
凸レンズ３ｂおよび広角接眼光学系４のレンズ表面に誘
電体多層膜よりなる赤外線反射防止膜を形成することに
より、注視点検出装置１３に入る反射光からノイズを有
効に除去することができる。

注視点検出装置１３では、反射光を赤外線カメラで撮像
し、次に反射像からノイズを除去した後、２値化を行な
い、瞳孔中心の座標を求め、広視野画像内での注視点の
座標に変換し、これを回転ミラー制御回路１４および画
像処理装置１５の注視点座標入力端子１７に入力する。

注視点座標入力端子１７が接続された中央処理部２０は
、入力された注視点座標をもとにして、注視点近傍画像
を高精細画像蓄積部２２から選択し、これに対して後で
詳細に説明するように、画像周辺部に平滑フィルタ処理
を施した画像を注視点近傍画像出力端子１８に出力する
。さらに、中央処理部２０は、入力された注視点座標を
もとにして、広視野座標蓄積部２１から入力される広視
野画像に対して、注視点近傍画像と重複する部分を削除
し、広視野画像出力端子１９を介して広視野画像表示用
ＣＲＴディスプレイ１に表示させる。

それによって、前述のごとく、所定の光路を通り、ハー
フミラー１１上に広視野画像が投影される。

同時に、注視点近傍画像が端子１８を介して注視点近傍
画像表示用ＣＲＴディスプレイ５に入力され表示され、
凸レンズ６ａ，６ｂおよび７を介して所望の直径を有す
る平行光束に変換される。

変換された平行光束は回転ミラー制御回路１４によって
制御されるＸ軸方向回転ミラー８およびｙ軸方向回転ミ
ラー９により光路が変更され、ハーフミラー１１上の広
視野画像の平行光束内の所望の位置に投影される。そし
て、前述のごとく、所定の光路を通り、広視野で注視点
近傍を高精細に表示した画像が観察者の眼１６に呈示さ
れる。

なお、第１図に示した光学系において、凸レンズ２ａ，
２ｂ，３ａおよび凸レンズ６ａ，６ｂ，７は、それぞれ
広視野および注視点近傍画像を所定の直径に精度良く容
易に調整できるように設けたが、いずれにしてもハーフ
ミラー１１上で所望の直径の光束にできればよく、装置
を製造する工程において、各レンズの位置を正確に位置
決めして固定すれば、広視野および注視点近傍画像につ
いてそれぞれ所定の焦点距離の２枚の凸レンズの組合わ
せで、ハーフミラーｌｌ上で所望の直径の平行光束にで
きることはいうまでもない。

第３図および第４図は第２図に示した画像処理装置の動
作を説明するため図である。中央処理部２０は広視野画
像２３に、注視点２４近傍の注視点近傍画像２５を重ね
合わせるとき、以下のような処理を行なう。すなわち、
中央処理部２ｏは入力された注視点２４の座標を中心と
する、望むべくは楕円形状をした注視点近傍領域２６を
設定し、この注視点近傍領域２６を広視野画像２３がら
削除する。そして、中央処理部２ｏは、注視点近傍領域
２６に対応する注視点近傍画像２５を高精細画像蓄積部
２２から選択し、第４図に示すような平滑フィルタ処理
を施す。

すなわち、第４図に示すように、注視点近傍画像２５の
周辺部について、ブロック２７ａ，２７ｂのように複数
の画像の集合からなるブロックに分割し、同一ブロック
内の画素の輝度の平均値によりブロックの輝度値とする
。そして、ブロックの寸法を２７ａ，２７ｂのように画
像の中心部から境界部に向かうに従って大きくし、ブロ
ックの寸法を広視野画像２３の画素寸法に近づける。

なお、ここでは、説明を簡単にするために、ブロックの
寸法を２種類とし、ブロック内の画素の平均値をもって
ブロックの値としているが、注視点近傍画像の周辺領域
に対して、Ａ，ＲｏｓｅｎｆｅｌｄおよびＡ．Ｃ．Ｋａ
ｋらによる“Ｄｉｇｉｔａｌ　　Ｐｉｃｔｕｒｅ　　Ｐ
ｒｏｃｅｓｓｉｎｇ　　，Ｖｏｌｕｍｅｌ，２５０頁〜
２６４頁，Ａｃａｄｅｍｉｃ　　Ｐｒｅｓｓ，１９８２
に示されているように、ｎ×ｍ画素からなる平滑フィル
タ（重み付け平均関数）との積和演算を行なって得られ
る移動平均値をもってして前記注視点近傍画像の周辺領
域の画素値とすることで、広視野画像との境界での２つ
の画像のつなぎ合わせを自然にするようにしてもよい。

また、説明を簡単にするために、注視点近傍画像２５の
単位面積あたりの輝度を広視野画像２３の単位面積あた
りの輝度と一致させ、これら２つの画像を同一の明るさ
で表示し、２画像のつながりを連続的にすればさらに効
果的である。

第５図は人間の眼球の模式断面図である。

第５図を参照して、人間は外界の像を水晶体１２１のレ
ンズ作用で、網膜１２２面上に結像させ、網膜１２２中
の光受容器により、外界像からの光を吸収し、これを人
間は情報処理し、像として知覚する（Ｋ，　　Ｔ，　ス
ペア，　　Ｓ，　Ｗ，　　レムクール「視覚の情報処理
」サイエンス社．昭和６１年）。

ここで、光受容器は網膜１２２中に均一に分布している
のではなく、特に、第５図に示した中心１２３（直径約
３００μｍ）に特に集中しており、したがって同じ網膜
１２２面上であっても、中心１２３近傍で特に視力が大
きくなっている。この中心　１２３と水晶体１２１の中
心とを結ぶ軸を視軸１２４と呼び、この視軸１２４が視
線と一致し、その延長線上に注視点がくる。

第６図は注視点からのずれに伴なう人間の視力特性を示
した図であって、田崎，大山，樋渡「視覚情報処理」第
２３５頁，朝倉書店，１９７９年発行に掲載されたもの
である。上述の理由により、中心寥１２３（注視点に対
応する）で最も視力が大きく、注視点方向より０．　　
５゜ずれただけで視力は５０％に低下し、１０゜離れる
と１０％程度になる。一方、網膜１２２の周辺部は、視
力は劣るものの、明滅する光や運動する物体を検出する
ことや、外界の像（図形）の概略を把握することに優れ
ており、人はまず網膜１２２の周辺部による視覚により
、まず注意すべき物の存在が見つけ出され、その点に視
線を移し、この部分を詳細に知覚する。

以上述べたような知覚特性を人間は有しているので、以
下に詳細に説明するように、この発明の一実施例によれ
ば、広視野で高精細な画像を観察者の眼１６に呈示でき
る。すなわち、通常の画素数を有する広視野画像表示用
ＣＲＴディスプレイ１より前述の光路を通り、観察者の
眼１６に広視野画像を呈示でき、該画像中よりまず注意
すべき物の存在が見つけ出され、その点に視線を移動し
、移動位置の視線検出装置１３で捕え、該視線位置に近
傍の狭い領域に通常の画素数で高密度に注視点近傍画像
が投影されており、人間の視力が高い注視点近傍を高精
細に表示できる。

一方、人間の視力は低い網膜１２２の周辺部に呈示する
画像を低い分解能で表示しているが、この部分に視線が
いけば、注視点近傍は高精細に表示される。また、第３
図に示した広視野画像２３において注視点近傍画像２５
との重複部分は削除されるとともに、注視点近傍画像２
５の周辺部に平滑フィルタ処理が行なわれているため、
注視点部分は高精細でありかつ広視野画像とのつなぎ目
を自然にでき、観察者は良好な広視野・高精細画像を観
察できる。

なお、上述の実施例では、図面を簡単にするために、観
察者の１１６単眼のみについて説明したが、第１図に示
した構成を右眼呈示用の装置とし、さらに同じ構成を用
いて左眼呈示用とすれば、左右の両眼にそれぞれ所定の
立体画像を呈示することができ、広視野・高精細の立体
画像を表示でき、臨場感が飛躍的に向上する。

なお、注視点検出は、第１図において説明したように、
瞳孔中心の検出によっているが、第１図に示した広角接
眼光学系４と観察者の眼１６との間に赤外線ＬＥＤを配
置し、観察者の眼１６に対して斜めから赤外光を照射す
ることにより、外来からノイズの少ない観察者の眼１６
の中の隔膜反射像を注視点検出装置１３の赤外線カメラ
によって捕えることができる。したがって、本願発明の
一人が報告したように（伴野，飯田，小林，「画像処理
による非接触視線検出法に関する位置検討」昭和６３年
電子情報通信学会秋期全国大会）、瞳孔反射像と隔膜反
射像とを組合わせることによって、広角接眼光学系４に
対する観察者の頭の微妙な動きをも許容でき、光学系に
対して観察者の頭を固定することなく、広視野・高精細
立体画像を観察することができる。

また、第１図に示した実施例では、注視点近傍画像を走
査するために、Ｘ軸方向回転ミラー８およびｙ軸方向回
転ミラー９のそれぞれの回転角を制御するようにしたが
、これらの回転ミラーに代えて、２軸制御回転ミラーを
用いてＸ軸方向およびｙ軸方向の回転角を同時に変更す
るようにしてもよい。

第７図はこの発明の第２実施例の構成を示す図である。

この第７図に示した実施例は、撮影部１００によって広
視野画像と注視点画像を撮影して、表示部２００の広視
野画像表示用ＣＲＴディスプレイ１と注視点近傍画像表
示用ＣＲＴディスプレイ５に表示させるものである。表
示部２００は前述の第１図に示した実施例とほぼ同様に
して構成されているので、撮影部１００の構成について
説明する。注視点検出装置１３から出力された検出信号
を撮影部１００に送信するために、送信回路２９ｃが設
けられる。送信回路２９ｃは注視点検出信号を伝送路３
８に適合する信号形式に変換し、所定の伝送速度で撮影
部１００の受信回路３０ｃに送信する。撮影部１００の
受信回路３０ｃは転送されてきた注視点検出信号を復調
し、回転ミラー制御回路３１に与える。回転ミラー制御
回路３１はＸ軸方向回転ミラー３２とｙ軸方向回転ミラ
ー３３を駆動する。

一方、被写体３５を含む広視野画像がハーフミラー３４
を介して広視野画像撮影カメラ３７に投影され、撮影さ
れる。注視点近傍画像がハーフミラー３４によって反射
され、Ｙ軸方向回転ミラー３３とＸ軸方向回転ミラー３
２によって反射されて注視点近傍画像撮影カメラ３６に
投影されて撮影される。広視野画像撮影カメラ３７によ
って撮影された広視野画像の信号は送信回路２９ａに与
えられ、伝送路３８ａを介して表示部２００の受信回路
３０ａに送信される。受信回路３０ａは広視野画像信号
を復調して画像信号を処理装置１５ｂに与える。

一方、注視点近傍画像撮影カメラ３６によって撮影され
た注視点近傍画像の信号は、送信回路２９ｂに与えられ
、伝送路３８ｂを介して表示部２００の受信回路３０ｂ
に送信される。受信回路３０ｂは送信されてきた注視点
近傍画像信号を復調して画像処理装置１５ｂに与える。

次に、第７図に示した実施例の動作について説明する。

第１図に示した実施例と同様にして、検出された観察者
の注視点座標信号は送信回路２９Ｃにより伝送路３８ｃ
に適合する信号形式，伝送速度で送信され、受信回路３
０ｃによって復調される。復調された注視点座標信号は
回転ミラー制御回路３１に与えられる。回転ミラー制御
回路３１は入力された注視点座標信号に応じてＸ軸方向
回転ミラー３２およびｙ軸方向回転ミラー３３の回転角
度を変更させ、注視点近傍画像撮影カメラ３６の被写体
の中での撮影位置を観察者の眼１６の注視部分にくるよ
うにする。このようにして撮影された注視点近傍画像撮
影カメラ３６から出力された注視点近傍画像信号は、広
視野画像撮影カメラ３７から出力された広視野画像信号
とともに、それぞれ送信回路２９ｂ，２９ａにより伝送
路３８ｂ，３８ａに転送され、受信回路３８ｂ，３８ａ
で復調されて画像処理装置１５ｂに入力される。

画像処理装置１５ｂは第１図に示した実施例と同様にし
て、注視点近傍画像に対して平滑フィル夕処理を行ない
、広視野画像に対して重なり部分を除去するための処理
を行ない、それぞれ注視点近傍画像表示用ＣＲＴディス
プレイらに表示させるとともに、広視野画像表示用ＣＲ
Ｔディスプレイ１に表示させる。したがって、観察者は
遠隔地に存在する環境を広視野かつ高精細に撮影すると
ともに、これを表示して観察することができるので、遠
隔地に赴く危険性を防止できるとともに、時間を節約で
きる。

なお、第７図に示した実施例では、説明を簡単にするた
めに、右眼に表示する画像を撮影する場合について述べ
たが、同様の構成のものをさらに１つ追加することによ
り、左眼にも広視野・高精細画像を呈示でき、広視野・
高精細立体画像を容易に撮影できる。

第８図はこの発明の第３実施例の構成を示す図である。

この第８図に示した実施例は、モニタカメラ４２を含み
、広視野画像中の注視点に正確に注視点近傍画像を投影
するように構成したものであり、以下の点を除いて第１
図に示した実施例と同じである。すなわち、フルミラー
１０とハーフミラー１１との間には偏光板３９が設けら
れ、赤外線ハーフミラー１２と凸レンズ３ｂとの間にハ
ーフミラー４０が設けられる。ハーフミラー４０の反射
光路には偏光板４１が配置され、その後方にはモニタカ
メラ４２が設けられる。モニタカメラ４２は広視野画像
中の注視点を撮影するものであり、モニタカメラ４２の
出力は２値化回路４３に与えられ、注視点画像部分が抽
出される。２値化回路４３の出力は２値化画像中心座標
算出回路４４に与えられ、広視野画像に対するその画像
部分の中心の座標が算出され、その出゛力が回転ミラー
制御回路１４ｂにフィードバックされる。

次に、第８図に示した実施例の具体的な動作について説
明する。広視野画像は偏光板３９によって水平方向に直
線偏向され、ハーフミラー１１および赤外線ハーフミラ
ー１２を介してハーフミラー４０によって偏光板４１に
反射される。この偏光板４１はその偏光角度が偏光板３
９に対して９０゜回転しており、広視野画像信号はこの
偏光板４１を通過できず、中心点画像のみが偏光板４１
を通過し、モニタカメラ４２によって撮影される。

モニタカメラ４２の出力は２値化回路４３によって注視
点画像部分が抽出され、広視野画像に対するその画像部
分の中心の画像が２値化画像中心画像算出回路４４によ
って算出される。算出された広視野画像部分の中心の座
標信号は回転ミラー制御回路１４ｂにフィードバックさ
れ、Ｘ方向回転ミラー８およびｙ軸方向回転ミラー９の
回転角度が修正される。その結果、広視野画像の中の注
視点に正確に注視点近傍画像を投影できるため、注視点
近傍画像を見込む角度を小さくすることができ、実質的
にその画像の画素密度を大きくすることができ、さらに
効果的な広視野・高精細立体画像表示を行なうことがで
きる。

第９図はこの発明の第４実施例の構成を示す図である。

この第９図に示した実施例は、注視点近傍画像の座標に
基づいて、広視野画像の中の削除部分を修正するように
構成したものであり、以下の点を除いて前述の第８図に
示した実施例と同じである。すなわち、２値化画像座標
算出回路４５は２値化回路４３で２値化された注視点近
傍画像から注視点近傍画像の座標を求めるものであり、
求めた注視点近傍画像の座標を画像処理装置１５Ｃに与
える。画像処理装置１５ｃは入力された注視点近傍画像
の座標に基づいて、広視野画像の中の削除部分を修正す
る。その結果、凸レンズ６ａ，６ｂ，７の拡大率の誤差
により生じる広視野画像と注視点近傍画像との境界部分
における重複を防止でき、より自然な広視野・高精細立
体画像を表示することができる。

第１０図はこの発明の第５実施例の概要を示す図である
。この第１０図に示した実施例は、広視野・高精細投影
装置４７によりスクリーン４６上に広視野画像を表示し
、その画像を床面４９上に設けられているいす５０上に
座っている観察者４８が観察し、スクリーン４６上の観
察者の時々刻々変化する注視点の位置を注視点検出装置
１３で検出するように構成したものである。そして、観
察者４８の眼球に赤外線が照射され、瞳孔中心反射像お
よび隔膜反射像の位置により注視点が検出される。得ら
れた注視点位置座標は画像処理装置１５ｃおよび広視野
・高精細投影装置４７に入力され、スクリーン４６上の
位置近傍が高精細に表示される。

第１１図は第１０図に示した広視野・高精細投影装置の
構成を中心とした実施例を示す図である。

第１１図を参照して、注視点近傍画像表示用ＣＲＴディ
スプレイ５１と広視野画像表示用ＣＲＴディスプレイ５
２は、たとえば投影用高輝度ＣＲＴディスプレイ（液冷
型ＣＲＴディスプレイ）であり、たとえばＥＬＥＣＴＲ
ＯＨＯＭＥ社のプロジェクタ（型番ＥＣＰ−Ｇｒａｐｈ
ｉｃｓ）が用いられる。注視点近傍画像表示用ＣＲＴデ
ィスプレイの前方には変倍結像レンズ５３が配置され、
注視点近傍画像表示用ＣＲＴディスプレイ５１に表示さ
れた注視点近傍画像が縮小され、リレーレンズ５４を介
してハーフミラー６１に投影される。

この注視点近傍画像はハーフミラー６１で反射され、画
像重ね合わせ位置６２で結像される。このとき、リレー
レンズ移動装置１４ｃによって、該注視点座標に基づい
て、リレーレンズ５４の位置が光軸に対して垂直面内で
所定の量だけＸ方向およびｙ方向に移動され、画像重ね
合わせ位置６２における縮小結像画像の位置が制御され
る。

一方、広視野画像表示用ＣＲＴディスプレイ５２の前方
には偏光板３９と結像レンズ５５とが配置され、広視野
画像表示用ＣＲＴディスプレイ５２に表示された広視野
画像は偏光板３９，結像レンズ５５およびハーフミラー
６１を介して画像重ね合わせ位置６２で結像される。こ
の画像重ね合わせ位置６２において、広視野画像と注視
点近傍画像とが重ね合わされて結像される。この結像画
像はレンズ５６によって平行光束に変換され、ハーフミ
ラー６０によって前述の第９図に示した実施例と同様に
して、注視点画像の走査位置測定系に分岐されるととも
に、レンズ５７により結像される。この結像された画像
は変倍投影レンズ５８によりスクリーン４６上に投影結
像される。

なお、偏光板４０と結像レンズ５９とモニタカメラ４２
と２値化回路４３と２値化画像中心座標算出回路４５と
画像処理装置１５ｃは前述の第９図に示した実施例と同
じである。

上述のごとく、この実施例によれば、観察者４８は広視
野で注視点近傍が高精細な画像を観察できる。しかも、
この実施例によれば、接眼鏡を観察者４８が覗き込む必
要がなく、自然な観察状態で観察できるので、違和感が
なく、遠隔地の画像を呈示できるという利点がある。

［発明の効果］以上のように、第１請求項にかかる発明によれば、広視
野画像を通常の画素数で表示し、この広視野画像に対す
る観察者の注視点を検出し、この注視点近傍の画像を広
視野画像の中の狭い領域に通常の画素数であるが高密度
かつ自然に重ね合わせることにより、広視野でかつ高精
細な画像を表示することができる。

第２請求項にかかる発明によれば、注視点近傍画像と広
視野表示画像を投影することによって画像を重ね合わせ
ることができる。

第３請求項にかかる発明によれば、広視野表示画像のう
ち注視点近傍画像が重ね合わせられる部分を表示しない
ことにより、２つの画像を良好に重ね合わせることがで
きる。

第４請求項にかかる発明によれば、広視野表示画像と注
視点近傍画像との境界部分が滑らかとなるように平滑フ
ィルタ処理することにより、両者の画像の重ね合わせが
滑らかになる。

第５請求項にかかる発明によれば、注視点近傍の画像を
ブロック分けしかつ注視点近傍画像の中心部から境界部
分に向かうにつれてブロック寸法を大きくすることによ
って、境界部分を滑らかにすることができる。

第６請求項にかかる発明によれば、注視点の移動が検出
されたことに応答して反射鏡の反射角度を制御すること
により、観察者の注視点の画像をそれに表示することが
できる。

第７請求項にかかる発明によれば、観察者の左右のそれ
ぞれの眼に対応して広視野画像と注視点画像とを重ね合
わせて表示することにより、広視野でかつ高精細な立体
画像を表示できる。

第８請求項にかかる発明によれば、重ね合わされた画像
を拡大して表示するようにしたので、観察者は自然な状
態で観察することができる。

第９請求項にかかる発明によれば、広視野画像を通常の
撮影手段によって撮影するとともに、観察者の注視点近
傍の狭い領域を別の撮影手段で高密度に撮影することに
より、広視野でかつ高精細な立体画像を撮影することが
できる。

第１０請求項にかかる発明によれば、観察者の左右のそ
れぞれの眼に対応して広視野の画像と注視点近傍画像を
撮影することにより、立体画像を表示するために必要な
画像信号を得ることができる。

上述のごとく、この発明にかかる広視野表示装置および
広視寿撮影装置を用いることによって、遠隔地の広視野
・高精細画像の撮影表示あるいは単に計算機上で生成さ
れた広視野・高精細画像の表示を行なうことができるの
で、相手の顔画像を見ながら会議ができるテレビ会議シ
ステムや、危険な場所で作業する遠隔操作ロボットの制
御に使用することにより、遠隔地に赴くことなく安全か
つ手軽に、さらに時間を節約して所望の作業を効果的に
行なうことができる。

【図面の簡単な説明】

第１図はこの発明の一実施例の構成を示す図である。第
２図は第１図に示した画像処理装置の一例を示すブロッ
ク図である。第３図および第４図は第２図に示した画像
処理装置の動作を説明するための図である。第５図は人
間の眼球の模式断面図である。第６図は人間の眼球の視
覚特性を示す図である。第７図はこの発明の第２実施例
の構成を示す図である。第８図はこの発明の第３実施例
の構成を示す図である。第９図はこの発明の第４実施例
の構成を示す図である。第１０図はこの発明の第５実施
例の概要を示す図である。第１１図は第５実施例の構成
を示す図である。第１２図は従来の広視野表示装置の一
例を示す図である。第１３図は従来の広視野表示装置の
他の例を示す図である。図において、１は広視野画像表示用ＣＲＴディスプレイ
、２ａ，２ｂ，３ａ，３ｂ，６ａ，６ｂ，７は凸レンズ
、４は広角接眼光学系、５は注視点近傍画像表示用ＣＲ
Ｔディスプレイ、８．３２はＸ方向回転ミラー、９．３
３はｙ軸方向回転ミラ、１１，３４．４０はハーフミラ
ー、１２は赤外線反射ハーフミラー、１３は注視点検出
装置、１４，１４ｂは回転ミラー制御回路、１５，１５
ｂ．１５ｃは画像処理装置、２ｏは中央処理部、２１は
広視野画像蓄積部、２２は高精細画像蓄積部、２９ａ，
２９ｂ，２９ｃは送信回路、３０ａ，３０ｂ，３０ｃは
受信回路、３６は注視点近傍画像撮影カメラ、３７は広
視野画像撮影カメラ、３９，４１は偏光板、４２はモニ
タカメラ、４３は２値化回路、４４は２値化画像中心座
標算出回路、４５は２値化画像座標算出回路を示す。特許出願人　株式会社エイ・テイ・アール第１図第２図萬３図第４図萬５図第６図中＋ｑ’ｉｌ，ｃリめ４会イｆと（Ａ町）第８図第１０図葛ｑ図第１２■ 第１３図

Claims

【特許請求の範囲】

（１）撮影装置で撮影されあるいは計算機上で生成され
た画像を広い視野で高精細に表示する広視野表示装置で
あって、広い視野で画像を表示する第１の表示手段映像観察者が前記第１の表示手段の表示面を注視してい
る注視点を検出する注視点検出手段、前記注視点検出手
段によって検出された注視点の近傍の画像を高精細に表
示する第２の表示手段、前記第１の表示手段に表示され
ている広視野表示画像と前記第２の表示手段に表示され
ている注視点近傍画像とを重ね合わせる画像重ね合わせ
手段、および前記映像観察者の注視点が移動したとき、前記注視点検
出手段の出力に応答して、前記第２の表示手段によって
表示されている注視点近傍の画像を走査する走査手段を
備えた、広視野表示装置。
（２）前記画像重ね合わせ手段は、少なくとも前記第２
の表示手段によって表示される注視点近傍画像を前記第
１の表示手段によって表示される広視野表示画像に投影
する手段を含む、請求項第１項記載の広視野表示装置。
（３）前記画像重ね合わせ手段は、前記第１の表示手段
によって表示される広視野表示画像と前記第２の表示手
段によって表示される注視点近傍画像との重ね合わせ部
分を表示しない手段を含む、請求項第１項記載の広視野
表示装置。
（４）前記画像重ね合わせ手段は、前記第１の表示手段
によって表示される広視野表示画像と、前記第２の表示
手段によって表示される注視点近傍画像との境界画像領
域についてｎ×ｍ画素からなるフィルタ（重み付け平均
関数）との積和演算を施す平滑フィルタ手段を含む、請
求項第３項記載の広視野表示装置。
（５）前記平滑フィルタ処理手段は、前記注視点近傍画
像の中心部から境界部分に向かうにつれて、該画像との
積和演算を施すフィルタ（重み付け平均関数）の大きさ
（ｎ×ｍ）を大きくする手段を含む、請求項第４項記載
の広視野表示装置。
（６）前記走査手段は、前記第２の表示手段によって表示される注視点の画像を
前記画像重ね合わせ手段に向けて反射させるための反射
鏡と、前記注視点検出手段によって注視点の移動が検出された
ことに応答して、前記反射鏡の反射角度を制御する手段
とを含む、請求項第１項記載の広視野表示装置。
（７）前記第１の表示手段と、前記注視点検出手段と、
前記第２の表示手段と、前記画像重ね合わせ手段と、前
記走査手段は、それぞれ観察者の左右の眼に対応して１
対ずつ設けられる、請求項第１項記載の広視野表示装置
。
（８）さらに、前記画像重ね合わせ手段によって重ね合
わされた画像を拡大して表示面に投影する投影手段を含
む、請求項第１項記載の広視野表示装置。
（９）広い視野の画像を撮影する広視野撮影装置であっ
て、広い視野の画像を通常の分解能で撮影する第１の撮影手
段、観察者の注視点近傍の画像を高精細に撮影する撮影手段
、および前記画像観察者の注視点が移動したことに応じて、前記
第２の撮影手段の撮影位置を変更する変更手段を備えた
、広視野撮影装置。
（１０）前記第１の撮影手段と前記第２の撮影手段と前
記変更手段は、前記映像観察者の左右の眼に対応してそ
れぞれ１対ずつ設けられる、請求項第９項記載の広視野
撮影装置。