JPH04293375A - 映像表示システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、映像表示システムに
関し、特に、映像信号発生器と表示装置との間の伝送情
報量を減少させることのできる映像表示システムに関す
る。

【０００２】

【従来の技術および発明が解決しようとする課題】従来
では、映像信号または画像信号の帯域圧縮が行なわれる
場合では、ＤＰＣＭや直交変換、サブサンプリングなど
画像データに含まれる冗長性、すなわち相関性の高さを
利用して、画面全体の画像データについて一様の処理が
行なわれている。したがって、帯域圧縮されて伝送され
てきた画像信号に基づく画像が画面上に表示されたとき
、観察者は画面上に表示された画像を一様の解像度で見
ることができる。すなわち、画面上に表示された画像は
、どの部分においても一様の解像度を有しており、観察
者は画面上のいたるところで同じ解像度を有する画像を
見ることができる。

【０００３】しかしながら、画像の解像度が一様である
ため、観察者の注視領域において詳細に画像を見ると、
画素が粗いことにより解像度の不足を感じる場合がある
。これを防ぐためには、伝送帯域を広げ解像度を向上さ
せる必要があるが、一般に伝送帯域を広くすることは好
ましくない。

【０００４】一方、放送および画像通信の技術分野では
、同じ映像または画像を同じ条件で多くの観察者に見せ
るという従来の形態から、個々の観察者が所望の画像部
分を個別にかつ好みに合わせて観察するという形態に移
行しつつある。したがって、画一的な映像信号または画
像信号の帯域圧縮ではこの要求に応じることができず、
観察者の必要に応じて個別に帯域圧縮を行なう技術の開
発が重要な課題となってきた。

【０００５】この発明は、上記のような課題を解決する
ためになされたもので、映像信号発生器と表示装置との
間の伝送情報量を減少させることのできる映像表示シス
テムを提供することを目的とする。

【０００６】

【課題を解決するための手段】この発明に係る映像表示
システムは、映像信号発生手段と、映像信号発生手段か
ら発生された映像信号に基づいて映像を画面上に表示す
る映像表示手段と、表示された映像を観察する観察者の
画面上の注視領域を検出する注視領域検出手段と、検出
された注視領域とその周辺領域との間で、人間の視覚特
性に基づいて映像信号の映像情報量を異ならしめるよう
制御する映像情報制御手段とを含む。

【０００７】

【作用】この発明における映像表示システムでは、映像
情報制御手段が人間の視覚特性に基づいて、観察者の注
視領域とその周辺領域との間で映像信号の映像情報量を
異ならしめる。映像表示手段は、映像情報制御手段によ
って情報量が制御された映像信号に基づく映像を画面上
に表示する。したがって、映像表示手段に伝送される映
像信号の映像情報量が必要に応じて減少される。

【０００８】

【実施例】図１は、この発明の一実施例を示す映像表示
システムのブロック図である。図１を参照して、この映
像表示システムは、表示装置１０の画面上に表示すべき
映像の映像信号を発生する映像信号発生装置１と、映像
信号の帯域を制限するローパスフィルタ（ＬＰＦ）２と
、観察者の画面上の注視領域の移動に応じて映像信号に
画像処理を施す画像処理装置８と、観察者の眼球の運動
を検出する眼球運動検出装置５と、磁気センサを用いて
観察者の頭部運動を検出する頭部運動検出装置６と、検
出された頭部運動データおよび眼球運動データを演算処
理することにより観察者の視線データを求める注視点処
理装置７と、注視点データに基づいて観察者の注視領域
データを求める注視領域分離装置３とを含む。画像処理
装置８は、映像信号発生装置１から発生された映像信号
Ｓａおよびローパスフィルタ２を経て与えられる映像信
号Ｓｂを受けるスイッチング部８１と、観察者の注視領
域データに基づいて制御信号を発生する制御信号発生部
８２と、制御信号に応答して画面の繰返し周波数を制御
する繰返し周波数制御部８３とを含む。

【０００９】動作において、観察者の眼球運動の動きお
よび頭部運動の動きが眼球運動検出装置５および頭部運
動検出装置６によりそれぞれ検出される。検出された運
動データに基づいて、注視点処理装置７が演算処理を行
なうことにより、観察者の視線の動きを示す視線データ
を求める。求められた視線データは、注視領域分離装置
３に与えられ、そこで観察者が注視している画面上の注
視領域の座標およびその周辺領域の座標が得られる。注
視領域およびその周辺領域の座標は、画像処理装置８内
の制御信号発生部８２に与えられる。上記の処理につい
ては、後で詳細に説明する。

【００１０】映像信号発生装置１から発生された映像信
号Ｓａは、直接画像処理装置８内のスイッチング部８１
に与えられる一方、ローパスフィルタ２にも与えられる
。ローパスフィルタ２を介して帯域制限された映像信号
Ｓｂが出力され、スイッチング部８１に与えられる。 制御信号発生部８２は、注視領域分離装置３から与えら
れる注視領域データに基づいて、スイッチング部８１お
よび繰返し周波数制御部８３を制御するのに必要な制御
信号を発生する。以下に、スイッチング部８１および繰
返し周波数制御部８３における処理について説明する。

【００１１】図１０は、人間の中心視と周辺視における
空間周波数特性を示す特性図である。図１０において、
横軸は網膜上の中心窩からの距離（角度）を示し、縦軸
が相対視力を示す。図１０から、中心視、すなわち注視
領域において人間の視力は極めて高いが、周辺視、すな
わち注視領域の周辺領域において視力が急激に減少する
ことが理解される。

【００１２】図１１は、人間の中心視付近における時間
周波数特性を示す特性図である。図１１において、横軸
は網膜の中心からの水平方向の変位角度を示し、縦軸が
ＣＦＦ（臨界融合周波数）（単位はサイクル／秒）を示
す。曲線Ｃ１は、視覚について８゜の大きさを有する指
標が表示された場合の特性を示し、曲線Ｃ２は、４゜の
大きさを有する指標が表示された場合の特性を示す。各
曲線Ｃ１およびＣ２を境として、その上側の領域では人
間は画面上のちらつき（フリッカ）を感じることができ
ず、その下側ではそれが感じられる。図１１から、人間
の目は、中心視ではちらつきに対し感度は低く、逆に周
辺視では感度が高いことが理解される。上記のような人
間の目が持つ特性は、中心視において対象の細部を高解
像度で観察し、周辺視において外部からの敵の侵入（ち
らつき）など視対象の変化を敏感に捕らえるという生物
が持つ合理的な視覚システムを示している。図１に示し
た画像処理装置８では、上記のような人間の視覚特性を
利用して、次のような処理が行なわれる。

【００１３】図２は、図１に示した画像処理装置８にお
ける処理を説明するためのタイミング図である。図２（
Ａ）は、観察者が注視している画面上の注視領域Ｃ３を
示している。図２（Ｂ）は、注視領域Ｃ３の位置に応じ
て制御される伝送帯域ｆｍの変化を示している。図２（
Ｃ）は、画像の繰返し周波数ｆｖの変化を示している。 すなわち、注視領域Ｃ３内を示す映像信号の伝送帯域ｆ
ｍは、この例では、広い帯域ｆｍ１に設定され、周辺領
域ではそれよりも低い帯域ｆｍ２（＝ｆｍ１／２）に設
定される。すなわち、図１に示したスイッチング部８１
は、制御信号発生部８２から発生される制御信号に応答
して、注視領域を表示する映像信号についてはローパス
フィルタ２を介さない信号Ｓａを選択し、周辺領域を表
示する映像信号についてはフィルタ２を介する映像信号
Ｓｂを選択する。

【００１４】スイッチング部８１によりスイッチング制
御された映像信号Ｓｃは繰返し周波数制御部８３に与え
られる。繰返し周波数制御部８３は、制御信号発生部８
２から発生される制御信号に応答して、与えられた映像
信号Ｓｃの繰返し周波数を図２（Ｃ）に示すように制御
する。すなわち、注視領域内を表示する映像信号Ｓｃの
画面の繰返し周波数ｆｖを低い値ｆｖ２に設定し、周辺
領域を表示する映像信号Ｓｃを高い値ｆｖ１（＝２・ｆ
ｖ２）に設定する。その結果、繰返し周波数制御部８３
から、映像情報量が減じられた映像信号Ｓｄが出力され
、表示装置１０に与えられる。したがって、映像信号Ｓ
ｄの伝送帯域は、１／２・ｆｍ１・ｆｖ１となり、従来
の伝送帯域ｆｍ１・ｆｖ１の半分に減少される。表示装
置１０の画面上では、伝送帯域の減少された映像信号Ｓ
ｄに基づく映像が表示されるが、表示された映像は、人
間の視覚における時空間周波数特性を考慮して伝送され
てきたものであり、表示された映像から観察者が画質の
劣化を感じることはない。したがって、観察者に画質の
劣化を感じさせることなく、映像信号発生装置１と表示
装置１０との間の伝送帯域の減少を図ることができる。

【００１５】なお、注視領域の大きさは、前述の人間の
視覚の時空間周波数特性から、視覚に換算して２゜ない
し５゜が好ましいものと考えられる。図１に示した画像
処理装置８における処理は、言い換えると、注視領域の
映像信号の空間周波数の再現帯域を向上させかつ時間周
波数の再現帯域を減少させ、逆に周辺領域の映像信号の
空間周波数の再現帯域を減少させかつ時間周波数の再現
帯域を高くすることにより、表示装置１０に伝送される
映像信号の伝送帯域の減少を図っている。

【００１６】以下の説明では、図１に示した映像表示シ
ステムにおける観察者の視線の動きの検出およびそれに
基づく注視領域の抽出のための処理について記載する。

【００１７】図５は、図１に示した頭部運動検出装置６
のブロック図である。図５を参照して、この頭部運動検
出装置６は、基準磁界を発生する励磁コイル６１と、励
磁コイル６１を交流駆動するためのドライブ回路６５と
、観察者の頭部に装着されたセンサコイル６２と、観察
者の頭部に動きに応じてセンサコイル６２に誘起された
電圧を検出する検出回路６３と、検出回路６３によって
検出された電圧に基づいて演算処理により観察者の頭部
運動を求めるＣＰＵ６４とを含む。ＣＰＵ６４はドライ
ブ回路６５をも制御する。励磁コイル６１は、３軸（Ｘ
，Ｙ，Ｚ）方向に巻かれた３つのコイルにより構成され
る。各コイルには、ドライブ回路６５から発生された、
それぞれ周波数の異なった駆動用電源電圧が供給される
。したがって、励磁コイル６１によって３軸を基準とす
る磁界が発生され、その磁界の中に観察者がいることに
なる。センサコイル６２も、（Ｘ，Ｙ，Ｚ）方向にそれ
ぞれ巻かれた３つの検出用コイルを備えている。観察者
の頭部が動くと、その動きに応じてセンサコイル６２内
の各コイルに起電力が誘起される。各コイルに生じた起
電力を検出回路６３により検出することにより、観察者
の頭部の動きに応じた信号が得られる。ＣＰＵ６４は、
この信号に基づいて演算処理することにより、観察者の
頭部の動きを示す頭部運動データＨを求め、それを出力
する。

【００１８】図３は、観察者の頭部運動の各運動パラメ
ータの方向を示す概略図である。観察者の前頭部に前述
のセンサコイル６２が装着される。図３に示したパラメ
ータＨｘ，Ｈｙ，Ｈｚ，Ｈθ，ＨφおよびＨψは、それ
ぞれこの図に示す方向の頭部運動の動きを示している。 すなわち、Ｈｘは頭部の水平平行運動を示し、Ｈｙは前
後方向の動きを示し、Ｈｚは垂直平行運動を示す。また
、Ｈθは首を左右に傾ける方向の運動を示し、Ｈφは首
の上下方向の回転運動を示し、Ｈψは頭部の左右方向の
回転運動を示す。

【００１９】図４は、観察者が表示装置１０を見ている
様子を示す模式図である。図４を参照して、観察者は、
ゴーグルのような眼鏡を装着して、表示装置１０の画面
上を観察している。予め定められた位置に前述の励磁コ
イル６１が置かれる。センサコイル６２（図示せず）は
、眼鏡６６に取付けられている。観察者の頭部が動くこ
とにより、励磁コイル６１とセンサコイル６２との間の
位置関係が相対的に変化し、頭部運動検出が行なわれる
。

【００２０】図６は、図１に示した眼球運動検出装置５
における検出原理を示す概略図である。この装置では、
角膜表面の白目と黒目の反射率の違いを利用する強膜反
射方式を用いたものが一例として示される。他の方式と
して、角膜反射方式やサーチコイル方式も適用できる。 図６を参照して、左右の目Ｅ１およびＥ２の前方に、セ
ンサ７１および７２がそれぞれ配置される。各センサ７
１および７２の中央には、発光素子７３が配置される。 発光素子７３として、比較的指向性の広い±２１゜程度
の赤外線投射の発光ダイオードが用いられる。発光素子
７３の両側には、受光素子７４が設けられる。受光素子
７４として、指向性の鋭い±１０゜程度のフォトダイオ
ードが用いられる。発光素子７３から眼球に向けて投射
された光は白目および黒目の部分で反射する。白目と黒
目とでは反射率が異なるので、この反射率の違いを増幅
し、差を取れば水平（左右）の眼球運動の動きが出力と
して得られ、和を取れば垂直（上下）方向の眼球の動き
が出力として得られる。

【００２１】水平方向と垂直方向とでは、眼球に対する
センサ７１および７２の位置が異なり、水平方向のセン
サ７１は眼球の上下に対して中央に反射光を検出し、垂
直方向のセンサ７２は下方にて反射光を検出するように
それぞれ配置される。そして、一方の目Ｅ１に水平方向
のセンサ７１が配置され、他方の目Ｅ２の垂直方向のセ
ンサ７２が配置される。これらを同時に用いれば、２次
元的な眼球運動を検出することができる。このような検
出原理を用いて眼球の移動速度，移動方向，移動距離，
注視時間などを求める手法は、たとえば特開昭６０−１
２６１４０号公報において開示される。したがって、図
１に示した眼球運動検出装置５から観察者の眼球運動を
示すデータＥが得られ、注視点処理装置７に与えられる
。

【００２２】図７は、観察者が装着する眼鏡６６の概略
図である。この眼鏡６６には、眼球運動を検出するため
の水平方向のセンサ７１と、頭部運動を検出するための
センサコイル６２とが設けられている。

【００２３】図８は、頭部運動による視線の動きを説明
するための概略図である。図８を参照して、一般に視対
象が移動すると、眼球はその視対象に追従して動く。こ
の眼球の動きに代えて、頭部を移動させることによって
も視対象を追いかけることができる。通常は、両者の動
きを併用して行なっている。頭部運動には、足や背骨の
向きによる平行移動と、首，背骨，腰，足などによって
実現される回転運動とがある。この頭部運動を後述する
方法により、眼球の回転角へ換算し、図８に示した頭部
運動補正眼球回転角αが得られる。図１に示した注視点
処理装置７では、この頭部運動補正眼球回転角αと眼球
自身の回転角θとの組合わせにより、視線データが表現
される。ここで、この回転角αとθの和を総称して視線
と定義する。

【００２４】図１に示した注視点処理装置７における処
理を以下に説明する。注視点処理装置７は、頭部運動デ
ータＨと眼球運動データＥとを受ける。データＨの水平
運動成分として（Ｈｘ，Ｈｙ，Ｈｚ）が与えられ、回転
運動成分として（Ｈφ，Ｈθ，Ｈψ）が与えられるもの
とする。頭部運動の水平成分（Ｈｘ，Ｈｙ，Ｈｚ）によ
り視線が変化するが、これを眼球回転角（Ｅｘ，Ｅｙ）
に換算するには次式が用いられる。ここでＤは被験者と
観察対象までの距離である。

【００２５】

【数１】

【００２６】首を左肩方向または右肩方向にＨθだけ傾
げると、眼球運動系の座標が回転する。したがって、Ｈ
θだけ傾いた眼球運動座標系（Ｘｅ，Ｙｅ）を元の観察
対象に直交した座標系（Ｘｅ′，Ｙｅ′）に変換する必
要がある。そのため次式が用いられる。

【００２７】

【数２】 Ｘｅ′＝Ｘｅ・ｃｏｓＨθ＋Ｙｅ・ｓｉｎＨθ　　　　
　　　　　　　　　　　　　　……（３）Ｙｅ′＝−Ｘ
ｅ・ｓｉｎＨθ＋Ｙｅ・ｃｏｓＨθ　　　　　　　　　
　　　　　　　……（４）頭部運動により実現される視
線の動き（Ｘｈ，Ｙｈ）は、式（１）および（２）から
、次式により表わされる。

【００２８】

【数３】 Ｘｈ＝Ｅｘ＋Ｈψ　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　……（５）Ｙｈ＝Ｅｙ＋Ｈφ　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　……（６）したがって、頭の動きを
考慮した視線の動き（Ｘｖ，Ｙｖ）は、式（３）ないし
（６）より、次式により表わされる。

【００２９】

【数４】 Ｘｖ＝Ｘｅ′＋Ｘｈ　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　……（７）Ｙｖ＝Ｙｅ′＋Ｙｈ　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　……（８）式（７）および（８）を用い
ることにより、頭部運動と眼球運動とを組合わせて行な
われている通常の視線の動きを再現することができる。 以上のような処理は、図１に示した注視点処理装置７に
おいて行なわれ、視線の動きを示す視線データが注視領
域分離装置３に与えられる。

【００３０】注視領域分離装置３では、与えられた視線
データに基づき、観察者の画面上での注視領域を示すデ
ータを得る。具体的には、図２（Ａ）に示すように、注
視領域Ｃ３は、その半径Ｄｔｈが予め定められたしきい
値速度Ｖｔｈとサンプリング間隔Ｔｓとの積により決ま
る。すなわち、現在の視点の位置をＰ１として、半径Ｄ
ｔｈにより決まる領域が画面上の注視領域Ｃ３とされる
。

【００３１】視線検出によって得られるデータの座標と
表示装置１０における画面上での座標とが異なっている
ので、次のような座標変換が行なわれる。図９は、視線
検出における座標と画面上での座標との対応を示す座標
図である。図９（Ａ）を参照して、表示装置１０の画面
が観察者から距離Ｄだけ離れた位置に置かれ、画面のサ
イズが縦Ｄｖ，横Ｄｈであるものと仮定する。したがっ
て、画面上での座標は（１，１）…（Ｐｘ，Ｐｙ）によ
り表わされる。したがって、観察者から見た画面の視角
は、図９（Ｂ）に示すように、次式により表わされる。

【００３２】

【数５】 ａ＝１８０／π・ｔａｎ−１Ｄｈ／（２・Ｄ）　　　　
　　　　　　　　　　　　　　　　……（９）ｂ＝１８
０／π・ｔａｎ−１Ｄｖ／（２・Ｄ）　　　　　　　　
　　　　　　　　　　……（１０）ここで、視線移動角
をＸｖ，Ｙｖとすると、これを画面上の座標Ｘｐ，Ｙｐ
に変換する式は、次式により表わされる。

【００３３】

【数６】 Ｘｐ＝ｆ（Ｘｖ）＝ｐ＋（ｒ−ｐ）・Ｘｖ／（ａ−Ｘｖ
）　　　　　　……（１１）Ｙｑ＝ｇ（Ｙｖ）＝ｑ＋（
ｓ−ｑ）・Ｙｖ／（ｂ−Ｙｖ）　　　　　　……（１２
）したがって、上記の式を使用することにより、視線検
出に基づいて得られた注視領域およびその周辺領域の座
標データを画面上での座標データに変換することができ
る。その結果、図１に示した制御信号発生部８２から、
注視領域とその周辺領域とを区別して画像処理を行なう
のに必要な制御信号を発生させることができる。

【００３４】

【発明の効果】以上のように、この発明によれば、注視
領域検出手段によって検出された注視領域とその周辺領
域との間で、人間の視覚特性に基づいて映像信号の映像
情報量を異ならしめるよう制御する映像情報制御手段を
設けたので、映像信号発生手段と映像表示手段との間の
伝送情報量を減少させることのできる映像表示システム
が得られた。

【図面の簡単な説明】

【図１】この発明の一実施例を示す映像表示システムの
ブロック図である。

【図２】図１に示した画像処理装置における処理を説明
するためのタイミング図である。

【図３】観察者の頭部運動の各運動パラメータの方向を
示す概略図である。

【図４】観察者が表示装置を見ている様子を示す概略図
である。

【図５】図１に示した頭部運動検出装置のブロック図で
ある。

【図６】図１に示した眼球運動検出装置における検出原
理を示す概略図である。

【図７】観察者が装着する眼鏡の概略図である。

【図８】頭部運動における視線の動きを説明するための
概略図である。

【図９】視線検出における座標と画面上での座標との対
応を示す座標図である。

【図１０】人間の中心視と周辺視における空間周波数特
性を示す特性図である。

【図１１】人間の中心視付近における時間周波数特性を
示す特性図である。

【符号の説明】

１　　映像信号発生装置 ２　　ローパスフィルタ ７　　注視点処理装置 ８　　画像処理装置 １０　　表示装置 ８１　　スイッチング部 ８２　　制御信号発生部 ８３　　繰返し周波数制御部

Claims (3)

【特許請求の範囲】
1. 【請求項１】　　映像信号発生手段と、前記映像信号発
   生手段から発生された映像信号に基づいて映像を画面上
   に表示する映像表示手段と、前記映像表示手段によって
   表示された映像を観察する観察者の画面上の注視領域を
   検出する注視領域検出手段と、前記注視領域検出手段に
   よって検出された注視領域とその周辺領域との間で、人
   間の視覚特性に基づいて映像信号の映像情報量を異なら
   しめるよう制御する映像情報制御手段とを含み、前記映
   像表示手段は、前記映像情報制御手段によって情報量が
   制御された映像信号に基づいて映像を画面上に表示する
   、映像表示システム。
2. 【請求項２】　　前記映像情報制御手段は、前記注視領
   域検出手段によって検出された注視領域とその周辺領域
   との間で、人間の視覚特性に基づいて映像信号の帯域を
   異ならしめるよう制御する帯域制御手段を含む、請求項
   １に記載の映像表示システム。
3. 【請求項３】　　前記映像情報制御手段は、前記注視領
   域検出手段によって検出された注視領域とその周辺領域
   との間で、人間の視覚特性に基づいて映像信号の映像繰
   返し周波数を異ならしめるよう制御する繰返し周波数制
   御手段を含む、請求項１に記載の映像表示システム。