JPH0744110A - 視線適応型表示装置 - Google Patents

視線適応型表示装置

Info

Publication number
JPH0744110A
JPH0744110A JP5192103A JP19210393A JPH0744110A JP H0744110 A JPH0744110 A JP H0744110A JP 5192103 A JP5192103 A JP 5192103A JP 19210393 A JP19210393 A JP 19210393A JP H0744110 A JPH0744110 A JP H0744110A
Authority
JP
Japan
Prior art keywords
image
viewpoint
visual point
unit
frame buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5192103A
Other languages
English (en)
Inventor
Takashi Kono
隆志 河野
Hajime Suzuki
鈴木  元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP5192103A priority Critical patent/JPH0744110A/ja
Publication of JPH0744110A publication Critical patent/JPH0744110A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

(57)【要約】 【目的】視線適応型表示装置において,伝送情報量を軽
減し,かつ視線の動きに対応した見やすい画面表示を可
能とすることを目的とする。 【構成】眼球運動情報入力部11と眼球運動検出部12によ
り視点を検出し,視点中心画像走査部15により,視点中
心画像を走査して送る。視点中心画像復元部20は,視点
中心画像を復元し,その画像を出力フレームバッファ21
に蓄積する。そして,視点が移動しても視点中心画像を
残すようにする。表示部22により出力フレームバッファ
21の内容を表示する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は,例えば画像通信のよう
に限られた伝送路に,視線の動きに応じた映像を送り表
示する視線適応型表示装置に関する。
【0002】
【従来の技術】従来,注視点を検出し,表示画像を制御
する方法には,視点中心画像を高解像度に,視点周辺画
像を低解像度に表示する装置があった。この装置により
伝送した場合,すべての画像を高解像度で伝送した場合
に比べ,伝送容量の大幅な軽減を計ることができる。
【0003】
【発明が解決しようとする課題】しかしながら,従来の
表示装置では,視線の動きに十分に追従したサンプリン
グ速度および十分な精度で,視線追跡と表示とを行わな
ければならないので,技術的に実現が難しいという問題
点があった。
【0004】
【課題を解決するための手段】本発明の視線適応型表示
装置は,上記の問題点を解決するため,利用者の眼球の
動きをとらえる眼球運動情報入力部と,視点の位置を計
算する眼球運動検出部と,入力画像を蓄える入力フレー
ムバッファと,その入力フレームバッファから視点中心
用の画像を走査する視点中心画像走査部と,その画像を
通信網で送るための符号化を行う画像符号化部と,通信
網から受けた画像情報を復号する画像復号化部と,復号
した画像を蓄積する復号バッファと,視点の位置情報と
復号した画像から視点中心画像を復元する視点中心画像
復元部と,その画像を蓄積する出力フレームバッファ
と,その出力フレームバッファの内容を表示する表示部
とを備え,視点が移動しても視点中心画像を残すように
構成される。
【0005】
【作用】本発明は,視点を検出し,視点中心画像を表示
し,視点が移動しても視点中心画像を残す。これによ
り,視線の動きに対応した視点中心画像の動きが遅い場
合でも,過去の視点中心画像が残っているために見にく
さを軽減することが可能となる。
【0006】図2に,従来の表示画面と本発明の表示画
面の違いを示す。従来の視点追従型の表示方法では,例
えば図2(A)に示すように,基本的に視線方向に視点
中心画像S′として高解像度の画像を表示する。視点の
移動に伴い,視点中心画像S′も移動するので,視点中
心画像S′を持続して表示することができない。
【0007】これに対し,本発明によれば,図2(B)
に示すように,一旦表示した視点中心画像Sをフレーム
バッファ上に残すことにより,視点中心用の画像(例え
ば高解像度の画像)を持続して表示することが可能であ
る。
【0008】
【実施例】以下,本発明の実施例を図面を用いて詳細に
説明する。 (1)視点中心画像が矩形の場合 図1は,本発明の一実施例における構成を示す図であ
る。また,図3に,図1中の入力フレームバッファ14
および出力フレームバッファ21の説明図を示す。
【0009】入力フレームバッファ14は必ずしも出力
フレームバッファ21と同じ大きさ,同じアドレス構成
である必要はないが,ここでは説明を簡単にするため同
じ構成とする。それぞれのフレームバッファの座標は,
左上を(0,0),右下を(c,d)の矩形と仮定す
る。視点中心画像S1は,ここでは処理を簡単にするた
めにa画素×b画素の矩形としている。出力フレームバ
ッファ21の利用者の視点の位置を(x,y)とする。
【0010】まず,利用者の眼球の動きを,後述する角
膜反射光による方法を用いて眼球運動情報入力部11で
とらえ,眼球運動検出部12で視線の方向を計算し,入
力フレームバッファ14上の視点中心座標(x,y)に
変換し,通信網17を通して視点中心画像走査部15へ
送る。
【0011】表示画像の送信側では,映像を画像入力部
13でデジタイズして,入力フレームバッファ14に蓄
える。視点中心画像走査部15は,視点中心画像S1の
範囲,すなわち入力フレームバッファ14上の(x−a
/2,y−b/2)から(x+a/2,y+b/2)の
範囲を走査する。視点中心画像走査部15で抽出された
画像は,視点中心座標(x,y)とともに画像符号化部
16で符号化され,通信網17を通して画像復号化部1
8へ送られる。
【0012】画像復号化部18では,視点中心画像S1
と視点中心座標(x,y)が復号され,復号バッファ1
9に蓄積され,視点中心座標は視点中心画像復元部20
に送られる。視点中心画像復元部20では,復号バッフ
ァ19の内容を,視点中心座標をもとに出力フレームバ
ッファ21上の(x−a/2,y−b/2)から(x+
a/2,y+b/2)の範囲へ上書きする形で蓄積す
る。出力フレームバッファ21の内容は表示部22へ送
られ,表示される。
【0013】これら視点中心画像の走査,符号化,復号
化,表示を繰り返すことにより,視点中心画像S1を残
して表示する。図4は,眼球運動情報入力部11の説明
図である。
【0014】本実施例では眼球運動検出法として,角膜
反射光による方法を使っている。赤外線発光ダイオード
40からの赤外線を,散光板45,ハーフミラー41,
ダイクロイックミラー42を通して眼球に入射すると,
その虚像が角膜内に生じる。この像をダイクロイックミ
ラー42で反射し,赤外線透過フィルタ43を透し,赤
外線カメラ44でとらえることにより眼球の動きを検出
できる。
【0015】(2)視点中心画像が楕円形の場合 視点中心画像の形は人間の視力特性から楕円が好まし
い。人間の視力特性を考慮し,視点中心画像を楕円とし
た場合の実施例を説明する。図5に示すように,視点中
心画像S2は長軸a,短軸bの楕円とするが,その他の
構成は,視点中心画像が矩形の場合の実施例(1)と同
様である。
【0016】利用者の眼球の動きを眼球運動情報入力部
11でとらえ,眼球運動検出部12で視線の方向を計算
し,入力フレームバッファ14上の視点中心座標(x,
y)に変換し,通信網17を通して視点中心画像走査部
15へ送る。表示画像を画像入力部13でデジタイズし
て,入力フレームバッファ14に蓄える。視点中心画像
走査部15では入力フレームバッファ14上の座標を
(PX,PY)とすると,PYがy−bからy+bの範
囲で,各PYに対しPXが,x−a{1−(PY−y)
2 /b2 1/2 からx+a{1−(PY−y)2
2 1/2 までの範囲で,PX,PYが共に正の範囲を
走査する。
【0017】視点中心画像走査部15で抽出された画像
は,視点中心画像S2とともに画像符号化部16で符号
化され,通信網17を通して画像復号化部18へ送られ
る。画像復号化部18では視点中心画像S2と視点中心
座標(x,y)が復号され,復号バッファ19に蓄積さ
れ,視点中心座標は視点中心画像復元部20に送られ
る。視点中心画像復元部20では,復号バッファ19の
内容を視点中心座標をもとに出力フレームバッファ21
に次のように蓄積する。すなわち,出力フレームバッフ
ァ21上の座標を(PX,PY)とすると,x−a{1
−(PY−y)2 /b2 1/2 からx+a{1−(PY
−y)2 /b2 1/2 までの範囲で,PX,PYが共に
正の範囲を上書きする形で蓄積する。出力フレームバッ
ファ21の内容は表示部22へ送られ,表示される。
【0018】これら視点中心画像S2の走査,符号化,
復号化,表示を繰り返すことにより,視点中心画像S2
を残して表示する。 (3)視点周辺画像を含む静止画像を転送する場合 図3,図6により,視点周辺画像を含む静止画像を転送
する場合の実施例を説明する。図6は,本実施例におけ
る構成図である。
【0019】利用者の眼球の動きを眼球運動情報入力部
11でとらえ,眼球運動検出部12で視線の方向を計算
し,入力フレームバッファ14上の視点中心座標(x,
y)に変換し,通信網17を通して視点中心画像走査部
15へ送る。
【0020】表示画像の送信側では映像を画像入力部1
3でデジタイズして,入力フレームバッファ14に蓄え
る。視点中心画像走査部15で視点中心用に(例えば高
解像度,フルカラーで)入力フレームバッファ14上の
(x−a/2,y−b/2)から(x+a/2,y+b
/2)を走査する。
【0021】全体の画像は視点周辺画像走査部51で視
点周辺用に(例えば低解像度,モノクロで)入力フレー
ムバッファ14上の(0,0)から(c,d)を走査す
る。視点中心画像走査部15と視点周辺画像走査部51
で抽出された画像は,視点中心座標(x,y)とともに
画像符号化部16で符号化され,通信網17を通して送
られる。
【0022】一方,通信網17を通して送られた視点中
心画像S1,視点周辺画像,視点中心座標は,画像復号
化部18で復号される。復号された視点中心画像S1,
視点周辺画像は,それぞれ視点中心画像復号バッファ5
2,視点周辺画像復号バッファ53に蓄積され,視点中
心座標は視点中心画像復元部54に送られる。視点周辺
画像復元部55では,出力フレームバッファ21の
(0,0)から(c,d)へ視点周辺画像復号バッファ
53の内容を送る。視点中心画像復元部54では,視点
中心画像S1と視点中心座標をもとに,出力フレームバ
ッファ上の(x−a/2,y−b/2)から(x+a/
2,y+b/2)に視点中心画像復号バッファ52の内
容を上書きする形で蓄積する。出力フレームバッファ2
1の内容は表示部22へ送られ,表示される。
【0023】これら視点中心画像の走査,符号化,復号
化,表示のみを繰り返すことにより,視点中心画像S1
を残して表示する。本実施例(3)では,視点中心画像
の形状を矩形として説明したが,実施例(2)と同様の
楕円形でも同じである。
【0024】(4)視点中心画像を予め定めた表示範囲
に限定する場合 図3,図7,図8により,視点中心画像として,予め定
めた表示範囲を用いる場合の実施例を説明する。
【0025】本実施例では,図7のように(pxn ,p
n )(n=1,2,…,9)を中心とする視点中心画
像の表示範囲を9つ(pxn −a/2,pyn −b/
2)から(pxn +a/2,pyn +b/2)の長方形
の範囲(ただしn=1,2,…,9)だけに限ることに
より,処理の負荷を軽減する。
【0026】図8に本実施例の構成例を示す。利用者の
眼球の動きを眼球運動情報入力部11でとらえ,眼球運
動検出部12で視線の方向を計算し,入力フレームバッ
ファ14上の視点中心座標(x,y)に変換する。表示
範囲選択部61では,n=1から9で (x−pxn 2 +(y−pyn 2 が最小になるnを求め,通信網17を通して視点中心画
像走査部15へ送る。表示映像を画像入力部13でデジ
タイズして,入力フレームバッファ14に蓄える。視点
中心画像走査部15で入力フレームバッファ14上の座
標(pxn ,py n )を中心とする表示範囲,すなわ
ち,(pxn −a/2,pyn −b/2)から(pxn
+a/2,pyn +b/2)の長方形の範囲を走査す
る。視点中心画像走査部15で抽出された画像と選択範
囲番号nは画像符号化部16で符号化され,通信網17
を通して画像復号化部18へ送られる。画像復号化部1
8では画像と選択範囲番号nが復号され,画像は復号バ
ッファ19に蓄積され,選択範囲番号nは視点中心画像
復元部20へ送られる。視点中心画像復元部20では,
復号バッファ19の内容を,出力フレームバッファ21
上の座標(pxn ,pyn)を中心とする表示範囲,す
なわち,(pxn −a/2,pyn −b/2)から(p
n +a/2,pyn +b/2)の長方形の範囲に上書
きする形で蓄積する。出力フレームバッファ21の内容
は表示部22へ送られ,表示される。
【0027】これら視点中心画像の走査,符号化,復号
化,表示を繰り返すことにより,視点中心画像を残して
表示する。本実施例も,実施例(2)と同様,視点中心
画像の形状を楕円形とすることも可能である。
【0028】
【発明の効果】以上説明したように,本発明によれば,
視点を検出し,中心視部分を高品質で伝送し,視点が移
動しても高品質の部分を残すことにより,中心視部分の
高品質の映像を伝送するため,伝送情報量の軽減ができ
る。
【図面の簡単な説明】
【図1】本発明の実施例(1)および(2)における構
成を示す図である。
【図2】従来の表示画面と本発明の表示画面の例を示す
図である。
【図3】視点中心画像が矩形の場合における入力および
出力フレームバッファの説明図である。
【図4】眼球運動情報入力部の説明図である。
【図5】視点中心画像が楕円の場合における入力および
出力フレームバッファの説明図である。
【図6】本発明の実施例(3)における構成を示す図で
ある。
【図7】本発明の実施例(4)における入力および出力
フレームバッファの説明図である。
【図8】本発明の実施例(4)における構成を示す図で
ある。
【符号の説明】
11 眼球運動情報入力部 12 眼球運動検出部 13 画像入力部 14 入力フレームバッファ 15 視点中心画像走査部 16 画像符号化部 17 通信網 18 画像復号化部 19 復号バッファ 20 視点中心画像復元部 21 出力フレームバッファ 22 表示部

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 映像を伝送し表示する装置において表示
    器上の利用者の視点を検出し,表示映像を制御する視線
    適応型表示装置であって,利用者の眼球の動きをとらえ
    る眼球運動情報入力部と,視点の位置を計算する眼球運
    動検出部と,入力画像を蓄える入力フレームバッファ
    と,前記入力フレームバッファから視点中心用の画像を
    走査する視点中心画像走査部と,その画像を通信網で送
    るための符号化を行う画像符号化部と,通信網から受け
    た画像情報を復号する画像復号化部と,復号した画像を
    蓄積する復号バッファと,視点の位置情報と復号した画
    像から視点中心画像を復元する視点中心画像復元部と,
    その画像を蓄積する出力フレームバッファと,その出力
    フレームバッファの内容を表示する表示部とを備え,視
    点が移動しても視点中心画像を残すようにしたことを特
    徴とする視線適応型表示装置。
JP5192103A 1993-08-03 1993-08-03 視線適応型表示装置 Pending JPH0744110A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5192103A JPH0744110A (ja) 1993-08-03 1993-08-03 視線適応型表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5192103A JPH0744110A (ja) 1993-08-03 1993-08-03 視線適応型表示装置

Publications (1)

Publication Number Publication Date
JPH0744110A true JPH0744110A (ja) 1995-02-14

Family

ID=16285711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5192103A Pending JPH0744110A (ja) 1993-08-03 1993-08-03 視線適応型表示装置

Country Status (1)

Country Link
JP (1) JPH0744110A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124603A (ja) * 1997-07-04 1999-01-29 Sanyo Electric Co Ltd 情報表示装置及び情報収集装置
JP2003519982A (ja) * 1999-12-30 2003-06-24 スイスコム・モバイル・アクチエンゲゼルシヤフト 画像データを伝送するための方法
JP2004007421A (ja) * 2002-05-31 2004-01-08 Innotive Corp ネットワークを介した大容量高品質デジタルイメージのリアルタイムサービス方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124603A (ja) * 1997-07-04 1999-01-29 Sanyo Electric Co Ltd 情報表示装置及び情報収集装置
JP2003519982A (ja) * 1999-12-30 2003-06-24 スイスコム・モバイル・アクチエンゲゼルシヤフト 画像データを伝送するための方法
JP2004007421A (ja) * 2002-05-31 2004-01-08 Innotive Corp ネットワークを介した大容量高品質デジタルイメージのリアルタイムサービス方法

Similar Documents

Publication Publication Date Title
US7068813B2 (en) Method and apparatus for eye gazing smart display
US9720238B2 (en) Method and apparatus for a dynamic “region of interest” in a display system
US6919907B2 (en) Anticipatory image capture for stereoscopic remote viewing with foveal priority
US7129981B2 (en) Rendering system and method for images having differing foveal area and peripheral view area resolutions
US6078349A (en) Process and system for increasing the display resolution of a point-to-point video transmission relative to the actual amount of video data sent
US5675376A (en) Method for achieving eye-to-eye contact in a video-conferencing system
US7593546B2 (en) Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze
US20030198393A1 (en) Foveal priority in stereoscopic remote viewing system
US20020118339A1 (en) Eye tracking display apparatus
JPH08313843A (ja) 視線追従方式による広視野高解像度映像提示装置
JPH0759032A (ja) 画像ディスプレー装置
JP2010050645A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2000152125A (ja) ヘッドマウントディスプレイ装置
JPH0340592A (ja) 高輝度立体用lcdプロジェクタ駆動方法
US10602132B2 (en) Display apparatus and method of displaying using light source and controllable scanning mirror
JPH0744110A (ja) 視線適応型表示装置
JPH11237581A (ja) ヘッドマウントディスプレイ装置
JPH01141479A (ja) 視線検出を利用した画像通信装置
JP2507913B2 (ja) 投射方式による眼球運動追従型視覚提示装置
Peli Simple 1-D image enhancement for head-mounted low vision aid
JP2000308092A (ja) 立体視眼鏡装置
JPH0222989A (ja) テレビ電話装置
JP2743381B2 (ja) 動画像信号の復号化方式
JPH06343174A (ja) テレビ通信装置
CN111131775A (zh) 一种广角镜头多视窗调焦方法及系统