JPH0997151A - 画像選択装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 仮想画を一覧化した索引画を表示装置画面に
表示し、索引画を選択する際に、ポインティングデバイ
ス等を使用する等の特別の手動操作を不要とした画像選
択装置を提供する。 【構成】 表示装置１０７の表示容量以上の広範囲な表
示領域を有する仮想画を作成する仮想画作成装置１０１
と、作成仮想画を略一覧化した索引画を作成する索引画
作成装置１０２と、作成索引画を表示する索引画表示装
置１０３と該装置１０３に向けられた使用者の視線方向
を視線検知装置１０４で検知してこの視線方向から索引
画表示装置１０３上の注視部分を判定する注視索引判定
装置と、判定結果をもとに作成画作成装置１０２が作成
した仮想画の一部を選択する仮想画選択装置１０６と、
選択された仮想画内の部分画像を表示する表示装置１０
７からなる。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】少なくとも２つの表示装置に
画像を表示できる画像選択装置及び方法に関するもので
ある。

【０００２】

【従来の技術】従来、表示装置の画面以上の広領域を仮
想画として架空に構成し、いわゆる仮想表示として画面
面積を広げる手法が行われてきた。この場合、その仮想
画全体を略一覧化したような索引画を常に見える位置に
表示し、その索引画のなかの特定部分をポインティング
デバイス等で指定すると、対応する仮想画の対応部分が
表示装置画面に現れる方法がとられている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記方
法では、仮想画を一覧化した索引画を表示装置画面に表
示するが、このとき索引画の選択にポインティングデバ
イス等を使用するため、手を移動するわずらわしさがあ
り、使用者にとって面倒なものであった。

【０００４】

【課題を解決するための手段】本発明は以上の課題を解
決することを目的として成されたもので、上述した課題
を解決する位置手段として、以下の構成を備える。

【０００５】即ち、少なくとも２つの表示装置に画像を
表示できる画像選択装置であって、第１の表示装置の表
示容量以上の広範囲な表示領域を有する仮想画を作成す
る仮想画作成手段と、前記仮想画作成手段での作成仮想
画を略一覧化した索引画を作成する索引画作成手段と、
前記索引画作成手段での作成索引画を第２の表示装置に
表示させる索引画表示手段と、前記第２の表示装置に向
けられた使用者の視線方向を検知する視線検知手段と、
前記視線検知手段によって検知した視線方向から前記索
引画上の注視部分を判定する注視索引判定手段と、前記
注視索引判定手段の判定結果をもとに前記作成画作成手
段が作成した仮想画の一部を選択する仮想画選択手段
と、前記仮想画選択手段によって選択された仮想画内の
部分画像を前記第１の表示装置に表示させる選択画像表
示制御手段とを備えることを特徴とする。

【０００６】前記視線検知手段は、使用者の眼球の角膜
に光を照射し、該角膜よりの角膜反射光及び虹彩端部よ
りの光束を検出して視線方向を検知することを特徴とす
る。

【０００７】

【発明の実施の形態】以下、図面を参照して本発明に係
る発明の実施の態様の一例を詳細に説明する。

【０００８】図１は本発明に係る発明の実施の態様の一
例を示すブロック図である。

【０００９】図１において、１０１は仮想画を作成、管
理する仮想画作成装置、１０２は仮想画を略一覧化して
模式的な索引画を作成する索引画作成装置、１０３は索
引画作成装置１０１で作成した索引画を表示する索引画
表示装置、１０４は索引画表示装置を見る使用者の視線
を検知する視線検知装置、１０５は視線検知装置１０４
で検知した視線の向く、索引画内の位置を判定する注視
索引判定装置、１０６は注視索引判定装置１０５によっ
て示された位置から、対応する仮想画の部分を選択する
仮想画選択装置、１０７は仮想画選択装置１０６によっ
て示された部分を表示する表示装置である。

【００１０】以下、図１の構成を備える本例の動作を説
明する。

【００１１】通常、仮想画は表示装置１０７の画面以上
の広範囲な領域を持つ。このため、表示装置１０７に表
示できる画像は、仮想画の一部である。仮想画は例えば
次の２つの手段によって実現可能である。

【００１２】１つは、仮想画の領域のすべての像を特定
のメモリ上に表現する方法である。この方法では、仮想
画の全てをメモリに記憶しておき、仮想画の任意の部分
を表示装置１０７に表示する場合に、上記メモリ中の表
示分の領域を表示用のメモリ（以下、「ビデオメモリ』
と称す。）に転送することによって表示する方法であ
る。

【００１３】または、ビデオメモリを仮想画全領域分用
意し、あらかじめ仮想画をすべてビデオメモリ上に形成
してもよい。この場合、表示装置１０７に表示したい部
分に絞ってビデオメモリ内を走査することによって、表
示装置１０７の表画面上に結像する方法である。

【００１４】２つめは、座標値によって仮想画を管理す
る方法である。この方法では、座標管理用のテーブルを
用い、仮想画への書き込みは実際には書き込んだふりを
するだけで、画像としての書き込みは行わず、各座標値
をテーブルで管理する方法である。

【００１５】さらに、同様に表示領域も管理しており、
仮想画内のどの部分が、実際に表示装置１０７に表示さ
れているかを監視する方法である。そして、仮想画内の
ある部分が表示領域に含まれたら、該当仮想画領域の像
をビデオメモリに形成すればよい。

【００１６】以上の各方法で表示装置１０７に仮想画の
部分を表示することができる。本例は、この仮想画のう
ちのどの部分を選択表示するかといった選択方法とし
て、仮想画全域を略一覧的に表現した像を索引画とし、
索引画上に仮想画内の特徴物を抽出、加工してその位置
を示す方法を採用している。

【００１７】この索引画を作成するには、例えば、あら
かじめ仮想画がメモリ上に形成されている場合は、その
画情報を間引いて、索引画を形成してもよい。仮想画上
にウインドウが存在する場合は、そのウインドウフレー
ムを特徴物と考えて抽出・加工し、索引画を形成しても
よいし、ウインドウを特定付ける略図（アイコン）を用
いて索引画を形成してもよい。

【００１８】そして、本例においては、この索引画より
所望の表示画像を選択する方法として視線検知装置１０
４を用いて、この視線検知装置１０４の検出した視線を
利用して表示画像領域の選択を行っている。この本例の
方法は、以下の原理等により実現可能である。

【００１９】図２は視線検出方法の原理図（上面図）、
図３は視線検出方法の原理図（側面図）である。以下、
図２及び図３を参照して本例の視線検出方法を説明す
る。

【００２０】図２及び図３において、７０６ａ，７０６
ｂは観察者に対して不感の赤外光を放射する発光ダイオ
ード（ＩＲＥＤ）などの光源であり、各光源は結像レン
ズ７１１の光軸に対してｘ方向（水平方向）に略対称に
（図２参照）、またｙ方向（垂直方向）にはやや下側に
（図３参照）配置され、観察者の眼球を発散照明してい
る。

【００２１】眼球では、反射した照明光の一部は結像レ
ンズ７１１によってイメージセンサ７１２に結像する。
このイメージセンサ７１２に投影される眼球像の概略図
を図４に、その場合におけるイメージセンサ７１２の出
力強度を図５に示す。以下、この図４及び図５も参照し
て本例における視線検知装置１０４における視線の検出
方法を説明する。

【００２２】まず、水平面で考えると、図２において光
源７０６ｂより放射された赤外光は観察者の眼球７０８
の角膜７１０を照明する。このとき角膜７１０の表面で
反射した赤外光により形成される角膜反射ｄ（虚像）
は、結像レンズ７１１により集光され、イメージセンサ
７１２上の位置ｄ’に結像する。

【００２３】同様に光源７０６ａより放射された赤外光
は眼球の角膜７１０を照明する。このとき角膜７１０の
表面で反射した赤外光により形成された角膜反射像ｅ
（虚像）は、結像レンズ７１１により集光され、イメー
ジセンサ７１２上の位置ｅ’に結像する。また虹彩７０
４の端部ａ，ｂからの光束は結像レンズ７１１を介して
イメージセンサ７１２上の位置ａ’，ｂ’に該端部ａ，
ｂの像を結像する。

【００２４】結像レンズ７１１の光軸に対する眼球７０
８の光軸の回転角θが小さい場合、虹彩７０４の端部
ａ，ｂのｘ座標をｘａ，ｘｂとすると、ｘａ，ｘｂはイ
メージセンサ上で多数点求めることができる（図４中の
Ｘ印）。

【００２５】そこで、まず円の最小自乗法にて瞳孔中心
ｘｃを算出する。一方、角膜７１０の極率中心ｏのｘ座
標をｘｏとすると、眼球７０８の光軸に対する回転角θ
は、 ｏｃ＊ｓｉｎθ＝ｘｃ−ｘｏ …（１） となる。

【００２６】また角膜反射像ｄとｅの中心ｋに所定の補
正値δｘを考慮してｘｏを求めると、 ｘｋ＝（ｘｄ＋ｘｅ）／２ ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ …（２） ここでδｘは装置の設置方法／眼球距離等から幾何学的
に求められる数値であり、その算出方法は省略する。

【００２７】よって、（１）を（２）ヘ代入してθｘを
求めると、 θｘ＝ａｒｃｓｉｎ［［ｘｃ−｛（ｘｄ＋ｘｅ）／２＋
δｘ｝］／ｏｃ｝］ となる。さらに、イメージセンサ７１２上に投影された
各々の特徴点の座標を、（ダッシュ）を付けて（４）式
に書き換えると、 θｘ＝ａｒｃｓｉｎ［［ｘｃ’−｛（ｘｄ’＋ｘｅ’）／２＋δｘ’｝］／ｏ ｃ／β］ …（４） となる。

【００２８】ここで、βは結像レンズ７１１に対する眼
球の距離ｓｚｅにより決まる倍率で、実際は角膜反射像
の間隔｜ｘｄ’−ｘｅ’｜の関数として求められる。

【００２９】次に垂直面で考えると、図３のような構成
となる。ここで２個のＩＲＥＤ７０６ａ，７０６ｂによ
り生じる角膜反射像は、同位置に発生し、これをｉとす
る。眼球の回転角θｙの算出方法は水平面の時とほぼ同
一であるが、（２）式のみ異なり、角膜極率中心ｏｈの
ｙ座標をｙｏとすると、 ｙｏ＝ｙｉ＋δｙ …（５） となる。ここで、δｙは装置の配置方法、眼球距離等か
ら幾何学的に求められる数値であり、その算出方法は省
略する。

【００３０】よって垂直方向の回転角θｙは、 θｙ＝ａｒｃｓｉｎ［［ｙｃ’−（ｙｉ’＋δｙ’）］／ｏｃ／β］ …（６） となる。

【００３１】さらに、視線検知装置上の位置座標（ｘ
ｎ，ｙｎ）は視線検知装置の光学系で決まる定数ｍを用
いると、水平面上、垂直面上それぞれ、 ｘｎ＝ｍ＊ａｒｃｓｉｎ［［ｘｃ’−｛（ｘｄ’＋ｘｅ’）／２＋δｘ’｝］ ／ｏｃ／β］ …（７） ｙｎ＝ｍ＊ａｒｃｓｉｎ［［ｙｃ’−（ｙｉ’＋δｙ’）］／ｏｃ／β］ …（８） となる。

【００３２】図２で明らかなように、瞳孔エッジの検出
はイメージセンサ出力波形の立ち上がり（ｘｂ’）、立
ち下がり（ｘａ’）を利用する。また、角膜反射像の座
標は鋭い立ち上がり部（ｘｅ’およびｘｄ’）を利用す
る。

【００３３】以上の説明をふまえて図１に示した構成を
備える本例の処理を説明する。

【００３４】あらかじめ、先にあげた方法等によって仮
想的な表示領域である仮想画が仮想画作成装置１０１に
よって形成されているとする。

【００３５】本例の以下の説明では、図６のように表示
装置画面の９倍の大きさの仮想画を作成する場合を例と
して説明を行う。もちろん、倍率を９倍に固定するもの
ではなく、任意の倍率の物とできることは勿論である。
また、仮想化の方法は説明の簡略化のため、仮想画領域
分のメモリを確保する方式を採用した場合を説明する。
しかし、この仮想化の方法もこの方法に限定させるもの
ではなく、上述した他の方法など任意の方法を用いるこ
とができる。

【００３６】以下の説明の仮想画中へのデータ書き込み
は、すべてこの仮想画を形成したメモリに対して行なわ
れるものである。表示装置１０７への表示はこの仮想画
メモリの一部をビデオメモリに転送することによって行
われる。

【００３７】さらに、仮想画中には、図７に示すように
ウインドウが複数存在（ウインドウ内の画像の表示につ
いては表記を省略）しているものとする。そして、索引
画作成装置１０２は、このウインドウの全てを索引表示
装置１０３の表示画面に一度に表示するために、この仮
想画メモリの画素データを間引くことによって索引画を
作成する。即ち、索引画作成装置１０２は、索引画表示
装置１０３が表示できる画像サイズまで、仮想画画素デ
ータを均一に間引く。間引いた結果、図８のようなウイ
ンドウの相対的な位置や、大きさをあらわした索引画が
できる。ただし、ここでは仮想画中のウインドウサイズ
やフレームは画素を間引いても消滅しないくらい大きい
ものとする。

【００３８】また、図７のような仮想画を、管理テーブ
ルの仮想化方法で考えた場合、各ウインドウが仮想画に
描画を行う段階で、位置や大きさの情報を監視すること
によって仮想画を作る。監視して得た情報から索引画作
成装置１０２は図８に示すようなウインドウの枠を示す
絵からなる略一覧化した索引画を形成することができ
る。これを索引画表示装置１０３が表示する。

【００３９】索引画作成装置１０２は、仮想画全体を索
引画表示装置１０３に収まる大きさの領域で表現し、仮
想画中のウインドウをその相対的な大きさ、相対的な位
置をおおよそ示した図絵で索引画中に表現する。

【００４０】以上のようにして作られた索引画は索引画
表示装置１０３に表示され、この索引画表示装置１０３
に向けられている使用者の視線を、視線検知装置１０４
が観測する。観測情報から索引画表示装置１０３上のど
こに視線が向けられているか判断できる。

【００４１】仮に、図９のように注視点を索引画表示装
置１０３の座標系で表したとき（ｘ０，ｙ０）であった
として、図中Ａのウインドウの位置を図のように（ｘ
１，ｙ１）−（ｘ２，ｙ２）とした場合、注視点（ｘ
０，ｙ０）がｘ１＜ｘ０＜ｘ２，ｙ１＜ｙ０＜ｙ２を満
たすと、注視しているウインドウはＡであると判断でき
る。複数のウインドウが重なっている場合でも、注視点
においてより手前にあるウインドウを優先させればよ
い。

【００４２】索引画の特定部分が選択できれば、後はそ
の部分が仮想画のなかでどの部分に対応するか判断すれ
ばよい。索引画作成装置１０２の索引画の作成法から逆
に、仮想画の対応点を見つける。本例では、仮想画と索
引画は略相似なので、対応づけの説明は省略する。仮想
画の対応がつけば、所望の仮想画の部分を表示装置１０
７に表示すればよい。

【００４３】図９に示す例では、索引画中のＡウインド
ウは仮想画中のＡ’ウインドウであるから、Ａ’ウイン
ドウを含むような表示領域を形成し、表示装置１０７に
表示する。本実施例では図１０のように表示装置１０７
の表示領域縦横２分点（ｘ''，ｙ''）が、Ａ’ウインド
ウの縦横２分値（ｘ’，ｙ’）に重なるように切り出
し、ビデオメモリに転送することによって、第１の表示
装置１０７に表示している。

【００４４】以上のようにすれば、ポインティングデバ
イス等による指定に代わって、使用者の視線入力で仮想
画内の特定領域を選択できる。

【００４５】以上説明した様に本例によれば、仮想画を
一覧化した索引画を表示装置画面に表示し、索引画を選
択する際に、ポインティングデバイス等を使用する等の
特別の手動操作を不要とした画像選択装置を提供するこ
とができる。

【００４６】また、本発明は、『ホストコンピュータ、
インタフェース、プリンタ等の』複数の機器から構成さ
れるシステムに適用しても、『複写機等の』１つの機器
からなる装置に適用しても良い。また、本発明はシステ
ム或は装置にプログラムを供給することによって実施さ
れる場合にも適用できることは言うまでもない。この場
合、本発明に係るプログラムを格納した記憶媒体が本発
明を構成することになる。そして、該記憶媒体からその
プログラムをシステム或は装置に読み出すことによっ
て、そのシステム或は装置が、予め定められた仕方で動
作する。

【００４７】

【発明の効果】以上説明したように本発明によれば、仮
想画を一覧化した索引画を表示装置画面に表示し、索引
画を選択する際に、視線による仮想画内の特定領域の指
定が可能となり、ポインティングデバイス等に手を動か
すことなく、簡便に仮想画を扱える。

【００４８】

【図面の簡単な説明】

【図１】本発明に係る発明の実施の態様の一例を示すブ
ロック図である。

【図２】本例における視線検知装置における視線検出方
法の原理を説明するための図である。

【図３】本例における視線検知装置における視線検出方
法の原理を説明するための図である。

【図４】本例における視線検知装置における視線検出方
法と眼球像との関係を説明するための概略図である。

【図５】本例における視線検知装置におけるセンサの出
力強度図である。

【図６】本例における仮想画の概念を簡単に表わした図
である。

【図７】本例における仮想画上の仮想的なウインドウ配
置の具体的な一状態例を示す図である。

【図８】本例における索引画表示装置上の具体的な索引
画の一状態例を示す図である。

【図９】本例における仮想画と索引画の対応を示す簡単
な説明図である。

【図１０】本例における表示される部分を説明する簡単
な説明図である。

【符号の説明】

１０１ 仮想画作成装置 １０２ 索引画作成装置 １０３ 索引画表示装置 １０４ 視線検知装置 １０５ 注視索引判定装置 １０６ 仮想画選択装置 １０７ 表示装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】 少なくとも２つの表示装置に画像を表示
   できる画像選択装置であって、 第１の表示装置の表示容量以上の広範囲な表示領域を有
   する仮想画を作成する仮想画作成手段と、 前記仮想画作成手段での作成仮想画を略一覧化した索引
   画を作成する索引画作成手段と、 前記索引画作成手段での作成索引画を第２の表示装置に
   表示させる索引画表示手段と、 前記第２の表示装置に向けられた使用者の視線方向を検
   知する視線検知手段と、 前記視線検知手段によって検知した視線方向から前記索
   引画上の注視部分を判定する注視索引判定手段と、 前記注視索引判定手段の判定結果をもとに前記作成画作
   成手段が作成した仮想画の一部を選択する仮想画選択手
   段と、 前記仮想画選択手段によって選択された仮想画内の部分
   画像を前記第１の表示装置に表示させる選択画像表示制
   御手段とを備えることを特徴とする画像選択装置。
2. 【請求項２】 前記視線検知手段は、使用者の眼球の角
   膜に光を照射し、該角膜よりの角膜反射光及び虹彩端部
   よりの光束を検出して視線方向を検知することを特徴と
   する請求項１記載の画像選択装置。
3. 【請求項３】 少なくとも２つの表示装置を備え、第１
   の表示装置の表示容量以上の広範囲な表示領域を有する
   仮想画を作成し、該作成仮想画の内で前記第１の表示装
   置に表示すべき画像情報を選択する画像選択方法であっ
   て、 第２の表示装置に前記仮想画を略一覧化した索引画を作
   成して表示させ、前記第２の表示装置に向けられた使用
   者の視線方向を検知して、検知した視線方向から前記索
   引画上の注視部分を判定して注視部分の仮想画を選択し
   て選択した部分画像を前記第１の表示装置に表示させる
   ことを特徴とする画像選択方法。
4. 【請求項４】 使用者の視線方向の検知は、使用者の眼
   球の角膜に光を照射し、該角膜よりの角膜反射光及び虹
   彩端部よりの光束を検出して視線方向を検知することを
   特徴とする請求項３記載の画像選択方法。