JPH10161802A - Method and device for image display - Google Patents

Method and device for image display

Info

Publication number
JPH10161802A
JPH10161802A JP31949996A JP31949996A JPH10161802A JP H10161802 A JPH10161802 A JP H10161802A JP 31949996 A JP31949996 A JP 31949996A JP 31949996 A JP31949996 A JP 31949996A JP H10161802 A JPH10161802 A JP H10161802A
Authority
JP
Japan
Prior art keywords
image
line
sight
display screen
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP31949996A
Other languages
Japanese (ja)
Inventor
Toshiichi Oshima
登志一 大島
Hiroyuki Yamamoto
裕之 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP31949996A priority Critical patent/JPH10161802A/en
Priority to US08/976,514 priority patent/US6157382A/en
Priority to DE69725953T priority patent/DE69725953T2/en
Priority to EP97120884A priority patent/EP0845737B1/en
Publication of JPH10161802A publication Critical patent/JPH10161802A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve the operability by moving the visual field direction of a display according to the movement of the gaze of an operator, and thus eliminating the need for manual operation in the visual-field direction and reducing misoperation. SOLUTION: The operator measures the head position, attitude, and gaze direction by a position detecting device 107 mounted on the head and an eyeball movement device 109 mounted on the side of a sharper eye 202. On the basis of their information, a gaze position and a gaze direction based upon the screen 205 of a display device 101 are calculated. Then the position of a projection surface for an expected display and the gaze direction are inputted and the coordinates of the gaze position is converted on the basis of the coordinate system of a virtual three-dimensional space into the coordinates of a projection origin. Then the angle between the axis extending from the center of the display screen 205 at right angles and the gaze is calculated and on the basis of the angle of gaze deflection, a displacement quantity is calculated to displace the direction of the visual field. On the basis of the position relation between the projection origin and projection surface, an image of three-dimensional shape data is generated by a perspective projection method and displayed on the image display device 101.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像表示方法及び
装置に関し、特に、コンピュータによってフォント・平
面図形・立体形状などの3次元空間に定義された幾何図
形データとその色や模様などの属性データおよび照明に
関するデータ・投影に関するデータなどの情景記述デー
タを解釈して、画像を計算・生成し表示する画像表示方
法及び装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display method and apparatus, and more particularly, to geometric figure data defined by a computer in a three-dimensional space such as fonts, plane figures, and three-dimensional shapes, and attribute data such as colors and patterns. The present invention relates to an image display method and apparatus for calculating, generating and displaying an image by interpreting scene description data such as data relating to lighting and data relating to projection.

【0002】[0002]

【従来の技術】一般に、3次元空間に定義した幾何図形
データを可視化して表示する画像表示方法及び装置にお
いては、可視化しようとする視野の方向と投影原点の位
置を指定する必要がある。従来、視野の方向と投影原点
の位置を指定するために、マウスやジョイスティック、
キーボード、トラックボール、あるいは複数のボタンス
イッチから構成されるコントローラなどを手によって上
下左右に操作していた。
2. Description of the Related Art Generally, in an image display method and apparatus for visualizing and displaying geometric figure data defined in a three-dimensional space, it is necessary to designate a direction of a visual field to be visualized and a position of a projection origin. Conventionally, to specify the direction of the field of view and the position of the projection origin, a mouse, joystick,
A keyboard, a trackball, a controller composed of a plurality of button switches, and the like were operated up, down, left, and right by hand.

【0003】[0003]

【発明が解決しようとする課題】上述のような従来の方
式では、視野方向の移動操作と投影原点の移動操作を同
時に行おうとする場合には、両手で同時に二つの入力装
置を操作しなければならないので、これら以外の操作を
行う必要がある時にはその都度別の入力装置に手を移し
て操作しなければならず、操作者の混乱を招き、迅速な
操作を要する用途では誤操作が多くなるなどの欠点があ
った。また、視野方向の移動操作と投影原点の移動操作
を一つの入力装置で済ますためには、視野方向と投影原
点位置の合計6自由度のうちのいくつかを無効にする
か、スイッチにより、視野方向の移動と投影原点の移動
とを切り替える必要があった。
In the conventional method as described above, when the moving operation in the viewing direction and the moving operation of the projection origin are to be performed at the same time, two input devices must be operated simultaneously with both hands. Therefore, when it is necessary to perform operations other than those described above, it is necessary to move the hand to another input device each time and operate it, causing confusion for the operator and increasing the number of erroneous operations in applications requiring quick operation There were drawbacks. In addition, in order to perform the operation of moving the viewing direction and the operation of moving the projection origin with one input device, it is necessary to invalidate some of the total 6 degrees of freedom of the viewing direction and the projection origin position, or use a switch. It was necessary to switch between movement in the direction and movement in the projection origin.

【0004】上記問題点に鑑み、本発明は、操作者の視
線の動きによって表示する視野方向を移動することによ
り、操作者が視野方向の操作を手で行う必要をなくすと
ともに、操作者の視線の移動方向に空間内の視野方向を
移動する、すなわち視線を右に移動すれば表示される視
野方向も右側に移動する、という直感的な操作により誤
操作を減少させ、より良い操作性を提供することをと目
的とする。
In view of the above problems, the present invention eliminates the need for the operator to manually operate the visual field direction by moving the visual field direction to be displayed by the movement of the visual axis of the operator. The erroneous operation is reduced by an intuitive operation of moving the viewing direction in the space in the moving direction of, that is, moving the line of sight to the right, the displayed viewing direction also moves to the right, thereby providing better operability. It is the purpose.

【0005】また、本発明は、上記の欠点を解決すべく
なされたものであり、操作者の視線の動きによって表示
する視野方向を移動することにより、操作者が視野方向
の操作を手で行う必要をなくすとともに、操作者の視線
の移動方向に空間内の視野方向を移動するという直感的
な操作により誤操作を減少させ、より良い操作性を備え
た画像表示方法及び装置を提供することを目的とする。
Further, the present invention has been made to solve the above-mentioned drawbacks, and the operator manually operates the visual field direction by moving the visual field direction to be displayed by the movement of the operator's line of sight. It is an object of the present invention to provide an image display method and apparatus that eliminates the necessity and reduces erroneous operations by an intuitive operation of moving a visual field direction in a space in a moving direction of an operator's line of sight, thereby providing better operability. And

【0006】[0006]

【課題を解決するための手段】上記の課題を解決するた
めに、本発明に係る画像表示方法においては、表示画面
を観察する操作者の視線の方向を、前記表示画面の基準
方向として入力する視線方向入力工程と、前記表示画面
を観察する操作者の視点の位置を、前記表示画面の基準
位置として入力する視点位置入力工程と、前記表示画面
の中心軸と、前記視線方向入力工程で入力された操作者
の視線の方向とがなす視線偏角を導出する視線偏角導出
工程と、前記視点位置入力工程で入力された操作者の視
点の位置と、表示しようとする仮想的な3次元空間にお
いて前記表示画面に対応する投影面の中心位置及び方向
とに基づいて、前記表示しようとする仮想的な3次元空
間における投影中心点を導出する中心点導出工程と、前
記視線偏角導出工程で導出された視線偏角に基づいて、
前記投影面方向決定工程で決定された投影面の方向を変
位させる方向変位工程と、前記中心点導出工程で導出さ
れた中心点を中心にして前記方向変位工程で変位させた
投影面の方向に、画像を生成する画像生成工程と、前記
画像生成工程で生成された画像を、前記表示画面上に表
示する画像表示工程とを設けた。
In order to solve the above-mentioned problems, in an image display method according to the present invention, a direction of a line of sight of an operator observing a display screen is input as a reference direction of the display screen. A gaze direction input step, a viewpoint position input step of inputting a position of a viewpoint of an operator observing the display screen as a reference position of the display screen, a center axis of the display screen, and an input in the gaze direction input step A line-of-sight declination deriving step for deriving a line-of-sight declination formed by the direction of the operator's line of sight, a position of the viewpoint of the operator input in the viewpoint position inputting step, and a virtual three-dimensional image to be displayed. A center point deriving step of deriving a projection center point in a virtual three-dimensional space to be displayed based on a center position and a direction of a projection plane corresponding to the display screen in space; In based on the derived line-of-sight angle of deviation,
A direction displacement step of displacing the direction of the projection plane determined in the projection plane direction determination step, and a direction of the projection plane displaced in the direction displacement step around the center point derived in the center point derivation step. An image generating step of generating an image, and an image displaying step of displaying the image generated in the image generating step on the display screen.

【0007】また、上記の課題を解決するために、本発
明に係る画像表示装置においては、表示画面を観察する
操作者の視線の方向を、前記表示画面の基準方向として
入力する視線方向入力手段と、前記表示画面を観察する
操作者の視点の位置を、前記表示画面の基準位置として
入力する視点位置入力手段と、前記表示画面の中心軸
と、前記視線方向入力手段により入力された操作者の視
線の方向とがなす視線偏角を導出する視線偏角導出手段
と、前記視点位置入力手段により入力された操作者の視
点の位置と、表示しようとする仮想的な3次元空間にお
いて前記表示画面に対応する投影面の中心位置及び方向
とに基づいて、前記表示しようとする仮想的な3次元空
間における投影中心点を導出する中心点導出手段と、前
記視線偏角導出手段により導出された視線偏角に基づい
て、前記投影面方向決定手段により決定された投影面の
方向を変位させる方向変位手段と、前記中心点導出手段
により導出された中心点を中心にして前記方向変位手段
により変位させた投影面の方向に、画像を生成する画像
生成手段と、前記画像生成手段により生成された画像
を、前記表示画面上に表示する画像表示手段とを設け
た。
In order to solve the above-mentioned problems, in an image display device according to the present invention, a gaze direction input means for inputting a gaze direction of an operator observing a display screen as a reference direction of the display screen. A viewpoint position input means for inputting a position of a viewpoint of an operator observing the display screen as a reference position of the display screen, a central axis of the display screen, and an operator input by the gaze direction input means Gaze declination deriving means for deriving a gaze declination formed by the direction of the gaze, a position of a viewpoint of the operator input by the viewpoint position input means, and the display in a virtual three-dimensional space to be displayed. A center point deriving unit that derives a projection center point in a virtual three-dimensional space to be displayed based on a center position and a direction of a projection plane corresponding to a screen; A direction displacement unit for displacing the direction of the projection plane determined by the projection plane direction determination unit based on the line-of-sight declination derived from the direction, and the direction centering on a center point derived by the center point derivation unit. An image generating means for generating an image in the direction of the projection plane displaced by the displacing means, and an image display means for displaying the image generated by the image generating means on the display screen are provided.

【0008】[0008]

【発明の実施の形態】以下、図面に基づいて、本発明の
実施の形態の詳細を説明する。
Embodiments of the present invention will be described below in detail with reference to the drawings.

【0009】(実施の形態1)本実施の形態1の画像生
成表示装置においては、操作者が頭部に装着した位置姿
勢検出装置と、操作者の利き眼側に装着した眼球運動検
出装置とによって、頭部の位置と姿勢、および利き眼の
視線方向を計測し入力する。そして、これらの情報を基
に、表示装置の画面を基準にした利き眼の視点位置と視
線方向とを算出する。この視点位置は、画像を生成する
際の投影原点に対応する。
(Embodiment 1) In an image generating and displaying apparatus according to Embodiment 1, a position and orientation detecting device mounted on an operator's head and an eye movement detecting device mounted on the dominant eye side of the operator are described. Then, the position and posture of the head and the line of sight of the dominant eye are measured and input. Then, based on these pieces of information, the viewpoint position and the line-of-sight direction of the dominant eye are calculated based on the screen of the display device. This viewpoint position corresponds to the projection origin when generating an image.

【0010】次に、表示しようとする計算機上の3次元
空間における投影面の位置と視野の方向とを入力する。
この投影面は、画像表示装置の画面に対応する。
Next, the position of the projection plane in the three-dimensional space on the computer to be displayed and the direction of the visual field are input.
This projection plane corresponds to the screen of the image display device.

【0011】視点位置の座標を、投影面の位置と方向と
から、表示する図形を定義している3次元空間の座標系
を基準とした表現に座標変換し、投影原点の座標とす
る。
The coordinates of the viewpoint position are converted from the position and direction of the projection plane into an expression based on the coordinate system of the three-dimensional space defining the figure to be displayed, and are set as the coordinates of the projection origin.

【0012】画像表示装置画面の中心から垂直方向に伸
びる軸と視線とのなす角度を、水平方向と垂直方向のそ
れぞれにおいて計算し、これを視線偏角と定義する。
The angle between the axis extending in the vertical direction from the center of the screen of the image display device and the line of sight is calculated in each of the horizontal and vertical directions, and this is defined as the line of sight deviation.

【0013】視線偏角を変数とする単調増加関数の計算
を行い、この計算結果による値を変位量として、視野の
方向を変位させる。
A monotonically increasing function using the line-of-sight declination as a variable is calculated, and the direction of the visual field is displaced by using the value based on the calculation result as the amount of displacement.

【0014】そして、以上で求めた投影原点と投影面と
の位置関係に基づき、透視投影法により3次元形状デー
タの画像を生成し、画像表示装置に表示する。
Then, based on the positional relationship between the projection origin and the projection plane determined above, an image of three-dimensional shape data is generated by the perspective projection method and displayed on the image display device.

【0015】以下、、本実施の形態1の立体画像表示装
置の動作について相殺に説明する。
Hereinafter, the operation of the three-dimensional image display device according to the first embodiment will be described in offset.

【0016】図1は、本実施の形態1にかかる画像生成
表示装置の基本構成を表すブロック図である。
FIG. 1 is a block diagram showing a basic configuration of the image generating and displaying apparatus according to the first embodiment.

【0017】この図1において、101は、画像を操作
者に提示するための画像表示装置であり、CRT表示装
置、LCD表示装置等で構成される。
In FIG. 1, reference numeral 101 denotes an image display device for presenting an image to an operator, and comprises a CRT display device, an LCD display device, and the like.

【0018】102は、フレームバッファであり、画像
表示装置101に表示する画像データを記憶する。
Reference numeral 102 denotes a frame buffer, which stores image data to be displayed on the image display device 101.

【0019】103は、演算装置であり、記憶装置10
4に記憶された処理手順にしたがって処理を実行し、画
像データを生成すると共に、各装置の制御を司る。演算
装置103により生成された画像データは、フレームバ
ッファ102に記憶される。
Reference numeral 103 denotes an arithmetic unit, and the storage device 10
4 executes processing according to the processing procedure stored in the storage unit 4, generates image data, and controls each device. The image data generated by the arithmetic unit 103 is stored in the frame buffer 102.

【0020】104は、演算装置103の処理手順およ
び処理に必要な情報を記憶するための記憶装置であり、
演算装置103の処理に要する計算作業用の記憶領域も
提供する。
Reference numeral 104 denotes a storage device for storing a processing procedure of the arithmetic unit 103 and information necessary for the processing.
A storage area for calculation work required for the processing of the arithmetic unit 103 is also provided.

【0021】記憶装置104には、図3にて後述するフ
ローチャートで表される制御プログラムと描画する図形
に関するデータおよび処理に用いるデータが格納され
る。
The storage device 104 stores a control program represented by a flowchart described later with reference to FIG. 3, data relating to a figure to be drawn, and data used for processing.

【0022】105は、頭部位置計測装置であり、位置
姿勢検出装置107からの信号を解析し、基準信号発生
装置106を基準にした操作者の頭部の位置および姿勢
の情報を演算装置103に入力する。
Numeral 105 denotes a head position measuring device, which analyzes a signal from the position / posture detecting device 107 and calculates information on the position and posture of the operator's head with reference to the reference signal generating device 106. To enter.

【0023】106は、位置姿勢検出装置107の基準
となる信号を発生するための基準信号発生装置である。
Reference numeral 106 denotes a reference signal generator for generating a signal serving as a reference for the position and orientation detector 107.

【0024】107は、頭部の位置および姿勢を検出す
るための位置姿勢検出装置である。
Reference numeral 107 denotes a position and orientation detection device for detecting the position and orientation of the head.

【0025】108は、視線方向計測装置であり、眼球
運動検出装置109からの信号を解析し、頭部を基準に
した利き眼視線方向の情報を演算装置103に入力す
る。
Reference numeral 108 denotes a gaze direction measuring device which analyzes a signal from the eye movement detecting device 109 and inputs information on a dominant gaze direction based on the head to the arithmetic unit 103.

【0026】109は、操作者の利き眼眼球がどの方向
を向いているのかを検出する眼球運動検出装置である。
An eye movement detecting device 109 detects which direction the dominant eye of the operator is facing.

【0027】110は、対話入力装置であり、操作者が
操作することによって、投影原点の位置を指定する。マ
ウス、キーボード、ダイアルボックス、トラックボー
ル、3次元位置センサなど、実時間で操作者が入力でき
るものであればよい。
Reference numeral 110 denotes an interactive input device, which specifies the position of the projection origin when operated by an operator. Any device that can be input by the operator in real time, such as a mouse, a keyboard, a dial box, a trackball, and a three-dimensional position sensor, may be used.

【0028】図2は、本実施の形態1にかかる画像生成
表示装置を構成する装置類の概略配置について示す図で
ある。
FIG. 2 is a diagram showing a schematic arrangement of devices constituting the image generating and displaying apparatus according to the first embodiment.

【0029】この図2において、基準信号発生装置10
6は、画像表示装置101の上部に固定される。画像表
示装置101に対して相対的に位置を固定する他の方法
によって基準信号発生装置106を配置してもよい。例
えば、画像表示装置101を固定する台の上に基準信号
発生装置106を固定することができる。
In FIG. 2, reference signal generator 10
6 is fixed to the upper part of the image display device 101. The reference signal generator 106 may be arranged by another method of fixing the position relatively to the image display apparatus 101. For example, the reference signal generator 106 can be fixed on a table on which the image display device 101 is fixed.

【0030】また、画像表示装置101の操作者側の面
が、画像表示面205となっており、操作者はこの画像
表示面205を、眼鏡フレーム状の検出装置固定支持具
204を介して見ることになる。
The surface of the image display device 101 on the operator side is an image display surface 205, and the operator views the image display surface 205 through a spectacle frame-shaped detection device fixing support 204. Will be.

【0031】また、位置姿勢検出装置107と眼球運動
検出装置109は、検出装置類固定支持具204によっ
て操作者の頭部に固定される。眼球運動検出装置109
は、操作者の利き眼202側の眼球の前面に装着され
る。
The position and orientation detection device 107 and the eye movement detection device 109 are fixed to the operator's head by detection device fixing supports 204. Eye movement detection device 109
Is mounted on the front of the eyeball on the dominant eye 202 side of the operator.

【0032】その他の装置は、任意の適当な場所に配置
されるものとする。
The other devices shall be located at any suitable location.

【0033】図3は、検出装置類固定支持具204につ
いて示す図である。位置姿勢検出装置107は、眼球フ
レームの上部中央に取りつけられており、眼球運動検出
装置109は、操作者の利き眼側のフレームの下側に取
りつけられている。
FIG. 3 is a diagram showing the detector fixing supports 204. The position and orientation detection device 107 is mounted at the upper center of the eyeball frame, and the eyeball motion detection device 109 is mounted below the frame on the dominant eye side of the operator.

【0034】図4は、本実施の形態1における画像生成
表示処理の流れを表すフローチャートである。本実施例
中のフローチャートで示される処理は、記憶装置104
に記憶された情報を演算装置103で実行することによ
って行われる。
FIG. 4 is a flowchart showing the flow of the image generation and display process according to the first embodiment. The processing shown in the flowchart in this embodiment is performed by the storage device 104.
Is performed by the arithmetic device 103 executing the information stored in the.

【0035】各ステップにおける処理の詳細を順を追っ
て説明する。
The details of the processing in each step will be described in order.

【0036】まず、ステップS401において、頭部位
置計測装置105によって、基準信号発生装置106の
位置と姿勢とを基準にした、位置姿勢検出装置107の
位置及び姿勢を計測し、さらに、画像表示装置画面20
5を基準とした値に変換する。この変換は図5に示すよ
うな座標系に基づいて行われる。また、検出装置類の配
置について図2において説明したように、基準信号発生
装置106は、画像表示装置101に対して相対的に固
定して配置されるため、画像表示装置101と基準信号
発生装置106との相対的な位置関係を予め測定してお
くことによって、画像表示装置画面205を基準とした
位置・姿勢を算出することができる。
First, in step S401, the head position measuring device 105 measures the position and orientation of the position and orientation detecting device 107 based on the position and orientation of the reference signal generating device 106. Screen 20
Convert to a value based on 5. This conversion is performed based on a coordinate system as shown in FIG. Further, as described with reference to FIG. 2 regarding the arrangement of the detection devices, the reference signal generator 106 is fixed relative to the image display device 101, so that the image display device 101 and the reference signal generator By measuring in advance the relative positional relationship with respect to the position 106, it is possible to calculate the position and orientation based on the image display device screen 205.

【0037】次に、ステップS402において、操作者
の利き眼202の視点位置503を、画像表示装置画面
205を基準として算出する。まず、視点位置503
の、位置姿勢検出装置107の位置と姿勢とを基準とし
た相対的な座標値をオフセットとして予め記憶してお
き、ステップS401において求めた位置姿勢検出装置
107の位置座標にこれらのオフセットを加算すること
によって、視点位置503を決定する。表示装置画面2
05の座標系と視点位置503との関係は、図5に示さ
れている通りである。
Next, in step S402, the viewpoint position 503 of the dominant eye 202 of the operator is calculated based on the image display device screen 205. First, the viewpoint position 503
The relative coordinate values based on the position and orientation of the position and orientation detection device 107 are stored in advance as offsets, and these offsets are added to the position coordinates of the position and orientation detection device 107 obtained in step S401. Thus, the viewpoint position 503 is determined. Display screen 2
The relationship between the coordinate system 05 and the viewpoint position 503 is as shown in FIG.

【0038】次に、ステップS403において、眼球運
動検出装置109からの信号を視線方向計測装置108
によって解析したベクトル情報と、ステップS401で
求めた操作者頭部の姿勢情報とによって、画像表示装置
画面205を基準とした視線方向504を算出する。表
示装置画面205の座標系と視点方向504との関係
は、図5に示されている通りである。
Next, in step S403, the signal from the eye movement detecting device 109 is converted to the gaze direction measuring device 108.
A gaze direction 504 based on the image display device screen 205 is calculated based on the vector information analyzed in step S401 and the posture information of the operator's head obtained in step S401. The relationship between the coordinate system of the display device screen 205 and the viewpoint direction 504 is as shown in FIG.

【0039】次に、ステップS404において、視線方
向504と表示装置画面の中心軸502とがなす角度を
表示装置画面の水平方向と垂直方向とにおいて求め、こ
れを視線偏角601とする。すなわち視線偏角601
は、水平方向成分と垂直方向成分とを持つ。視線方向5
04と表示装置画面の中心軸502と視線偏角601と
の関係は、図6に示されている通りである。
Next, in step S404, the angle formed by the line-of-sight direction 504 and the central axis 502 of the display device screen is determined in the horizontal direction and the vertical direction of the display device screen, and this is defined as the visual line declination 601. That is, the line-of-sight declination 601
Has a horizontal component and a vertical component. Gaze direction 5
FIG. 6 shows the relationship between the central axis 04, the central axis 502 of the display device screen, and the line-of-sight declination 601.

【0040】次に、ステップS405において、表示画
面205に対応するところの投影面の中心位置を、表示
しようとする仮想的な3次元空間において指定し、これ
を基準投影面位置703とする。これは、対話入力装置
101を操作者が操作することによって指定するが、予
め固定的に指示してあってもよい。
Next, in step S405, the center position of the projection plane corresponding to the display screen 205 is specified in a virtual three-dimensional space to be displayed, and this is set as a reference projection plane position 703. This is specified by the operator operating the interactive input device 101, but may be fixedly instructed in advance.

【0041】次に、ステップS406において、表示画
面205に対応するところの投影面の方向である視野の
方向を、表示しようとする仮想的な3次元空間において
指定し、これを基準視野方向702とする。これは、対
話入力装置101を操作者が操作することによって指定
するが、予め固定的に指示してあってもよい。
Next, in step S406, the direction of the visual field, which is the direction of the projection plane corresponding to the display screen 205, is specified in the virtual three-dimensional space to be displayed. I do. This is specified by the operator operating the interactive input device 101, but may be fixedly instructed in advance.

【0042】次に、ステップS407において、ステッ
プS405、S406で決定した基準投影面位置703
と基準視野方向702とに基づき、視点位置503を、
表示しようとする仮想的な3次元空間における座標表現
に変換し、これを投影原点704とする。視点位置50
3は、表示装置画面に相対的な座標表現であり、また、
表示装置画面は投影面に相当するので、この変換は自明
である。
Next, in step S407, the reference projection plane position 703 determined in steps S405 and S406
And the viewpoint position 503 based on the reference viewing direction 702 and
It is converted into a coordinate expression in a virtual three-dimensional space to be displayed, and this is set as a projection origin 704. Viewpoint position 50
3 is a coordinate expression relative to the display device screen;
This conversion is self-evident because the display screen corresponds to the projection plane.

【0043】図7に、ステップS405、S406、S
407で決定した基準投影面位置703、基準視野方向
702、投影原点704の位置関係を示す。
FIG. 7 shows steps S405, S406, S
The positional relationship between the reference projection plane position 703, the reference viewing direction 702, and the projection origin 704 determined in 407 is shown.

【0044】次に、ステップS408において、ステッ
プS404で算出した水平方向・垂直方向の各視線偏角
601を変数とする図8に示すような単調増加関数によ
り、水平方向・垂直方向の各方向について視野偏角80
1を算出する。ここで、単調増加関数として線形関数以
外を使用しても良い。また、単調増加関数の勾配を任意
に調整するようにしてもよい。
Next, in step S408, each of the horizontal and vertical directions is calculated by a monotone increasing function as shown in FIG. 8 using the horizontal and vertical line-of-sight deflection angles 601 calculated in step S404 as variables. View angle 80
1 is calculated. Here, a function other than the linear function may be used as the monotonically increasing function. Further, the gradient of the monotonically increasing function may be arbitrarily adjusted.

【0045】次に、ステップS409において、ステッ
プS406で決定した基準視野方向702のベクトル
を、ステップS408で求めた視野偏角601によって
変位させ、視野方向901のベクトルを求める。図9に
この様子を示す。方向ベクトルの変位においては、視野
偏角の垂直方向成分と水平方向成分とを変位させる方向
ベクトルの各成分に適用する。
Next, in step S409, the vector in the reference viewing direction 702 determined in step S406 is displaced by the viewing angle 601 determined in step S408 to obtain a vector in the viewing direction 901. FIG. 9 shows this state. In the displacement of the direction vector, the vertical direction component and the horizontal direction component of the viewing angle are applied to each component of the direction vector to be displaced.

【0046】次に、ステップS410において、投影原
点704を回転中心として、投影面の中心位置を、ステ
ップS408で求めた視野偏角601だけ回転する。図
10にこの様子を示す。ステップS409とステップS
410によって、投影原点704を中心に、投影面の位
置と方向が回転する。
Next, in step S410, the center position of the projection plane is rotated by the viewing angle 601 obtained in step S408 with the projection origin 704 as the center of rotation. FIG. 10 shows this state. Step S409 and Step S
By 410, the position and direction of the projection plane are rotated about the projection origin 704.

【0047】次に、ステップS411において、ステッ
プS409とステップS410で決定した投影面の位置
と視野方向、およびステップS407で決定した投影原
点位置とをパラメータとして、透視投影法に基づいて幾
何変換を施した投影面1002上に投影された画像を生
成する。画像生成手法としては、レイトレーシング法や
スキャンラインアルゴリズムなど任意の公知の手法を使
用することができる。生成した画像データは、フレーム
バッファ102に蓄積する。
Next, in step S411, geometric transformation is performed based on the perspective projection method, using the position of the projection plane and the direction of the field of view determined in steps S409 and S410 and the position of the projection origin determined in step S407 as parameters. An image projected on the projected plane 1002 is generated. As the image generation method, any known method such as a ray tracing method or a scan line algorithm can be used. The generated image data is stored in the frame buffer 102.

【0048】なお、3次元図形データは、図11のよう
な形式で記憶装置104に格納してある。図形データリ
ストの各図形データの項目は、図形データの識別番号、
図形の種類、図形データ本体などからなる。
The three-dimensional graphic data is stored in the storage device 104 in a format as shown in FIG. Each figure data item in the figure data list contains the figure data identification number,
It consists of the type of figure and the figure data itself.

【0049】次に、ステップS412の注視カーソル描
画処理において、図12に示すように、表示装置画面2
05と視線方向504が交差する注視点1201の位置
に、注視点を示す注視点カーソルを重畳描画する。背景
と識別しやすい色及び形状で小型の図形や文字であるも
のを選択するように配慮する。本実施の形態1では、十
字型の黄色い注視カーソルを採用する。
Next, in the gaze cursor drawing process of step S412, as shown in FIG.
A gazing point cursor indicating the gazing point is superimposed and drawn at the position of the gazing point 1201 where the line of sight 05 intersects the viewing direction 504. Care should be taken to select small figures and characters with colors and shapes that are easy to distinguish from the background. In the first embodiment, a cross-shaped yellow gaze cursor is employed.

【0050】そして、ステップS413の画像表処理に
おいて、フレームバッファ102に蓄積された画像と画
像表示装置101に提示する。
Then, in the image table processing in step S413, the image stored in the frame buffer 102 and the image display device 101 are presented.

【0051】最後に、ステップS414において、画像
生成表示処理を終了せよという操作者の指示があるか否
かを判断し、終了指示がなければ、ステップS401か
らの処理を繰り返す。また、終了指示があった場合に
は、処理を終了する。
Finally, in step S414, it is determined whether or not there is an operator's instruction to end the image generation and display processing. If there is no end instruction, the processing from step S401 is repeated. If there is a termination instruction, the processing is terminated.

【0052】以上に示してきた処理により、具体的には
以下に述べるような画像が得られる。
By the processing described above, an image as specifically described below is obtained.

【0053】ここでは、和室の形状データの画像を生成
・表示する場合を示す。
Here, a case where an image of the shape data of a Japanese-style room is generated and displayed is shown.

【0054】図12に示すように、操作者の視線が表示
装置画面にほぼ垂直なる場合、図13のように、投影面
の方向は基準視野方向702にほぼ一致する。このとき
の画像を図14に示す。
When the operator's line of sight is substantially perpendicular to the display device screen as shown in FIG. 12, the direction of the projection plane substantially coincides with the reference visual field direction 702 as shown in FIG. The image at this time is shown in FIG.

【0055】このとき、操作者の視線を、図15に示す
ように、画面の左側に移動すると、これに対応して表示
される視野の方向も図16に示すように左側に移動す
る。この結果図17に示すような画像が得られる。
At this time, when the operator's line of sight is moved to the left side of the screen as shown in FIG. 15, the direction of the visual field displayed correspondingly is also moved to the left side as shown in FIG. As a result, an image as shown in FIG. 17 is obtained.

【0056】今度は、操作者の視線を、図18に示すよ
うに、画面の右側に移動すると、これに対応して表示さ
れる視野の方向も図19に示すように右側に移動する。
この結果図20に示すような画像が得られる。
This time, when the operator's line of sight is moved to the right side of the screen as shown in FIG. 18, the direction of the visual field displayed correspondingly is also moved to the right side as shown in FIG.
As a result, an image as shown in FIG. 20 is obtained.

【0057】このように、視線方向を検出してその移動
に従い、視野方向を連動させて変化させることにより、
手で対話入力装置を操作することなく、視線を上下左右
に移動するだけで、表示しようとする視野の方向を上下
左右に移動することができる。
As described above, by detecting the direction of the line of sight and changing the direction of the field of view in conjunction with the movement,
The direction of the field of view to be displayed can be moved up, down, left, and right only by moving the line of sight up, down, left, and right without operating the interactive input device by hand.

【0058】これにより、視線の移動という直感的な行
動を起こすだけで視野の方向を自由に移動できるので操
作性が向上する。また、視野の移動に関して手で操作す
る入力装置を減らすことができるため、操作性が向上す
る。
As a result, the direction of the field of view can be freely moved only by causing an intuitive action of moving the line of sight, so that the operability is improved. Further, the number of input devices manually operated for moving the visual field can be reduced, so that operability is improved.

【0059】(実施の形態2)本実施の形態2における
基本構成を図21に示す。本実施の形態2の基本構成
は、実施の形態1の基本構成から、眼球運動検出装置1
09と視線方向計測装置108を省略したものである。
(Embodiment 2) FIG. 21 shows a basic configuration in Embodiment 2 of the present invention. The basic configuration of the second embodiment is different from the basic configuration of the first embodiment in that the eye movement detecting device 1
09 and the gaze direction measuring device 108 are omitted.

【0060】本実施の形態2における装置類の概略配置
を図22に示す。本実施の形態2の検出装置類の配置
は、実施の形態1の検出装置類固定支持具204から眼
球運動検出装置109を取りはずし、視線方向計測装置
108を排除した配置である。
FIG. 22 shows a schematic arrangement of devices in the second embodiment. The arrangement of the detection devices of the second embodiment is such that the eye movement detection device 109 is removed from the detection device fixing support 204 of the first embodiment, and the gaze direction measurement device 108 is excluded.

【0061】本実施の形態2における画像生成表示処理
の流れを表すフローチャートは、実施の形態1と同様に
図4によって表され、ステップS403を除く全てのス
テップにおける処理の詳細は、実施の形態1と同様であ
る。
A flow chart showing the flow of the image generation and display processing in the second embodiment is shown in FIG. 4 similarly to the first embodiment, and the details of the processing in all steps except step S403 are described in the first embodiment. Is the same as

【0062】本実施の形態2では、実際の視線方向を計
測しないため、ステップS403では、ステップS40
1で決定した頭部姿勢を利用する。すなわち、操作者は
頭部正面方向を正視していると仮定し、頭部正面方向を
視線方向として代用する。
In the second embodiment, the actual line-of-sight direction is not measured.
The head posture determined in step 1 is used. That is, it is assumed that the operator is looking straight ahead at the head front direction, and substitutes the head front direction as the line-of-sight direction.

【0063】これにより、視線の代わりに、頭部の正面
方向を上下左右に移動することによって、表示する視野
方向も上下左右に移動し、実施の形態1と同様の効果が
得られる。
By moving the front direction of the head up, down, left and right instead of the line of sight, the direction of the visual field to be displayed also moves up, down, left, and right, and the same effect as in the first embodiment can be obtained.

【0064】(実施の形態3)本実施の形態3における
基本構成を図23に示す。本実施の形態3の基本構成
は、実施の形態1の基本構成において、画像表示装置1
01を、立体画像表示装置2301に置き換えたもので
ある。
(Embodiment 3) FIG. 23 shows a basic configuration according to Embodiment 3 of the present invention. The basic configuration of the third embodiment is the same as the basic configuration of the first embodiment except that the image display device 1
01 is replaced with a stereoscopic image display device 2301.

【0065】立体画像表示装置2301は、立体画像を
操作者に提示するための表示装置であり、立体表示機構
を備えたCRT表示装置、LCD表示装置等で構成され
る。立体表示機構としては、レンチキュラ方式、円偏光
による時分割方式、液晶シャッタによる時分割方式等の
いずれでもよい。
The stereoscopic image display device 2301 is a display device for presenting a stereoscopic image to an operator, and includes a CRT display device having a stereoscopic display mechanism, an LCD display device, and the like. As the stereoscopic display mechanism, any of a lenticular method, a time division method using circularly polarized light, a time division method using a liquid crystal shutter, and the like may be used.

【0066】本実施の形態3における装置類の概略配置
を図24に示す。本実施の形態3の検出装置類の配置
は、実施の形態1の画像表示装置101を、立体画像表
示装置2301に置き換え、また、実施の形態1の検出
装置類固定支持具204を、立体画像表示装置2301
が提示する画像を立体観察するための機構を備えた立体
視眼鏡兼検出装置類固定支持具2401に置き換えたも
のである。立体観察用の機構は、選択した立体画像表示
装置2301の種類に依存する。ただし、レンチキュラ
方式の場合には、2301は立体観察機構を含まない。
FIG. 24 shows a schematic arrangement of devices in the third embodiment. In the arrangement of the detection devices of the third embodiment, the image display device 101 of the first embodiment is replaced with a three-dimensional image display device 2301, and the detection device fixing support 204 of the first embodiment is replaced with a three-dimensional image. Display device 2301
Is replaced with a stereoscopic glasses / detection device fixing support 2401 provided with a mechanism for stereoscopically observing the image presented by. The mechanism for stereoscopic observation depends on the type of the selected stereoscopic image display device 2301. However, in the case of the lenticular method, 2301 does not include a stereoscopic observation mechanism.

【0067】ここで、立体視眼鏡兼検出装置類固定支持
具2401においては、例えば、図25に示すような立
体視用液晶シャッタ眼鏡2501を用いるものや、図2
6に示すような立体視用偏光眼鏡2601を用いるもの
がある。
Here, the stereoscopic glasses / detection device fixing support 2401 uses, for example, liquid crystal shutter glasses 2501 for stereoscopic viewing as shown in FIG.
There is one using stereoscopic polarized glasses 2601 as shown in FIG.

【0068】本実施の形態3における画像生成表示処理
の流れを表すフローチャートは、実施の形態1と同様に
図4によって表される。ただし、ステップS411にお
いて、実施の形態1では単一の画像を生成していたとこ
ろを、本実施の形態3では、左右両眼の視差を考慮した
2枚の画像を生成する。
FIG. 4 is a flowchart showing the flow of the image generation and display process according to the third embodiment, similarly to the first embodiment. However, in step S411, a single image is generated in the first embodiment, but in the third embodiment, two images are generated in consideration of the parallax between the left and right eyes.

【0069】このように、本発明は、立体画像を生成し
表示する画像表示装置においても適応することができ
る。
As described above, the present invention can be applied to an image display device that generates and displays a stereoscopic image.

【0070】また、本発明は、複数の機器から構成され
るシステムに適用しても、一つの機器からなる装置に適
用しても良い。また、本発明はシステム或は装置にプロ
グラムを供給することによって実施される場合にも適用
されることは言うまでもない。この場合、本発明に係る
プログラムを格納した記憶媒体が、本発明を構成するこ
とになる。そして、該記憶媒体からそのプログラムをシ
ステム或は装置に読み出すことによって、そのシステム
或は装置が予め定められた方法で動作する。
Further, the present invention may be applied to a system composed of a plurality of devices or an apparatus composed of one device. Needless to say, the present invention is also applicable to a case where the present invention is implemented by supplying a program to a system or an apparatus. In this case, the storage medium storing the program according to the present invention constitutes the present invention. Then, by reading the program from the storage medium to a system or an apparatus, the system or the apparatus operates in a predetermined method.

【0071】[0071]

【発明の効果】以上説明したように、本発明によれば、
仮想的な3次元空間における表示しようとする視野方向
を、操作者の視線方向の移動に基づいて移動することが
できるので、操作者が視野方向の操作を手で行う必要を
なくすとともに、操作者の視線の移動方向に空間内の視
野方向を移動するという直感的な操作により誤操作を減
少させ、より良い操作性を実現することができるという
効果がある。
As described above, according to the present invention,
Since the direction of the visual field to be displayed in the virtual three-dimensional space can be moved based on the movement of the visual line direction of the operator, it is not necessary for the operator to manually operate the visual field direction. The intuitive operation of moving the visual field direction in the space in the moving direction of the line of sight reduces the erroneous operation and has the effect of realizing better operability.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態1の基本構成を示すブロッ
ク図である。
FIG. 1 is a block diagram showing a basic configuration of a first embodiment of the present invention.

【図2】本発明の実施の形態1の検出装置類の概略配置
を示す図である。
FIG. 2 is a diagram showing a schematic arrangement of detection devices according to the first embodiment of the present invention.

【図3】本発明の実施の形態1の検出装置類固定支持具
を示す図である。
FIG. 3 is a diagram illustrating a detection device fixing support according to the first embodiment of the present invention.

【図4】本発明の実施の形態1の処理の流れを表すフロ
ーチャートである。
FIG. 4 is a flowchart illustrating a flow of a process according to the first embodiment of the present invention.

【図5】本発明の実施の形態1における、操作者の視点
および視線と画像表示面との位置関係を説明する図であ
る。
FIG. 5 is a diagram illustrating a positional relationship between a viewpoint and a line of sight of an operator and an image display surface according to the first embodiment of the present invention.

【図6】本発明の実施の形態1における視線偏角につい
て説明する図である。
FIG. 6 is a diagram illustrating a line-of-sight declination according to the first embodiment of the present invention.

【図7】本発明の実施の形態1における投影面と視野方
向について説明する図である。
FIG. 7 is a diagram illustrating a projection plane and a viewing direction according to the first embodiment of the present invention.

【図8】本発明の実施の形態1における視線偏角の算出
について説明する図である。
FIG. 8 is a diagram illustrating calculation of a line-of-sight declination in the first embodiment of the present invention.

【図9】本発明の実施の形態1における視野方向の変位
について説明する図である。
FIG. 9 is a diagram for explaining displacement in a viewing direction according to the first embodiment of the present invention.

【図10】投影面の回転について説明する図である。FIG. 10 is a diagram illustrating rotation of a projection plane.

【図11】図形データの内容の例について説明する図で
ある。
FIG. 11 is a diagram illustrating an example of the contents of graphic data.

【図12】視線方向が表示装置画面にほぼ垂直な状態に
ついて示す図である。
FIG. 12 is a diagram showing a state in which the line of sight is substantially perpendicular to the display device screen.

【図13】視線方向が表示装置画面にほぼ垂直な状態に
おける視野の方向について示す図である。
FIG. 13 is a diagram illustrating a direction of a visual field in a state where a line of sight is substantially perpendicular to a display device screen.

【図14】視線方向が表示装置画面にほぼ垂直な状態に
おける生成画像を示す図である。
FIG. 14 is a diagram illustrating a generated image in a state where the line of sight is substantially perpendicular to the display device screen.

【図15】視線方向が表示装置画面の左側に向いている
状態を示す図である。
FIG. 15 is a diagram showing a state in which the line of sight is directed to the left side of the display device screen.

【図16】視線方向が表示装置画面の左側に向いている
状態における視野の方向を示す図である。
FIG. 16 is a diagram illustrating the direction of the visual field in a state where the line of sight is directed to the left side of the display device screen.

【図17】視線方向が表示装置画面の左側に向いている
状態における生成画像を示す図である。
FIG. 17 is a diagram showing a generated image in a state where the line of sight is directed to the left side of the display device screen.

【図18】視線方向が表示装置画面の右側に向いている
状態を示す図である。
FIG. 18 is a diagram showing a state in which the line of sight is directed to the right side of the display device screen.

【図19】視線方向が表示装置画面の右側に向いている
状態における視野の方向を示す図である。
FIG. 19 is a diagram showing the direction of the visual field in a state where the line of sight is directed to the right side of the display device screen.

【図20】視線方向が表示装置画面の左側に向いている
状態における生成画像を示す図である。
FIG. 20 is a diagram illustrating a generated image in a state where the line of sight is directed to the left side of the display device screen.

【図21】本発明の実施の形態2の基本構成を示すブロ
ック図である。
FIG. 21 is a block diagram showing a basic configuration according to Embodiment 2 of the present invention.

【図22】本発明の実施の形態2の検出装置類の概略配
置を示す図である。
FIG. 22 is a diagram showing a schematic arrangement of detection devices according to the second embodiment of the present invention.

【図23】本発明の実施の形態3の基本構成を示すブロ
ック図である。
FIG. 23 is a block diagram showing a basic configuration of a third embodiment of the present invention.

【図24】本発明の実施の形態3の検出装置類の概略配
置を示す図である。
FIG. 24 is a diagram showing a schematic arrangement of detection devices according to the third embodiment of the present invention.

【図25】本発明の実施の形態3の立体視眼鏡兼検出装
置類固定支持具を示す図である。
FIG. 25 is a diagram showing a stereoscopic glasses / detection device fixing support according to the third embodiment of the present invention.

【図26】本発明の実施の形態3の立体視眼鏡兼検出装
置類固定支持具の他の例を示す図である。
FIG. 26 is a diagram showing another example of a fixing support for stereoscopic glasses and detection devices according to Embodiment 3 of the present invention.

【符号の説明】[Explanation of symbols]

101 立体画像表示装置 102 フレームバッファ 103 演算装置 104 記憶装置 105 頭部位置計測装置 106 基準信号発生装置 107 位置姿勢検出装置 108 視線方向計測装置 109 眼球運動検出装置 110 対話操作入力装置 204 検出装置類固定支持具 Reference Signs List 101 stereoscopic image display device 102 frame buffer 103 arithmetic device 104 storage device 105 head position measuring device 106 reference signal generating device 107 position and orientation detecting device 108 gaze direction measuring device 109 eye movement detecting device 110 interactive operation input device 204 fixing of detecting devices Support

Claims (19)

【特許請求の範囲】[Claims] 【請求項1】 表示画面を観察する操作者の視線の方向
を、前記表示画面の基準方向として入力する視線方向入
力工程と、 前記表示画面を観察する操作者の視点の位置を、前記表
示画面の基準位置として入力する視点位置入力工程と、 前記表示画面の中心軸と、前記視線方向入力工程で入力
された操作者の視線の方向とがなす視線偏角を導出する
視線偏角導出工程と、 前記視点位置入力工程で入力された操作者の視点の位置
と、表示しようとする仮想的な3次元空間において前記
表示画面に対応する投影面の中心位置及び方向とに基づ
いて、前記表示しようとする仮想的な3次元空間におけ
る投影中心点を導出する中心点導出工程と、 前記視線偏角導出工程で導出された視線偏角に基づい
て、前記投影面方向決定工程で決定された投影面の方向
を変位させる方向変位工程と、 前記中心点導出工程で導出された中心点を中心にして前
記方向変位工程で変位させた投影面の方向に、画像を生
成する画像生成工程と、 前記画像生成工程で生成された画像を、前記表示画面上
に表示する画像表示工程とを具備したことを特徴とする
画像表示方法。
A gaze direction input step of inputting a gaze direction of an operator observing a display screen as a reference direction of the display screen; and a position of a viewpoint of the operator observing the display screen, A viewpoint position inputting step of inputting as a reference position, a gaze declination deriving step of deriving a gaze deviation formed by a center axis of the display screen and a direction of the gaze of the operator input in the gaze direction input step. The display is performed based on the position of the operator's viewpoint input in the viewpoint position input step and the center position and direction of the projection plane corresponding to the display screen in the virtual three-dimensional space to be displayed. A center point deriving step of deriving a projection center point in a virtual three-dimensional space, and a projection plane determined in the projection plane direction determining step based on the line-of-sight declination derived in the line-of-sight declination deriving step. of A direction displacement step of displacing a direction, an image generation step of generating an image in a direction of the projection plane displaced in the direction displacement step around the center point derived in the center point derivation step, and the image generation An image display step of displaying an image generated in the step on the display screen.
【請求項2】 前記視線方向入力工程において、前記表
示画面を観察する操作者の利き目側の視線の方向を入力
することを特徴とする請求項1記載の画像表示方法。
2. The image display method according to claim 1, wherein in the line-of-sight direction input step, the direction of the line of sight of the dominant eye of the operator observing the display screen is input.
【請求項3】 前記視線方向入力工程において、操作者
の頭部正面方向を、前記表示画面の基準方向として入力
することを特徴とする請求項1記載の画像表示方法。
3. The image display method according to claim 1, wherein in the line-of-sight direction input step, a front direction of an operator's head is input as a reference direction of the display screen.
【請求項4】 前記視点位置入力工程において、前記表
示画面を観察する操作者の利き目側の視点の位置を入力
することを特徴とする請求項1記載の画像表示方法。
4. The image display method according to claim 1, wherein in the viewpoint position input step, a position of a viewpoint on a dominant eye side of an operator observing the display screen is input.
【請求項5】 前記視線偏角導出工程において、前記表
示画面の中心軸と、前記視線方向入力工程で入力された
操作者の視線の方向とがなす視線偏角を、垂直方向と水
平方向のそれぞれについて導出することを特徴とする請
求項1記載の画像表示方法。
5. In the line-of-sight declination deriving step, a line-of-sight declination between the central axis of the display screen and the direction of the line of sight of the operator input in the line-of-sight direction input step is defined as a vertical direction and a horizontal direction. 2. The image display method according to claim 1, wherein the method is derived for each of them.
【請求項6】 前記方向変位工程において、前記視線偏
角導出工程で導出された視線偏角を変数とする単調増加
関数によって、前記投影面方向決定工程で決定された投
影面の方向を変位させることを特徴とする請求項1記載
の画像表示方法。
6. In the direction displacement step, the direction of the projection plane determined in the projection plane direction determination step is displaced by a monotonically increasing function using the line-of-sight deflection angle derived in the line-of-sight deflection derivation step as a variable. The image display method according to claim 1, wherein:
【請求項7】 前記画像生成工程において、3次元幾何
図形の画像を生成することを特徴とする請求項1記載の
画像表示方法。
7. The image display method according to claim 1, wherein in the image generating step, an image of a three-dimensional geometric figure is generated.
【請求項8】 前記画像生成工程において、透視投影法
に基づいて画像を生成することを特徴とする請求項1記
載の画像表示方法。
8. The image display method according to claim 1, wherein in the image generation step, an image is generated based on a perspective projection method.
【請求項9】 表示画面を観察する操作者の視線の方向
を、前記表示画面の基準方向として入力する視線方向入
力手段と、 前記表示画面を観察する操作者の視点の位置を、前記表
示画面の基準位置として入力する視点位置入力手段と、 前記表示画面の中心軸と、前記視線方向入力手段により
入力された操作者の視線の方向とがなす視線偏角を導出
する視線偏角導出手段と、 前記視点位置入力手段により入力された操作者の視点の
位置と、表示しようとする仮想的な3次元空間において
前記表示画面に対応する投影面の中心位置及び方向とに
基づいて、前記表示しようとする仮想的な3次元空間に
おける投影中心点を導出する中心点導出手段と、 前記視線偏角導出手段により導出された視線偏角に基づ
いて、前記投影面方向決定手段により決定された投影面
の方向を変位させる方向変位手段と、 前記中心点導出手段により導出された中心点を中心にし
て前記方向変位手段により変位させた投影面の方向に、
画像を生成する画像生成手段と、 前記画像生成手段により生成された画像を、前記表示画
面上に表示する画像表示手段とを具備したことを特徴と
する画像表示装置。
9. A gaze direction input means for inputting a gaze direction of an operator observing a display screen as a reference direction of the display screen, and a position of a viewpoint of the operator observing the display screen, Viewpoint position input means for inputting as a reference position, a gaze declination deriving means for deriving a gaze declination between a central axis of the display screen and a direction of a gaze of the operator input by the gaze direction input means, The position of the operator's viewpoint input by the viewpoint position input means and the center position and direction of the projection plane corresponding to the display screen in the virtual three-dimensional space to be displayed; A center point deriving unit for deriving a projection center point in a virtual three-dimensional space; and a gaze declination derived by the gaze declination deriving unit. And direction displacement means for displacing the direction of the projection surface which is, in the direction of the projection plane which is displaced by the direction displacement means around a center point derived by the center point deriving means,
An image display device comprising: an image generation unit that generates an image; and an image display unit that displays an image generated by the image generation unit on the display screen.
【請求項10】 前記視線方向入力手段は、前記表示画
面を観察する操作者の利き目側の視線の方向を入力する
ことを特徴とする請求項9記載の画像表示装置。
10. The image display device according to claim 9, wherein said line-of-sight direction input means inputs a line-of-sight direction of a dominant eye of an operator who observes the display screen.
【請求項11】 前記視線方向入力手段は、操作者の頭
部正面方向を、前記表示画面の基準方向として入力する
ことを特徴とする請求項9記載の画像表示装置。
11. The image display device according to claim 9, wherein said line-of-sight direction input means inputs a frontal direction of an operator's head as a reference direction of said display screen.
【請求項12】 前記視点位置入力手段は、前記表示画
面を観察する操作者の利き目側の視点の位置を入力する
ことを特徴とする請求項9記載の画像表示装置。
12. The image display device according to claim 9, wherein the viewpoint position input means inputs a position of a viewpoint on a dominant eye side of an operator who observes the display screen.
【請求項13】 前記視線偏角導出手段は、前記表示画
面の中心軸と、前記視線方向入力手段により入力された
操作者の視線の方向とがなす視線偏角を、垂直方向と水
平方向のそれぞれについて導出することを特徴とする請
求項9記載の画像表示装置。
13. The line-of-sight declination deriving unit calculates a line-of-sight declination between a central axis of the display screen and a direction of a line of sight of an operator input by the line-of-sight direction input unit in a vertical direction and a horizontal direction. The image display device according to claim 9, wherein each image is derived.
【請求項14】 前記方向変位手段は、前記視線偏角導
出手段により導出された視線偏角を変数とする単調増加
関数によって、前記投影面方向決定手段により決定され
た投影面の方向を変位させることを特徴とする請求項9
記載の画像表示装置。
14. The direction displacing means displaces the direction of the projection plane determined by the projection plane direction determining means by a monotonically increasing function having the line-of-sight declination derived by the visual line declination deriving means as a variable. 10. The method according to claim 9, wherein
The image display device as described in the above.
【請求項15】 前記画像生成手段は、3次元幾何図形
の画像を生成することを特徴とする請求項9記載の画像
表示装置。
15. The image display device according to claim 9, wherein said image generating means generates an image of a three-dimensional geometric figure.
【請求項16】 前記画像生成手段は、透視投影法に基
づいて画像を生成することを特徴とする請求項9記載の
画像表示装置。
16. The image display device according to claim 9, wherein said image generation means generates an image based on a perspective projection method.
【請求項17】 表示画面を観察する操作者の視線の方
向を、前記表示画面の基準方向として入力する視線方向
入力工程と、 前記表示画面を観察する操作者の視点の位置を、前記表
示画面の基準位置として入力する視点位置入力工程と、 前記表示画面の中心軸と、前記視線方向入力工程で入力
された操作者の視線の方向とがなす視線偏角を導出する
視線偏角導出工程と、 前記視点位置入力工程で入力された操作者の視点の位置
と、表示しようとする仮想的な3次元空間において前記
表示画面に対応する投影面の中心位置及び方向とに基づ
いて、前記表示しようとする仮想的な3次元空間におけ
る投影中心点を導出する中心点導出工程と、 前記視線偏角導出工程で導出された視線偏角に基づい
て、前記投影面方向決定工程で決定された投影面の方向
を変位させる方向変位工程と、 前記中心点導出工程で導出された中心点を中心にして前
記方向変位工程で変位させた投影面の方向に、画像を生
成する画像生成工程と、 前記画像生成工程で生成された画像を、前記表示画面上
に表示する画像表示工程とを有したプログラムを格納す
るコンピュータで読み取り可能な記憶媒体。
17. A gaze direction inputting step of inputting a gaze direction of an operator observing a display screen as a reference direction of the display screen, and a position of a viewpoint of the operator observing the display screen is displayed on the display screen. A viewpoint position inputting step of inputting as a reference position, a gaze declination deriving step of deriving a gaze deviation formed by a center axis of the display screen and a direction of the gaze of the operator input in the gaze direction input step. The display is performed based on the position of the operator's viewpoint input in the viewpoint position input step and the center position and direction of the projection plane corresponding to the display screen in the virtual three-dimensional space to be displayed. A center point deriving step of deriving a projection center point in a virtual three-dimensional space, and a projection plane determined in the projection plane direction determining step based on the line-of-sight declination derived in the line-of-sight declination deriving step. A direction displacement step of displacing a direction; an image generation step of generating an image in a direction of the projection plane displaced in the direction displacement step around the center point derived in the center point derivation step; A computer-readable storage medium storing a program having an image display step of displaying an image generated in the step on the display screen.
【請求項18】 表示画面を観察する操作者の視線の方
向を、前記表示画面の基準方向として入力する視線方向
入力工程と、 前記表示画面の中心軸と、前記視線方向入力工程で入力
された操作者の視線の方向とがなす視線偏角を導出する
視線偏角導出工程と、 前記視線偏角導出工程で導出された視線偏角に基づい
て、前記投影面方向決定工程で決定された投影面の方向
を変位させる方向変位工程と、 前記方向変位工程で変位させた投影面の方向に、画像を
生成する画像生成工程と、 前記画像生成工程で生成された画像を、前記表示画面上
に表示する画像表示工程とを具備したことを特徴とする
画像表示方法。
18. A gaze direction input step of inputting a gaze direction of an operator observing a display screen as a reference direction of the display screen, a center axis of the display screen, and a gaze direction input step. A line-of-sight declination deriving step of deriving a line-of-sight declination between the direction of the operator's line of sight, and a projection determined in the projection plane direction determining step based on the line-of-sight declination derived in the line-of-sight declination derivation step. A direction displacement step of displacing the direction of the surface, an image generation step of generating an image in the direction of the projection plane displaced in the direction displacement step, and an image generated in the image generation step on the display screen. An image display step of displaying the image.
【請求項19】 表示画面を観察する操作者の視線の方
向を、前記表示画面の基準方向として入力する視線方向
入力手段と、 前記表示画面の中心軸と、前記視線方向入力手段により
入力された操作者の視線の方向とがなす視線偏角を導出
する視線偏角導出手段と、 前記視線偏角導出手段により導出された視線偏角に基づ
いて、前記投影面方向決定手段により決定された投影面
の方向を変位させる方向変位手段と、 前記方向変位手段により変位させた投影面の方向に、画
像を生成する画像生成手段と、 前記画像生成手段により生成された画像を、前記表示画
面上に表示する画像表示手段とを具備したことを特徴と
する画像表示装置。
19. A gaze direction input unit for inputting a gaze direction of an operator observing a display screen as a reference direction of the display screen, a center axis of the display screen, and a gaze direction input unit. A line-of-sight declination deriving unit that derives a line-of-sight declination between the direction of the line of sight of the operator, and a projection determined by the projection plane direction determining unit based on the line-of-sight declination derived by the line-of-sight declination deriving unit. Direction displacement means for displacing the direction of the surface, image generation means for generating an image in the direction of the projection surface displaced by the direction displacement means, and an image generated by the image generation means on the display screen. An image display device comprising: an image display means for displaying.
JP31949996A 1996-11-29 1996-11-29 Method and device for image display Withdrawn JPH10161802A (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP31949996A JPH10161802A (en) 1996-11-29 1996-11-29 Method and device for image display
US08/976,514 US6157382A (en) 1996-11-29 1997-11-24 Image display method and apparatus therefor
DE69725953T DE69725953T2 (en) 1996-11-29 1997-11-27 Image display method and device
EP97120884A EP0845737B1 (en) 1996-11-29 1997-11-27 Image display method and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31949996A JPH10161802A (en) 1996-11-29 1996-11-29 Method and device for image display

Publications (1)

Publication Number Publication Date
JPH10161802A true JPH10161802A (en) 1998-06-19

Family

ID=18110911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31949996A Withdrawn JPH10161802A (en) 1996-11-29 1996-11-29 Method and device for image display

Country Status (1)

Country Link
JP (1) JPH10161802A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293909A (en) * 2005-04-14 2006-10-26 Denso Corp Driver sight line direction detecting device
JP2011133832A (en) * 2009-12-25 2011-07-07 Toshiba Corp Image display device, method, and position determination device
JP2011165068A (en) * 2010-02-12 2011-08-25 Nec System Technologies Ltd Image generation device, image display system, image generation method, and program
WO2015080096A1 (en) * 2013-11-26 2015-06-04 圭祐 戸田 Display device and display method
CN116489326A (en) * 2023-04-07 2023-07-25 深圳市臻火科技有限公司 Automatic following projection method and device and electronic equipment

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293909A (en) * 2005-04-14 2006-10-26 Denso Corp Driver sight line direction detecting device
JP2011133832A (en) * 2009-12-25 2011-07-07 Toshiba Corp Image display device, method, and position determination device
JP2011165068A (en) * 2010-02-12 2011-08-25 Nec System Technologies Ltd Image generation device, image display system, image generation method, and program
WO2015080096A1 (en) * 2013-11-26 2015-06-04 圭祐 戸田 Display device and display method
US10182226B2 (en) 2013-11-26 2019-01-15 Keisuke Toda Display unit, display system, and display method
CN116489326A (en) * 2023-04-07 2023-07-25 深圳市臻火科技有限公司 Automatic following projection method and device and electronic equipment

Similar Documents

Publication Publication Date Title
CN102473041B (en) Image recognition device, operation determination method, and program
KR101541803B1 (en) Image Recognition Apparatus, Operation Determining Method, and Program
EP0845737B1 (en) Image display method and apparatus therefor
JPH08190640A (en) Information display method and information provision system
JP2013029958A (en) Information processing apparatus, information processing method, and program
EP0743589B1 (en) Interactive image generation method and apparatus
JP2017004356A (en) Method of specifying position in virtual space, program, recording medium with program recorded therein, and device
JPH07271546A (en) Image display control method
JP5467683B2 (en) Stereoscopic caliper image forming device and program for stereoscopic video display device
KR100399803B1 (en) Input device and display system
JPH06131442A (en) Three-dimensional virtual image modeling device
JP4678428B2 (en) Virtual space position pointing device
JPH10161802A (en) Method and device for image display
JP2001149319A (en) Medical three-dimensional image display device
JPH077253B2 (en) Three-dimensional cursor and image display method using three-dimensional cursor
JP4493082B2 (en) CG presentation device, program thereof, and CG display system
JP4186742B2 (en) Virtual space position pointing device
JP3546756B2 (en) Spatial coordinate input device
JP2535853B2 (en) Three-dimensional coordinate designation device
JPH031217A (en) Stereographic image processor
JPH08329275A (en) Stereoscopic picture operation program
JP2017004539A (en) Method of specifying position in virtual space, program, recording medium with program recorded therein, and device
JPS58211242A (en) Three-dimensional coordinate input device
JP2002297310A (en) Three-dimensional shape plotting system provided with inner force sense grid
CN116301370A (en) Information processing method and device and electronic equipment

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20040203