JPH07271546A - Image display control method - Google Patents
Image display control methodInfo
- Publication number
- JPH07271546A JPH07271546A JP6064130A JP6413094A JPH07271546A JP H07271546 A JPH07271546 A JP H07271546A JP 6064130 A JP6064130 A JP 6064130A JP 6413094 A JP6413094 A JP 6413094A JP H07271546 A JPH07271546 A JP H07271546A
- Authority
- JP
- Japan
- Prior art keywords
- operator
- coordinate system
- dimensional space
- icon
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、三次元空間の世界でコ
マンド操作を効率よく行える画像表示制御方法に関する
ものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display control method capable of efficiently performing command operations in a three-dimensional space.
【０００２】[0002]
【従来の技術】一般に、アイコンとは、コンピュータを
効率よく利用するために、オブジェクト指向を用いて考
え出されたものである。オブジェクト指向とは、基本的
には、処理方法をカプセル化し、オブジェクト同士が、
人間同士が会話しながら仕事を進めるように、メッセー
ジのやりとりを行う。その際、多数のオブジェクトを管
理するために、各オブジェクトはクラス階層構造にす
る。つまり、上位概念的処理を行うオブジェクトのクラ
スから中位，下位のように、各オブジェクトにクラスを
設けてやることにより、夫々のオブジェクトの管理を容
易にするものである。2. Description of the Related Art In general, an icon is one that has been conceived by using object orientation in order to use a computer efficiently. Object-orientation basically encapsulates the processing method so that objects can
Messages are exchanged so that people can work while talking. At that time, in order to manage a large number of objects, each object has a class hierarchical structure. In other words, by providing a class for each object from the class of the object that performs the conceptual processing to the middle level and the lower level, the management of each object is facilitated.
【０００３】このオブジェクト指向を用いたファイル及
びディレクトリは、キーボードからプログラム名を入力
するような、操作手順を中心に考えるのではなく、マウ
スのようなポインティングデバイスを用いて、容易にコ
マンドを選択或いは実行させるように、アイコンと呼ば
れるオペレータに視認し易い絵柄等の抽象的なマークに
ファイルの内容やプログラムの機能等を持たせる。これ
が、オブジェクト指向の対象をまず念頭に置く考え方で
ある。種々のアイコンは属性により異なり、各々のアイ
コンのグループに分けられる。各グループごとに分けら
れたアイコンを表示させる領域として、通常はウインド
ウと呼ばれる画像表示領域を利用する。ウインドウは、
同一ディスプレイ上に複数のアプリケーションの領域を
表示でき、また、表示領域のサイズ変更の機能を備えて
いるため、ユーザはデータが見易いように、ディスプレ
イ上に表示させ、ウインドウが複数の場合、ユーザの利
用しやすいように、ウインドウの配置或いは編集を行う
ことができる。Files and directories using this object orientation do not focus on the operating procedure such as inputting a program name from a keyboard, but can easily select or use a command using a pointing device such as a mouse. For execution, an abstract mark such as a picture called an icon which is easily visible to the operator is provided with the contents of the file and the function of the program. This is the idea of object-oriented objects in mind. Various icons differ according to attributes and are divided into groups of icons. An image display area usually called a window is used as an area for displaying the icons divided into each group. The window is
Multiple application areas can be displayed on the same display, and the function to change the size of the display area is provided so that the user can display data on the display so that the data is easy to see. The windows can be arranged or edited for ease of use.
【０００４】以上に述べたアイコンの表示を、ユーザが
より見易いように、ウインドウの配置或いは編集を行う
ものに、バーチャルリアリティー技術を応用した画像表
示装置がある。これは、アイコン等の画像を三次元空間
内に表示させる装置である。バーチャルリアリティーと
は、簡単に説明すると、実在する空間の他に仮想現実の
空間をコンピュータグラフィックスで作りだし、オペレ
ータにはその仮想空間があたかも実在する空間のように
思わせる技術等が挙げられる。There is an image display device to which the virtual reality technology is applied for arranging or editing windows so that the user can easily see the icon display described above. This is a device for displaying images such as icons in a three-dimensional space. Virtual reality can be briefly described as a technology in which a virtual reality space is created by computer graphics in addition to a real space, and the operator is made to feel the virtual space as if it were a real space.
【０００５】その技術において、オペレータには三次元
的な画像が見える頭部装着式ディスプレイ装置が用いた
ものが知られている。その頭部装着式ディスプレイは、
装置本体内に、光源と、光源により照らされる液晶パネ
ルと、右目用，左目用と対になっている光学系とを備
え、液晶パネルの画像をオペレータの眼球に投影させる
ように構成されており、オペレータは顔面に装置を密着
させることで、バーチャルリアリティーで実現される三
次元空間内に実在する感覚を得ることができる。In the art, it is known that an operator uses a head-mounted display device that can see a three-dimensional image. The head-mounted display is
The apparatus main body includes a light source, a liquid crystal panel illuminated by the light source, and an optical system paired for the right eye and the left eye, and is configured to project the image of the liquid crystal panel on the operator's eyeball. The operator can get the feeling of being present in the three-dimensional space realized by virtual reality by bringing the device into close contact with the face.
【０００６】また、そのディスプレイにより見える仮想
的な三次元空間内において、オペレータには視点の位
置，視線方向を検出する為のセンサーが必要となる。オ
ペレータの視点の位置，視線方向を検出するためのセン
サーには色々あるが、その中の非接触計測システムには
磁気センサーと呼ばれるセンサーがある。磁気センサー
とは、オペレータの身体を拘束しないようにしたもので
ある。以下、図１８（ａ）を用いて磁気センサーの測定
原理を簡単に説明する。Further, in the virtual three-dimensional space which can be seen by the display, the operator needs a sensor for detecting the position of the viewpoint and the direction of the line of sight. There are various sensors for detecting the position of the operator's viewpoint and the line-of-sight direction. Among them, the non-contact measurement system includes a sensor called a magnetic sensor. The magnetic sensor is a device that does not restrain the operator's body. Hereinafter, the measurement principle of the magnetic sensor will be briefly described with reference to FIG.
【０００７】発信用のコイル３０と受信用のコイル３１
を一定の間隔で配置する。発信用のコイル３０に電流Ｉ
を流しコイルを励磁し、磁界を発生させる。発信用のコ
イル３０から発生された磁界の領域内で、受信用のコイ
ル３１を移動させ磁束が変化すると、受信用のコイル３
１に電流ｉが誘導される。磁気センサーには、この両コ
イルの相対的位置が決まることを利用している。Coil 30 for transmission and coil 31 for reception
Are arranged at regular intervals. A current I is applied to the coil 30 for transmission.
To excite the coil and generate a magnetic field. When the receiving coil 31 is moved within the region of the magnetic field generated from the transmitting coil 30 to change the magnetic flux, the receiving coil 3
A current i is induced at 1. The magnetic sensor utilizes that the relative positions of these two coils are determined.
【０００８】これにより、一方向の軸の測定が可能であ
るため、図１８（ｂ）に示すように、Ｘ，Ｙ，Ｚ軸それ
ぞれ一方向の軸の測定用コイルを直交させることで、三
次元空間内での位置，方向を検出するセンサーの発信源
３２と、受信側の磁気センサー３３とを構成している。
上記従来の技術で、三次元空間でコマンド操作に用いら
れるアイコンの表示方法は、アイコンがディスプレイの
特定の位置に配置されるものや、二次元乃至三次元のア
イコンでディレクトリを表示させることにより、操作等
をオペレータに視認可能にするもの（特開平４−９００
３６号公報）や、アイコンの表示を実行段階に応じて変
化させることにより、プログラムの実行段階をユーザに
知らせるために、計算機入力用のアイコンとして三次元
空間内の物体を二次元平面に投影したものを用いて、非
常に、遠近感のある画面を用いて計算機入力をすること
ができるもの（特開平４−１００３０号公報）がある。With this arrangement, since it is possible to measure the axis in one direction, as shown in FIG. 18 (b), by making the measuring coils of the axes in the X, Y and Z axes respectively in one direction orthogonal to each other, the tertiary A source 32 of a sensor that detects the position and direction in the original space and a magnetic sensor 33 on the receiving side are configured.
In the above-mentioned conventional technology, the display method of the icon used for command operation in the three-dimensional space is such that the icon is arranged at a specific position on the display, or by displaying the directory with a two-dimensional or three-dimensional icon, Those that allow the operator to visually recognize operations and the like (Japanese Patent Laid-Open No. 4-900)
No. 36), or by changing the display of the icon according to the execution stage, an object in the three-dimensional space is projected as a computer input icon on a two-dimensional plane in order to inform the user of the execution stage of the program. There is a device (Japanese Patent Laid-Open No. 4-10030) that enables computer input using a screen having a very sense of perspective.
【０００９】更に、三次元空間の特定の位置に、三次元
アイコン等が配置される装置も開発されている。Furthermore, a device has been developed in which a three-dimensional icon or the like is arranged at a specific position in a three-dimensional space.
【００１０】[0010]
【発明が解決しようとする課題】上記、従来の技術にお
ける三次元アイコンを表示する方法では、図１９（ａ）
に示すように、オペレータがＡの位置から三次元画像３
４を視認していたと仮定して、図１９（ｂ）のように、
空間位置移動手段で三次元空間をＡからＢの位置まで移
動した場合、オペレータには図中後ろに、三次元画像３
４が存在していても、容易にその三次元画像３４を視認
することができなくなる。その為、オペレータは常に三
次元空間におけるアイコンの相対位置をモニターしてい
ないと、アイコンの位置を見失うことになり、アイコン
の消去，再表示等のコマンド操作が繁雑になる。In the above-described method of displaying a three-dimensional icon in the prior art, the method shown in FIG.
As shown in FIG.
Assuming that 4 is visually recognized, as shown in FIG.
When the three-dimensional space is moved from the position A to the position B by the spatial position moving means, the operator is required to move the three-dimensional image 3
Even if the image data 4 exists, the three-dimensional image 34 cannot be easily visually recognized. Therefore, unless the operator constantly monitors the relative position of the icon in the three-dimensional space, the operator loses sight of the position of the icon, and command operations such as deletion and redisplay of the icon become complicated.
【００１１】また、三次元空間内でアイコンを選択，実
行するには、Ｘ，Ｙ，Ｚ軸上でポインティングデバイス
によるポインティング位置を操作するので、短時間で選
択するのは困難である。また、ディスプレイ中にワール
ド座標系の三次元空間をコンピュータグラフィックスで
作り出し、それを表示するウィンドウ内に三次元アイコ
ンを表示する場合を想定すると、次のような問題が生じ
る。つまり、アイコンがディスプレイの特定位置に配置
される従来の技術を使った場合、アイコンはウインドウ
の特定位置に固定された状態の為、ウインドウサイズの
縮小等を行うと図２０のようにアイコンの一部が表示か
ら消え、操作する為には元のサイズに戻す手続等を行わ
なければならないといった扱いにくさが考えられる。Further, in order to select and execute the icon in the three-dimensional space, since the pointing position by the pointing device is operated on the X, Y and Z axes, it is difficult to select the icon in a short time. Further, assuming that a three-dimensional space in the world coordinate system is created by computer graphics on a display and a three-dimensional icon is displayed in a window displaying the three-dimensional space, the following problems occur. That is, when the conventional technique of arranging the icon at the specific position of the display is used, the icon is fixed at the specific position of the window, and if the window size is reduced or the like, one of the icons is displayed as shown in FIG. The part disappears from the display, and in order to operate it, it is thought that it is difficult to handle, such as having to perform procedures such as returning to the original size.
【００１２】この発明は上記課題を解決する為になされ
たもので、三次元空間のアイコンのコマンド操作を効率
よく行える画像表示制御方法を提供することを目的とす
る。The present invention has been made to solve the above problems, and an object thereof is to provide an image display control method capable of efficiently operating a command of an icon in a three-dimensional space.
【００１３】[0013]
【課題を解決するための手段】このような目的を達成す
るために、この発明の画像表示制御方式は、仮想三次元
空間内での視点の位置と視線方向からの画像とアイコン
を生成し、この生成された画像を表示し、操作者による
前記アイコンの操作により画像の表示を制御する画像表
示制御方法において、前記画像は仮想三次元空間で第１
の座標系により求めた視点の位置と視線方向から生成
し、前記アイコンは仮想三次元空間で第２の座標系を基
準として設定した、操作者を取り囲む三次元領域に生成
して配置し、前記生成された画像の表示とは独立して前
記アイコンの表示は制御され、前記仮想三次元空間内で
の操作者の移動に伴って前記アイコンも移動し、前記ア
イコンは操作者の視点および視線方向に表示されること
に特徴がある。In order to achieve such an object, the image display control system of the present invention generates an image and an icon from the viewpoint position and the line-of-sight direction in a virtual three-dimensional space, In the image display control method of displaying the generated image and controlling the display of the image by the operation of the icon by the operator, the image is a first image in a virtual three-dimensional space.
Is generated from the position of the viewpoint and the line-of-sight direction obtained by the coordinate system of, and the icon is generated and arranged in a three-dimensional area surrounding the operator, which is set with the second coordinate system as a reference in the virtual three-dimensional space. The display of the icon is controlled independently of the display of the generated image, the icon also moves along with the movement of the operator in the virtual three-dimensional space, and the icon is the viewpoint and line-of-sight direction of the operator. It is characterized by being displayed in.
【００１４】また、前記アイコンは、前記第２の座標系
内の視点の位置、視線方向のＸ、Ｙ、Ｚ軸の各軸回りの
回転角から操作者の視点、視線方向を基準とする座標系
に変換して表示する。更に、前記画像は、前記第１の座
標系内の視点の位置、視線方向のＸ、Ｙ、Ｚ軸の各軸回
りの回転角から操作者の視点、視線方向を基準とする座
標系に変換して表示する。Further, the icon is a coordinate based on the position of the viewpoint in the second coordinate system and the rotation angle around each of the X, Y and Z axes of the line-of-sight direction based on the viewpoint and line-of-sight direction of the operator. Convert to system and display. Furthermore, the image is converted from the position of the viewpoint in the first coordinate system and the rotation angle around each of the X, Y, and Z axes of the line-of-sight direction into a coordinate system based on the viewpoint and line-of-sight direction of the operator. And display it.
【００１５】[0015]
【作用】この発明によれば、仮想三次元空間内に画像を
生成する第１の座標系と、アイコンを生成して配置する
第２の座標系とを設定し、第１の座標系で第２の座標系
の位置，方向を変え、第２の座標系の視点の位置と視線
方向を変えることができ、その方向に画像を見ることが
できる。また、それとは独立してアイコンを配置した第
２の座標系の視点の位置と視線方向を変えることがで
き、その方向にアイコンを見ることができる。According to the present invention, the first coordinate system for generating an image in the virtual three-dimensional space and the second coordinate system for generating and arranging the icons are set, and the first coordinate system is used to set the first coordinate system. It is possible to change the position and direction of the second coordinate system, change the viewpoint position and the line-of-sight direction of the second coordinate system, and view the image in that direction. Moreover, the position of the viewpoint and the line-of-sight direction of the second coordinate system in which the icon is arranged independently of that can be changed, and the icon can be viewed in that direction.
【００１６】[0016]
【実施例】以下、図を用いてこの発明の実施例を説明す
る。 （第１実施例）図１はこの発明の第１実施例に係る画像
表示制御方法を説明するための画像表示システム構成の
概略ブロック構成図である。Embodiments of the present invention will be described below with reference to the drawings. (First Embodiment) FIG. 1 is a schematic block configuration diagram of an image display system configuration for explaining an image display control method according to a first embodiment of the present invention.
【００１７】この実施例では、仮想の三次元の画像を表
示するディスプレイにはＦＭＤ（フェイス−マウンティ
ッド−ディスプレイ）１を用いており、ディスプレイ上
に三次元画像，アイコン等を表示するために、モデルデ
ータの画像データベース２を格納する磁気ディスク装置
を設けた。また、磁気ディスク装置のモデルデータを基
に作った三次元空間（以下、ワールド座標系の三次元空
間と呼ぶ）内で、オペレータの視点を原点として、ｚ軸
方向を正方向とする三次元領域（以下、ローカル座標系
の三次元空間と呼ぶ）を作り、その位置，方向を操作す
る相対値出力装置に空間位置検出装置３を用い、ローカ
ル座標系の三次元空間内でのオペレータの視点の位置，
視線方向を検出する絶対値出力装置に空間位置検出セン
サーを用いる。この場合の空間位置検出センサーには、
三次元の磁気センサー４を用いた。そのローカル座標系
の三次元空間内に配置されるアイコン等を指示するのに
用いるポインティングデバイスには、マウス５を用い
た。そして、それら全ては、全ての制御，計算を行う情
報処理部６に接続する。In this embodiment, an FMD (Face-Mounted-Display) 1 is used as a display for displaying a virtual three-dimensional image, and in order to display a three-dimensional image, an icon, etc. on the display, A magnetic disk device for storing the image database 2 of model data is provided. In addition, in a three-dimensional space created from the model data of the magnetic disk device (hereinafter referred to as the three-dimensional space of the world coordinate system), a three-dimensional area in which the operator's viewpoint is the origin and the z-axis direction is the positive direction (Hereinafter, referred to as a three-dimensional space of a local coordinate system) is created, and the spatial position detection device 3 is used as a relative value output device for operating the position and direction thereof, and the operator's viewpoint in the three-dimensional space of the local coordinate system is changed. position,
A spatial position detection sensor is used for the absolute value output device that detects the direction of the line of sight. In this case, the spatial position detection sensor
A three-dimensional magnetic sensor 4 was used. The mouse 5 was used as a pointing device used for designating an icon or the like arranged in the three-dimensional space of the local coordinate system. Then, all of them are connected to the information processing unit 6 which performs all control and calculation.
【００１８】図２は図１のシステムの使用状態の構成を
示したものである。この実施例で、オペレータ７はＦＭ
Ｄ１を顔面部に装着している。そのディスプレイにより
見える仮想現実の三次元空間内において、オペレータ７
は表示されるアイコン等を通常のディスプレイで行うよ
うに、マウス５を用いてアイコンを選択，実行したりす
る。その際、オペレータ７が視認可能なアイコンはロー
カル座標系の三次元空間内に配置されており、オペレー
タ７の視点の位置，視線方向を検出する三次元の磁気セ
ンサー４を、オペレータ７は頭部に装着する。FIG. 2 shows the configuration of the system of FIG. 1 in use. In this embodiment, operator 7 is FM
D1 is attached to the face. In the three-dimensional space of the virtual reality that can be seen by the display, the operator 7
Selects and executes an icon by using the mouse 5, just as the displayed icon or the like is displayed on a normal display. At that time, the icon visible to the operator 7 is arranged in the three-dimensional space of the local coordinate system, and the operator 7 uses the three-dimensional magnetic sensor 4 for detecting the position of the viewpoint and the direction of the line of sight of the operator 7. Attach to.
【００１９】画像生成手段は情報処理部６に該当し、磁
気ディスク装置８に格納されている三次元画像やアイコ
ンのようなモデルデータを、ＦＭＤ１上に表示する。な
お、頭部装着式ディスプレイには、ＦＭＤ１以外にＨＭ
Ｄ（ヘッド−マウンティッド−ディスプレイ）と呼ばれ
るものもあり、オペレータ７に違和感を与えず、三次元
画像を見せることができる装置であれば代用は可能であ
る。The image generating means corresponds to the information processing section 6, and displays model data such as a three-dimensional image or an icon stored in the magnetic disk device 8 on the FMD 1. In addition to the FMD1, the head-mounted display has an HM
There is also what is called D (head-mounted-display), and any device that can show a three-dimensional image without giving a feeling of strangeness to the operator 7 can be substituted.
【００２０】また、この実施例ではオペレータ７の頭頂
部に磁気センサー４を装着したが、これに限らず、この
場合、オペレータ７の視点の位置や視線方向に係わって
くる頭部であれば、どこに装着してもかまわない。ま
た、磁気センサー４をＦＭＤ１に内蔵或いは外設するこ
とも可能である。また、この実施例において、ワールド
座標系の三次元空間内のローカル座標系の三次元空間の
位置と方向を操作するのに、空間位置検出装置３を用い
たが、ワールド座標系の三次元空間内でのローカル座標
系の三次元空間の位置とＸ，Ｙ，Ｚ軸回りの回転角を出
力する装置、即ち、相対値として出力する装置であれば
代用も可能である。Further, in this embodiment, the magnetic sensor 4 is attached to the crown of the operator 7, but the present invention is not limited to this. In this case, if the head is involved in the position of the operator 7's viewpoint and the direction of the line of sight, It doesn't matter where you attach it. Further, the magnetic sensor 4 can be built in the FMD 1 or provided externally. Further, in this embodiment, the spatial position detecting device 3 is used to operate the position and direction of the three-dimensional space of the local coordinate system within the three-dimensional space of the world coordinate system. A device that outputs the position in the three-dimensional space of the local coordinate system and the rotation angle around the X, Y, and Z axes, that is, a device that outputs the relative value can be substituted.
【００２１】同様に、ローカル座標系の三次元空間内の
オペレータ７の視点の位置と視線方向を検出するのに、
磁気センサー４を用いたが、オペレータ７の視点の位置
と視線方向のＸ，Ｙ，Ｚ軸回りの角度を、ワールド座標
系の基準点，基準軸から出力する装置、即ち、絶対値と
して出力する装置であれば代用が可能である。また、ポ
インティングデバイスも、ローカル座標系の三次元空間
内に配置されるアイコンの選択をする為のカーソル移動
することができる装置であれば代用することが可能であ
る。Similarly, in order to detect the position of the viewpoint and the line-of-sight direction of the operator 7 in the three-dimensional space of the local coordinate system,
Although the magnetic sensor 4 is used, a device for outputting the position of the viewpoint of the operator 7 and the angles around the X, Y and Z axes of the line of sight from the reference point and the reference axis of the world coordinate system, that is, as an absolute value. Any device can be substituted. Further, the pointing device can be replaced by any device that can move the cursor for selecting an icon arranged in the three-dimensional space of the local coordinate system.
【００２２】三次元マウス９のようなポインティングデ
バイスは、利用手段を使い分けすることで、上記外部入
力装置の機能を満たすことが可能である。また、画像デ
ータベース２の格納媒体には、実施例中では磁気ディス
ク装置８を使用したが、他にも光磁気ディスク装置や、
光ディスク装置等の使用も可能である。The pointing device such as the three-dimensional mouse 9 can satisfy the function of the external input device by properly using the utilizing means. Although the magnetic disk device 8 is used as the storage medium of the image database 2 in the embodiment, a magneto-optical disk device or a
It is also possible to use an optical disk device or the like.
【００２３】図３は、三次元空間上のアイコン等の画像
１０がオペレータ７にはどのように見えているかを第三
者の視線から示したものである。また、図２及び図３で
示すオペレータ７は座っているが、これに限らず使用す
るポインティングデバイスによっては、立っている状態
での使用が可能であり、更に、通常の使用状態では装置
本体とＦＭＤ１等とはケーブルで接続されているため、
歩行しながらの使用範囲は限定されるが、無線によるデ
ータのやりとりが行えれば、歩行しながらの使用も見込
まれる。FIG. 3 shows how an image 10 such as an icon in a three-dimensional space looks to the operator 7 from a third person's line of sight. Further, although the operator 7 shown in FIGS. 2 and 3 is seated, the operator is not limited to this, and can be used in a standing state depending on the pointing device to be used. Because it is connected to FMD1 etc. with a cable,
Although the range of use while walking is limited, if wireless data can be exchanged, use while walking is expected.
【００２４】システムの全体の流れについては、図４の
フローチャートを用いて説明する。最初に、オペレータ
７はシステムの電源をいれ、図１のシステムを立ち上げ
ると、ディスプレイ上には初期画面が表示される（ステ
ップ１０１）。次に、操作を行うためのアイコン等のメ
ニュー画面をディスプレイ上に表示させる（ステップ１
０２）。ディスプレイ上のメニュー画面で、三次元画像
の選択をポインティングデバイス等を用いて行い（ステ
ップ１０３）、情報処理部６により磁気ディスク装置８
に格納されているモデルデータを基に、ディスプレイ上
にコンピュータグラフィックスによる三次元画像を表示
させる。オペレータ７はポインティングデバイスの操作
でアイコンの選択，実行を行い、空間位置検出装置３，
磁気センサー４により、三次元空間内をウォークスルー
或いはシミュレーション等を行う（ステップ１０４）。The overall flow of the system will be described with reference to the flowchart of FIG. First, the operator 7 turns on the power of the system, and when the system of FIG. 1 is started up, an initial screen is displayed on the display (step 101). Next, a menu screen such as an icon for performing an operation is displayed on the display (step 1
02). On the menu screen on the display, a three-dimensional image is selected using a pointing device or the like (step 103), and the information processing unit 6 causes the magnetic disk device 8 to operate.
A three-dimensional image by computer graphics is displayed on the display based on the model data stored in. The operator 7 selects and executes an icon by operating the pointing device, and the spatial position detecting device 3,
The magnetic sensor 4 walks through or simulates the three-dimensional space (step 104).
【００２５】その際の情報処理部６内では、オペレータ
７の視点の変化と、視線の変化を検出或いは入力し、オ
ペレータ７の変化した視点の位置，視線方向に対応する
三次元画像を磁気ディスク装置８に格納されているモデ
ルデータを基に、情報処理部６により画像をリアルタイ
ムに生成したり、また、アイコンをオペレータ７の視点
の位置，視線方向にくるように情報処理部６内で画像表
示処理が行われて画像が表示されたり、オペレータ７が
視認できるアイコン群から、選択したアイコンのみをポ
インティングデバイス等で選択できるように、ディスプ
レイ上にカーソルを表示したり、選択されたアイコンの
実行結果をディスプレイ上に表示させたりする（ステッ
プ１０５）。In the information processing unit 6 at that time, a change in the viewpoint of the operator 7 and a change in the line of sight are detected or input, and a three-dimensional image corresponding to the changed position of the viewpoint and the direction of the line of sight of the operator 7 is recorded on the magnetic disk. Based on the model data stored in the device 8, the information processing unit 6 generates an image in real time, and the image is processed in the information processing unit 6 so that the icon comes in the position of the operator 7's viewpoint and the direction of the line of sight. Display processing is performed to display an image, display a cursor on the display, and execute the selected icon so that the operator can select only the selected icon from the icon group that the operator 7 can see. The result is displayed on the display (step 105).
【００２６】また、図５（ａ）は、上記システムの流れ
の中で、空間位置検出装置３による情報処理部６内での
処理を示したものである。ＦＭＤ１には磁気ディスク装
置８に格納されているモデルデータを基に、情報処理部
６でワールド座標系の三次元空間１１（図６参照）が表
示されており、そのワールド座標系の三次元空間１１内
で、オペレータ７を取り囲むローカル座標系の三次元空
間１２が構成されており、その内部にアイコン群が配置
される。ワールド座標系の三次元空間１１内でのローカ
ル座標系の三次元空間１２の位置，方向を任意に変え、
ウォークスルーする為、空間位置検出装置３を操作す
る。この時、ワールド座標系の三次元空間１１内で、ロ
ーカル座標系の三次元空間１２の位置，方向が変化する
ということは、ワールド座標系の三次元空間１１内で、
オペレータ７の視点の位置，視線方向が変化するという
ことであり、オペレータ７の視点の位置を原点とし、ｚ
軸方向を視線方向の正方向と設定しておけば、ワールド
座標系の三次元空間１１内でローカル座標系の三次元空
間１２の位置，方向が変化するということが、ワールド
座標系の三次元空間１１内における視点の位置を原点と
したオペレータ７の変化であることがいえる。そのた
め、視点の位置が変化するということは、オペレータ７
のワールド座標系の三次元空間１１内で、視認可能な画
像が変化するということであり、空間位置検出装置３に
よるワールド座標系の三次元空間１１内の移動は、空間
位置検出装置３から入力されるデータを基に、移動後の
視点の位置，視線方向をワールド座標系で求め（ステッ
プ１１１）、次に、視点を原点とし、視線方向をｚ軸の
正方向とする座標系に変換することで、実際に見える三
次元空間の画像を生成する（ステップ１１２）（式１）
〜（式７）を用いて情報処理部６内で、オペレータ７の
視点の位置を（Ｖｘ，Ｖｙ，Ｖｚ）とし、視点が見てい
る点である目標点の位置を（Ｈｘ，Ｈｙ，Ｈｚ）した場
合、視点を原点とし、視線方向をｚ軸の正方向に取った
座標系に変換する視野変換を行うと座標上の点（ｘ，
ｙ，ｚ）は（Ｘ，Ｙ，Ｚ）になる。 （Ｘ，Ｙ，Ｚ，１）＝（ｘ，ｙ，ｚ，１）Ｔｄ Ｔｒ …（式１）Further, FIG. 5A shows the processing in the information processing section 6 by the spatial position detecting device 3 in the flow of the above system. A three-dimensional space 11 (see FIG. 6) in the world coordinate system is displayed on the FMD 1 based on the model data stored in the magnetic disk device 8 in the information processing unit 6, and the three-dimensional space in the world coordinate system is displayed. A three-dimensional space 12 of a local coordinate system that surrounds the operator 7 is configured within 11, and an icon group is arranged inside thereof. By arbitrarily changing the position and direction of the three-dimensional space 12 of the local coordinate system in the three-dimensional space 11 of the world coordinate system,
In order to walk through, the spatial position detecting device 3 is operated. At this time, the position and direction of the three-dimensional space 12 of the local coordinate system change in the three-dimensional space 11 of the world coordinate system, which means that in the three-dimensional space 11 of the world coordinate system,
This means that the position of the viewpoint of the operator 7 and the direction of the line of sight change, and the position of the viewpoint of the operator 7 is the origin and z
If the axial direction is set as the positive direction of the line-of-sight direction, the position and direction of the three-dimensional space 12 of the local coordinate system changes within the three-dimensional space 11 of the world coordinate system. It can be said that this is a change of the operator 7 whose origin is the position of the viewpoint in the space 11. Therefore, changing the position of the viewpoint means that the operator 7
It means that the visible image changes in the three-dimensional space 11 of the world coordinate system, and the movement in the three-dimensional space 11 of the world coordinate system by the spatial position detecting device 3 is input from the spatial position detecting device 3. Based on the data obtained, the position of the viewpoint after movement and the line-of-sight direction are obtained in the world coordinate system (step 111), and then converted to a coordinate system in which the viewpoint is the origin and the line-of-sight direction is the positive z-axis direction By doing so, an image of an actually visible three-dimensional space is generated (step 112) (Equation 1).
Using (Equation 7), the position of the viewpoint of the operator 7 is set to (Vx, Vy, Vz) in the information processing unit 6, and the position of the target point, which is the point viewed by the viewpoint, is (Hx, Hy, Hz). ), The viewpoint is set as the origin and the visual field conversion is performed to convert the line-of-sight direction into the coordinate system in which the positive direction of the z axis is taken.
y, z) becomes (X, Y, Z). (X, Y, Z, 1) = (x, y, z, 1) Td Tr (Equation 1)
【数１】 [Equation 1]
【数２】 Ｔｒ；ワールド座標系の原点を視点に平行移動する変換
行列 Ｔｄ；座標系を回転し、ｚ軸の方向を視線の方向に合わ
せる変換行列 Ａ，Ｂ；回転角 実際に見えるワールド座標系の三次元空間１１内の画像
を情報処理部６で認識し、オペレータ７にリアルタイム
な画像を見せるように、磁気ディスク装置８に格納され
ているモデルデータに基づき画像の生成を行う。アイコ
ンに関しては、磁気ディスク装置８によりローカル座標
系の三次元空間１２内に配置されている為、オペレータ
７から見た位置、座標軸に対する回転角は前回と変化さ
せない（ステップ１１３）。[Equation 2] Tr: Transformation matrix that translates the origin of the world coordinate system to the viewpoint Td: Transformation matrix that rotates the coordinate system and adjusts the z-axis direction to the direction of the line of sight A, B; Rotation angle Three-dimensional world coordinate system that is actually visible The image in the space 11 is recognized by the information processing unit 6, and the image is generated based on the model data stored in the magnetic disk device 8 so that the operator 7 can see the image in real time. Since the icon is arranged in the three-dimensional space 12 of the local coordinate system by the magnetic disk device 8, the position viewed from the operator 7 and the rotation angle with respect to the coordinate axis are not changed from the previous time (step 113).
【００２７】つまり、ローカル座標系の三次元空間１２
内のオペレータ７の視点の位置，視線方向は空間位置検
出装置３の操作により、ワールド座標系の三次元空間１
１内において、図６（ａ）に示すＡからＢへの移動や回
転を行うことを示している。また、図５（ｂ）は、上記
システムの流れの中で、磁気センサー４による情報処理
部６内での処理を示したものである。ＦＭＤ１には磁気
ディスク装置８に格納されているモデルデータを基に、
情報処理部６でワールド座標系の三次元空間１１が表示
されており、そのワールド座標系の三次元空間１１内
で、オペレータ７を取り囲むローカル座標系の三次元空
間１２が構成されており、その内部にアイコン群が配置
される。そのローカル座標系の三次元空間１２内のオペ
レータ７の視点の位置，視線方向を任意に変化させ、ア
イコン群を自由に視認する為、磁気センサー４を用いて
いる。That is, the three-dimensional space 12 in the local coordinate system
The position of the viewpoint and the direction of the line of sight of the operator 7 within the three-dimensional space 1 in the world coordinate system can be determined by operating the spatial position detection device 3.
In Fig. 1, it is shown that the movement or rotation from A to B shown in Fig. 6A is performed. Further, FIG. 5B shows a process in the information processing unit 6 by the magnetic sensor 4 in the flow of the system. Based on the model data stored in the magnetic disk device 8 in the FMD 1,
The three-dimensional space 11 of the world coordinate system is displayed on the information processing unit 6, and the three-dimensional space 12 of the local coordinate system surrounding the operator 7 is configured in the three-dimensional space 11 of the world coordinate system. An icon group is arranged inside. The magnetic sensor 4 is used in order to freely visually recognize the icon group by arbitrarily changing the position of the viewpoint and the line-of-sight direction of the operator 7 in the three-dimensional space 12 of the local coordinate system.
【００２８】この時、ローカル座標系の三次元空間１２
内で、磁気センサー４の検出値によりオペレータ７の視
点の位置，視線方向が変化する。ローカル座標系の三次
元空間１２内での視点の位置，視線方向をローカル座標
系の三次元空間１２内でのローカル座標系にて、磁気セ
ンサー４により検出された移動量より求める（ステップ
１２１）。ローカル座標系の三次元空間１２内での座標
値をワールド座標系の三次元空間１１での座標値に変換
するのに（式８）〜（式１２）を用いて情報処理部６内
で、ローカル座標軸とワールド座標軸のなす角度をそれ
ぞれ（Ｈｘ，Ｈｙ，Ｈｚ）とし、ローカル座標の原点の
ワールド座標を（Ｖｘ，Ｖｙ，Ｖｚ）として、オペレー
タの視点の位置，視線方向のローカル座標（ｘ，ｙ，
ｚ）をワールド座標（Ｘ，Ｙ，Ｚ）に変換する（ステッ
プ１２２）。 （Ｘ，Ｙ，Ｚ，１）＝（ｘ，ｙ，ｚ，１）ＴｄＴｒｘＴｒｙＴｒｚ …（式８）At this time, the three-dimensional space 12 in the local coordinate system
Inside, the position of the viewpoint and the direction of the line of sight of the operator 7 change depending on the detection value of the magnetic sensor 4. The position of the viewpoint and the line-of-sight direction in the three-dimensional space 12 of the local coordinate system are obtained from the amount of movement detected by the magnetic sensor 4 in the local coordinate system of the three-dimensional space 12 of the local coordinate system (step 121). . In the information processing unit 6, using (Equation 8) to (Equation 12) to convert the coordinate values in the three-dimensional space 12 of the local coordinate system into the coordinate values in the three-dimensional space 11 of the world coordinate system, The angle between the local coordinate axis and the world coordinate axis is (Hx, Hy, Hz), and the world coordinate of the origin of the local coordinate is (Vx, Vy, Vz), and the position of the operator's viewpoint and the local coordinate (x, y,
z) is converted into world coordinates (X, Y, Z) (step 122). (X, Y, Z, 1) = (x, y, z, 1) TdTrxTryTrz (Equation 8)
【数３】 [Equation 3]
【数４】 [Equation 4]
【数５】 [Equation 5]
【数６】 Ｔｒｘ；ワールド座標系の原点を視点にＸ軸に平行移動
する変換行列 Ｔｒｙ；ワールド座標系の原点を視点にＹ軸に平行移動
する変換行列 Ｔｒｚ；ワールド座標系の原点を視点にＺ軸に平行移動
する変換行列 ワールド座標に変換されたオペレータ７の視点の位置，
視線方向から視認可能なワールド座標系の三次元空間１
１内の画像の座標値を、空間位置検出装置３の場合と同
様に、ｚ軸方向を視線方向の正方向として視野変換の
（式１）〜（式７）を用いて情報処理部６内で変換する
（ステップ１２３）。視野変換された座標を用いること
により、オペレータ７にとって実際に見える位置に画像
が表示される。[Equation 6] Trx: Transformation matrix that translates from the origin of the world coordinate system to the X axis Try: Transformation matrix that translates from the origin of the world coordinate system to the Y axis Trz; Parallel to the Z axis from the origin of the world coordinate system Moving transformation matrix Position of the viewpoint of operator 7 transformed into world coordinates,
Three-dimensional space of world coordinate system 1 visible from the line of sight
As in the case of the spatial position detecting device 3, the coordinate values of the image in 1 are set in the information processing unit 6 by using the (formula 1) to (formula 7) of the visual field conversion with the z-axis direction as the positive direction of the line-of-sight direction. To convert (step 123). The image is displayed at a position actually seen by the operator 7 by using the coordinates whose field of view is converted.
【００２９】また、ローカル座標系の三次元空間１２内
に配置してあるアイコン群も、オペレータ７の視点の位
置，視線方向から磁気ディスク装置８に格納されている
モデルデータを基に、情報処理部６内で生成し、ワール
ド座標系の三次元空間１１内に表示され、オペレータ７
はそのアイコン群を視認することができる。また、ロー
カル座標系の三次元空間１２内でオペレータ７の視点の
位置，視線方向から視認可能なアイコンも同様に、視点
を原点とし、ｚ軸方向を視線方向の正方向とした座標系
に視野変換の（式１）〜（式７）を用いて情報処理部６
内で変換することにより（ステップ１２４）、オペレー
タ７に実際に見える位置に、磁気ディスク装置８に格納
されているモデルデータに基づき画像の生成を行う。Also, the icon group arranged in the three-dimensional space 12 of the local coordinate system is processed based on the model data stored in the magnetic disk device 8 from the position of the operator's 7 viewpoint and the line-of-sight direction. It is generated in the section 6 and is displayed in the three-dimensional space 11 of the world coordinate system.
Can see the icon group. Similarly, an icon that can be visually recognized from the position of the viewpoint of the operator 7 in the three-dimensional space 12 of the local coordinate system and the line-of-sight direction is also the field of view in a coordinate system in which the viewpoint is the origin and the z-axis direction is the positive direction of the line-of-sight direction. The information processing unit 6 is calculated by using (Expression 1) to (Expression 7) of conversion.
An image is generated at a position actually seen by the operator 7 based on the model data stored in the magnetic disk device 8 by performing the conversion in step S124.
【００３０】また、磁気センサー４のフローチャート
は、上述のものに限られず、磁気センサー４により検出
したオペレータ７の視点の位置，視線方向から視認可能
なローカル座標系の三次元空間１２内のアイコン群の座
標値を視野変換した後（ステップ１２４）、ワールド座
標系の三次元空間１１内の視認可能な画像の座標値を視
野変換を行うこと（ステップ１２３）や、磁気センサー
４により検出したオペレータ７の視点の位置，視線方向
から視認可能なワールド座標系の三次元空間１１内での
画像と、ローカル座標系の三次元空間１２内でのアイコ
ン群との座標値の視野変換を平行して行うことも考えら
れる。The flow chart of the magnetic sensor 4 is not limited to the one described above, and the icon group in the three-dimensional space 12 of the local coordinate system which can be visually recognized from the position of the viewpoint of the operator 7 detected by the magnetic sensor 4 and the line-of-sight direction. After the field-of-view conversion of the coordinate values of (step 124), the field-of-view conversion of the coordinate values of the visible image in the three-dimensional space 11 of the world coordinate system is performed (step 123), or the operator 7 detected by the magnetic sensor 4 is used. The field of view conversion of the coordinate values between the image in the three-dimensional space 11 of the world coordinate system and the icon group in the three-dimensional space 12 of the local coordinate system which can be visually recognized from the viewpoint position and the line-of-sight direction is performed in parallel. It is also possible.
【００３１】また、図示しないが、マウス５による情報
処理部６内での処理を次に説明する。情報処理部６内で
は磁気ディスク装置８に格納されているモデルデータを
基に、情報処理部６により図７のようにアイコン１３群
がＦＭＤ１に表示される。アイコン１３群はローカル座
標系の三次元空間１２内に配置されている為、オペレー
タ７はマウス５でアイコン１３ｂにカーソル１４を合わ
せ、選択，実行を行う。実行されたアイコン１３ｂは、
図８に示すように情報処理部６は各アイコン１３ごとの
メニュー画面１５を表示し、次の処理のためのコマンド
等をＦＭＤ１に表示する。Although not shown, the processing in the information processing section 6 by the mouse 5 will be described below. In the information processing section 6, based on the model data stored in the magnetic disk device 8, the information processing section 6 displays a group of icons 13 on the FMD 1 as shown in FIG. Since the icon 13 group is arranged in the three-dimensional space 12 of the local coordinate system, the operator 7 positions the cursor 14 on the icon 13b with the mouse 5 to select and execute. The executed icon 13b is
As shown in FIG. 8, the information processing unit 6 displays the menu screen 15 for each icon 13 and displays commands and the like for the next process on the FMD 1.
【００３２】次にオペレータ７が見ることができるロー
カル座標系の三次元空間１２内の画像を図を用いて説明
する。図９はオペレータ７の視線方向を領域で分けて示
した図であり、図１０，１１，１２はオペレータ７の視
線方向を数パターン示す図である。以下に、この発明の
実施例を使用した際の、オペレータ７から見えるアイコ
ン１３を、上記略図を用いて説明する。Next, an image in the three-dimensional space 12 of the local coordinate system which the operator 7 can see will be described with reference to the drawings. FIG. 9 is a diagram showing the line-of-sight direction of the operator 7 divided into regions, and FIGS. 10, 11, and 12 are diagrams showing several patterns of the line-of-sight direction of the operator 7. The icon 13 seen by the operator 7 when the embodiment of the present invention is used will be described below with reference to the above schematic diagram.
【００３３】前で用いた図７は、オペレータ７の視線方
向が図１０と図１１はで、図１２もである場合、上
記フローチャートに沿った処理を情報処理部６で行った
ものである。この場合、オペレータ７に装着された磁気
センサー４で、ローカル座標系の三次元空間１１内に表
示されるアイコン１３群とオペレータ７との視点の位置
を検出し、その状態の視認可能なアイコン１３群をＦＭ
Ｄ１に画像の形成を行い、表示したものである。この場
合のオペレータ７の視点の位置を、ローカル座標系の三
次元空間１２内の基点と仮定し、図７はその位置からオ
ペレータ７が視認可能なアイコン１３を示したものであ
る。その時の視線方向は図９のＥ領域にする。In FIG. 7 used before, when the line-of-sight direction of the operator 7 is as shown in FIGS. 10 and 11 and is also FIG. 12, the information processing unit 6 performs the processing according to the above-mentioned flowchart. In this case, the magnetic sensor 4 attached to the operator 7 detects the position of the viewpoint between the icon 13 group displayed in the three-dimensional space 11 of the local coordinate system and the operator 7, and the visible icon 13 in that state is detected. FM group
An image is formed and displayed on D1. The position of the viewpoint of the operator 7 in this case is assumed to be the base point in the three-dimensional space 12 of the local coordinate system, and FIG. 7 shows the icon 13 that the operator 7 can visually recognize from that position. The line-of-sight direction at that time is the area E in FIG.
【００３４】また、ここでのワールド座標系の三次元空
間１１では、ローカル座標系の三次元空間１２を変化さ
せず固定であるものと仮定する。次に、オペレータ７の
視線方向が図１０，図１１は変わらず、図１２がであ
る場合で、上記同様の処理を情報処理部６内で行わせた
例である。その時のオペレータ７の視点の位置はローカ
ル座標系の三次元空間１２内の基点より近づいており、
図１３に示すようにオペレータ７は見ることができ、ま
た、図１２がである場合、オペレータ７の視点の位置
は基点より遠のいており、図１４に示すようにオペレー
タ７は見ることができる。In the three-dimensional space 11 of the world coordinate system, it is assumed that the three-dimensional space 12 of the local coordinate system is fixed and unchanged. Next, in the case where the line-of-sight direction of the operator 7 is the same as in FIGS. 10 and 11 and FIG. 12 is, an example in which the same processing as described above is performed in the information processing unit 6 is shown. The position of the viewpoint of the operator 7 at that time is closer than the base point in the three-dimensional space 12 of the local coordinate system,
The operator 7 can see as shown in FIG. 13, and when FIG. 12 is, the position of the viewpoint of the operator 7 is farther from the base point, and the operator 7 can see as shown in FIG.
【００３５】また、オペレータ７の視線方向が図１１，
図１２はで、図１０がである場合、オペレータ７の
視線方向は上、つまりローカル座標系の三次元空間１２
内の基点から図９のＢ領域を見ることができ、図１０が
である場合、オペレータ７の視線方向は下であるロー
カル座標系の三次元空間１２内の基点からＨ領域を見る
ことができる。Further, the line-of-sight direction of the operator 7 is as shown in FIG.
12 is, and when FIG. 10 is, the line-of-sight direction of the operator 7 is upward, that is, the three-dimensional space 12 of the local coordinate system.
9 can be seen from the base point in FIG. 9, and when FIG. 10 is, the H direction can be seen from the base point in the three-dimensional space 12 of the local coordinate system where the operator's 7 line of sight is below. .
【００３６】更に、オペレータ７の視線方向が図１０，
図１２はで、図１１がである場合、オペレータ７の
視線方向は左、つまりローカル座標系の三次元空間１２
内の基点から図９のＤ領域を見ることができ、図１１が
である場合、オペレータ７の視線方向は右であるロー
カル座標系の三次元空間１２内の基点からＦ領域を見る
ことができる。Further, the line-of-sight direction of the operator 7 is shown in FIG.
12 is, and when FIG. 11 is, the line-of-sight direction of the operator 7 is left, that is, the three-dimensional space 12 of the local coordinate system.
The area D in FIG. 9 can be seen from the base point inside, and when FIG. 11 is, the operator 7 can see the area F from the base point in the three-dimensional space 12 of the local coordinate system in which the line-of-sight direction is right. .
【００３７】つまり、これらの動作は磁気センサー４に
よりローカル座標系の三次元空間１２内でのオペレータ
７の座標データを検出することでなされており、オペレ
ータ７の視点の位置，視点方向は、その磁気センサー４
によりオペレータ７の動作に基づいた移動，回転をロー
カル座標系の三次元空間１２内で行うことができる。こ
の実施例では、オペレータ７に装着し絶対位置，方向を
検出するセンサーをアイコン１４の位置の制御に、相対
位置，方向を検出するセンサーをローカル座標系の三次
元空間１２内で使用するので、センサーの特性に応じた
使用方法となっている。また、アイコン１４を操作して
いる途中で、オペレータ７の視点の位置，視線方向がロ
ーカル座標系の三次元空間１２内で移動した場合でもア
イコン１３の位置がローカル座標系の三次元空間１２内
に存在するため、コマンド操作を効率良く行うことがで
きる。又、ウインドウサイズを縮小した場合、ウインド
ウに表示されないアイコン１３が発生するが、視点を後
方に移動するか、上下，左右に視点の位置を移動すれば
アイコン１３の位置を発見でき、コマンド操作を行うこ
とができる。 （第２実施例）図１５はこの発明の画像表示制御方法に
よる装置の第２実施例のシステム構成をブロック図で簡
単に表したもので、第１実施例と同様のものは同符号を
用いて説明する。That is, these operations are performed by detecting the coordinate data of the operator 7 in the three-dimensional space 12 of the local coordinate system by the magnetic sensor 4, and the position and the direction of the viewpoint of the operator 7 are Magnetic sensor 4
Thus, the movement and rotation based on the operation of the operator 7 can be performed in the three-dimensional space 12 of the local coordinate system. In this embodiment, the sensor mounted on the operator 7 to detect the absolute position and direction is used to control the position of the icon 14, and the sensor to detect the relative position and direction is used in the three-dimensional space 12 of the local coordinate system. It is used according to the characteristics of the sensor. Further, even if the position of the viewpoint of the operator 7 and the line-of-sight direction are moved within the three-dimensional space 12 of the local coordinate system while the icon 14 is being operated, the position of the icon 13 is within the three-dimensional space 12 of the local coordinate system. Since it exists in, the command operation can be performed efficiently. Further, when the window size is reduced, the icon 13 that is not displayed in the window is generated, but the position of the icon 13 can be found by moving the viewpoint backward or by moving the viewpoint position up, down, left or right, and the command operation can be performed. It can be carried out. (Second Embodiment) FIG. 15 is a block diagram simply showing the system configuration of a second embodiment of the apparatus according to the image display control method of the present invention. The same reference numerals are used for the same components as the first embodiment. Explain.
【００３８】この実施例では、オペレータ７は第１実施
例のようにディスプレイにＦＭＤ１を用いるのではな
く、通常の入手が容易なＣＲＴディスプレイ２０を用い
ており、ディスプレイ上に三次元画像，アイコン等を表
示するために、モデルデータの画像データベース２を格
納する磁気ディスク装置を設けた。また、磁気ディスク
装置のモデルデータを基に作った三次元空間（ワールド
座標系，ローカル座標系）内でのオペレータの視点の位
置，視線方向の操作と、ディスプレイ上に表示したアイ
コンを選択するカーソルの移動とを兼用して三次元マウ
ス９を用いた。そして、それら全ては、全ての制御，計
算を行う情報処理部６に接続し、更に、インターフェイ
ス回路２１を通して、ビデオカメラ２２の位置，方向の
制御を、アクチュエータ２３からカメラの支持台２４を
介してビデオカメラ２２に連絡するように接続がされて
いる。In this embodiment, the operator 7 does not use the FMD 1 for the display as in the first embodiment, but uses the CRT display 20 which is usually available and easy to obtain, and the three-dimensional image, icon, etc. are displayed on the display. In order to display, a magnetic disk device for storing the image database 2 of model data is provided. In addition, the position of the operator's viewpoint in the three-dimensional space (world coordinate system, local coordinate system) created based on the model data of the magnetic disk device, the operation of the line-of-sight direction, and the cursor for selecting the icon displayed on the display. The three-dimensional mouse 9 was used also for the movement of the mouse. Then, all of them are connected to the information processing unit 6 which performs all control and calculation, and further, the position and direction of the video camera 22 are controlled through the interface circuit 21 from the actuator 23 through the support base 24 of the camera. A connection is made to contact the video camera 22.
【００３９】この実施例のようにＣＲＴディスプレイ２
０を用いると、ローカル座標系の三次元空間１２内にお
けるオペレータ７の視点の位置や視線方向をリアルタイ
ムに検出する必要がないため、第１実施例で必要だった
磁気センサーは用いなくても良くなる。次に、図１６の
フローチャートは三次元マウス９による情報処理部６内
での、上記システムの処理の流れを示したものである。
最初に、三次元マウス９の操作を行うのに、ワールド座
標系の三次元空間１１内の視点の位置，視線方向を操作
するか、ローカル座標系の三次元空間１２内の視点の位
置，視線方向を操作するか、ローカル座標系の三次元空
間１２内に配置されるアイコン１３の選択をする為のカ
ーソル１４の移動を行うかを、オペレータ７は使用状態
によって選択する（ステップ１３１）。CRT display 2 as in this embodiment
When 0 is used, it is not necessary to detect the position of the viewpoint of the operator 7 and the line-of-sight direction in the three-dimensional space 12 of the local coordinate system in real time, and thus the magnetic sensor required in the first embodiment need not be used. Become. Next, the flowchart of FIG. 16 shows the flow of processing of the above system in the information processing unit 6 by the three-dimensional mouse 9.
First, in order to operate the three-dimensional mouse 9, the position of the viewpoint in the three-dimensional space 11 in the world coordinate system and the direction of the line of sight are operated, or the position of the viewpoint in the three-dimensional space 12 in the local coordinate system, the line of sight The operator 7 selects whether to operate the direction or to move the cursor 14 for selecting the icon 13 arranged in the three-dimensional space 12 of the local coordinate system (step 131).
【００４０】入力モードの選択において（ステップ１３
１）、ワールド座標系の三次元空間１１内の視点の位
置，視線方向を操作するのを選択すると、それ以下の処
理手順は第１実施例の空間位置検出装置による操作を示
した図６（ａ）の（ステップ１１１）〜（ステップ１１
３）までの処理を行っていく。また、入力モードの選択
において（ステップ１３１）、ローカル座標系の三次元
空間１２内の視点の位置，視線方向を操作するのを選択
すると、ローカル座標系の三次元空間１２内でリミット
チェックを行う（ステップ１３２）。それ以下の処理手
順は第１実施例の磁気センサーによる検出を示した図６
（ｂ）の（ステップ１２１）〜（ステップ１２４）まで
の処理を行っていく。In selecting the input mode (step 13
1), if it is selected to operate the position of the viewpoint and the line-of-sight direction in the three-dimensional space 11 of the world coordinate system, the processing procedure thereafter is shown in FIG. 6 showing the operation by the spatial position detecting device of the first embodiment. a) (step 111) to (step 11)
Perform the processing up to 3). Further, in the selection of the input mode (step 131), if it is selected to operate the position of the viewpoint and the line-of-sight direction in the three-dimensional space 12 of the local coordinate system, the limit check is performed in the three-dimensional space 12 of the local coordinate system. (Step 132). The processing procedure thereafter is shown in FIG. 6 showing the detection by the magnetic sensor of the first embodiment.
The processing from (step 121) to (step 124) in (b) is performed.
【００４１】更に、入力モードの選択において（ステッ
プ１３１）、ローカル座標系の三次元空間１２内に配置
されるアイコン１３の選択する為のカーソル１４移動を
選択するとカーソル１４が移動し、カーソル１４をアイ
コン１３に合わせてボタンを押すことにより、アイコン
１３の選択又は実行を行い（ステップ１３３）、アイコ
ン１３を実行すると、各アイコン１３ごとのウインドウ
を開き、アイコン群或いはコマンドをディスプレイ上に
表示する。Further, in the selection of the input mode (step 131), if the cursor 14 for selecting the icon 13 arranged in the three-dimensional space 12 of the local coordinate system is selected, the cursor 14 is moved and the cursor 14 is moved. The icon 13 is selected or executed by pressing the button in accordance with the icon 13 (step 133). When the icon 13 is executed, the window for each icon 13 is opened and the icon group or command is displayed on the display.
【００４２】更に、情報処理部６は三次元マウス９によ
り入力する位置，方向からビデオカメラ２２の画像を取
り込めるように、インターフェイス回路２１を通してア
クチュエータ２３を制御し、そのアクチュエータ２３の
ビデオカメラの支持台２４を介してビデオカメラ２２の
位置，方向を制御する。アクチュエータ２３は、この実
施例ではロボットアームを使用している。その制御に
は、ＲＳ−２３２Ｃインターフェイスを介してロボット
アームに外部入力装置（この場合、三次元マウス１７）
からＸ，Ｙ，Ｚ軸方向のデータのダイレクトコマンドを
シリアル伝送し、ロボットアームの制御を行う。Further, the information processing unit 6 controls the actuator 23 through the interface circuit 21 so that the image of the video camera 22 can be captured from the position and direction input by the three-dimensional mouse 9, and the actuator 23 supports the video camera. The position and direction of the video camera 22 are controlled via 24. The actuator 23 uses a robot arm in this embodiment. For its control, an external input device (three-dimensional mouse 17 in this case) is attached to the robot arm via the RS-232C interface.
To serially transmit direct commands of data in the X, Y, and Z-axis directions to control the robot arm.
【００４３】この実施例の特徴としては、情報処理部６
はカメラの画像と画像生成したアイコンを、同一ディス
プレイ上に表示することができる。また、ＣＲＴディス
プレイ２０上に表示されるアイコン，ビデオ画像，コン
ピュータグラフィックス画像，メニュー画像等の表示
を、従来のように同一ディスプレイ上に限られることな
く、拡大，縮小を行っても、この場合、三次元マウス９
でオペレータ７がローカル座標系の三次元空間１２内で
自由に見渡したり、選択，実行したりすることが可能と
なる。A feature of this embodiment is that the information processing unit 6
Can display the camera image and the image-generated icon on the same display. Further, even if the icons, video images, computer graphics images, menu images, etc. displayed on the CRT display 20 are not limited to being displayed on the same display as in the conventional case, they can be enlarged or reduced. , Three-dimensional mouse 9
Thus, the operator 7 can freely overlook, select, and execute in the three-dimensional space 12 of the local coordinate system.
【００４４】この時のオペレータから見る三次元空間
は、オペレータ７を中心に四方を囲む箱の切り取られた
窓に当たるＣＲＴディスプレイ２０から、ローカル座標
系の空間を眺めているのと同様であり、その視線方向を
変えるということは、その箱の位置と方向を制御し、窓
の向きを変えるということである。これにより、ローカ
ル座標系の三次元空間１２を自由に見渡すことが可能で
ある。The three-dimensional space seen by the operator at this time is the same as when the space of the local coordinate system is viewed from the CRT display 20 which is a window cut out of a box that surrounds the operator 7 in all directions. Changing the direction of the line of sight means controlling the position and direction of the box and changing the direction of the window. This allows the three-dimensional space 12 in the local coordinate system to be viewed freely.
【００４５】ここで、この実施例を使用した例を、図１
７を用いて説明する。この場合、ビデオカメラ２２とア
クチュエータ２３を内視鏡２５に適用し、オペレータに
相当する医者がＣＲＴディスプレイ２０を見ながら、三
次元マウス９を操作し、情報処理部６内で内視鏡２５を
操作する処理が行われ、インターフェイス回路２１を介
して内視鏡２５を操作する。ＣＲＴディスプレイ２０上
に内視鏡２５からの患部の実画像２６を表示することが
でき、更に、同一ディスプレイ上に、患者の心拍数等の
グラフィックス画像２７を表示させたりすることができ
る。An example using this embodiment is shown in FIG.
This will be described using 7. In this case, the video camera 22 and the actuator 23 are applied to the endoscope 25, and the doctor corresponding to the operator operates the three-dimensional mouse 9 while looking at the CRT display 20 to operate the endoscope 25 in the information processing unit 6. Operation processing is performed, and the endoscope 25 is operated via the interface circuit 21. A real image 26 of the affected area from the endoscope 25 can be displayed on the CRT display 20, and a graphics image 27 such as the heart rate of the patient can be displayed on the same display.
【００４６】また、例えば実画像２６内にアイコン２８
を表示し、その中の照明用のアイコン２８ａを、三次元
マウス９でカーソルを移動し、実行した場合、照明の輝
度調整用スライダが表示され（図示せず）、三次元マウ
ス９での調節が可能になる。なお、このディスプレイ内
は三次元空間のため、色々なウインドウを開いていても
三次元マウス９を操作することで、視認可能な領域を簡
単に変えることができる。他にも、この例に限らず種々
利用分野が見込まれる。Further, for example, the icon 28 is displayed in the actual image 26.
Is displayed, and when the cursor is moved by the three-dimensional mouse 9 to execute the illumination icon 28a therein, a slider for adjusting the brightness of the illumination is displayed (not shown), and adjustment by the three-dimensional mouse 9 is performed. Will be possible. Since the inside of this display is a three-dimensional space, the visible area can be easily changed by operating the three-dimensional mouse 9 even if various windows are opened. In addition to this example, various application fields are expected.
【００４７】この実施例では三次元マウス９のみを用い
て、画像とアイコンの位置を制御することができるの
で、ハードウェアコストの削減になる。また、オペレー
タの位置をローカル座標系の三次元空間１２内にリミッ
トチェックすることにより、アイコンの位置を見失うこ
とを避けることができる。また、この例でも、グラフィ
ックス画像だけではなく、カメラ画像とアイコンを合成
することが可能であることを示している。In this embodiment, since the positions of the image and the icon can be controlled by using only the three-dimensional mouse 9, the hardware cost can be reduced. Also, by performing a limit check on the operator's position within the three-dimensional space 12 of the local coordinate system, it is possible to avoid losing sight of the icon position. This example also shows that not only the graphics image but also the camera image and the icon can be combined.
【００４８】[0048]
【発明の効果】この発明によれば、アイコンを操作して
いる途中で、オペレータの視点の位置，視線方向からア
イコンの位置を見失っても、アイコンの位置は第２の座
標系の三次元空間内に固定されているため、オペレータ
は容易にアイコンを視認でき、コマンド操作を効率良く
行うことができる。According to the present invention, even if the operator loses sight of the icon position from the viewpoint position and the line-of-sight direction while operating the icon, the icon position remains in the three-dimensional space of the second coordinate system. Since it is fixed inside, the operator can easily visually recognize the icon and can efficiently perform the command operation.
【図１】第１実施例のシステム構成図。FIG. 1 is a system configuration diagram of a first embodiment.
【図２】第１実施例の使用状態を示す図。FIG. 2 is a diagram showing a usage state of the first embodiment.
【図３】第３三者からの視点で、オペレータが見ている
画像の図。FIG. 3 is a diagram of an image viewed by an operator from a viewpoint of a third party.
【図４】この発明の情報処理部内のフローチャートを示
した図。FIG. 4 is a diagram showing a flowchart in the information processing unit of the present invention.
【図５】（ａ）空間位置検出装置を用いたフローチャー
トを示した図。 （ｂ）磁気センサーを用いたフローチャートを示した
図。FIG. 5A is a diagram showing a flowchart using the spatial position detection device. (B) The figure which showed the flowchart using the magnetic sensor.
【図６】（ａ）ワールド座標系の三次元空間内で、ロー
カル座標系の三次元空間の移動の様子を示した図。 （ｂ）三次元空間内でのオペレータの視点を示した図。FIG. 6A is a diagram showing how the local coordinate system moves in the three-dimensional space in the world coordinate system. (B) The figure which showed the operator's viewpoint in a three-dimensional space.
【図７】ローカル座標系の三次元空間内に配置されてい
るアイコンの様子を示した図。FIG. 7 is a diagram showing a state of icons arranged in a three-dimensional space of a local coordinate system.
【図８】ローカル座標系の三次元空間内でウインドウを
開いた図。FIG. 8 is a diagram showing a window opened in a three-dimensional space of a local coordinate system.
【図９】ローカル座標系の三次元空間内でオペレータに
視線方向を領域で示した図。FIG. 9 is a diagram showing an operator's line-of-sight direction as a region in a three-dimensional space of a local coordinate system.
【図１０】オペレータの視点の位置，視線方向を示した
図。FIG. 10 is a diagram showing a position of a viewpoint of an operator and a line-of-sight direction.
【図１１】オペレータの視点の位置，視線方向を示した
図。FIG. 11 is a diagram showing the position of the operator's viewpoint and the direction of the line of sight.
【図１２】オペレータの視点の位置，視線方向を示した
図。FIG. 12 is a diagram showing a position of a viewpoint of an operator and a line-of-sight direction.
【図１３】ローカル座標系の三次元空間内でオペレータ
がアイコンに近づいた様子を示した図。FIG. 13 is a diagram showing a state where an operator approaches an icon in a three-dimensional space of a local coordinate system.
【図１４】ローカル座標系の三次元空間内でオペレータ
がアイコンから遠のいた様子を示した図。FIG. 14 is a diagram showing a state where an operator is far from an icon in a three-dimensional space of a local coordinate system.
【図１５】第２実施例のシステム構成図。FIG. 15 is a system configuration diagram of a second embodiment.
【図１６】三次元マウスを用いたフローチャートを示し
た図。FIG. 16 is a diagram showing a flowchart using a three-dimensional mouse.
【図１７】第２実施例の使用例を示す図。FIG. 17 is a diagram showing an example of use of the second embodiment.
【図１８】（ａ），（ｂ）磁気センサーの構成図。18A and 18B are configuration diagrams of a magnetic sensor.
【図１９】（ａ），（ｂ）従来の技術の説明図。19A and 19B are explanatory views of a conventional technique.
【図２０】従来の技術の説明図。FIG. 20 is an explanatory diagram of a conventional technique.
１ ＦＭＤ ２ 画像データベース ３ 空間位置検出装置 ４ 磁気センサー ５ マウス ６ 情報処理部 ７ オペレータ ８ 磁気ディスク装置 ９ 三次元マウス １０ 画像 １１ ワールド座標系 １２ ローカル座標系 １３，１３ａ，１３ｂ，１３ｃ，１３ｄ アイコン １４ カーソル １５ メニュー画面 ２０ ＣＲＴディスプレイ ２１ インターフェイス回路 ２２ ビデオカメラ ２３ アクチュエータ ２４ 支持台 ２５ 内視鏡 ２６ 実画像 ２７ グラフィックス画像 ２８，２８ａ，２８ｂ，２８ｃ アイコン ３０ 発信用のコイル ３１ 受信用のコイル ３２ 発信源 ３３ 磁気センサー ３４ 三次元画像 1 FMD 2 Image database 3 Spatial position detection device 4 Magnetic sensor 5 Mouse 6 Information processing unit 7 Operator 8 Magnetic disk device 9 Three-dimensional mouse 10 Image 11 World coordinate system 12 Local coordinate system 13, 13a, 13b, 13c, 13d Icon 14 Cursor 15 Menu screen 20 CRT display 21 Interface circuit 22 Video camera 23 Actuator 24 Support stand 25 Endoscope 26 Real image 27 Graphics image 28, 28a, 28b, 28c Icon 30 Coil for transmission 31 Coil for reception 32 Source of transmission 33 Magnetic sensor 34 Three-dimensional image
Claims (3)
方向からの画像とアイコンを生成し、この生成された画
像を表示し、操作者による前記アイコンの操作により画
像の表示を制御する画像表示制御方法において、 前記画像は仮想三次元空間で第１の座標系により求めた
視点の位置と視線方向から生成し、 前記アイコンは仮想三次元空間で第２の座標系を基準と
して設定した、操作者を取り囲む三次元領域に生成して
配置し、 前記生成された画像の表示とは独立して前記アイコンの
表示は制御され、 前記仮想三次元空間内での操作者の移動に伴って前記ア
イコンも移動し、前記アイコンは操作者の視点および視
線方向に表示されることを特徴とする画像表示制御方
法。1. An image and an icon from a viewpoint position and a line-of-sight direction in a virtual three-dimensional space are generated, the generated image is displayed, and display of the image is controlled by an operator operating the icon. In the image display control method, the image is generated from the position of the viewpoint and the line-of-sight direction obtained in the first coordinate system in the virtual three-dimensional space, and the icon is set in the virtual three-dimensional space with reference to the second coordinate system. , Generated and arranged in a three-dimensional area surrounding the operator, the display of the icon is controlled independently of the display of the generated image, with the movement of the operator in the virtual three-dimensional space The image display control method, wherein the icon is also moved, and the icon is displayed in the operator's viewpoint and line-of-sight direction.
視点の位置、視線方向のＸ、Ｙ、Ｚ軸の各軸回りの回転
角から操作者の視点、視線方向を基準とする座標系に変
換して表示することを特徴とする請求項１記載の画像表
示制御方法。2. The icon is a coordinate based on a position of a viewpoint in the second coordinate system, a rotation angle around each of the X, Y, and Z axes of the line-of-sight direction based on the operator's line-of-sight and line-of-sight direction. The image display control method according to claim 1, wherein the image is converted into a system and displayed.
の位置、視線方向のＸ、Ｙ、Ｚ軸の各軸回りの回転角か
ら操作者の視点、視線方向を基準とする座標系に変換し
て表示することを特徴とする請求項１記載の画像表示制
御方法。3. The image is coordinates based on the position of the viewpoint in the first coordinate system and the rotation angle around each of the X, Y, and Z axes of the line-of-sight direction based on the viewpoint and line-of-sight direction of the operator. The image display control method according to claim 1, wherein the image is converted into a system and displayed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6064130A JPH07271546A (en) | 1994-03-31 | 1994-03-31 | Image display control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6064130A JPH07271546A (en) | 1994-03-31 | 1994-03-31 | Image display control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07271546A true JPH07271546A (en) | 1995-10-20 |
Family
ID=13249194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6064130A Withdrawn JPH07271546A (en) | 1994-03-31 | 1994-03-31 | Image display control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07271546A (en) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001076182A (en) * | 1999-09-02 | 2001-03-23 | Mixed Reality Systems Laboratory Inc | User interface method, user interface device, space plotting device, work station device and program storage medium |
| JP2002092656A (en) * | 2000-09-11 | 2002-03-29 | Canon Inc | Stereoscopic image display device and image data displaying method |
| JP2003296757A (en) * | 2002-03-29 | 2003-10-17 | Canon Inc | Information processing method and device |
| JP2006127158A (en) * | 2004-10-28 | 2006-05-18 | Canon Inc | Image processing method and image processor |
| JP2007272468A (en) * | 2006-03-30 | 2007-10-18 | Sony Corp | Information processing device, method, and program |
| JP2012069138A (en) * | 2003-05-08 | 2012-04-05 | Hillcrest Laboratories Inc | Control framework with zoomable graphical user interface for organizing, selecting, and launching media items |
| JP2013543170A (en) * | 2010-09-23 | 2013-11-28 | ノキア コーポレイション | Method, apparatus and computer program product for grouping content in augmented reality |
| CN104714300A (en) * | 2013-12-13 | 2015-06-17 | 精工爱普生株式会社 | Head mounted display device and method of controlling head mounted display device |
| JP2015115849A (en) * | 2013-12-13 | 2015-06-22 | セイコーエプソン株式会社 | Information processor and control method of the same |
| US9261978B2 (en) | 2004-04-30 | 2016-02-16 | Hillcrest Laboratories, Inc. | 3D pointing devices and methods |
| US9298282B2 (en) | 2004-04-30 | 2016-03-29 | Hillcrest Laboratories, Inc. | 3D pointing devices with orientation compensation and improved usability |
| JP2017004491A (en) * | 2016-01-20 | 2017-01-05 | 株式会社コロプラ | Floating graphical user interface |
| JPWO2014129105A1 (en) * | 2013-02-22 | 2017-02-02 | ソニー株式会社 | Head mounted display system, head mounted display, head mounted display control program, image display method, and image display apparatus |
| JP2017058971A (en) * | 2015-09-16 | 2017-03-23 | 株式会社バンダイナムコエンターテインメント | Program and image formation device |
| WO2017104579A1 (en) * | 2015-12-17 | 2017-06-22 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and operation reception method |
| JP2017117008A (en) * | 2015-12-21 | 2017-06-29 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and operation reception method |
| JP2018151855A (en) * | 2017-03-13 | 2018-09-27 | 株式会社コナミデジタルエンタテインメント | Display controller and program |
| US10159897B2 (en) | 2004-11-23 | 2018-12-25 | Idhl Holdings, Inc. | Semantic gaming and application transformation |
| WO2019176910A1 (en) * | 2018-03-14 | 2019-09-19 | 本田技研工業株式会社 | Information display device, information display method, and information display program |
-
1994
- 1994-03-31 JP JP6064130A patent/JPH07271546A/en not_active Withdrawn
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001076182A (en) * | 1999-09-02 | 2001-03-23 | Mixed Reality Systems Laboratory Inc | User interface method, user interface device, space plotting device, work station device and program storage medium |
| JP2002092656A (en) * | 2000-09-11 | 2002-03-29 | Canon Inc | Stereoscopic image display device and image data displaying method |
| JP2003296757A (en) * | 2002-03-29 | 2003-10-17 | Canon Inc | Information processing method and device |
| JP2012069138A (en) * | 2003-05-08 | 2012-04-05 | Hillcrest Laboratories Inc | Control framework with zoomable graphical user interface for organizing, selecting, and launching media items |
| US9261978B2 (en) | 2004-04-30 | 2016-02-16 | Hillcrest Laboratories, Inc. | 3D pointing devices and methods |
| US10782792B2 (en) | 2004-04-30 | 2020-09-22 | Idhl Holdings, Inc. | 3D pointing devices with orientation compensation and improved usability |
| US10514776B2 (en) | 2004-04-30 | 2019-12-24 | Idhl Holdings, Inc. | 3D pointing devices and methods |
| US9946356B2 (en) | 2004-04-30 | 2018-04-17 | Interdigital Patent Holdings, Inc. | 3D pointing devices with orientation compensation and improved usability |
| US9298282B2 (en) | 2004-04-30 | 2016-03-29 | Hillcrest Laboratories, Inc. | 3D pointing devices with orientation compensation and improved usability |
| US11157091B2 (en) | 2004-04-30 | 2021-10-26 | Idhl Holdings, Inc. | 3D pointing devices and methods |
| US9575570B2 (en) | 2004-04-30 | 2017-02-21 | Hillcrest Laboratories, Inc. | 3D pointing devices and methods |
| JP4533087B2 (en) * | 2004-10-28 | 2010-08-25 | キヤノン株式会社 | Image processing method and image processing apparatus |
| JP2006127158A (en) * | 2004-10-28 | 2006-05-18 | Canon Inc | Image processing method and image processor |
| US7557816B2 (en) | 2004-10-28 | 2009-07-07 | Canon Kabushiki Kaisha | Image processing apparatus, method and computer-readable storage medium for generating and presenting an image of virtual objects including the operation panel viewed from the position and orientation of the viewpoint of the observer |
| US11154776B2 (en) | 2004-11-23 | 2021-10-26 | Idhl Holdings, Inc. | Semantic gaming and application transformation |
| US10159897B2 (en) | 2004-11-23 | 2018-12-25 | Idhl Holdings, Inc. | Semantic gaming and application transformation |
| JP2007272468A (en) * | 2006-03-30 | 2007-10-18 | Sony Corp | Information processing device, method, and program |
| JP2013543170A (en) * | 2010-09-23 | 2013-11-28 | ノキア コーポレイション | Method, apparatus and computer program product for grouping content in augmented reality |
| US9710554B2 (en) | 2010-09-23 | 2017-07-18 | Nokia Technologies Oy | Methods, apparatuses and computer program products for grouping content in augmented reality |
| JPWO2014129105A1 (en) * | 2013-02-22 | 2017-02-02 | ソニー株式会社 | Head mounted display system, head mounted display, head mounted display control program, image display method, and image display apparatus |
| US9829997B2 (en) | 2013-02-22 | 2017-11-28 | Sony Corporation | Head-mounted display system, head-mounted display, and head-mounted display control program |
| JP2015115848A (en) * | 2013-12-13 | 2015-06-22 | セイコーエプソン株式会社 | Head-mounted type display device and method for controlling head-mounted type display device |
| US9898097B2 (en) | 2013-12-13 | 2018-02-20 | Seiko Epson Corporation | Information processing apparatus and control method of information processing apparatus |
| JP2015115849A (en) * | 2013-12-13 | 2015-06-22 | セイコーエプソン株式会社 | Information processor and control method of the same |
| CN104714300A (en) * | 2013-12-13 | 2015-06-17 | 精工爱普生株式会社 | Head mounted display device and method of controlling head mounted display device |
| JP2017058971A (en) * | 2015-09-16 | 2017-03-23 | 株式会社バンダイナムコエンターテインメント | Program and image formation device |
| US10636212B2 (en) | 2015-09-16 | 2020-04-28 | Bandai Namco Entertainment Inc. | Method for generating image to be displayed on head tracking type virtual reality head mounted display and image generation device |
| WO2017104579A1 (en) * | 2015-12-17 | 2017-06-22 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and operation reception method |
| US20180348969A1 (en) * | 2015-12-17 | 2018-12-06 | Sony Interactive Entertainment Inc. | Information processing apparatus and operation reception method |
| US10620791B2 (en) | 2015-12-17 | 2020-04-14 | Sony Interactive Entertainment Inc. | Information processing apparatus and operation reception method |
| JP2017111669A (en) * | 2015-12-17 | 2017-06-22 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus and operation reception method |
| WO2017110632A1 (en) * | 2015-12-21 | 2017-06-29 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and operation reception method |
| JP2017117008A (en) * | 2015-12-21 | 2017-06-29 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and operation reception method |
| JP2017004491A (en) * | 2016-01-20 | 2017-01-05 | 株式会社コロプラ | Floating graphical user interface |
| JP2018151855A (en) * | 2017-03-13 | 2018-09-27 | 株式会社コナミデジタルエンタテインメント | Display controller and program |
| WO2019176910A1 (en) * | 2018-03-14 | 2019-09-19 | 本田技研工業株式会社 | Information display device, information display method, and information display program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH07271546A (en) | Image display control method | |
| JP4533087B2 (en) | Image processing method and image processing apparatus | |
| Fuhrmann et al. | Occlusion in collaborative augmented environments | |
| CN116719413A (en) | Method for manipulating objects in an environment | |
| JP5839220B2 (en) | Information processing apparatus, information processing method, and program | |
| US20070132662A1 (en) | Information processing method, information processing apparatus, and image sensing apparatus | |
| US8098263B2 (en) | Image processing method and image processing apparatus | |
| US11954268B2 (en) | Augmented reality eyewear 3D painting | |
| Pastoor et al. | An experimental multimedia system allowing 3-D visualization and eye-controlled interaction without user-worn devices | |
| WO2014016987A1 (en) | Three-dimensional user-interface device, and three-dimensional operation method | |
| KR20130108643A (en) | Systems and methods for a gaze and gesture interface | |
| JPH0764709A (en) | Instruction processor | |
| JPH10134069A (en) | Information retrieval device | |
| EP0743589B1 (en) | Interactive image generation method and apparatus | |
| JP2010257081A (en) | Image procession method and image processing system | |
| WO2017122270A1 (en) | Image display device | |
| WO2022005715A1 (en) | Augmented reality eyewear with 3d costumes | |
| US20040046747A1 (en) | Providing input signals | |
| US6714198B2 (en) | Program and apparatus for displaying graphical objects | |
| KR20190100133A (en) | Apparatus and method for providing augmented reality contents | |
| JP3413145B2 (en) | Virtual space editing method and virtual space editing device | |
| JP2006343954A (en) | Image processing method and image processor | |
| JP2005148844A (en) | Display system | |
| JPH04127279A (en) | Device and method for kinetic path generation of object | |
| Kim et al. | A tangible user interface system for CAVE applicat |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20010605 |