JP4272711B2 - 画像生成方法及び装置 - Google Patents
画像生成方法及び装置 Download PDFInfo
- Publication number
- JP4272711B2 JP4272711B2 JP11574695A JP11574695A JP4272711B2 JP 4272711 B2 JP4272711 B2 JP 4272711B2 JP 11574695 A JP11574695 A JP 11574695A JP 11574695 A JP11574695 A JP 11574695A JP 4272711 B2 JP4272711 B2 JP 4272711B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- coordinate system
- dimensional space
- graphic
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Description
【０００１】
【産業上の利用分野】
本発明は、画像生成方法及び装置に関し、特に、コンピュータによってフォント・平面図形・立体形状等の幾何図形データとその色や模様等の属性データ及び照明に関するデータ・投影に関するデータ等の情景記述データを解釈し、また、操作者の対話的操作指示により各情景データに変更を加え、毎秒数フレーム以上の短い時間間隔で新しい画像を計算・生成し、表示画面を逐次更新する対話型の画像生成方法及び装置に関するものである。
【０００２】
【従来の技術】
従来、対話型の画像生成装置において、３次元の仮想空間中に定義され、表示装置画面に表示された複数の図形の中から、位置や姿勢またはその他の属性等を変更しようとする図形を操作者が選択する場合、マウスやその他の３次元入力装置を手によって操作し、図形が定義されている空間に表示される３次元指標を、目標とする図形の位置まで移動することによって指示していた。
【０００３】
【発明が解決しようとしている課題】
このとき、上述の様な従来の方式では、実際の３次元空間で操作者が入力装置を手で操作する時の移動量及び移動方向と、画面に表示されている仮想空間における３次元指標の移動量及び移動方向の視覚的な空間間隔との間にずれがあるために、目的の図形を指示する操作は一般に試行錯誤的であった。
【０００４】
また、仮想空間における目的の図形と３次元指標との空間的前後関係が把握しにくく、目的の図形を指示する操作は一般的に試行錯誤的であった。
【０００５】
本発明は、対話型の画像生成装置において、３次元の仮想空間中に定義され、表示装置画面に表示された複数の図形の中から、位置や姿勢またはその他の属性等を変更しようとする図形を操作者が選択する場合、操作者の視線方向によって選択しようとする図形を指示することを目的とする。更に、選択しようとする図形を使用者が見るという直接的な動作を加えることによって、手の動作による間接的な指示操作だけを要することなく、図形及び図形の各点の座標点を変換する際の座標変換原点の迅速な選択を可能ならしめることを目的とする。
【０００６】
また、本発明は、上記欠点を解決するべくなされたものであり、３次元の仮想空間中に定義され、表示装置画面に表示された複数の図形の中から、位置や姿勢またはその他の属性等を変更しようとする図形を操作者が選択するとき、良好な操作性を有する対話型の画像生成方法及び装置を提供する。
【０００７】
【課題を解決するための手段及び作用】
上記課題を解決するために、本発明の画像生成方法は、表示画面に、第１の３次元空間の座標系に基づく図形を表示する図形表示工程と、操作者の視点位置を第２の３次元空間の座標系により求める視点位置計測工程と、前記視点位置計測工程で求めた視点位置を、前記第１の３次元空間の座標系に変換する座標系変換工程と、前記操作者の視点位置からの注視方向を求める注視方向計測工程と、前記注視方向と表示されている図形とが交差している点の前記第１の３次元空間の座標系における座標値を求める注視位置決定工程と、前記注視位置決定工程で求められた前記第１の３次元空間の座標系における前記座標値を用いて、記注視位置決定工程で決定された点に表示されている図形を選択し、該選択された図形を対象図形として登録する登録工程と、前記注視位置決定工程で求められた前記第１の３次元空間の座標系における前記座標値を座標変換原点として用いて、前記対象図形を構成する平面の頂点及び曲面の制御点及び前記座標変換原点の位置を、平行移動変換及び回転移動変換する座標点変換工程と、前記座標点変換工程で変換された座標点に基づく図形を前記表示画面に表示する変換図形表示工程とを有することを特徴とする。
【０００８】
また、本発明の画像生成装置は、表示画面に、第１の３次元空間の座標系に基づく図形を表示する図形表示手段と、操作者の視点位置を第２の３次元空間の座標系により求める視点位置計測手段と、前記視点位置計測手段で求めた視点位置を、前記第１の３次元空間の座標系に変換する座標系変換手段と、前記操作者の視点位置からの注視方向を求める注視方向計測手段と、前記注視方向と表示されている図形とが交差している点の前記第１の３次元空間の座標系における座標値を求める注視位置決定手段と、前記注視位置決定手段で求められた前記第１の３次元空間の座標系における前記座標値を用いて、記注視位置決定手段で決定された点に表示されている図形を選択し、該選択された図形を対象図形として登録する登録手段と、前記注視位置決定手段で求められた前記第１の３次元空間の座標系における前記座標値を座標変換原点として用いて、前記対象図形を構成する平面の頂点及び曲面の制御点及び前記座標変換原点の位置を、平行移動変換及び回転移動変換する座標点変換手段と、前記座標点変換手段で変換された座標点に基づく図形を前記表示画面に表示する変換図形表示手段とを有することを特徴とする。
【０００９】
上記構成により、表示装置画面に表示された複数の図形の中から、位置や姿勢またはその他の属性等を変更しようとする図形を操作者が選択する場合、操作者の視線方向によって選択使用とする図形を指示することができる。
【００１０】
【実施例】
以下、図面に基づいて、本発明の一実施例を、詳細に説明する。
【００１１】
（実施例１）
本実施例１の対話型の画像生成装置においては、操作者が頭部に装着した位置姿勢検出装置と、利き目付近に装着した眼球運動検出装置とによって、頭部の位置と姿勢、及び利き目の視線方向を計測し入力する。そして、これらの情報を基に、画像表示装置の画面を基準にした利き目の始点位置と視線方向とを算出する。さらに、この始点位置の幾何情報を、表示する図形を定義している３次元空間の座標系を基準とした表現に座標変換する。
【００１２】
次に、利き目の視線方向が、どの表示図形単位を指示しているかを判断する。
【００１３】
そして、利き目の視線方向が指示する図形単位と視線方向とが交差する３次元位置を算出する。
【００１４】
操作者の手に装着した指関節曲げ角度計測装置によって、手の各指関節の曲げ角度を計測し、曲げ角度群が、図形選択の指示を実行する合図となるものであると予め決めたジェスチャ、本実施例では「手を握る」という状態をなす角度の組み合わせであるかどうかを判断する。
【００１５】
図形選択操作実行ジェスチャが操作者によって行われたと判断した場合、図形が選択されている状態であることを示すフラグを立て、算出した注視点位置を、視線によって指示した図形単位を構成する頂点座標群が基底とする座標系上で操作作用原点として記録する。また、手に装着した３次元位置姿勢計測装置によって、このときの手の位置と姿勢とを操作初期位置として記録する。
【００１６】
図形が選択されている状態のとき、手に装着した３次元位置姿勢計測装置によって、手の位置と姿勢を計測し、操作初期位置との相対的な位置・姿勢の差分を求め、この差分を変換の量として、作用原点を座標変換原点として、選択図形を構成する頂点座標および作用原点に対し、平行移動変換及び回転変換を施す。
【００１７】
利き目の視点位置を投影原点として、透視投影図法に基づき、全ての図形単位の画像を生成し、その画像を視点位置を示すカーソルと共に画像表示装置に表示する。
【００１８】
図形選択モードである場合、手の各指関節の曲げ角度を計測し、予め図形選択モードを解除する合図であると定めたジェスチャ、本実施例では「手を開く」という状態をなす角度の組みあわせてあるかどうかを判断する。図形選択モードの解除のジェスチャが操作者によって行われたと判断した場合、図形選択モードを示すフラグを解除する。
【００１９】
以下に、本実施例１の画像生成装置の動作について詳細に説明する。
【００２０】
図１は、本実施例１にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【００２１】
図において、１０１は、画像を操作者に提示する為の画像表示装置であり、ＣＲＴ表示装置、ＬＣＤ表示装置等で構成される。
【００２２】
１０２は、フレームバッファであり、画像表示装置１０１に表示する画像データを記憶する。
【００２３】
１０３は、演算装置であり、記憶装置１０４に記憶された処理手順に従って処理を実行し、画像データを生成すると共に、各装置の制御を司る。演算装置１０３により生成された画像データは、フレームバッファ１０２に記憶される。
【００２４】
１０４は、演算装置１０３の処理手順及び処理に必要な情報を記憶する為の記憶装置であり、演算装置１０３の処理に要する計算作業用の記憶領域も提供する。
【００２５】
記憶装置１０４には、図５にて後述するフローチャートで表される制御プログラムと描画する図形に関するデータ及び処理に要するデータが格納される。
【００２６】
１０５は、位置計測装置であり、頭部用位置姿勢検出装置１０７からの信号及び手用位置姿勢検出装置１０８からの信号を解析し、基準信号発生装置１０６を基準にした操作者の頭部の位置及び姿勢と手の位置及び姿勢の情報を演算装置１０３に入力する。
【００２７】
１０６は、頭部用位置姿勢検出装置１０７及び手用位置姿勢検出装置１０８の基準となる信号を発生する為の基準信号発生装置である。
【００２８】
１０７は、頭部の位置及び姿勢を検出するための頭部用位置姿勢検出装置であり頭部に帽子やバンド等をにて固定する。
【００２９】
１０８は、操作者が操作に使用する手の位置及び姿勢を検出する為の手用位置姿勢検出装置であり、操作に使用する側の手の甲または手首等にバンドや手袋等にて固定する。
【００３０】
１０９は、視線方向計測装置であり、眼球運動検出装置１１０からの信号を解析し、頭部を基準にした視線方向の情報を演算装置１０３に入力する。
【００３１】
１１０は、操作者の利き目側眼球の視軸がどの方向を向いているのかを検出する眼球運動検出装置であり、眼鏡型フレーム等にて利き目側前方の視界を遮らない部分に装着する。
【００３２】
１１１は、手関節状態計測装置であり、指関節曲げ角検出装置１１２からの信号を解析し、操作者の各指関節の曲げ角度の情報を演算装置１０３に入力する。
【００３３】
１１２は、指関節曲げ角度検出装置であり、操作者が操作に使用する側の手の主な指関節部分に、手袋等によって装着する。
【００３４】
図２は、本実施例１にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【００３５】
図において、基準信号発生装置１０６は、画像表示装置１０１の上部に固定される。画像表示装置１０１に対して相対的に位置を固定する他の方法によって基準信号発生装置１０６を配置してもよい。例えば、画像表示装置１０１を固定する台の上に基準信号発生装置１０６を固定することができる。
【００３６】
また、頭部用位置姿勢検出装置１０７と眼球運動検出装置１１０は、眼鏡フレーム状の支持具２０４によって操作者の頭部に固定される。眼鏡運動検出装置１１０は、操作者の利き目側の眼球の前面の視界を遮らない位置に、検出装置類固定支持具２０４によって装着される。
【００３７】
図３に、検出装置類固定支持具２０４の構成を示し、図４に指関節曲げ角度検出装置装着具を示す。
【００３８】
再び、図２において、指関節曲げ角度検出装置１１２は、手袋状の指関節曲げ角度検出装置装着具２０５によって操作者の手の２０３の主な関節部に固定される。また、手用位置姿勢検出装置１０８も装着具２０５によって操作者の手の甲に固定される。または、手用位置姿勢検出装置１０８はベルトによって操作者の手首に固定されてよい。
【００３９】
その他の装置は、任意の適当な場所に配置されるものとする。
【００４０】
図５は、本実施例１における画像生成処理の流れを表すフローチャートである。
【００４１】
各ステップにおける処理の詳細を順を追って説明する。
【００４２】
まず、ステップ５０１において、位置計測装置１０５によって、基準信号発生装置１０６の位置と姿勢とを基準にした、頭部用位置姿勢検出装置１０７の位置及び姿勢を計測する。さらに、頭部用位置姿勢検出装置１０７の位置座標と姿勢情報とを、表示する図形データを定義している座標系における表現に座標変換し、これを操作者頭部の位置座標及び姿勢情報とする。
【００４３】
ステップ５０２において、操作者の利き目視点位置２０２を、図形データを定義する座標系を基準として算出する。利き目視点位置２０２について、頭部用位置姿勢検出装置１０７の位置と姿勢とを基準とした相対的なその座標値をオフセットとして予め記憶しておき、ステップ５０１において求めた頭部用位置姿勢検出装置１０７の位置座標にこれらのオフセットを加算することによって、利き目視点位置２０２を決定する。
【００４４】
ステップ５０３において、眼球運動検出装置１１０からの信号を視線方向計測装置１０９によって解析したベクトル情報と、ステップ５０１で求めた操作者頭部の姿勢情報とによって、図形データを定義する座標系を基準とした視線方向を算出する。
【００４５】
図６に操作者の視線方向と画像表示面及び図形等の位置関係を示す。
【００４６】
ステップ５０４において、手指の各関節に装着した指関節曲げ角度検出装置１１２からの信号を手関節状態計測装置１１１によって解析し、各関節の曲げ角度を計測する。
【００４７】
ステップ５０５において、各指関節の曲げ角度の組み合わせから、どのようなジェスチャが行われているかを調べる。
【００４８】
ステップ５０６において、現在操作対象として選択している図形単位がない場合には、手のジェスチャが「握る」であるかどうかをステップ５０７で判断する。
【００４９】
ステップ５０７の判断で、手のジェスチャが「握る」である場合には、操作対象とする図形を選択せよという指示が操作者によって行われたと判断し、操作対称図形を選択する処理であるステップ５０８から５１３を実行する。
【００５０】
ステップ５０８では、視線と表示図形との交差テストを行う。この交差テストでは、図形単位を構成する曲面または平面と、視線を表す半直線との交点が存在するかを計算する。図形単位のデータは、図７のような形式で図形データリストとして格納しておく。データリストの各図形データの項目は、図形データの識別番号、図形の種類、図形の幾何データ本体等からなる。
【００５１】
ステップ５０９では、交差する図形単位があるかどうか判断し、交差する場合には、ステップ５１０において、交差する図形対象を構成する曲面または平面と視線との交点の座標を求める。
【００５２】
ステップ５１１では、視点に最も近い交点を含む図形単位を操作する対象として登録する。
【００５３】
ステップ５１２では、視点に最も近い交点を座標変換の作用原点として登録する。
【００５４】
ステップ５１３では、手用位置姿勢検出装置１０８からの信号により位置姿勢計測装置１０５で手の位置姿勢を計測し、このときの位置と姿勢とを操作の初期位置として登録する。
【００５５】
前記ステップ５０６において、現在操作対象として選択している図形がある場合には、ステップ５１４において、手のジェスチャが「手を開く」であるかどうかを調べ、「手を開く」であった場合には、図形操作を終了する指示が操作者によりなされたと判断し、選択している図形を解放して何も選択していない状態にする。
【００５６】
前記ステップ５１４において、手のジェスチャが「手を開く」でない場合、手の位置と姿勢を手用位置姿勢検出装置１０８と基準信号発生装置１０６と位置姿勢計測装置１０５とによって計測し、ステップ５１３において登録した初期位置との差分を計算する。
【００５７】
ステップ５１７においては、前記ステップ５１６で求めた位置及び姿勢の差分を変換量として、登録してある作用原点を座標変換原点として、操作対象として選択し登録してある図形単位を構成する平面の頂点座標及び曲面の制御点座標及び作用原点の位置を、平行移動変換及び回転移動変換し、変換後の新しい座標値によって置き換える。
【００５８】
ステップ５１８では、前記ステップ５０２で求めた視点位置を投影原点として、透視投影図法に基づき全図形単位の画像を生成し、フレームバッファに画像記憶する。また、視線方向が表示装置画面上に交差する位置に、視線方向を示す指標となる小さな十字の図形の画像を生成する。この指標は他の形状であってもよい。
【００５９】
そして、ステップ５１９の画像表示処理において、フレームバッファ１０２に蓄積された画像を画像装置１０１に提示する。
【００６０】
ステップ５２０において、画像生成処理を終了せよという操作者の指示があるか否かを判断し、終了指示がなければ、ステップ５０１からの処理を繰り返す。また、終了指示があった場合には、処理を終了する。
【００６１】
このように、視線方向を選択したい対処に向け、手のジェスチャによる図形選択を実行する指示を行うことにより、迅速に操作対象の図形を選択することができる。
【００６２】
（他の実施例）
以下、本発明の他の実施例について説明する。
【００６３】
（実施例２）
次に、本発明の実施例２について説明する。
【００６４】
実施例１では、操作の対象として選択しようとする図形を、視線方向によって指示し、手のジェスチャによって図形を選択する操作を実行したが、本実施例２では操作者の音声を認識し、操作者の音声指示によって図形選択を実行する。
【００６５】
本実施例２の基本構成を図８に示す。
【００６６】
図８は、本実施例２にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【００６７】
本実施例２の基本構成は、実施例１の基本構成から指関節曲げ角度検出装置１１２と手関節状態計測装置１１１とを除去し、その変わりに音声入力装置８０２と音声認識装置８０１とを組み入れている。
【００６８】
音声入力装置８０２は、操作者の音声信号を得る為の装置であり、マイク等で構成される。
【００６９】
音声認識装置８０１は、操作書の音声指示を認識する装置であり、前記音声入力装置８０２から入力した音声信号を解析し、音声内容を示す文字情報を演算装置１０３に入力する。
【００７０】
本実施例２の検出装置類の配置を図９に示す。
【００７１】
図９は、本実施例２にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【００７２】
本実施例の配置は、実施例１の装置配置から指関節曲げ角度検出装置１１２と手関節状態計測装置１１１とを除去し、その代わりに音声入力装置８０２と音声認識装置８０１とを組み入れている。
【００７３】
音声入力装置８０２は、操作者の音声を入力し易い位置に設置する。また、手用位置姿勢検出装置１０８は、実施例１のように手に固定することなく、操作者が手に握って持っていてもよい。
【００７４】
本実施例２における画像生成処理の流れを表すフローチャートを図１０に示す。
【００７５】
本実施例２における画像生成処理の流れは、基本的に実施例１における処理の流れとほぼ同様であるが、ステップ９０４、９０５、９０７、９１４が異なる。
【００７６】
ステップ９０４では、音声入力装置８０２からの音声信号を入力し、ステップ９０５において音声信号を解析し、音声内容を示す文字列情報に変換する。
【００７７】
ステップ９０７では、音声指示が「ずけいせんたく」であった場合に、図形選択が指示されたと判断する。予め登録しておく音声指示は、、「ずけいせんたく」以外でも良い。ステップ９１４では、音声指示内容が「せんたくかいじょ」であった場合に、図形選択解除が指示されたと判断する。予め登録しておく音声指示は、「せんたくかいじょ」以外でもよい。
【００７８】
（実施例３）
次に、本発明の実施例３について説明する。
【００７９】
実施例１では、操作の対象として選択しようとする図形を視線方向によって指示し、手のジェスチャによって図形を選択する操作を実行したが、本実施例３では、操作者が手にしたボタンスイッチの状態を調べ、操作者が押したときに図形を選択実行する。
【００８０】
本実施例３の基本構成を図１１に示す。
【００８１】
図１１は、本実施例３にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【００８２】
本実施例３の基本構成は、実施例１の基本構成から指関節曲げ角度検出装置１１２と手関節状態計測装置１１１とを除去し、その代わりに押しボタンスイッチ１１０１を組み入れている。
【００８３】
押しボタンスイッチ１１０１は、操作者の操作によりオンかオフかの２状態を演算装置１０３に入力する。
【００８４】
本実施例３の検出装置類の配置を図１２に示す。
【００８５】
図１２は、本実施例３にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【００８６】
本実施例の配置は、実施例１の装置配置から指関節曲げ角度検出装置１１２と手関節状態計測装置１１１とを除去し、その代わりに押しボタンスイッチ１１０１を組み入れている。押しボタンスイッチ１１０１と手用位置姿勢検出装置１０８は、図１３に示すように、操作者が握るグリップ上に固定する。または、左手のスイッチ１１０１と位置センサ１０８とを分けて持っても良い。
【００８７】
本実施例３における画像生成処理の流れを表すフローチャートを図１４に示す。
【００８８】
本実施例３における画像生成処理の流れは、基本的に実施例１における処理の流れとほぼ同様であるが、ステップ１４０４、１４０７、１４１４が異なる。
【００８９】
ステップ１４０４では、押しボタンスイッチ１１０１の状態を調べる。
【００９０】
ステップ１４０７では、押しボタン１１０１の状態が以前はオフであったのがオンに変化した場合に、図形選択が指示されたと判断する。
【００９１】
ステップ１４１４では、押しボタン１１０１の状態が以前はオンであったのがオフに変化した場合に、図形選択が解除されたと判断する。
【００９２】
（実施例４）
次に、本発明の実施例３について説明する。
【００９３】
実施例１では、眼球運動検出装置１１０と視線方向計測装置１０９とを用いて操作者の視線方向を計測していたが、本実施例４では、操作者の頭部用位置姿勢検出装置１０７と位置生成計測装置１０５と基準信号発生装置１０６とによって計測される頭部正面方向を視線方向の代替情報として用いる。
【００９４】
本実施例４の基本構成を図１５に示す。
【００９５】
図１５は、本実施例５にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【００９６】
本実施例４の基本構成は、実施例１の基本構成から眼球運動検出装置１１０と視線方向計測装置１０９とを除いた配置である。
【００９７】
本実施例４の検出装置類の配置を図１６に示す。本実施例４の装置配置は、実施例１の基本構成から眼球運動検出装置１１０と視線方向計測装置１０９とを除いた配置である。
【００９８】
本実施例４における画像生成表示処理の流れを表すフローチャートは、実施例１と同様に図５によって表され、ステップ５０３を除く全てのステップにおける処理の詳細は、実施例１において説明した処理と同様である。
【００９９】
本実施例４におけるステップ５０３においては、利き目の視線方向は常に頭部正面に向いているという近似を行い、ステップ５０１で求めた頭部の姿勢から、その正面方向のベクトルを視線ベクトルに代入する。
【０１００】
以上、説明したように本実施例によれば、対話型の画像生成装置において、３次元の仮想空間中に定義され、表示装置画面に表示された複数の図形の中から、位置姿勢またはその他の属性等を変更しようとする図形を操作者が選択する場合、操作者の視線方向によって選択しようとする図形を指示することができるので、選択しようとする図形を見るという直接的な動作によって、手の動作による間接的な指示操作を要することなく、迅速な図形選択操作を可能ならしめることができる。
【０１０１】
【発明の効果】
以上説明したように、本発明よれば、表示画面に表示された３次元空間の座標系に基づく図形を選択する場合、選択しようとする図形を見るという直接的な動作によって、図形及び図形の各点の座標点を変換する際の座標変換原点の迅速な選択することが出来る。
【図面の簡単な説明】
【図１】本実施例１にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【図２】本実施例１にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【図３】検出装置類固定支持具２０４の構成を示す図である。
【図４】指関節曲げ角度検出装置装着具の構成を示す図である。
【図５】本実施例１における画像生成処理の流れを表すフルチャートである。
【図６】操作者の視線方向と画像表示面及び図形等の位置関係を示す図である。
【図７】図形データリストを示す図である。
【図８】本実施例２にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【図９】本実施例２にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【図１０】実施例２における画像生成処理の流れを表すフローチャートである。
【図１１】本実施例３にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【図１２】本実施例３にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【図１３】実施例３における操作グリップについて説明するための図である。
【図１４】本実施例３における画像生成処理の流れを表すフローチャートである。
【図１５】本実施例５にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【図１６】実施例４の検出装置類の配置を示す図である。
【符号の説明】
１０１ 画像表示装置
１０２ フレームバッファ
１０３ 演算装置
１０４ 記憶装置
１０５ 位置姿勢計測装置
１０６ 基準信号発生装置
１０７ 頭部用位置姿勢検出装置
１０８ 手用位置姿勢検出装置
１０９ 視線方向計測装置
１１０ 眼球運動検出装置
１１０ 手関節状態計測装置
１１２ 指関節曲げ角度検出装置
２０４ 検出装置類固定支持具
２０５ 指関節曲げ角度検出装置装着具
８０１ 音声認識装置
８０２ 音声入力装置
１１０１ 押しボタンスイッチ
１２０１ 操作用グリップ
【産業上の利用分野】
本発明は、画像生成方法及び装置に関し、特に、コンピュータによってフォント・平面図形・立体形状等の幾何図形データとその色や模様等の属性データ及び照明に関するデータ・投影に関するデータ等の情景記述データを解釈し、また、操作者の対話的操作指示により各情景データに変更を加え、毎秒数フレーム以上の短い時間間隔で新しい画像を計算・生成し、表示画面を逐次更新する対話型の画像生成方法及び装置に関するものである。
【０００２】
【従来の技術】
従来、対話型の画像生成装置において、３次元の仮想空間中に定義され、表示装置画面に表示された複数の図形の中から、位置や姿勢またはその他の属性等を変更しようとする図形を操作者が選択する場合、マウスやその他の３次元入力装置を手によって操作し、図形が定義されている空間に表示される３次元指標を、目標とする図形の位置まで移動することによって指示していた。
【０００３】
【発明が解決しようとしている課題】
このとき、上述の様な従来の方式では、実際の３次元空間で操作者が入力装置を手で操作する時の移動量及び移動方向と、画面に表示されている仮想空間における３次元指標の移動量及び移動方向の視覚的な空間間隔との間にずれがあるために、目的の図形を指示する操作は一般に試行錯誤的であった。
【０００４】
また、仮想空間における目的の図形と３次元指標との空間的前後関係が把握しにくく、目的の図形を指示する操作は一般的に試行錯誤的であった。
【０００５】
本発明は、対話型の画像生成装置において、３次元の仮想空間中に定義され、表示装置画面に表示された複数の図形の中から、位置や姿勢またはその他の属性等を変更しようとする図形を操作者が選択する場合、操作者の視線方向によって選択しようとする図形を指示することを目的とする。更に、選択しようとする図形を使用者が見るという直接的な動作を加えることによって、手の動作による間接的な指示操作だけを要することなく、図形及び図形の各点の座標点を変換する際の座標変換原点の迅速な選択を可能ならしめることを目的とする。
【０００６】
また、本発明は、上記欠点を解決するべくなされたものであり、３次元の仮想空間中に定義され、表示装置画面に表示された複数の図形の中から、位置や姿勢またはその他の属性等を変更しようとする図形を操作者が選択するとき、良好な操作性を有する対話型の画像生成方法及び装置を提供する。
【０００７】
【課題を解決するための手段及び作用】
上記課題を解決するために、本発明の画像生成方法は、表示画面に、第１の３次元空間の座標系に基づく図形を表示する図形表示工程と、操作者の視点位置を第２の３次元空間の座標系により求める視点位置計測工程と、前記視点位置計測工程で求めた視点位置を、前記第１の３次元空間の座標系に変換する座標系変換工程と、前記操作者の視点位置からの注視方向を求める注視方向計測工程と、前記注視方向と表示されている図形とが交差している点の前記第１の３次元空間の座標系における座標値を求める注視位置決定工程と、前記注視位置決定工程で求められた前記第１の３次元空間の座標系における前記座標値を用いて、記注視位置決定工程で決定された点に表示されている図形を選択し、該選択された図形を対象図形として登録する登録工程と、前記注視位置決定工程で求められた前記第１の３次元空間の座標系における前記座標値を座標変換原点として用いて、前記対象図形を構成する平面の頂点及び曲面の制御点及び前記座標変換原点の位置を、平行移動変換及び回転移動変換する座標点変換工程と、前記座標点変換工程で変換された座標点に基づく図形を前記表示画面に表示する変換図形表示工程とを有することを特徴とする。
【０００８】
また、本発明の画像生成装置は、表示画面に、第１の３次元空間の座標系に基づく図形を表示する図形表示手段と、操作者の視点位置を第２の３次元空間の座標系により求める視点位置計測手段と、前記視点位置計測手段で求めた視点位置を、前記第１の３次元空間の座標系に変換する座標系変換手段と、前記操作者の視点位置からの注視方向を求める注視方向計測手段と、前記注視方向と表示されている図形とが交差している点の前記第１の３次元空間の座標系における座標値を求める注視位置決定手段と、前記注視位置決定手段で求められた前記第１の３次元空間の座標系における前記座標値を用いて、記注視位置決定手段で決定された点に表示されている図形を選択し、該選択された図形を対象図形として登録する登録手段と、前記注視位置決定手段で求められた前記第１の３次元空間の座標系における前記座標値を座標変換原点として用いて、前記対象図形を構成する平面の頂点及び曲面の制御点及び前記座標変換原点の位置を、平行移動変換及び回転移動変換する座標点変換手段と、前記座標点変換手段で変換された座標点に基づく図形を前記表示画面に表示する変換図形表示手段とを有することを特徴とする。
【０００９】
上記構成により、表示装置画面に表示された複数の図形の中から、位置や姿勢またはその他の属性等を変更しようとする図形を操作者が選択する場合、操作者の視線方向によって選択使用とする図形を指示することができる。
【００１０】
【実施例】
以下、図面に基づいて、本発明の一実施例を、詳細に説明する。
【００１１】
（実施例１）
本実施例１の対話型の画像生成装置においては、操作者が頭部に装着した位置姿勢検出装置と、利き目付近に装着した眼球運動検出装置とによって、頭部の位置と姿勢、及び利き目の視線方向を計測し入力する。そして、これらの情報を基に、画像表示装置の画面を基準にした利き目の始点位置と視線方向とを算出する。さらに、この始点位置の幾何情報を、表示する図形を定義している３次元空間の座標系を基準とした表現に座標変換する。
【００１２】
次に、利き目の視線方向が、どの表示図形単位を指示しているかを判断する。
【００１３】
そして、利き目の視線方向が指示する図形単位と視線方向とが交差する３次元位置を算出する。
【００１４】
操作者の手に装着した指関節曲げ角度計測装置によって、手の各指関節の曲げ角度を計測し、曲げ角度群が、図形選択の指示を実行する合図となるものであると予め決めたジェスチャ、本実施例では「手を握る」という状態をなす角度の組み合わせであるかどうかを判断する。
【００１５】
図形選択操作実行ジェスチャが操作者によって行われたと判断した場合、図形が選択されている状態であることを示すフラグを立て、算出した注視点位置を、視線によって指示した図形単位を構成する頂点座標群が基底とする座標系上で操作作用原点として記録する。また、手に装着した３次元位置姿勢計測装置によって、このときの手の位置と姿勢とを操作初期位置として記録する。
【００１６】
図形が選択されている状態のとき、手に装着した３次元位置姿勢計測装置によって、手の位置と姿勢を計測し、操作初期位置との相対的な位置・姿勢の差分を求め、この差分を変換の量として、作用原点を座標変換原点として、選択図形を構成する頂点座標および作用原点に対し、平行移動変換及び回転変換を施す。
【００１７】
利き目の視点位置を投影原点として、透視投影図法に基づき、全ての図形単位の画像を生成し、その画像を視点位置を示すカーソルと共に画像表示装置に表示する。
【００１８】
図形選択モードである場合、手の各指関節の曲げ角度を計測し、予め図形選択モードを解除する合図であると定めたジェスチャ、本実施例では「手を開く」という状態をなす角度の組みあわせてあるかどうかを判断する。図形選択モードの解除のジェスチャが操作者によって行われたと判断した場合、図形選択モードを示すフラグを解除する。
【００１９】
以下に、本実施例１の画像生成装置の動作について詳細に説明する。
【００２０】
図１は、本実施例１にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【００２１】
図において、１０１は、画像を操作者に提示する為の画像表示装置であり、ＣＲＴ表示装置、ＬＣＤ表示装置等で構成される。
【００２２】
１０２は、フレームバッファであり、画像表示装置１０１に表示する画像データを記憶する。
【００２３】
１０３は、演算装置であり、記憶装置１０４に記憶された処理手順に従って処理を実行し、画像データを生成すると共に、各装置の制御を司る。演算装置１０３により生成された画像データは、フレームバッファ１０２に記憶される。
【００２４】
１０４は、演算装置１０３の処理手順及び処理に必要な情報を記憶する為の記憶装置であり、演算装置１０３の処理に要する計算作業用の記憶領域も提供する。
【００２５】
記憶装置１０４には、図５にて後述するフローチャートで表される制御プログラムと描画する図形に関するデータ及び処理に要するデータが格納される。
【００２６】
１０５は、位置計測装置であり、頭部用位置姿勢検出装置１０７からの信号及び手用位置姿勢検出装置１０８からの信号を解析し、基準信号発生装置１０６を基準にした操作者の頭部の位置及び姿勢と手の位置及び姿勢の情報を演算装置１０３に入力する。
【００２７】
１０６は、頭部用位置姿勢検出装置１０７及び手用位置姿勢検出装置１０８の基準となる信号を発生する為の基準信号発生装置である。
【００２８】
１０７は、頭部の位置及び姿勢を検出するための頭部用位置姿勢検出装置であり頭部に帽子やバンド等をにて固定する。
【００２９】
１０８は、操作者が操作に使用する手の位置及び姿勢を検出する為の手用位置姿勢検出装置であり、操作に使用する側の手の甲または手首等にバンドや手袋等にて固定する。
【００３０】
１０９は、視線方向計測装置であり、眼球運動検出装置１１０からの信号を解析し、頭部を基準にした視線方向の情報を演算装置１０３に入力する。
【００３１】
１１０は、操作者の利き目側眼球の視軸がどの方向を向いているのかを検出する眼球運動検出装置であり、眼鏡型フレーム等にて利き目側前方の視界を遮らない部分に装着する。
【００３２】
１１１は、手関節状態計測装置であり、指関節曲げ角検出装置１１２からの信号を解析し、操作者の各指関節の曲げ角度の情報を演算装置１０３に入力する。
【００３３】
１１２は、指関節曲げ角度検出装置であり、操作者が操作に使用する側の手の主な指関節部分に、手袋等によって装着する。
【００３４】
図２は、本実施例１にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【００３５】
図において、基準信号発生装置１０６は、画像表示装置１０１の上部に固定される。画像表示装置１０１に対して相対的に位置を固定する他の方法によって基準信号発生装置１０６を配置してもよい。例えば、画像表示装置１０１を固定する台の上に基準信号発生装置１０６を固定することができる。
【００３６】
また、頭部用位置姿勢検出装置１０７と眼球運動検出装置１１０は、眼鏡フレーム状の支持具２０４によって操作者の頭部に固定される。眼鏡運動検出装置１１０は、操作者の利き目側の眼球の前面の視界を遮らない位置に、検出装置類固定支持具２０４によって装着される。
【００３７】
図３に、検出装置類固定支持具２０４の構成を示し、図４に指関節曲げ角度検出装置装着具を示す。
【００３８】
再び、図２において、指関節曲げ角度検出装置１１２は、手袋状の指関節曲げ角度検出装置装着具２０５によって操作者の手の２０３の主な関節部に固定される。また、手用位置姿勢検出装置１０８も装着具２０５によって操作者の手の甲に固定される。または、手用位置姿勢検出装置１０８はベルトによって操作者の手首に固定されてよい。
【００３９】
その他の装置は、任意の適当な場所に配置されるものとする。
【００４０】
図５は、本実施例１における画像生成処理の流れを表すフローチャートである。
【００４１】
各ステップにおける処理の詳細を順を追って説明する。
【００４２】
まず、ステップ５０１において、位置計測装置１０５によって、基準信号発生装置１０６の位置と姿勢とを基準にした、頭部用位置姿勢検出装置１０７の位置及び姿勢を計測する。さらに、頭部用位置姿勢検出装置１０７の位置座標と姿勢情報とを、表示する図形データを定義している座標系における表現に座標変換し、これを操作者頭部の位置座標及び姿勢情報とする。
【００４３】
ステップ５０２において、操作者の利き目視点位置２０２を、図形データを定義する座標系を基準として算出する。利き目視点位置２０２について、頭部用位置姿勢検出装置１０７の位置と姿勢とを基準とした相対的なその座標値をオフセットとして予め記憶しておき、ステップ５０１において求めた頭部用位置姿勢検出装置１０７の位置座標にこれらのオフセットを加算することによって、利き目視点位置２０２を決定する。
【００４４】
ステップ５０３において、眼球運動検出装置１１０からの信号を視線方向計測装置１０９によって解析したベクトル情報と、ステップ５０１で求めた操作者頭部の姿勢情報とによって、図形データを定義する座標系を基準とした視線方向を算出する。
【００４５】
図６に操作者の視線方向と画像表示面及び図形等の位置関係を示す。
【００４６】
ステップ５０４において、手指の各関節に装着した指関節曲げ角度検出装置１１２からの信号を手関節状態計測装置１１１によって解析し、各関節の曲げ角度を計測する。
【００４７】
ステップ５０５において、各指関節の曲げ角度の組み合わせから、どのようなジェスチャが行われているかを調べる。
【００４８】
ステップ５０６において、現在操作対象として選択している図形単位がない場合には、手のジェスチャが「握る」であるかどうかをステップ５０７で判断する。
【００４９】
ステップ５０７の判断で、手のジェスチャが「握る」である場合には、操作対象とする図形を選択せよという指示が操作者によって行われたと判断し、操作対称図形を選択する処理であるステップ５０８から５１３を実行する。
【００５０】
ステップ５０８では、視線と表示図形との交差テストを行う。この交差テストでは、図形単位を構成する曲面または平面と、視線を表す半直線との交点が存在するかを計算する。図形単位のデータは、図７のような形式で図形データリストとして格納しておく。データリストの各図形データの項目は、図形データの識別番号、図形の種類、図形の幾何データ本体等からなる。
【００５１】
ステップ５０９では、交差する図形単位があるかどうか判断し、交差する場合には、ステップ５１０において、交差する図形対象を構成する曲面または平面と視線との交点の座標を求める。
【００５２】
ステップ５１１では、視点に最も近い交点を含む図形単位を操作する対象として登録する。
【００５３】
ステップ５１２では、視点に最も近い交点を座標変換の作用原点として登録する。
【００５４】
ステップ５１３では、手用位置姿勢検出装置１０８からの信号により位置姿勢計測装置１０５で手の位置姿勢を計測し、このときの位置と姿勢とを操作の初期位置として登録する。
【００５５】
前記ステップ５０６において、現在操作対象として選択している図形がある場合には、ステップ５１４において、手のジェスチャが「手を開く」であるかどうかを調べ、「手を開く」であった場合には、図形操作を終了する指示が操作者によりなされたと判断し、選択している図形を解放して何も選択していない状態にする。
【００５６】
前記ステップ５１４において、手のジェスチャが「手を開く」でない場合、手の位置と姿勢を手用位置姿勢検出装置１０８と基準信号発生装置１０６と位置姿勢計測装置１０５とによって計測し、ステップ５１３において登録した初期位置との差分を計算する。
【００５７】
ステップ５１７においては、前記ステップ５１６で求めた位置及び姿勢の差分を変換量として、登録してある作用原点を座標変換原点として、操作対象として選択し登録してある図形単位を構成する平面の頂点座標及び曲面の制御点座標及び作用原点の位置を、平行移動変換及び回転移動変換し、変換後の新しい座標値によって置き換える。
【００５８】
ステップ５１８では、前記ステップ５０２で求めた視点位置を投影原点として、透視投影図法に基づき全図形単位の画像を生成し、フレームバッファに画像記憶する。また、視線方向が表示装置画面上に交差する位置に、視線方向を示す指標となる小さな十字の図形の画像を生成する。この指標は他の形状であってもよい。
【００５９】
そして、ステップ５１９の画像表示処理において、フレームバッファ１０２に蓄積された画像を画像装置１０１に提示する。
【００６０】
ステップ５２０において、画像生成処理を終了せよという操作者の指示があるか否かを判断し、終了指示がなければ、ステップ５０１からの処理を繰り返す。また、終了指示があった場合には、処理を終了する。
【００６１】
このように、視線方向を選択したい対処に向け、手のジェスチャによる図形選択を実行する指示を行うことにより、迅速に操作対象の図形を選択することができる。
【００６２】
（他の実施例）
以下、本発明の他の実施例について説明する。
【００６３】
（実施例２）
次に、本発明の実施例２について説明する。
【００６４】
実施例１では、操作の対象として選択しようとする図形を、視線方向によって指示し、手のジェスチャによって図形を選択する操作を実行したが、本実施例２では操作者の音声を認識し、操作者の音声指示によって図形選択を実行する。
【００６５】
本実施例２の基本構成を図８に示す。
【００６６】
図８は、本実施例２にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【００６７】
本実施例２の基本構成は、実施例１の基本構成から指関節曲げ角度検出装置１１２と手関節状態計測装置１１１とを除去し、その変わりに音声入力装置８０２と音声認識装置８０１とを組み入れている。
【００６８】
音声入力装置８０２は、操作者の音声信号を得る為の装置であり、マイク等で構成される。
【００６９】
音声認識装置８０１は、操作書の音声指示を認識する装置であり、前記音声入力装置８０２から入力した音声信号を解析し、音声内容を示す文字情報を演算装置１０３に入力する。
【００７０】
本実施例２の検出装置類の配置を図９に示す。
【００７１】
図９は、本実施例２にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【００７２】
本実施例の配置は、実施例１の装置配置から指関節曲げ角度検出装置１１２と手関節状態計測装置１１１とを除去し、その代わりに音声入力装置８０２と音声認識装置８０１とを組み入れている。
【００７３】
音声入力装置８０２は、操作者の音声を入力し易い位置に設置する。また、手用位置姿勢検出装置１０８は、実施例１のように手に固定することなく、操作者が手に握って持っていてもよい。
【００７４】
本実施例２における画像生成処理の流れを表すフローチャートを図１０に示す。
【００７５】
本実施例２における画像生成処理の流れは、基本的に実施例１における処理の流れとほぼ同様であるが、ステップ９０４、９０５、９０７、９１４が異なる。
【００７６】
ステップ９０４では、音声入力装置８０２からの音声信号を入力し、ステップ９０５において音声信号を解析し、音声内容を示す文字列情報に変換する。
【００７７】
ステップ９０７では、音声指示が「ずけいせんたく」であった場合に、図形選択が指示されたと判断する。予め登録しておく音声指示は、、「ずけいせんたく」以外でも良い。ステップ９１４では、音声指示内容が「せんたくかいじょ」であった場合に、図形選択解除が指示されたと判断する。予め登録しておく音声指示は、「せんたくかいじょ」以外でもよい。
【００７８】
（実施例３）
次に、本発明の実施例３について説明する。
【００７９】
実施例１では、操作の対象として選択しようとする図形を視線方向によって指示し、手のジェスチャによって図形を選択する操作を実行したが、本実施例３では、操作者が手にしたボタンスイッチの状態を調べ、操作者が押したときに図形を選択実行する。
【００８０】
本実施例３の基本構成を図１１に示す。
【００８１】
図１１は、本実施例３にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【００８２】
本実施例３の基本構成は、実施例１の基本構成から指関節曲げ角度検出装置１１２と手関節状態計測装置１１１とを除去し、その代わりに押しボタンスイッチ１１０１を組み入れている。
【００８３】
押しボタンスイッチ１１０１は、操作者の操作によりオンかオフかの２状態を演算装置１０３に入力する。
【００８４】
本実施例３の検出装置類の配置を図１２に示す。
【００８５】
図１２は、本実施例３にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【００８６】
本実施例の配置は、実施例１の装置配置から指関節曲げ角度検出装置１１２と手関節状態計測装置１１１とを除去し、その代わりに押しボタンスイッチ１１０１を組み入れている。押しボタンスイッチ１１０１と手用位置姿勢検出装置１０８は、図１３に示すように、操作者が握るグリップ上に固定する。または、左手のスイッチ１１０１と位置センサ１０８とを分けて持っても良い。
【００８７】
本実施例３における画像生成処理の流れを表すフローチャートを図１４に示す。
【００８８】
本実施例３における画像生成処理の流れは、基本的に実施例１における処理の流れとほぼ同様であるが、ステップ１４０４、１４０７、１４１４が異なる。
【００８９】
ステップ１４０４では、押しボタンスイッチ１１０１の状態を調べる。
【００９０】
ステップ１４０７では、押しボタン１１０１の状態が以前はオフであったのがオンに変化した場合に、図形選択が指示されたと判断する。
【００９１】
ステップ１４１４では、押しボタン１１０１の状態が以前はオンであったのがオフに変化した場合に、図形選択が解除されたと判断する。
【００９２】
（実施例４）
次に、本発明の実施例３について説明する。
【００９３】
実施例１では、眼球運動検出装置１１０と視線方向計測装置１０９とを用いて操作者の視線方向を計測していたが、本実施例４では、操作者の頭部用位置姿勢検出装置１０７と位置生成計測装置１０５と基準信号発生装置１０６とによって計測される頭部正面方向を視線方向の代替情報として用いる。
【００９４】
本実施例４の基本構成を図１５に示す。
【００９５】
図１５は、本実施例５にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【００９６】
本実施例４の基本構成は、実施例１の基本構成から眼球運動検出装置１１０と視線方向計測装置１０９とを除いた配置である。
【００９７】
本実施例４の検出装置類の配置を図１６に示す。本実施例４の装置配置は、実施例１の基本構成から眼球運動検出装置１１０と視線方向計測装置１０９とを除いた配置である。
【００９８】
本実施例４における画像生成表示処理の流れを表すフローチャートは、実施例１と同様に図５によって表され、ステップ５０３を除く全てのステップにおける処理の詳細は、実施例１において説明した処理と同様である。
【００９９】
本実施例４におけるステップ５０３においては、利き目の視線方向は常に頭部正面に向いているという近似を行い、ステップ５０１で求めた頭部の姿勢から、その正面方向のベクトルを視線ベクトルに代入する。
【０１００】
以上、説明したように本実施例によれば、対話型の画像生成装置において、３次元の仮想空間中に定義され、表示装置画面に表示された複数の図形の中から、位置姿勢またはその他の属性等を変更しようとする図形を操作者が選択する場合、操作者の視線方向によって選択しようとする図形を指示することができるので、選択しようとする図形を見るという直接的な動作によって、手の動作による間接的な指示操作を要することなく、迅速な図形選択操作を可能ならしめることができる。
【０１０１】
【発明の効果】
以上説明したように、本発明よれば、表示画面に表示された３次元空間の座標系に基づく図形を選択する場合、選択しようとする図形を見るという直接的な動作によって、図形及び図形の各点の座標点を変換する際の座標変換原点の迅速な選択することが出来る。
【図面の簡単な説明】
【図１】本実施例１にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【図２】本実施例１にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【図３】検出装置類固定支持具２０４の構成を示す図である。
【図４】指関節曲げ角度検出装置装着具の構成を示す図である。
【図５】本実施例１における画像生成処理の流れを表すフルチャートである。
【図６】操作者の視線方向と画像表示面及び図形等の位置関係を示す図である。
【図７】図形データリストを示す図である。
【図８】本実施例２にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【図９】本実施例２にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【図１０】実施例２における画像生成処理の流れを表すフローチャートである。
【図１１】本実施例３にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【図１２】本実施例３にかかる対話型の画像生成装置を構成する検出装置類の概略配置について示す図である。
【図１３】実施例３における操作グリップについて説明するための図である。
【図１４】本実施例３における画像生成処理の流れを表すフローチャートである。
【図１５】本実施例５にかかる対話型の画像生成装置の基本構成を表すブロック図である。
【図１６】実施例４の検出装置類の配置を示す図である。
【符号の説明】
１０１ 画像表示装置
１０２ フレームバッファ
１０３ 演算装置
１０４ 記憶装置
１０５ 位置姿勢計測装置
１０６ 基準信号発生装置
１０７ 頭部用位置姿勢検出装置
１０８ 手用位置姿勢検出装置
１０９ 視線方向計測装置
１１０ 眼球運動検出装置
１１０ 手関節状態計測装置
１１２ 指関節曲げ角度検出装置
２０４ 検出装置類固定支持具
２０５ 指関節曲げ角度検出装置装着具
８０１ 音声認識装置
８０２ 音声入力装置
１１０１ 押しボタンスイッチ
１２０１ 操作用グリップ
Claims (3)
- 表示画面に、第１の３次元空間の座標系に基づく図形を表示する図形表示工程と、
操作者の視点位置を第２の３次元空間の座標系により求める視点位置計測工程と、
前記視点位置計測工程で求めた視点位置を、前記第１の３次元空間の座標系に変換する座標系変換工程と、
前記操作者の視点位置からの注視方向を求める注視方向計測工程と、
前記注視方向と表示されている図形とが交差している点の前記第１の３次元空間の座標系における座標値を求める注視位置決定工程と、
前記注視位置決定工程で求められた前記第１の３次元空間の座標系における前記座標値を用いて、記注視位置決定工程で決定された点に表示されている図形を選択し、該選択された図形を対象図形として登録する登録工程と、
前記注視位置決定工程で求められた前記第１の３次元空間の座標系における前記座標値を座標変換原点として用いて、前記対象図形を構成する平面の頂点及び曲面の制御点及び前記座標変換原点の位置を、平行移動変換及び回転移動変換する座標点変換工程と、
前記座標点変換工程で変換された座標点に基づく図形を前記表示画面に表示する変換図形表示工程とを有することを特徴とする画像生成方法。 - 操作者の音声を入力する音声入力工程と、
前記音声入力工程で入力された音声を認識する音声認識工程とを更に有し、
前記音声認識工程で認識された音声が、予め設定した登録を指示する音声と同じと判断した場合に、前記注視位置決定工程で図形と交差する点を求めることを特徴とする請求項１に記載の画像生成方法。 - 表示画面に、第１の３次元空間の座標系に基づく図形を表示する図形表示手段と、
操作者の視点位置を第２の３次元空間の座標系により求める視点位置計測手段と、
前記視点位置計測手段で求めた視点位置を、前記第１の３次元空間の座標系に変換する座標系変換手段と、
前記操作者の視点位置からの注視方向を求める注視方向計測手段と、
前記注視方向と表示されている図形とが交差している点の前記第１の３次元空間の座標系における座標値を求める注視位置決定手段と、
前記注視位置決定手段で求められた前記第１の３次元空間の座標系における前記座標値を用いて、記注視位置決定手段で決定された点に表示されている図形を選択し、該選択された図形を対象図形として登録する登録手段と、
前記注視位置決定手段で求められた前記第１の３次元空間の座標系における前記座標値を座標変換原点として用いて、前記対象図形を構成する平面の頂点及び曲面の制御点及び前記座標変換原点の位置を、平行移動変換及び回転移動変換する座標点変換手段と、
前記座標点変換手段で変換された座標点に基づく図形を前記表示画面に表示する変換図形表示手段とを有することを特徴とする画像生成装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11574695A JP4272711B2 (ja) | 1995-05-15 | 1995-05-15 | 画像生成方法及び装置 |
| US08/640,081 US6437794B1 (en) | 1995-05-15 | 1996-04-30 | Interactive image generation method and apparatus utilizing a determination of the visual point position of an operator |
| DE69623385T DE69623385T2 (de) | 1995-05-15 | 1996-04-30 | Interaktive Bilderzeugungsmethode und Gerät |
| EP96303015A EP0743589B1 (en) | 1995-05-15 | 1996-04-30 | Interactive image generation method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11574695A JP4272711B2 (ja) | 1995-05-15 | 1995-05-15 | 画像生成方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08314621A JPH08314621A (ja) | 1996-11-29 |
| JP4272711B2 true JP4272711B2 (ja) | 2009-06-03 |
Family
ID=14670036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11574695A Expired - Fee Related JP4272711B2 (ja) | 1995-05-15 | 1995-05-15 | 画像生成方法及び装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6437794B1 (ja) |
| EP (1) | EP0743589B1 (ja) |
| JP (1) | JP4272711B2 (ja) |
| DE (1) | DE69623385T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016034021A1 (en) * | 2014-09-02 | 2016-03-10 | Hong Kong Baptist University | Method and apparatus for eye gaze tracking |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6157382A (en) * | 1996-11-29 | 2000-12-05 | Canon Kabushiki Kaisha | Image display method and apparatus therefor |
| US6426740B1 (en) | 1997-08-27 | 2002-07-30 | Canon Kabushiki Kaisha | Visual-axis entry transmission apparatus and method therefor |
| JP2000163196A (ja) * | 1998-09-25 | 2000-06-16 | Sanyo Electric Co Ltd | ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 |
| GB2350005B (en) * | 1999-03-17 | 2003-01-08 | Canon Kk | Image processing apparatus |
| US6549935B1 (en) * | 1999-05-25 | 2003-04-15 | Silverbrook Research Pty Ltd | Method of distributing documents having common components to a plurality of destinations |
| US6931596B2 (en) * | 2001-03-05 | 2005-08-16 | Koninklijke Philips Electronics N.V. | Automatic positioning of display depending upon the viewer's location |
| US7295181B2 (en) * | 2001-09-06 | 2007-11-13 | Gunilla Alsio | Data input device |
| US11033821B2 (en) | 2003-09-02 | 2021-06-15 | Jeffrey D. Mullen | Systems and methods for location based games and employment of the same on location enabled devices |
| DK1607840T3 (da) * | 2004-06-18 | 2015-02-16 | Tobii Technology Ab | Øjenstyring af et computerapparat |
| US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
| US8392853B2 (en) * | 2009-07-17 | 2013-03-05 | Wxanalyst, Ltd. | Transparent interface used to independently manipulate and interrogate N-dimensional focus objects in virtual and real visualization systems |
| JP2011028366A (ja) * | 2009-07-22 | 2011-02-10 | Sony Corp | 操作制御装置および操作制御方法 |
| JP5614014B2 (ja) * | 2009-09-04 | 2014-10-29 | ソニー株式会社 | 情報処理装置、表示制御方法及び表示制御プログラム |
| CN101916338B (zh) * | 2010-09-08 | 2012-05-23 | 浙江大学 | 一种自适应的视点平滑滤波数据处理方法 |
| US9292089B1 (en) * | 2011-08-24 | 2016-03-22 | Amazon Technologies, Inc. | Gestural object selection |
| US9672747B2 (en) | 2015-06-15 | 2017-06-06 | WxOps, Inc. | Common operating environment for aircraft operations |
| JP2018101019A (ja) | 2016-12-19 | 2018-06-28 | セイコーエプソン株式会社 | 表示装置及び表示装置の制御方法 |
| JP6342038B1 (ja) * | 2017-05-26 | 2018-06-13 | 株式会社コロプラ | 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法 |
| DE102017220529A1 (de) * | 2017-11-17 | 2019-05-23 | Siemens Healthcare Gmbh | Verfahren zur Bedienung einer Blendeneinrichtung einer Röntgeneinrichtung und Röntgeneinrichtung |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59139433A (ja) * | 1983-01-28 | 1984-08-10 | Hitachi Ltd | 情報処理装置 |
| US4682159A (en) * | 1984-06-20 | 1987-07-21 | Personics Corporation | Apparatus and method for controlling a cursor on a computer display |
| GB2173079B (en) * | 1985-03-29 | 1988-05-18 | Ferranti Plc | Cursor display control apparatus |
| US4812829A (en) * | 1986-05-17 | 1989-03-14 | Hitachi, Ltd. | Three-dimensional display device and method for pointing displayed three-dimensional image |
| JPH02177766A (ja) | 1988-12-28 | 1990-07-10 | Canon Inc | ２値画像の階層的符号化方式 |
| CA2077173C (en) * | 1991-11-22 | 2003-04-22 | Michael Chen | Method and apparatus for direct manipulation of 3-d objects on computer displays |
| WO1993014454A1 (en) * | 1992-01-10 | 1993-07-22 | Foster-Miller, Inc. | A sensory integrated data interface |
| JP3199130B2 (ja) * | 1992-03-31 | 2001-08-13 | パイオニア株式会社 | ３次元座標入力装置 |
| JPH05346957A (ja) * | 1992-04-17 | 1993-12-27 | Hitachi Ltd | 形状特徴量提示装置および方法 |
| US5396590A (en) * | 1992-09-17 | 1995-03-07 | Apple Computer, Inc. | Non-modal method and apparatus for manipulating graphical objects |
| US5590062A (en) * | 1993-07-02 | 1996-12-31 | Matsushita Electric Industrial Co., Ltd. | Simulator for producing various living environments mainly for visual perception |
| JPH0749744A (ja) * | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | 頭部搭載型表示入力装置 |
| EP1326120B1 (en) * | 1993-08-12 | 2010-02-24 | Seiko Epson Corporation | Head-mounted image display device and data processing apparatus including the same |
| US5481622A (en) * | 1994-03-01 | 1996-01-02 | Rensselaer Polytechnic Institute | Eye tracking apparatus and method employing grayscale threshold values |
-
1995
- 1995-05-15 JP JP11574695A patent/JP4272711B2/ja not_active Expired - Fee Related
-
1996
- 1996-04-30 EP EP96303015A patent/EP0743589B1/en not_active Expired - Lifetime
- 1996-04-30 DE DE69623385T patent/DE69623385T2/de not_active Expired - Lifetime
- 1996-04-30 US US08/640,081 patent/US6437794B1/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016034021A1 (en) * | 2014-09-02 | 2016-03-10 | Hong Kong Baptist University | Method and apparatus for eye gaze tracking |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0743589A2 (en) | 1996-11-20 |
| EP0743589A3 (en) | 1997-11-12 |
| JPH08314621A (ja) | 1996-11-29 |
| EP0743589B1 (en) | 2002-09-04 |
| DE69623385T2 (de) | 2003-05-22 |
| US6437794B1 (en) | 2002-08-20 |
| DE69623385D1 (de) | 2002-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4272711B2 (ja) | 画像生成方法及び装置 | |
| JP4356983B2 (ja) | 画像処理方法、画像処理装置 | |
| JP5791976B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US7353081B2 (en) | Method and a system for programming an industrial robot | |
| US6020891A (en) | Apparatus for displaying three-dimensional virtual object and method of displaying the same | |
| CN107608507B (zh) | 弱光条件下机车部件的选定方法及机车辅助维修系统 | |
| JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
| US20070132662A1 (en) | Information processing method, information processing apparatus, and image sensing apparatus | |
| JP2000102036A (ja) | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 | |
| JP6618276B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
| JP2009169622A (ja) | 画像処理装置、画像処理方法 | |
| JPH1163927A (ja) | 頭部位置・姿勢の計測装置および作業監視装置 | |
| JP3559335B2 (ja) | 三次元画像処理装置 | |
| JP2002143094A (ja) | 視線検出装置 | |
| JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
| JP2008226279A (ja) | 仮想空間内位置指示装置 | |
| US20220331972A1 (en) | Robot Image Display Method, Recording Medium, And Robot Image Display System | |
| JP2006343954A (ja) | 画像処理方法、画像処理装置 | |
| JPH04210390A (ja) | ロボットハンドの遠隔操作システム | |
| CN108401452A (zh) | 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法 | |
| JP4186742B2 (ja) | 仮想空間内位置指示装置 | |
| JP2792842B2 (ja) | ロボット作業教示方法および装置 | |
| CN112182763A (zh) | 一种基于vr技术和动作捕捉技术的装配仿真方法 | |
| JP2009015648A (ja) | 画像処理装置、画像処理方法 | |
| JPH06301477A (ja) | ３次元空間に対する指示位置の入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040224 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050714 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050721 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060616 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081017 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090302 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140306 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |