JPH03109631A - ３次元グラフィックの接触感フィードバック装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［概要］ 本発明は、３次元グラフィックの接触感フィードバック
装置に関し、表示画面に表示された３次元グラフィック
を直接操作する際に、入力装置により操作されるカーソ
ル等が対象となる３次元図形に接触した時に、操作者の
手に反作用として直接フィードバックすることができる
３次元グラフィックの接触感フィードバック装置である
。

［産業上の利用分野］ 本発明は３次元グラフィックの接触感フィードバック装
置に関する。

近年、ＣＡＤ　（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｅ
ｓｉｇｎ）や、ソフトウェア設計等に、３次元グラフィ
ック技術が広（利用されている。その場合、ＣＲＴディ
スプレイ等の表示装置に図形を三次元表示して立体的に
物の形を表示し、その物の形状の理解を容易にしたり、
各種の技術分野における複雑な設計作業を容易化するこ
とが行われている。

３次元グラフィック（オブジェクトと称される）を直接
操作する入力装置も利用されるようになり、３次元位置
を指示するカーソル等を操作して特定のグラフィックを
対象とする処理が可能となっている。

［従来の技術］ 従来、表示装置上の図形に対して処理を施す場合、キー
ボード、マウス、ライトペン等の入力手段により特定の
位置を指示して各種の処理を行っていたが、これら従来
の手段では２次元座標のポインティングが主として行わ
れ、三次元の位置データや、三次元図形の奥行きのある
物を処理するための操作を行うことが困難であった。

これに対し、最近３次元画面のような奥行きのある画面
中に描かれた物体を立体的な動きをもつ入力装置（３次
元の入力装置）により捕捉して操作できるようになった
。そのような入力装置として例えば、データグローブ（
商品名）という装置がある。この装置は、手袋の６指に
先端で折り返された光ファイバが取りつけられ、指の折
れ曲がりの角度をファイバを通る光の量を測定して検出
し、手袋に取りつけた磁気発生器の出力を固定した磁気
センサにより測定して手の三次元的位置とねじれ角度に
対応する信号を検出して、データ信号を発生するもので
ある（例えば、日経エレクトロニクス１９８８年、１１
月１４日、第１０６頁参照）。

このような、３次元の入力装置では、３次元グラフィッ
クの画面上においてカーソル等の指示子を３次元的に操
作して、３次元図形の特定の対象物を指示（または接触
）して（対象物を入力装置で把握する操作を行う）、そ
の対象物について処理を行うことができる。

［発明が解決しようとする課題］ 上記した従来の３次元の入力装置では、仮にＣＲＴデイ
スプレィ上で３次元位置を表すカーソル等がオブジェク
トに接触（把握）したとしても、３次元画像が２次元平
面の表示画面に表示されているため、単にカーソルが画
面上のオブジェクトと重なっている状態であるのか、３
次元座標上（立体的な位置）で一致（カーソルとオブジ
ェクトが接触）しているのか明確に区別できない。

この場合、例えばオブジェクトとカーソルの３次元位置
が一致したことを従来公知の図形計算処理により検出し
て、接触したオブジェクトの色の変化等を表示すること
により操作者にフィードバックすることができるが、カ
ーソルを操作する操作者に対して接触した感覚を与える
ことはできない。

本発明は３次元グラフィックの表示画面を操作するシス
テムにおいて、オブジェクトに接触した時に接触感を操
作者の手に直接フィードバックすることができる３次元
グラフィックの接触感フィードバック装置を実現するこ
とを目的とする。

［課題を解決するための手段］ 第１図は本発明の基本構成図である。

第１図において、１０は３次元図形が表示された画面に
対して空間位置および操作指示が入力され、処理装置に
対してカーソル等の位置を表す信号や処理内容を指示す
る信号を出力する操作入力制御部、１０１は操作者によ
り操作され３次元の位置や処理の指示を表す信号を発生
する操作手段、１１はグラフィックデータの処理および
各部の制御を行う処理装置、１２は表示部、１３はグラ
フィック表示のための画像データおよびオブジェクトの
硬さ（柔らかさ）を含むオブジェクトデータを格納した
記憶部、１４は接触感フィードバック制御部、１５は本
体部を表す。

本発明は操作手段を操作して表示画面上でオブジェクト
を掴んだ場合、その接触感を操作者の手にフィードバッ
クするよう構成したものである。

［作用］ 表示部１２には立体的な奥行きをもつ物体や、多次元的
な要素を持つ情報を表す画像を三次元図形として表示さ
れる。この表示画面の中の特定の図形（オブジェクト）
に対して処理を行うために、操作手段１０１を操作する
。この操作手段１０１により３次元的な操作を行うと、
動きに応じた３次元の位置信号が操作入力制御部１０に
入力され、座標データに変換されカーソル制御部１１１
に入力する。

カーソル制御部１１１の出力は表示部１２に与えられて
、画面上のカーソル位Ｗ（３次元の位置を画面の２次元
座標に変換された位置）が移動する。操作者が操作手段
１０１を制御して、画面上の特定のオブジェクトを捕捉
（または把握）したい場合、カーソルを対象となるオブ
ジェクトに接触する位置に移動して、捕捉指示を操作手
段１０１から入力すると、操作入力制御部１０から処理
装置１１にその指示が与えられる。

処理装置１１０力−ソル制御部１１１は入力に応じてカ
ーソルの移動制御を行い、その座標データを一致検出部
１１３に出力する。他方表示図形発生部１１２は、表示
部１２へ出力する画面を発生するとともに、各オブジェ
クト図形のデータ（形状、座標）を一致検出部１１３に
出力する。

一致検出部１１３は、操作入力制御部１０から捕捉指示
が入力されると駆動され一致検出動作を行い、カーソル
制御部１１１からの座標信号と表示図形発生部１１２か
らのオブジェクト図形とが３次元位置で一致するかどう
かを判別する。一致が検出されると、当該オブジェクト
の属性を表すオブジェクトデータが記憶部１３から取り
出され、一致検出部１１３を介して接触感フィードバッ
ク制御部１４に出力される。

オブジェクトデータとしては、当該オブジェクトが表す
物の「硬さ」　（または柔らかさ）を表すデータを使用
する。

これにより、接触感フィードバック制御部１４は、一致
したことを表すデータにより、本体部１５を制御する０
本体部１５は、形状記憶合金で作られ、操作者の手に装
着して使用し、接触感フィードバック制御部１４が「硬
さ」データにより駆動されるとそれに対応して複数の形
状記憶合金により構成されたフィードバック装置の本体
部１５を駆動（記憶形状に戻るよう駆動）する。

その時接触感フィードバック制御部１４はオブジェクト
の「硬さ」データに対応した制御信号を本体部１５に供
給され、それに応じて形状記憶合金が変形して操作者の
手に対して反作用を与える。

これにより、操作者はオブジェクトを把握した感覚と同
時にオブジェクトの硬さの感覚を得ることができる。

上記の説明で、一致検出部１１３で一致を検出するとオ
ブジェクの「硬さ」を表すデータを出力したが、単純に
一致出力により接触感フィードバック制御部１４を駆動
して、本体部１５を動作させる構成とすることもできる
。

カーソルによりオブジェクトをポイント（把握）したら
、そのオブジェクトに関して更新、削除、回転、移動等
の処理を行うことができる。

［実施例］ 第２図は本発明の実施例のシステム構成図、第３図はフ
ィードバック制御部の実施例構成図、第４図は本体部の
実施例構成図、第５図は実施例の処理フロー図である。

第２図において、２０は図形で表した物体の「硬さ」の
データを含むオブジェクト形状情報ファイルが格納さた
ディスク装置、２１は処理装置（ＣＰＵおよびメモリ）
、２２はＣＲ７表示装置、２３は接触感フィードバック
装置、２４は操作入力制御装置、２５は操作入力装置を
表す。

操作入力装置２５と操作入力制御装置２４は、第１図の
操作手段１０１と操作入力制御部１０に対応し、３次元
の座標位置と操作指示を操作者の手の動きにより入力す
るものである。具体的な例として、既述したデータグロ
ーブ（商品名）を使用することができる。３次元の座標
の入力を他の手段（例えば、マウスによる２次元平面の
座標の他に奥行きのデータを入力する等による）を用い
ることもできる。

この実施例では、操作入力装置２５の動作に応じて表示
画面上に第２図のＣＲ７表示装置２２中に示す手の形状
のカーソルを移動させ、カーソルにより対象物と接触（
把握）した時に操作者の手等に対して接触感フィードバ
ック装置に作用を与えるものであり、更にその作用の強
さを対象物に応じて複数の段階の何れかとするものであ
る。

処理装置２１は、グラフィック作成処理のためのプログ
ラムおよびデータがディスク装？！ｌ１２０に格納され
、メモリにおいてグラフィックのデータの処理が行われ
、事象（立体的な物体や、多次元的な要素を持つ情報な
ど）を三次元の空間に表した種々の形態をとる図形につ
いて指定された処理を行って三次元グラフィックの作成
を行う。

三次元処理をされた三次元空間のデータは二次元画面の
表示データとしてＣＲＴ表示装置２２に表示される。こ
のＣＲＴ表示装置２２の表示画面の例では、２つの柱状
の物体の図形２２１．２２２が表示されている時に、操
作入力装置２５を操作してその動きに対応してカーソル
２２３を移動させて、カーソル２２３がオブジェクト２
２１に接触（把握）した状態を表示している。この時、
接触したことを処理装置において検出すると、そのオブ
ジェクトの「硬さ」を表すデータが、ディスク装置２０
に格納されたオブジェクト形状情報ファイルから取り出
されて、接触感フィードバック装Ｗ２３の制御部２３１
に入力され、操作者に対して接触感を与えるように本体
部２３２が駆動される。

第２図において、操作入力制御装置２４と処理装置２１
の間、及び接触感フィードバック装置２３と処理装置の
間は、図示しない公知のＲ３−２３２Ｃインタフエース
によるパケットデータの形式で送受信される。

接触感フィードバック装置２３の制御部２３１の実施例
構成を第３図に、本体部の実施例構成を第４図に示す。

第３図において、３０は直・並列変換回路であり、処理
装置２１からインタフェース（例えば、公知のＲ５２３
２Ｃインタフエース）により直列に伝送されるパケット
が入力される。パケットには、オブジェクトの硬さを表
すデータが含まれ、図の例では４ビツトのｒｌｌｌｏ」
　（第３図では右端を先頭にして表示している）により
表わされた硬さデータが入力されている。なお、この４
ビツトは、「硬さ」を１６段階（２’−１６）で表現す
るために使用され、二〇ｒｌ　１１０Ｊの場合は、ｒｏ
ｏｏｌＪが１番低いレベル（柔らかい）とすると１４番
目の硬さに相当する。

この直列のデータは並列に変換されて、各ビット信号は
各制御線１１〜１４に出力される。各制御線ｌ、〜２４
はそれぞれリレーＲＩ””’　Ｒａに接続され、各リレ
ーは対応する制御線に「１」が供給されると駆動され接
点を閉じる。第３図の状態は、制御線１１．ｉｔ、ｉｔ
コに「１ノ、制御線１４に「０」がそれぞれ供給される
ので、リレーＲ、、Ｒ，、Ｒ，が駆動され、リレーＲ４
は駆動されない。このため、接点ｒｌ　＊　　ｒｔ　ｌ
　　ｒｔが閉じ、電源線Ｂの電圧が出力線Ａ＋　、Ａｔ
　、Ａ３に供給される。この出力線は第４図に示す本体
部に供給される。

次に第４図に示す、本体部の実施例構成を説明する。

第４図において、４１〜４４は４本の合同な形状記憶合
金により構成する本体部である。但し、この本数は４本
以外の数であってもよく、硬さのレベルを多くしたけれ
ば更に本数を増やすことは自由である。

この本体部は、−本一本が細い合金がらなり、熱的に互
いに絶縁されている。合金は、人間の手の上（手の甲）
側に、例えば手袋の上に取り付けられ常温（リレースイ
ッチがオフ状態）では、手の動きに柔軟に追従する。

形状記憶合金は、公知の合金を使用し、常温での形状は
特になく、人間の手の動きに柔軟に対応することができ
る。そして、合金により定まる成る温度において、記憶
する形状（初期形状）を第４図Ｂ、に示すような形状（
手が多少間いた形状）となるように形作る。

また、形状記憶合金は、Ａ、に示すように、４１〜４４
の４つの線（または板）を用いて構成（４２〜４４は親
指部分だけ）し、制御部（第３図）からの出力線Ａ１〜
Ａ４に供給される信号に応じて駆動される。駆動される
と電流により熱が発生して、ある温度に達すると記憶形
状（第４図Ｂ、）に戻る作用が働く。制御部からの駆動
信号により駆動される（記憶形状に戻る）合金の数が増
えると、戻る時の力が大きくなり第４図Ｃ９に示す人の
手に対する反作用が大きくなる。

この操作者に対する作用は、第４図Ｃ３に示されており
、形状記憶合金が開く動作（第４図Ｂ。

参照）をすると人の手に対して反作用が働く。すなわち
、手の指を内側に曲げてものを掴もうとするとき、接触
情報により制御装置が駆動され、反対側に本体部の形状
が変形する。このときの反作用の強さは、複数の合金の
中の何個が駆動されるかに応じて異なり、反作用の力が
それに応じて複数の段階の何れかになる。この反作用の
力が、操作者に対して物体の硬さとなって感覚される。

第３図に示すように、制御部がｒｌｌｌＯＪのデータに
より線ＡＩ、Ａｔ　、Ａｓが駆動された場合、第４図に
示す対応する３本の形状記憶合金の線がそれぞれが同時
に各々の初期状態に戻るので、それを合計した作用に対
応する反作用が生じる。

第５図は実施例の処理フロー図である。

この処理は、第２図の処理装置において実行され、最初
にＣＲＴ上でカーソルがオブジェクトｎ（処理の対象と
なる図形）を握持（３次元の位置が一致）いるかを判断
する（ステップ５０）。もし、一致していることが判別
されると、オブジェクトｎに関する硬さ値データをオブ
ジェクト形状情報ファイル（第２図のディスク装置Ｆ２
０）から読み込み、上記したＲ５２３２Ｃインタフエー
スに出力する（ステップ５１）、この硬さ値データは上
記したフィードバック制御部（第３図）において展開（
並列化）され（ステップ５２）、制御部のリレー人力が
１″の部分だけリレーをＯＮにしくステップ５３）、リ
レーがＯＮになった分の本体部を動作させる。

上記の実施例の説明では、本体部の材料とじて形状記憶
合金を使用し、４本の線を用いることにより硬さを感覚
するようにしているが、他の同様な素子を使用すること
も可能であり、更に４本以外の個数の線を使用できるこ
とも明らかである。

そして、最も単純な形として単に接触したことを感覚さ
せるだけであれば、本体部を１本の線だけで構成できる
ことは当然である。さらに、上記実施例では、形状記憶
合金の線を使用しているが、薄い板状のもの等地の形態
の合金により実施することもできる。

本発明の応用は種々の分野で考えられる。例えばＣＡＤ
において構造物をＣＲＴデイスプレィ上で仮想的に構築
する場合は、構造物の構成部品を掴んで運ぶという実操
作惑を得ることができ、構成部品の硬さをフィードバッ
クすることができるので、硬い部品は下へ、柔らかい部
品は上へ、という正確な構築が可能となる。

また、ソフトウェア設計の例では、いわゆるビジュアル
・プログラミング（Ｖｉｓｕａｌ　Ｐｒｏｇｒａｌｌｍ
ｉｎｇ）において、グラフィック表現されたプログラム
モジュールを組み合わせてソフトウェア全体を構築する
場合に利用することができる。その場合、例えば、■モ
ジュールのソースコードの量をグラフィックの形状で表
現し、■モジュールの機能を色で表現し、■モジュール
の信頼度を硬さで表現する、ことが可能となる。この方
法によれば、ソフトウェア設計に関してより多くの情報
を同時に得ることができる。

［発明の効果］ 本発明によれば表示装置の画面上でカーソルによりオブ
ジェクトを掴んだ場合、その接触感が操作者の手にフィ
ードバックすることができる。また、オブジェクトの硬
さを設定することにより、硬さ・柔らかさという感触を
操作者に与えることができる。さらに、表示装置の画面
上での操作に現実感を与えることができ、３次元グラフ
ィックの操作性を向上することができる。

【図面の簡単な説明】

第１図は本発明の基本構成図、第２図は本発明の実施例
のシステム構成図、第３図はフィードバック制御部の実
施例構成図、第４図は本体部の実施例構成図、第５図は
実施例の処理フロー図である。 第１図中、 １０：操作入力制御部 １０１：操作手段 １１：処理装置 １２：表示部 １３：記憶部 １４：接触感フィードバック制御部 １５：本体部

Claims (1)

1. 【特許請求の範囲】 表示部の表示画面に複数の事象を３次元図形として表示
   する３次元グラフィックの接触通知方式において、 操作手段（１０１）の操作に対応して指示と空間位置を
   示す入力情報を発生する操作入力制御部（１０）と、 前記の操作手段（１０１）の操作により移動するカーソ
   ルと選択した図形とが空間位置で一致したことを検出す
   ると対応する出力データを発生する処理装置（１１）と
   、 前記出力データを受けて対応する制御信号を発生する接
   触感フィードバック制御部（１４）と、該制御信号によ
   り駆動され形状を変形して操作者の手に反作用を与える
   本体部（１５）とを備えることを特徴とする３次元グラ
   フィックの接触感フィードバック装置。