JPH0775993A - 操作状況報知装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、非接触で対象物に処置を施すための
操作する時に、その対象物の状態を音像の移動感及び拡
がり感の変化として聴覚で認識し、安全且つ正確で容易
な操作を可能にする操作状況報知装置を提供することを
目的とする。 【構成】本発明は、操作者が動作を指示する操作部２１
と、実際に作業を行う動作部２３と、操作部２１の操作
量を検出する操作量検出部２２と、動作部２３の動作状
態を検出するために複数設けられた動作検出部２４（接
触検出部２４ａ）と、動作部２３近傍に設けられたテレ
ビカメラとレンズで構成される撮影部３１と、得られた
映像信号と操作量と動作状態とを処理する信号処理部２
６及び距離検出部２７と、処理結果を画像表示するモニ
タ２８及び、音響信号に変換する音響信号制御部３０
と、音響信号を音として発生させるヘッドホン２９とで
構成される操作状況報知装置である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、対象物に対して遠隔
操作により種々の作業を行う操作装置に係り、特に操作
状態および動作状態を音像の位置により認識する操作状
況報知装置に関する。

【０００２】

【従来の技術】一般に、対象物に直接触れることができ
ず、遠隔操作により作業する装置は、操作者が操作する
操作部と、この操作によって対象物に対して、実際に作
業をおこなう動作部とから構成される。その対象物に作
業を行うために、対象物と操作者に介在し、動作を伝え
る装置として、以下のようなものがある。

【０００３】図１７には、従来のマニピュレータシステ
ムの概念を示す図である。このシステムは、センサを備
えた複数の回転軸を持ち、操作者が操作するマスタマニ
ピュレータ１と、操作者の操作量に応じて実際に作業を
おこなうスレーブマニピュレータ２と、マスタマニピュ
レータ１の動作とスレーブアーム２ａの動作が同じにな
るように処理をおこなう信号処理回路を含む制御系３、
動作状況を監視する環境監視装置４より構成されてい
る。このような従来例では、例えば、（”マスタスレー
ブマニピュレータシステムの高度バイラテル制御方式の
研究”機械技術研究所所報，Vol.46（1992），No. ２Ｐ
161-176 橋野著）がある。

【０００４】このような構成で操作者がマスタマニピュ
レータ１を任意に操作することにより、スレーブマニピ
ュレータ２で再現し、また、スレーブマニピュレータ２
が受ける外力をマスタマニピュレータ１を介して操作者
が直接力として受ける。

【０００５】上記のような一連のマニピュレータシステ
ムは、ロボットのマニピュレータシステムを始めとし
て、現在数多く発表されている。また、別の装置とし
て、内視鏡を用いた診察・治療がある。内視鏡の操作状
況を操作者に知らせるものとしては、「内視鏡の挿入深
さ報知装置」（特開昭５６−９７４２９号公報）があ
る。これは、図１８（ａ）に示すように、内視鏡５と、
マウスピースを兼ねた報知装置本体６と、信号変換器７
と、音声信号発生器８と、スピーカ９とで構成されてい
る。内視鏡５の挿入部の外周５ａには図１８（ｂ）に示
すように複数の表示体１０が付設されている。

【０００６】前記内視鏡５の挿入部５ａを体腔内に挿入
進退させる場合に、挿入部本体６と表示体１０とで内視
鏡５の挿入深さを検出し、信号変換した後、音声信号発
生器８とスピーカ９からなる音声発生手段を駆動し、内
視鏡の挿入深さを音声によって知らせるというものであ
る。

【０００７】この方法は、内視鏡を挿入，進退等の移動
させる場合には好適する。しかし、内視鏡にはこの他に
も、次に示すような複雑で慣れの必要な操作が多くあ
り、このための操作状況は従来の報知システムでは操作
者に知らせることは出来ない。

【０００８】図１９は、内視鏡を体内で操作する様子の
概略を模擬的に示したものである。内視鏡５が体内，例
えば胃１１内部に挿入された状況を示し、操作部５ｂを
操作することにより、内視鏡５の先端部が自在に曲がる
ように構成されており、任意の方向の診断等ができる。

【０００９】また図２０は、内視鏡を用いたポリープ切
除手術を一例として示す概略図である。ポリープ切除手
術は、図２０（ａ）に示すようにポリープ１２にスネア
（処置具）１３をかけ、スネア１３を徐々に絞り、図２
０（ｂ）に示すようにスネア１３が最適に絞られ、ポリ
ープ１２の血流が遮断されたところで、高周波を通電し
て切除するというものである。

【００１０】

【発明が解決しようとする課題】しかし、マニピュレー
タシステムのように間接的に作業をする遠隔操作システ
ムでは、実際の作業の状況をモニタだけで判断しようと
すると、モニタからは奥行きの情報が得られず、また、
対象物を掴んでいるときの力加減がわからないため、極
めて難しい操作となる。

【００１１】前述した従来のマニピュレータシステムで
は、マスタマニピュレータの操作者がスレーブ側から返
ってくる反力を感じられるように構成されている。すな
わち、対象物とスレーブマニピュレータが接触している
場合には、スレーブ側からマスタ側に反力として返って
くることにより、力のかかり具合を操作者が感じること
ができる。しかし接触していない時、例えば対象物にス
レーブを近付けていく場合などでは、スレーブ側からの
反力が得られず、奥行き感覚が確認できないモニタを見
ながら実行し、特に対象物に損傷を与えないように慎重
に作業を行うために操作は難しく、作業に時間がかか
り、操作者に掛かる負担が大きくなる。

【００１２】また前述したような接触して反力が得られ
る場合でも次のような課題がある。前述したマニピュレ
ータシステムは、操作系の増幅率や帰還率の変数を任意
な値に設定することができ、所望する反力が得られるよ
うな機能を有している。従って、操作者は、対象物の大
きさや硬さ等により、操作部の感覚を変えて、操作しや
すい好適な反力を得ている。例えば、非常に細いゴムホ
ースを操作している状況でも、操作部では太いパイプを
掴んでいるかのような感覚を呈示することができる。し
かし、常に操作しやすい変数に設定して操作をしている
場合には、実際の動作部の操作の絶対的な力が認識でき
なくなってしまうという問題が生じる。

【００１３】また前述したような内視鏡を用いた診断・
治療にも、以下のような同様な課題がある。内視鏡の先
端を曲げながら体内に挿入したり、任意方向を診察しよ
うとする時には、先端で観察される画像と内視鏡の挿入
抵抗のみを頼りに挿入操作をおこなっており、場合によ
っては図１９（ｂ）に示すように、内視鏡の先端が患者
の胃の内壁を圧迫して、苦痛を与える。

【００１４】また、ポリープ切除する時には、操作者に
はスネアで絞る操作感覚が伝わらないため、スネアで機
械的に絞り切ってしまわないよう内視鏡画像を確認しな
がら、慎重に操作することが求められる。

【００１５】このように従来の操作装置では、操作時に
対象物と動作部との位置関係、及び対象物への接触に対
して認識できず、正確な操作状況等を把握することはで
きなかった。そのため、速やかに、微妙でかつ正確な操
作をおこなうことは困難であり、さらには慎重な観察・
操作と相当の熟練度が求められていた。

【００１６】従って、操作者に対象物に対する操作状況
を報知し、認識させれば、より正確で危険の少ない操作
が可能となる。上述した操作状況に関する情報を報知す
る方法として、例えば対象物との接触状況を検出し、予
め設定した閾値を超えた時点で、ランプを点灯したり、
単純にブザーを鳴らす方法が考えられている。しかしな
がら、この方法では接触または非接触という２値的にし
か報知されていない。

【００１７】そこで本発明は、非接触で対象物に処置を
施すための操作する時に、その対象物の状態を音像の移
動感及び拡がり感の変化として聴覚で認識し、安全且つ
正確で容易な操作を可能にする操作状況報知装置を提供
することを目的とする。

【００１８】

【課題を解決するための手段】本発明は上記目的を達成
するために、対象物に対して遠隔操作により種々の作業
を行う操作装置に付設される操作状態及び動作状態を操
作者に報知する装置において、前記操作状態及び動作状
態を検出する検出手段と、前記検出手段からの検出結果
に基づき、音の高さ、強さ及び音色、音像の移動感及び
拡がり感が変化する音として発生させる音響信号再生手
段と、前記検出手段からの検出結果を画像として表示す
る表示手段とで構成される操作状況報知装置を提供す
る。

【００１９】

【作用】以上のような構成の操作状況報知装置は、操作
部の操作状態及び対象物に対して遠隔操作される動作部
の動作状態を、画像と共に音の高さ、強さおよび音色、
音像の移動感または拡がり感が変化する音として発生
し、操作者に操作状態と動作状態を認識させる。

【００２０】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。まず、本発明の概要について説明する。本
発明の操作状況報知装置は、直接触れることができない
対象物に対して、遠隔操作により所望の作業を行う際
に、その対象物の状態や装置の操作状態を認識するため
に音像の移動感および拡がり感の変化として報知するこ
とにより、より安全に、正確で容易な操作を可能にする
ものである。

【００２１】この操作状況報知装置が用いる音像に対し
て人間の聴覚には次に示すような性質のあることが音響
工学の分野で明らかにされている。第１に、両耳に同時
に音で報知する時、その信号の音圧レベル差（強度差）
により、音像を感じる位置が異なるという性質がある。
すなわち、 （１）両耳に同一音圧レベルの音を同時に報知すると、
音像は中央に定位する。 （２）両耳間にレベル差があれば、音像は中央よりもレ
ベルの大きい耳の方へ定位する。 （３）レベル差の変化に伴い、音像は移動する。

【００２２】第２に、両耳に、同一音圧レベルで報知す
る時、その音を報知する時間差により、音像を感じる位
置が異なるという性質がある。すなわち、 （１）両耳に同一音圧レベルの音を同時に報知すると、
音像は中央に定位する。 （２）両耳間信号に時間差があれば、音像は早い耳の方
へ定位する。 （３）時間差の変化に伴い、音像は移動する。

【００２３】この他、性質（１）の音圧レベル差法と性
質（２）の時間差法を同時に使うことにより、より微妙
な移動感を呈示できるようになる。第３に、両耳に報知
する音について、相互相関係数により、音像の拡がり感
が異なるという性質がある。２つの駆動信号をそれぞ
れ、ｐ（ｔ），ｑ（ｔ）とする時、相互相関係数φは、
次式で表される。

【００２４】

【数１】 とすると、 （１）相関係数が１、即ち２つの信号が等しい音を報知
すると、音像は中央の一点に集中して定位する。 （２）相関係数が減少するにつれ、音像は拡がって感じ
られ、相関係数が０のとき、拡がり感が最大となる。

【００２５】次に図１には、本発明による第１実施例と
しての操作状況報知装置を使用したマニピュレータシス
テムの構成を示す。このマニピュレータシステムにおい
て、操作部２１が動作部制御部２５を介して、実際に作
業を行う動作部２３に接続されている。さらに、操作部
２１と動作部２３には、それぞれ操作量検出部２２と該
動作部に複数設けられた動作検出部２４が接続され、操
作量と動作状態を検出している。この動作検出部２４に
は接触検出部２４ａが含まれている。

【００２６】また撮影部３１は、テレビカメラとレンズ
とで構成され、信号処理部２６と距離検出部２７に接続
され、さらに得られた画像をモニタ２８に表示する。前
記操作量検出部２２と動作検出部２４は、信号処理部２
６に接続され、さらに信号処理部２６はモニタ２８と、
音響信号制御部３０に接続されたヘッドホン２９に接続
されている。

【００２７】このように構成された操作状況報知装置の
動作について説明する。まず、操作者により操作部２１
が操作されると、動作部制御部２５に制御された動作部
２３が動作する。同時に、操作量検出部２２で操作量が
検出され、その信号は信号処理部２６に送られる。ま
た、動作検出部２４では、動作部の状況と接触状況が検
出され、信号処理部２６に送られる。

【００２８】前記動作検出部２４内の接触検出部２４ａ
は、対象物と動作部との接触の有無および、その把持す
る力の大きさを検出する。この接触検出部２４ａは、例
えば周知な圧電素子を利用すれば、接触の有無と把持力
が電圧値として、同時に検出できる。

【００２９】そして、撮影部３１は動作部２３や近傍の
対象物の状態を撮影する。その状態等をモニタ２８で映
像として表示すると、同時に、映像信号は信号処理部２
６、距離検出部２７にも送られ、対象物と動作部２３と
の距離を検出している。これには撮影部３１において、
レンズの合焦点を変化させたときの被写体のぼけ具合の
変化から被写体までの距離を求める手法、２組のカメラ
を用いて同一被写体で撮像し、左右像の違いから距離を
算出するステレオ法、特殊な光パターンを被写体に投影
してそのパターンから距離を算出する光パターン投影法
等が用いられている。

【００３０】次に前記信号処理部２６では、操作量検出
部２２と動作検出部２４で検出された操作量・動作状況
と、対象物と動作部との距離に応じて、ヘッドホン２９
で発生される音（信号）を生成する。音響信号制御部３
０は、例えば図１（ｂ）に示す信号発生源３２と増幅器
３３を利用することにより、信号処理部２６の出力に応
じた任意の周波数、音圧の音響信号を発生させることが
できる。信号発生源３２は、Ｖａｒｉａｂｌｅ Ｆｒｅ
ｑｕｅｎｃｙ Ｏｓｉｒｅｔｏｒやシンセサイザなど、
任意の周波数、帯域幅の信号が発生できるものであれば
何でもよい。

【００３１】次に、図２を参照して、この操作状況報知
装置の具体的な動作と効果を説明する。ここで、図２
（ａ）は対象物３４とスレーブマニピュレータ３５が離
れているときの状態を示し、図２（ｂ）は対象物３４と
スレーブマニピュレータ３５が徐々に近付く状態を示
し、図２（ｃ）はスレーブマニピュレータ３５が対象物
に触れた状態を示している。

【００３２】このスレーブマニピュレータ３５には、図
１に示した動作検出部２４が設けられ、動作状況と把持
力を検出している。本実施例では、スレーブマニピュレ
ータ３５が操作されて対象物３４に接近し、掴む過程
を、図１に示したヘッドホンで発生する音の高さと強さ
により表現する。すなわち、発生する音の周波数および
音圧レベルを変化させることにより音の高さ、音色と強
さを制御する。

【００３３】まず、図２（ａ）のような状態の場合は、
対象物３４とマニピュレータ３５が離れているときに
は、ヘッドホンには低い周波数の音すなわち低い音を呈
示する。次に図２（ｂ）に示すように対象物３４とマニ
ピュレータ３５が近付くにつれて、発生する音の周波数
を高くしていく。図２（ｃ）のように更に接近し、対象
物３４に触れたときには音色を変える。更に把持力が大
きくなることに応じて、発生音の音圧レベルも高くす
る。音色を変えるとは、例えば対象物３４とマニピュレ
ータ３５が離れているときには、純音や狭帯域の雑音を
用い、接触したときにはホワイトノイズとすればよい。

【００３４】このような操作状況報知装置を用いて、ヘ
ッドホンで発生する音の周波数および音圧レベルを変化
させて、音の高さ、音色と強さを制御することにより、
マニピュレータの動作状況を操作者が認識できるので、
より正確で容易な操作が可能になる。

【００３５】また、操作中には映像をズーミングにより
広角及び拡大して動作部を見やすくするが、ズームの切
り替えにより、絶対的な距離が分かり難くなる時があ
る。そこで本実施例のように対象物とマニピュレータの
距離に応じて発生する音の周波数を予め設定しておくこ
とにより、その音により状況を認識できる。

【００３６】またヘッドホンには、大別して密閉型、開
放型、挿入型の３種類があるが、そのうちのどれを使っ
てもよい。密閉型は、外部との遮音性が良いため、外部
騒音の大きな場所での使用や外部への音漏れを防止する
場合に適している。開放型は、外部の音がよく聴こえる
ので、操作者が補助者と会話しながら操作をする場合な
どに適している。また挿入型は、装着感が少ないという
利点がある。

【００３７】次に図３には、本発明による第２実施例と
しての操作状況報知装置の構成を示し説明する。ここで
第２実施例の構成部材で図１に示した部材には同じ参照
符号を付してその説明を省略する。

【００３８】この実施例では、前述した第１実施例のヘ
ッドホンを骨導音を発生する装置（以下、骨導ヘッドホ
ンという）に置き換え、動作検出部４２に距離検出部４
２１ａを用いた構成となっている。

【００３９】第２実施例における音響信号制御部３０
は、例えば図３（ｂ）に示す信号発生源４３と増幅器４
４と２系統の残響合成回路４５を利用すればよい。この
ような構成により、相関度の異なる任意の２信号を発生
させることができる。これらの残響合成回路４５は、右
チャンネル用残響合成回路４５ａ、左チャンネル用残響
合成回路４５ｂ、ゲインＧを可変できる減衰器４６ａ，
４６ｂ及び、遅延時間τの遅延素子４７ａ，４７ｂで構
成される。

【００４０】このような２系統の残響合成回路４５ａ，
４５ｂにより出力される２信号の相互相関係数Φは下式
に示すように残響合成回路の可変減衰器４６ａ，４６ｂ
のゲインＧを変えることにより可変できる。

【００４１】Φ＝（３Ｇ² −１）／（１＋Ｇ² ） 従って可変減衰器４６ａ，４６ｂのゲインＧ＝１の時
は、出力される２信号の相互相関係数はΦ＝１となる。
またゲインＧ＝０．６の時には、相互相関係数はΦ＝０
となる。

【００４２】次に、前記骨導ヘッドホン４１について説
明する。通常、音を聞く時、音波は外耳道の中の空気を
伝わり、中耳の鼓膜や耳小骨を介して内耳の蝸牛に伝え
られている。聴覚には、これとは異なり、音波を頭蓋骨
を通して直接蝸牛に伝わる機能もあり、これを骨導また
は骨伝導と称している。本実施例では骨導音を発生する
骨導ヘッドホンを用い、耳の後ろの乳様突起部または前
頭部に接触するように装着する。

【００４３】前記動作部２３の近傍に設けた動作検出部
４２では、動作部の動作状況と把持力、対象物と動作部
との距離を測定する。距離検出部４２ａとしては、例え
ば、超音波をもちいた距離センサを用いればよい。これ
はセンサから超音波を出して測定対象に反射し戻ってく
るまでの時間Ｔから、距離Ｒを求めるというものであ
る。距離Ｒは空気中の音速をＶとすると、次式で求めら
れる。

【００４４】Ｒ＝ＶＴ／２ 次に、図４を参照して、本実施例の操作状況報知装置の
具体的な動作と効果を説明する。図４（ａ）は対象物４
８を掴む際のスレーブマニピュレータ４９の先端が開い
ているときの状態を示し、図４（ｂ）は先端が少し閉じ
たときの状態を示し、図４（ｃ）はスレーブマニピュレ
ータ４９の先端が全部閉じて対象物４８を掴んだ状態を
示している。

【００４５】この実施例では、スレーブマニピュレータ
が操作されて対象物をつかむ時、その動作を音像の拡が
り感で認識する。具体的には、前述したような人間の聴
覚におけるの性質（３）を用いる。すなわち、音響信号
制御部３０の残響合成回路４５ａ，４５ｂ中の可変減衰
器４６ａ，４６ｂのゲインＧを変えることにより、両耳
への音の相互相関係数を制御し、音像の心理的拡がり感
を変化させる。

【００４６】従って、図４（ａ）に示すようにスレーブ
マニピュレータ４９の先端が開いたままの時には、ゲイ
ンＧ＝０．６にすることにより相関係数を“０”にし
て、拡がり感を大きくする。そして図４（ｂ）に示すよ
うに、先端が閉じるにつれ、ゲインＧを大きくして相関
係数を“０〜１”の間で大きくし、拡がり感を小さくす
る。さらに図４（ｃ）に示すように先端を完全に閉じ
て、対象物を掴んだときには、ゲインＧ＝１にすること
により相関係数を“１”に設定し、拡がり感を最小にす
る。

【００４７】このように、音響信号の相互相関係数を変
化させて、音像の拡がり感を制御する音を骨導ヘッドホ
ンで発生することにより、マニピュレータの動作状況を
操作者に報知できるので、より正確で容易な操作が可能
になる。

【００４８】また、骨導ヘッドホンを用いることによ
り、（１）騒音のある場所でも確実に操作状況を操作者
に知らせることが出来る、（２）外部への音漏れがな
い、（３）耳介に装着しないので、通常と同じ様に補助
者や患者等と会話が出来る、等の特長がある。

【００４９】さらに残響を付加して２信号の相互相関係
数を制御するため、骨導ヘッドホンを用いた時に生じる
頭内定位現象を少なくできる。もちろん通常のヘッドホ
ンを用いたときでも、同様に頭内定位現象を軽減するこ
とができる。

【００５０】次に図５には、本発明による第３実施例の
操作状況報知装置を使用した内視鏡システムの構成例を
示し説明する。本実施例における内視鏡は、図示された
スネア操作部５１と、スネア動作部５２と、動作検出部
５３と、撮像部５４と、モニタ５６と、ヘッドホン５５
とで構成されている。

【００５１】図６は、本実施例の全体の構成と信号の流
れを説明するものである。本実施例における内視鏡シス
テムは、スネア操作部６１と、スネア先端の動作部６２
と、動作検出部６３と、動作部制御部６４と、信号処理
部６５と、モニタ６６とモニタ制御部６７と、ヘッドホ
ン６８とその音響信号制御部６９と、撮像部７０で構成
されている。

【００５２】前記モニタ制御部６７にはスーパーインポ
ーズのための処理部６７ａが含まれており、信号処理部
６５からの信号に基づいて、動作部の状態を撮影した信
号と合わせてモニタ用の映像信号を出力する。

【００５３】前記音響信号制御部６９は、前述した図１
（ｂ）に示した信号発生源３２と増幅器３３を利用する
ことにより、任意の周波数、電圧の音響信号を発生させ
ることができる。

【００５４】また動作検出部６３では、スネアの動作、
具体的にはスネアがポリープをどのくらいの強さで絞っ
ているか、高周波通電によるポリープ切除に適した状態
まで絞ったか否か検出される。

【００５５】図７には前記動作検出部６３の一例を示
す。この動作検出部６３は、シリンダ７１、圧電素子７
２、部材７３ａ，７３ｂ、ばね７４とで構成する。ワイ
ヤ７５は、圧電素子７２、部材７３ａの中心に設けた穴
を通り、部材７３ｂに固定されている。また、圧電素子
７２と部材７３ｂとの間には、ストロークに余裕を持た
せるための緩衝用のあそびのばね７４を設ける。ワイヤ
７５は、操作者の操作により、図の矢印の方向に引かれ
る。

【００５６】次に、このような動作検出部６３の実際の
動作について説明する。まず、操作者の操作により、ワ
イヤ７５は図の矢印の方向に引かれる。すると、シリン
ダ７１内の部材７３ｂは、ワイヤ７５に引かれ、ばね７
４を押し縮め、圧電素子７２を押す。その後、圧電素子
７２には圧電効果が生じ、応力に比例した電圧が発生す
る。その出力電圧をもとに、ワイヤ７５の引かれる強さ
が検出される。

【００５７】次に図８を参照して、このような構成の操
作状況報知装置の具体的な動作と効果を説明する。図８
（ａ）はポリープ８１にスネア８２をかけた状態と、そ
の時の音信号タイミングを示し、図８（ｂ）及び図８
（ｃ）はスネア８２が絞られつつある状態及び音信号タ
イミングを示し、図８（ｄ）はポリープ８１が切除に適
するまで絞られた状態及び音信号タイミングを示す。ま
た、スネア８２の近傍には動作検出部８３が設けられて
いる。本実施例では、スネア８２が操作されてポリープ
８１が絞られる状態をヘッドホンからの音信号（具体的
にはバースト波）のタイミングで表現する。よって、バ
ースト波の継続時間および停止時間が制御される。

【００５８】すなわち図８（ａ）に示すように、ポリー
プ８１にスネア８２を掛けた時に、ヘッドホンには一定
の継続時間を持つバースト波を継続的に発生する。この
時の停止時間を長くする。例えば「プッ プッ プッ」
という音を発生させる。

【００５９】次に図８（ｂ），（ｃ）に示すように、ス
ネア８２を絞るよう操作された時には、図７に示した動
作検出部６３の圧電素子７２で検出されたワイヤ７５が
引かれる強さに応じて、バースト波の停止時間を短くす
る。停止時間の長さにより、例えば、「ブップップッ」
「ププププ」等の音を発生させる。

【００６０】さらに、図８（ｄ）に示すように、スネア
８２でポリープ８１が、切除に適するまで絞られたら、
バースト波の継続時間を長くする。それにより例えば、
「プーーーッ」という音を発生させる。それと同時に、
ポリープ８１が最適に絞られたことをモニタ５６に表示
する。

【００６１】この実施例では、ポリープ切除手術でスネ
アを使った例を説明したが、内視鏡手術には様々な処
置、処置具があり、他にも応用ができる。例えば、図９
に示すようなバスケット鉗子を用いた内視鏡下結石除去
にも応用できる。図９（ａ）は、結石８４とバスケット
鉗子８５を示し、図９（ｂ）は結石８４をバスケット鉗
子８５でとらえた状態を示し、図９（ｃ）は結石８４を
摘出できるように確実にバスケット鉗子８５で拘持した
状態を示す図である。

【００６２】このような操作状況報知装置を用いて、前
述したスネアでポリープで絞る時と同様に、ヘッドホン
から発生させる音のタイミングを制御して操作状況を報
知することにより、スネアの動作状況を操作者に認識さ
せることができるため、より正確で容易な操作が可能に
なる。

【００６３】次に図１０には、本発明による第４実施例
としての操作状況報知装置を用いた内視鏡システムの構
成を示す。本実施例における内視鏡は、操作部９１と、
該操作部９１の近傍に設けられた操作量検出部９２と、
先端の動作部９３と、動作部に複数設けられた接触検出
部９４と、撮像部９５と、モニタ９６と、ヘッドホン９
７とで構成されている。

【００６４】図１１には、第４実施例の操作状況報知装
置の全体の構成と信号の流れを示す。ここで、操作状況
報知装置の構成部材で図１に示す構成部材と同等のもの
には同じ参照符号を付してその説明を省略する。

【００６５】第４実施例は、操作部１０１と、操作部の
近傍に設けられた操作量検出部１０２と、先端の動作部
１０３と、動作部に複数設けられた接触検出部１０４
と、動作部制御部１０５と、信号処理部１０６と、モニ
タ１０７と、ヘッドホン１０８とその制御部１０９と、
撮影部１１０で構成されている。

【００６６】前記音響信号制御部１０９は、例えば図１
１（ｂ）に示す信号発生源１１１とゲインＧ₁ ，Ｇ₂ の
可変増幅器１１２ａ，１１２ｂを利用することにより、
信号処理部１０６で求められた任意の周波数、電圧によ
る２系統の音をヘッドホン１０８で発生させることがで
きる。

【００６７】前記可変増幅器１１２ａ，１１２ｂのゲイ
ンＧ₁ ，Ｇ₂ を制御することにより、２系統の音響信号
の電圧を制御できるから、２信号の電圧差、すなわちヘ
ッドホン１０８からの音の音圧レベル差をそれぞれ制御
できる。

【００６８】また、動作部１０３の接触状況が検出され
る接触検出部１０４としては、例えば、触覚センサを用
いればよい。このように構成された操作状況報知装置に
動作について説明する。

【００６９】まず、操作者により操作部１０１が操作さ
れると、動作部制御部１０５に制御された動作部１０３
が動作する。同時に、操作量検出部１０２で操作量が検
出され、その信号は信号処理部１０６に送られる。

【００７０】また、前記動作部１０３の近傍の接触検出
部１０４では、操作により動作部１０３の接触の有無が
検出され、その信号も信号処理部１０６に送られる。こ
の信号処理部１０６では、操作量検出部１０２および接
触検出部１０４で検出された操作量・接触状態に応じ
て、ヘッドホン１０８により音として発生される。そし
て音響信号制御部１０９では、信号処理部１０６の出力
に応じてヘッドホン１０８で報知する音を制御する。

【００７１】次に図１２を参照して、このような構成の
内視鏡システムの具体的な動作と効果を説明する。図１
２は内視鏡の先端の動作状態と音像の位置関係と音響信
号をを示している。ここで説明に用いる図１２に示す以
外の部材は、図１１に示す部材と参照符号を用いる。

【００７２】図１２（ａ）は、内視鏡１２１が直線状の
時の音像１２３の位置関係を示し、同図（ｂ）は、内視
鏡１２１が右に曲がるように操作された時の音像１２３
の位置関係を示し、同図（ｃ）は内視鏡１２１が曲げら
れて胃壁１２２に当接した時の音像１２３の位置関係を
示す。

【００７３】本実施例においては、内視鏡１２１が操作
されて動作部が移動する様子を音像位置の移動感により
認識する。具体的には、前述した人間の聴覚における性
質（１）を用いる。すなわち、両耳から入る発生音の音
圧レベルを左右差をつけるような制御により音像位置を
移動させる。

【００７４】図１２（ａ）においては、内視鏡１２１が
まっすぐの時には、両耳に同一周波数・振幅の信号を発
生することにより、操作者には両耳の中間の位置に音像
１２３が感じられる。

【００７５】また図１２（ｂ）においては、操作者が内
視鏡１２１を右に曲げるよう操作すると、動作部制御部
１０５に制御された動作部１０３は右に曲がる。それと
同時に、操作量検出部１０２で検出された操作量を表す
信号は信号処理部１０６に送られる。一方、動作部１０
３の近傍の接触検出部１０４では、動作部１０３が胃の
内壁１２２に接触していないことが検出され、その信号
も信号処理部１０６に送られる。信号処理部１０６で
は、操作量検出部１０２で検出された操作量に応じて、
左耳の信号の振幅を減少させるように変換する。音響信
号制御部１０９では、信号処理部１０６の出力に応じて
ヘッドホン１０８から発生させる音響信号を制御する。
すると、操作者には内視鏡の曲がりと同じ方向に（本実
施例では右）、音像が移動して感じられる。ここでは、
右曲げについて説明したが、左右を逆にすることによ
り、左曲げも同様にできる。

【００７６】さらに、図１２（ｃ）に示すように内視鏡
の先端が胃壁にぶつかった時について説明する。操作に
より動作部が胃壁１２２に当接すると、動作部１０６の
近傍の接触検出部１０４で、接触したことが検出され、
その信号は信号処理部１０６に送られる。信号処理部１
０６および音響信号制御部１０９により、当接した側
（本実施例では右）の音圧レベルが高くなるよう制御さ
れ、ヘッドホン１０８から音が報知される。

【００７７】このような操作状況報知装置により、ヘッ
ドホンから両耳への発生音の音圧レベルを変化させて音
像の移動感により、内視鏡の動作状況を操作者に認識で
きるため、容易な操作が可能になる。

【００７８】次に図１３には、本発明による第５実施例
としての操作状況報知装置を用いた内視鏡システムの概
略的な構成を示し説明する。この操作状況報知装置は、
全体の構成は第４実施例の構成を示す図１１と同じであ
り、音響信号制御部１０９を信号発生源１１１と、可変
増幅器１１２と、遅延時間がτ₁ ，τ₂ の可変遅延素子
１１３ａ，１１３ｂとで構成され、遅延時間がτ₁ ，τ
₂ を変化させることで、２信号の時間差を制御できる。

【００７９】次に図１４を参照して、このような構成の
内視鏡システムの具体的な動作と効果を説明する。図１
４（ａ）は直線状の内視鏡と音像の位置関係と音響信号
の関係を示し、同図（ｂ）は右に曲げられた内視鏡と音
像の位置関係と音響信号の関係を示し、同図（ｃ）は曲
げられて胃壁にぶつかった内視鏡と音像の位置関係と音
響信号の関係を示す。

【００８０】本実施例では、内視鏡１２１が操作されて
動作部１０３が移動する状態を音像１２３を移動させる
ことで認識させる。具体的には、前述した人間の聴覚に
おける性質（２）を用いる。すなわち、報知する音の両
耳間時間差を制御することにより音像を移動させる。

【００８１】図１４（ａ）に示すように内視鏡１２１が
まっすぐの時には、両耳に同一周波数・振幅の信号を発
生することにより、操作者には両耳の中間の位置に音像
１２３が感じられる。

【００８２】次に図１４（ｂ）に示すように内視鏡１２
１を操作し、曲げる時について説明する。ここでは、右
曲げについて説明するが、左右を逆にすることにより、
左曲げも同様にできる。右に曲がるよう操作された時に
は、左耳に呈示する音響信号は右耳に呈示する信号よ
り、操作量に応じて設定された時間差Δｔ遅れて、発生
される。すると、操作者には内視鏡１２１の曲がりと同
じ方向に（本実施例では右）、音像が移動して感じられ
るようになる。

【００８３】さらに図１４（ａ）に示すように、内視鏡
１２１を右に曲げたことにより先端が胃壁１２２に当接
した時には、当接側の右耳のみに音圧レベルが高い音響
信号を発生させて、操作者に警告する。

【００８４】このような操作状況報知装置を用いて、ヘ
ッドホンの左右から発生させる音に時間差を持たせて音
像を移動させることにより、内視鏡の動作状況を操作者
が認識でき、より正確で容易な操作が可能になる。

【００８５】また、音像の移動感を認識するために、第
４実施例では両耳間への音の音圧レベル差を制御し、第
５実施例では時間差を制御したが、報知する音の音圧レ
ベル差と時間差を同時に可変することにより、より微妙
な移動感を認識させることができる。

【００８６】さらに第４実施例と第５実施例では音像を
左右に移動させ、操作状況を報知することを示したが、
もちろん上下方向に移動させてもよい。音像を上下方向
に移動させる方法については、音響工学の分野におい
て、周波数特性を変化させることによりある程度可能で
あることが知られている。また、市販の音像制御装置を
用いれば、さらに容易に音像方向を上下左右に移動させ
ることが可能である。

【００８７】次に図１５には、本発明による第６実施例
として操作状況報知装置を用いた力覚フィードバック型
鉗子システムの構成例を示し説明する。ここで、第６実
施例の構成部材で図１と同等の部材には同じ参照符号を
付す。

【００８８】この鉗子システムは、操作部２１と、操作
部の近傍に設けられた操作量検出部２２、動作部（鉗子
先端）１３１と、動作部に複数設けられた動作検出部２
４と、動作部制御部２５と、信号処理部２６と、モニタ
２８と、ヘッドホン２９と、その制御部３０と、撮影部
３１と、微分演算部１３２とで構成される。

【００８９】このような鉗子システムは、第１実施例に
おけるマニピュレータシステムとほぼ同じ構成であるが
構成要素として微分演算部１３２が増えていることと、
信号の流れとして信号処理部２６から出力された信号が
操作部２１に入力している点とが異なる。前記動作検出
部２４には接触検出部２４ａが設けられ、対象物と動作
部との接触の有無および、その把持する力の大きさ等を
検出している。接触検出部２４ａは、例えば触覚センサ
を利用すれば、接触の有無と把持力が同時に検出でき
る。

【００９０】前記鉗子システムにおける実際の動作は、
第１実施例におけるマニピュレータシステムとほぼ同様
であるが、操作者により操作部２１が操作されると、鉗
子先端１３１から返ってくる反力が感じられるような構
成になっている。

【００９１】具体的には、操作者により操作部２１が操
作されると、操作量検出部２２で操作量が検出され、そ
の信号は信号処理部２６に送られる。同時に、動作検出
部２４で検出された動作部の状況と、患部組織と動作部
の接触・非接触あるいは把持力が検出され、信号処理部
２６に送られる。信号処理部２６では、検出された動作
部の状況と、患部組織と動作部の接触・非接触の状況と
把持力とから、操作者の操作する操作部２１に反力とな
る力量を算出して、操作部２１にその反力を発生させ
る。

【００９２】一方、鉗子先端１３１に設けた接触検出部
２４ａは、常に絶対的な値を出力している。そこで図１
６（ａ）に示すように、接触検出部２４ａの出力電圧値
に応じた周波数の音を発生させればよい。また、図１６
（ｂ）のように電圧値を微分処理し、その値の絶対値の
音圧レベルのデータとする。このような構成により、あ
る力で保持し続けていると音が小さくなって聴こえなく
なる。よって電圧値が変化したときだけ、その電圧に相
当した周波数の音がするため、操作の変化が分かりやす
いという効果がある。また動作部の接触や把持力が、操
作者の操作する操作部２１に反力として発生されるが、
反力が加え続けられると、皮膚感覚がにぶくなり、反力
がわかり難くなることがある。このような時に、変化に
応じて音を発生させることにより皮膚感覚だけではわか
り難い変化も、認識し易くなる。さらに、常に音が発生
されていると、場合によっては煩わしくなることもある
が、変化させた時のみ発生させることによって煩わしさ
も減少する。

【００９３】また、図１６（ｃ）に示すように、接触検
出部２４ａの出力電圧の微分後の絶対値に一定のバイア
ス電圧を加えたような値を音圧レベルのデータとしても
よい。この場合には、ある力で保持し続けていると、小
さい音が聴こえ、触覚検出部の出力電圧が変化したと
き、その電圧に相当した周波数の音が大きな音でするた
め、操作の有無や操作の変化が分かりやすいという効果
がある。

【００９４】また患部組織や鉗子部部材等に過大な力が
かかったときには、警告音をだすようなリミット機能を
付加することもでき、患部組織や鉗子の保護機能とする
こともできる。

【００９５】このような機能を持たせることにより、手
による圧力の変化を感じるのみでなく、聴覚からの刺激
で絶対的な圧力を感じとることができるようになり、簡
便な装置の付加だけで、より使いやすいシステムにな
る。また本発明は、前述した実施例に限定されるもので
はなく、他にも発明の要旨を逸脱しない範囲で種々の変
形や応用が可能であることは勿論である。

【００９６】

【発明の効果】以上詳述したように本発明の操作状況報
知装置によれば、直接触れることができない物に作業を
行うための遠隔操作する場合に、その操作状態および動
作状態を、音の高さ、強さ及び音色、音像の移動感また
は拡がり感の変化で表すことにより、第１に、対象物と
の接触・非接触、ズーミングによる対象物の大きさの変
化、操作部の反力の設定の変化など、操作時の条件によ
らず、常に操作の様子を認識できる。

【００９７】第２に、モニタによる映像のみで状態を把
握する操作に比べ、音響信号を併せて発生することによ
り、作業中にモニタから視線を外すことができ、操作者
の疲労を軽減させ、容易な操作が可能となる。

【００９８】第３に、操作部に反力が加わるような構成
において、長時間の操作により触覚が鈍くなった場合で
も、音響信号を併せて発生することで適格な情報を補
え、危険を回避して、より正確で容易な操作を可能にで
きる。

【００９９】以上詳述したように本発明によれば、非接
触で対象物に処置を施すための操作する時に、その対象
物の状態を音像の移動感及び拡がり感の変化として聴覚
で認識し、より安全且つ正確で容易な操作を可能にする
操作状況報知装置を提供することができる。

【図面の簡単な説明】

【図１】本発明による第１実施例としての操作状況報知
装置を使用したマニピュレータシステムの構成を示す図
である。

【図２】第１実施例の操作状況報知装置の具体的な動作
を説明するための図である。

【図３】本発明による第２実施例としての操作状況報知
装置の構成を示す図である。

【図４】第２実施例の操作状況報知装置の具体的な動作
を説明するための図である。

【図５】本発明による第３実施例の操作状況報知装置を
使用した内視鏡システムの構成例を示す図である。

【図６】第３実施例の操作状況報知装置全体の構成と信
号の流れを説明するための図である。

【図７】図６に示した動作検出部の構成例を示す図であ
る。

【図８】第３実施例の操作状況報知装置の具体的な動作
を説明するための図である。

【図９】内視鏡を用いた処置例を説明するための図であ
る。

【図１０】本発明による第４実施例としての操作状況報
知装置を用いた内視鏡システムの構成を示す図である。

【図１１】第４実施例の操作状況報知装置の全体の構成
と信号の流れを説明するための図である。

【図１２】第４実施例の内視鏡システムの具体的な動作
を説明するための図である。

【図１３】本発明による第５実施例としての操作状況報
知装置を用いた内視鏡システムの概略的な構成を示す図
である。

【図１４】第５実施例の内視鏡システムの具体的な動作
を説明するための図である。

【図１５】本発明による第６実施例として操作状況報知
装置を用いた力覚フィードバック型鉗子システムの構成
例を示す図である。

【図１６】第６実施例として操作状況報知装置の接触セ
ンサから検出された出力と音圧レベルの関係を示す図で
ある。

【図１７】従来のマニピュレータシステムの概念を示す
図である。

【図１８】従来の内視鏡の挿入深さ報知装置の構成例を
示す図である。

【図１９】内視鏡を体内で操作する様子の概略を模擬的
に示す図である。

【図２０】図２０は、内視鏡を用いたポリープ切除手術
を一例として示す概略図である。

【符号の説明】

１…マスタマニピュレータ、２…スレーブマニピュレー
タ、２ａ…スレーブアーム、３…制御系、４…環境監視
装置、５…内視鏡、５…外周、６…報知装置本体、７…
信号変換器、８…音声信号発生器、９…スピーカ、１０
…表示体、１１…胃、１２…ポリープ、１３…スネア
（処置具）、２１…操作部、２２…操作量検出部、２３
…動作部、２４…動作検出部、２４ａ…接触検出部、２
５…動作部制御部、２６…信号処理部、２７…距離検出
部、２８…モニタ、２９…ヘッドホン、３０…音響信号
制御部、３１…撮影部、３２…信号発生源、３３…増幅
器。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 対象物に対して遠隔操作により種々の作
   業を行う操作装置に付設される操作状態及び動作状態を
   操作者に報知する装置において、 前記操作状態及び動作状態を検出する検出手段と、 前記検出手段からの検出結果に基づき、音の高さ、強さ
   及び音色、音像の移動感及び拡がり感が変化する音とし
   て発生させる音響信号再生手段と、 前記検出手段からの検出結果を画像として表示する表示
   手段と、を備えることを特徴とする操作状況報知装置。