JP6488153B2 - カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器 - Google Patents

カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器 Download PDF

Info

Publication number
JP6488153B2
JP6488153B2 JP2015039282A JP2015039282A JP6488153B2 JP 6488153 B2 JP6488153 B2 JP 6488153B2 JP 2015039282 A JP2015039282 A JP 2015039282A JP 2015039282 A JP2015039282 A JP 2015039282A JP 6488153 B2 JP6488153 B2 JP 6488153B2
Authority
JP
Japan
Prior art keywords
cursor
motion capture
moving
detected
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015039282A
Other languages
English (en)
Other versions
JP2016162117A (ja
Inventor
照美 竹本
照美 竹本
明 川瀬
明 川瀬
友江 剛
剛 友江
孝則 我妻
孝則 我妻
信生 高橋
信生 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yoshida Dental Mfg Co Ltd
Original Assignee
Yoshida Dental Mfg Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yoshida Dental Mfg Co Ltd filed Critical Yoshida Dental Mfg Co Ltd
Priority to JP2015039282A priority Critical patent/JP6488153B2/ja
Publication of JP2016162117A publication Critical patent/JP2016162117A/ja
Application granted granted Critical
Publication of JP6488153B2 publication Critical patent/JP6488153B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器に関し、特に、画面に表示されたカーソルを手のジェスチャーで制御する技術に関する。
パーソナルコンピュータ(以下、PC(Personal Computer)という。)は、一般的に、マウス等のポインティングデバイスを用いて、画面に表示されたマウスカーソルの位置を移動させたり、タッチ操作によりアイコンを移動させたりしている。
また、非特許文献1は、手や指の動きを検出して、その情報をPCに送信するコントローラ装置、及びアプリケーションプログラムから基本ソフトであるOS(Operating System)を呼び出すためのAPI(Application Programming Interface)関数を開示している。
「Leap Motion(登録商標)コントローラー」,Leap Motion社,BBソフトサービス株式会社(販売会社)、[online]、[平成27年2月 5日検索]インターネット<URL:http://www.bbss.co.jp/product/leapmotion/>、<URL:https://developer.leapmotion.com/documentation/cpp/index.html>
医療現場では、医師や看護師等の操作者は、CT(Computed_Tomography)等の画像診断画面を見ながら、患者の診察や治療を行うことがある。このようなとき、医師や看護師は、衛生上の問題から、PCのマウスを滅菌パック等で包み、PCの操作を行う必要が生じる。つまり、医師や看護師は、素手でマウスを操作したり、表示画面をタッチしたりする前後に、診断や治療を行う場合には、医療用手袋を装着したり外したりする手数が必要になるという問題がある。この手数を解消するため、医師や看護師は、PCのマウスを滅菌パック等で包んでいる。
このような問題を解決するために、非特許文献1に記載の技術を利用することが考えられる。つまり、リープモーションコントローラーを用いて、手や指のジェスチャーにより、画面に表示されたマウスカーソルを移動することが考えられる。しかしながら、手や指の固定ができないので、マウスカーソルの動きが不安定になり、マウスカーソルを目的のボタンやアイコンに近づけることが困難になるという問題点がある。
ここで、マウスカーソルの移動速度を遅くすれば、マウスカーソルを所定の画面位置に留め易くなるが、手や指(移動物体)の移動時間が増加したり、移動量が増加し、疲れやすくなったりするという新たな問題が出てくる。逆に、マウスカーソルの移動速度を速くすれば、手や指の移動量が少なくて済むが、マウスカーソルはボタンやアイコンの領域を飛び越えてしまい、所定の画面位置に留めることが難しくなる。つまり、マウスカーソルの移動速度を速くしても、手や指(移動物体)の移動時間が増加することになる。
そこで、本発明は、移動物体の移動時間を短縮することができるカーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器を提供することを目的とする。
前記課題を解決するため、本発明の一の手段は、複数のカメラを有するモーションキャプチャ装置(20)を接続し、表示装置にカーソルを表示させるコンピュータ(10)が実行するカーソル制御方法であって、前記モーションキャプチャ装置が逐次出力する出力情報を用いて、移動物体(例えば、指や指示棒)の三次元位置座標(例えば、指の先端の位置座標や手の平の位置座標)を逐次演算するモーションキャプチャ過程と、前記モーションキャプチャ過程で前記移動物体を検出した検出移動物体の移動方向に前記カーソルを移動させ、前記検出移動物体の数及び形状の何れか一方又は双方に応じて、前記カーソルの移動速度を複数段階で変更するカーソル移動速度変更過程とを備え
前記モーションキャプチャ過程は、手の指の数を検出するものであり、前記カーソル移動速度変更過程は、前記検出された指の本数が複数であるとき、前記カーソルの移動速度を速くし、前記検出された指が1本であるとき、前記カーソルの移動速度を遅くすることを特徴とする。なお、( )内の符号や文字は例示であり、これに限定されることはない。
これによれば、カーソルが目的位置(例えば、ボタンやアイコン)から遠いときには、カーソルの移動速度を速くし、近くなったときに、指の本数を変えて、カーソルの移動速度を遅くすることができるので、目的位置への収束時間(つまり、移動物体の移動時間)を短縮することができる。つまり、表示装置に表示されたカーソルの移動が安定になる。
また、本発明の他の手段は、カメラを用いたモーションキャプチャ装置を接続し、表示装置にカーソルを表示させるコンピュータが実行するカーソル制御方法であって、前記モーションキャプチャ装置が出力する出力情報を用いて、移動物体の三次元位置座標を逐次演算するモーションキャプチャ過程と、前記モーションキャプチャ過程で前記移動物体を検出した検出移動物体の移動方向に前記カーソルを移動させ、前記検出移動物体の数及び形状の何れか一方又は双方に応じて、前記カーソルの移動速度を複数段階で変更するカーソル移動速度変更過程とを備え、前記モーションキャプチャ過程は、手の指の数を検出するものであり、前記カーソル移動速度変更過程は、前記検出された指の本数に応じて、前記カーソルの移動速度を変更すると共に、変更されたカーソルの移動速度、前記検出された指の移動速度に略比例させることを特徴とする。
本発明によれば、移動物体の移動時間を短縮することができる。
本発明の第1実施形態であるカーソル表示システムの全体構成図である。 モーションキャプチャ装置の外観を示す斜視図である。 モーションキャプチャ装置の認識範囲を示す説明図である。 カーソル表示システムに使用されるPCの構成図である。 マウスカーソルを複数の指で移動させる方法を説明するための説明図である。 マウスカーソルを1本の指で移動させる方法を説明するための説明図である。 本発明の第1実施形態であるカーソル表示システムの動作を説明するためのフローチャートである。 本発明の第2実施形態である歯科用医療機器の外観を示す斜視図である。 歯科用医療機器のモニタとして使用されるPCの構成図である。 PCのモニタの表示例(1)である。 PCのモニタの表示例(2)である。 本発明の第3実施形態である歯科用医療機器の外観を示す斜視図である。
以下、図面を参照して、本発明の実施の形態(以下、「本実施形態」と称する)につき詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
(第1実施形態)
(構成の説明)
図1は、本発明の第1実施形態であるカーソル表示システムの構成図である。
カーソル表示システム1は、PC10とモーションキャプチャ装置20とフットスイッチ30とを備えて構成され、PC10はモーションキャプチャ装置20、及びフットスイッチ30と、ハードウェアI/F(Inter Face)としてのUSB(Universal Serial Bus)ハブ13を介して接続される。なお、本実施形態においては、モーションキャプチャ装置20は、マウスカーソル(マウスポインタともいう。)を移動させるために用い、フットスイッチ30は、クリック操作を行うために用いている。
PC10は、モニタ12、及びUSBハブ13を備え、CPU(Central Processing Unit)がOS(Operation System)やデバイスドライバ等のプログラムを実行することにより、モニタにカーソルを含んだ画像を表示するコンピュータ(情報処理装置)である。PC10は、タブレットPCを用いているが、キーボードやマウスを接続したデスクトップPCやノートPCでもよい。
モーションキャプチャ装置20は、例えば、互いに離間した2基の赤外線カメラと赤外線LED(Light Emitting Diode)から構成され、赤外線LEDに照らされた手や指を2基の赤外線カメラで撮影し、画像解析によって3D空間での手や指の位置を割り出すUSB周辺装置である。検知範囲は、半径50センチ程度、中心角110度の空間であり、手や指の位置を0.01ミリの精度で認識する。
図2は、モーションキャプチャ装置の外観を示す斜視図であり、図3は、モーションキャプチャ装置の認識範囲を示す説明図である。ここで、X−Y面と平行な面内にPC10のモニタ12が存在する。
モーションキャプチャ装置20は、略直方体形状をしており、上面にステレオカメラ(2基の赤外線カメラ)、及び3個の赤外線LEDが一列に配設されている。モーションキャプチャ装置20は、例えば、その上面(X−Z面)から2.5cm上方であって、モーションキャプチャ装置20を頂点とする逆ピラミッドに収まる約60×60×60cm直方体内の三次元空間が認識範囲である。
なお、この三次元空間は、上面の所定位置を原点(0,0,0)としてX,Y,Zの座標軸を定義している。本実施形態では、モーションキャプチャ装置20は、認識範囲で変化する手や指の動き(ジェスチャー)によってPC10のモニタ12に表示されたマウスカーソルを移動させるために用いられている。以下、ステレオカメラを用いた三次元座標の演算方法を簡単に説明する。
PC10のモニタ12をX−Y面と平行な面内に配置するため、2基のカメラ(右カメラ、左カメラ)の撮像面をX−Z面内に配置し、一方のカメラ(右カメラ)の焦点を原点(0,0,0)とする。つまり、(X,Y,Z)を右カメラの焦点を原点とした実際の空間の座標系とし、(xl,0,zl)、(xr,0,zr)をそれぞれ左カメラ、右カメラの撮像面上で、それぞれの光軸との交点を原点とした座標系とする。このとき、実際の空間の点P(X,Y,Z)は、それぞれのカメラの投影点ml(xl,0,zl)、mr(xr,0,zr)とすると、
Y=Bf/(xl−xr))、X=(Y/f)・xr、Z=(Y/f)・zr
の式で演算することができる。ここで、Bは、カメラ間隔であり、fはカメラレンズの焦点距離である。
つまり、視差(xl−xr)を計測すれば、Yが求まり、右カメラで撮像した像の位置(xr,0,zr)により、点Pの座標を演算することができる。
フットスイッチ30は、PC10にUSB接続される機械的スイッチであり、操作者が足で操作する操作情報(ON/OFF情報)をPC10に送信する。本実施形態においては、フットスイッチ30は、マウスのクリック操作を行うために用いている。なお、フットスイッチ30は、USB接続することなく、PC10の外部I/Fを介して接続してもよい。
図4は、カーソル表示システムに使用されるPCの構成図である。
PC10は、制御部11(11a)と、モニタ12と、USBハブ13と、記憶部14と、通信部15とを備えている。
制御部11aは、CPUからなり、記憶部14に格納されたプログラムを実行することにより、アプリケーションプログラム41と、OS42と、モニタドライバ44と、USBドライバ45と、キャプチャドライバ50との機能を実現する。ここで、キャプチャドライバ50が単独で記録媒体に格納され、又はネットワークを介して使用者に頒布される。また、アプリケーションプログラム41とキャプチャドライバ50との双方を併せて、インストール用頒布プログラム70を構成し、該インストール用頒布プログラム70が使用者に頒布されることもある。
モニタ12は、LCD(Liquid Crystal Display)からなり、画像を表示する。USBハブ13は、複数のUSBコネクタを備え、複数のUSB周辺機器を接続することができる。
記憶部14には、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)からなり、HDDには、OS42とデバイスドライバ(モニタドライバ44、USBドライバ45、キャプチャドライバ50)とアプリケーションプログラム41とが格納されている。通信部15は、LAN(Local Area Network)コネクタや無線LANを備え、LANやWAN(Wide Area Network)に接続することができる。
アプリケーションプログラム41は、ワープロや表計算、データベース、グラフィックスなど、ユーザが特定の目的のために使うプログラムであり、本実施形態では、医療用の画像診断プログラムを用い、画像診断用に十字カーソルが使用される。OS42は、コンピュータシステムを管理し、基本的なユーザ操作環境を提供する基本プログラムである。OS42は、プロセスやメモリ、ファイル、周辺機器などの管理、ネットワーク対応、ユーザインタフェースの提供、アプリケーションプログラム41に対するAPIの提供などを行っている。
本実施形態において、OS42は、特に、マウスカーソルやラインカーソルを生成するカーソル生成部43の機能を有し、カーソル生成部43は、モニタ12の画面の二次元座標(X,Y)(図3参照)によりマウスカーソルのカーソル位置が指定され、始端座標、及び終端座標により、ラインカーソルが指定される。なお、カーソルの種類は、アプリケーションプログラム41により指定される。また、カーソル生成部43は、2本のラインカーソルを直交させる指示により十字カーソルをモニタ12に表示させることができ、その十字カーソルは交点位置と回転角との双方が変更可能である。
モニタドライバ44は、モニタ12が有するビデオチップを制御するグラフィックプログラムであり、文字や図形・写真等の画像をモニタ12に表示させる。USBドライバ45は、USBハブ13を機能させるプログラムである。
キャプチャドライバ50は、キャプチャ機能部51とカーソル位置変更部52とクリック操作機能部53とを備える。
キャプチャ機能部51は、モーションキャプチャ装置20で撮影された左右の赤外線画像をUSBハブ13及びUSBドライバ45を介して受信し、受信した2枚の赤外線画像を解析し、3D空間での手や指の位置や方向を割り出す。キャプチャ機能部51は、例えば、手の平の中心位置、指先の位置、指先の方向、指の本数、指の関節の位置を出力し、指の種類(親指、人差し指、中指、薬指、小指の区別)や、右手と左手との判別を行うことができる。なお、キャプチャ機能部51は、仮想画面を仮定し、仮想画面の奥に指の先端が入ったか否かを判定し、仮想画面へのタッチと判定するTouch Emulation機能を有する。
カーソル位置変更部52は、キャプチャ機能部51が出力した指先の位置又は手の平の中心位置や指の本数の情報を用いて、マウスカーソルの移動位置を演算し、演算位置をカーソル関数を介して、OS42に引き渡す。ここで、マウスカーソルの移動位置は、ジェスチャー(例えば、指の数や手の形状)により移動速度を複数段階に切り替えるように決められる。具体的には、カーソル位置変更部52は、所定時間内で変化した指の先端位置から指の移動方向を演算すると共に、モニタ12の方向を向いている指の本数が複数のときには、単位時間にマウスカーソルが移動する移動距離を長くし、指の本数が1本のときには、移動距離を短くする。つまり、カーソル位置変更部52は、モニタ12の方向を向いている指の本数が複数のときには、マウスカーソルの移動速度を速め、指の本数が1本のときには、マウスカーソルの移動速度を遅くするようにカーソル位置を変更する。
ここで、モニタ12は、モーションキャプチャ装置20のステレオカメラの配設方向と、ステレオカメラの光軸とが交差する面に略平行であることが好ましい。つまり、モニタ12とステレオカメラの配設方向(X方向)とが傾斜していると、ステレオカメラの光軸(Z方向)の指の移動距離は正確に演算できるが、X方向の指の移動距離が不正確になり、指の移動方向とモニタ12上のマウスカーソルの移動方向(移動角度)とが一致せず、操作上の違和感に繋がるからである。なお、X方向への移動であり、Z方向の移動成分が無ければ、移動距離(移動速度)は指の本数で決まるので、モーションキャプチャ装置20の配設方向はモニタ12に対して傾斜していてもよい。
図5は、マウスカーソルを複数の指で移動させる方法を説明するための説明図であり、図6は、マウスカーソルを1本の指で移動させる方法を説明するための説明図である。
図5(a)は、5本指を左右に往復移動させた状態を示しており、マウスカーソル60a,60bがモニタ12の左端と右端との間を往復移動している。図5(b)は、5本指を上下に往復移動させた状態を示しており、マウスカーソル60c,60dがモニタ12の上端と下端との間を往復移動している。
図6(a)は、人差し指を図5(a)と同一距離、同一速度で、左右に往復移動させた状態を示しており、マウスカーソル60e,60fがモニタ12の横幅よりも短く、左右に往復移動している。図6(b)は、5本指を図5(b)と略同一距離、同一速度で上下に往復移動させた状態を示しており、マウスカーソル60g,60hがモニタ12の縦幅よりも短く、上下に往復移動している。
つまり、5本指の方が人差し指1本よりも、マウスカーソル60の移動速度が速いので、マウスカーソル60a,60b、60c,60dの移動距離が長くなっている。
クリック操作機能部53は、USBハブ13及びUSBドライバ45を介してフットスイッチ30のOFF状態→ON状態への状態遷移をマウス操作のクリックイベントとみなして、OS42に引き渡す。なお、マウス操作のクリックイベントの検出は、キャプチャ機能部51が有するTouch Emulation機能を用いても実現可能である。Touch Emulation機能は、モニタ12の仮想画面を指が押下したか否かを判定する機能であり、仮想画面が不明確であったり、仮想画面まで指を移動する時間よりも、フットスイッチ30を押下する時間の方が短くなる傾向があったりする。このため、フットスイッチ30を用いた方がクリック操作が安定する。また、モーション(指)でのクリック(ワンクリック又は、Wクリック)をモーションキャプチャ装置20で認識させると、指を動かした際に座標がズレるが、フットスイッチ30を使用すると座標のズレが少なく、安定したクリック動作が行える。
(動作)
図7のフローチャートを用いて、制御部11aのカーソル位置変更部52(図4)の処理を説明する。
図7のルーチンは、モーションキャプチャ装置20、及びフットスイッチ30のUSBコネクタがUSBハブ13に挿入されている限り、タイマ割込により逐次起動する。また、図7のルーチンは、手の中心や指の先端の動きをキャプチャドライバ50が検出し、検出イベントを、OS42を介してアプリケーションプログラム41に通知して割り込みをかけることもできる。
カーソル位置変更部52は、指の先端位置又は手の平の位置の検出をキャプチャ機能部51(図4)に指示し、指の先端の位置座標をキャプチャ機能部51から取得する(S10)。これにより、モーションキャプチャ装置20が操作者の手の赤外線画像を撮像し、キャプチャ機能部51が、左右の赤外線画像を用いて、モニタ12を向いた指の先端の三次元位置座標を演算する。
カーソル位置変更部52は、指の有無・位置の変化があるか否かを判定する(S12)。つまり、S10の処理で、キャプチャ機能部51から指の先端の位置座標が出力されなかったら、カーソル位置変更部52は、モーションキャプチャ装置20の認識範囲(図3)に指が存在していないと判断し、指の先端の位置座標が出力されたら、指の先端座標の変化を判断する。
カーソル位置変更部52は、モーションキャプチャ装置20の認識範囲に指が存在しないと判断したり、指の先端の位置座標が変化していなかったりしたら(S12で無)、処理はS10に戻り、指の先端位置の検出を繰り返す。
一方、指の先端座標の変化があったと判定したら(S12で有)、S14に処理が進み、カーソル位置変更部52は、指の移動方向を演算する(S14)。つまり、カーソル位置変更部52は、指の先端の三次元座標の変化からPC10のモニタ12に平行な面内の移動方向を演算する。
次に、カーソル位置変更部52は、モーションキャプチャ装置20の認識範囲に存在する指の本数をキャプチャ機能部51に対して検出させ、検出した指の本数をキャプチャ機能部51から取得する(S16)。つまり、カーソル位置変更部52は、手の握り方により、モニタ12の方向に向けている指が、例えば、人差し指1本だったり、人差し指と中指との2本だったり、5本全部だったりするので、指の本数を取得する。
次に、カーソル位置変更部52は、指の本数が1本(単数)なのか、複数なのかを判定する(S18)。指の本数が1本であったら(S18で単数)、カーソル位置変更部52は、移動速度が速くなるようにカーソル移動位置を演算する(S20)。つまり、カーソル位置変更部52は、所定時間内の移動距離が長くなるように、S14で演算した方向に移動する移動位置を演算する。一方、指の本数が複数であったら(S18で複数)、カーソル位置変更部52は、移動速度が遅くなるようにカーソル移動位置を演算する(S22)。つまり、カーソル位置変更部52は、所定時間内の移動距離が短くなるように、S14で演算した方向に移動する移動位置を演算する。
S20又はS22の処理が終了したら、カーソル位置変更部52は、カーソル関数を介して、S20又はS22で演算した位置をOS42に通知し、カーソル位置を演算位置に変更する(S24)。次に、カーソル位置変更部52は、フットスイッチ30の押下の有無を確認し、クリック操作されたか否か判定する(S26)。クリック操作が無ければ(S26で無)、S10に戻り、指の先端位置の検出からカーソル位置変更(S24)までの処理を繰り返す。一方、クリック操作があれば(S26で有)、カーソル位置変更部52は、カーソル位置を確定し(S28)、処理を終了する。
以上説明したように、本実施形態のカーソル表示システム1によれば、モーションキャプチャ装置20の認識範囲内で、操作者が手のジェスチャーを行うことにより、マウスカーソル60の移動速度が複数段階に切り替えられる。このため、操作者は、例えば、5本指の全てをモニタ12に向けてマウスカーソル60を目的方向に移動させようとすると、まず、マウスカーソル60は、手の移動方向に向かって、速い移動速度で移動する。
操作者は、この速い移動速度でマウスカーソル60をボタンやアイコンまで移動させようとすると、人間には反応速度(通常、0.2秒程度)があるので、マウスカーソル60がボタンやアイコンの領域を飛び越えてしまい、カーソル位置が目的位置に収束せず、不必要に移動時間が長くなってしまう。
そこで、操作者は、人差し指(1本の指)をモニタ12に向けてマウスカーソル60を目的方向に移動させようとすることにより、マウスカーソル60は、人差し指の移動方向に向かって遅い速度で移動し、カーソル位置の収束が早まる。そして、操作者は、マウスカーソル60がボタンやアイコンの内側に到達したことを確認すると、フットスイッチ30を押下して、カーソル位置を確定することができる。
このため、本実施形態のカーソル表示システム1は、複数の指によりマウスカーソル60をボタンやアイコンまで速い速度で移動させるときに発生するカーソル位置の不安定性を、1本の指(例えば、人差し指)でマウスカーソル60を移動させ、その移動速度を遅くすることにより解消することができる。
(第2実施形態)
第1実施形態のカーソル表示システム1は、PC10とモーションキャプチャ装置20とフットスイッチ30とを備えて構成されていたが、これらを医療機器、例えば、歯科用CTの画像診断装置に適用することができる。この歯科用CTは、上顎、下顎の骨の3次元的構造、骨の内部にある神経や血管の走行、さらにインプラント埋入予定部位の周囲の組織の状況が明らかにするものであり、例えば、顎の骨に歯科用インプラントを埋め込むときの位置決めに使用される。
図8は、第2実施形態の歯科用医療機器の外観を示す斜視図である。
歯科用医療機器100は、基台110と、基台110の上に設けられた患者用椅子120と、患者用椅子120に座る患者の右側に設けられたドクターテーブル130と、患者用椅子120の左側に設けられたユニット本体部140と、ユニット本体部140の背後に設けられたアシスタントハンガー150とを備えている。ユニット本体部140は、コップ給水パイプ141と、鉢洗い(スピットンボウル)142と、コップ給水用ノズル143とを備えている。アシスタントハンガー150は、衛生士、又はアシスタントが使用するバキューム、シリンジを配設している。
ドクターテーブル130は、医師や衛生士が使用するものであり、PC10aとモーションキャプチャ装置20aとインスツルメントハンガー131とを備えている。アシスタントハンガー150は、アシスタントが使用するバキューム、シリンジが配設されており、PC10bとモーションキャプチャ装置20aとが配設されている。ここで、モーションキャプチャ装置20a,20bは、PC10a,10bの前面側に所定距離離間して、PC10a,10bのモニタ12に平行に配設されている。また、基台110は、フットスイッチ30aが接続されており、フットスイッチ30aは、PC10a、又はPC10bに接続されている。
なお、医師や衛生士は、モーションキャプチャ装置20a,20bを用いて、患者用椅子120や無影灯(図示せず)の操作や、インスツルメントの設定を行う。フットスイッチ30aは、ユニット本体部140や患者用椅子120の制御を行うペダルを兼用している。このペダルは、インスツルメントハンガー131からインスツルメントが引き出されたときに、押下されるとインスツルメントの先端の切削工具が回転する。なお、画面操作時は、インスツルメントがインスツルメントハンガー131に収納されて使用される。
図9は、歯科用医療機器のモニタとして使用されるPCの構成図である。
本実施形態のPC10の制御部11bは、第1実施形態の制御部11a(図4)と比較して、クリック操作機能部53がキャプチャドライバ50に含まれておらず、アプリケーションプログラム41の中に含まれており、新たにラインカーソル移動機能部54がアプリケーションプログラム41の中に含まれている点で相違する。なお、アプリケーションプログラム41及びキャプチャドライバ50がインストール用頒布プログラム71を構成する点は、第1実施形態と同様である。
ラインカーソル移動機能部54は、USBドライバ45のみを介してフットスイッチ30のON/OFF状態を認識し、OFF状態からON状態への遷移によりマウスカーソルの位置を確定し(図7のS28)、キャプチャ機能部51に人差し指を再検出させ、再検出した人差し指の移動方向にマウスカーソル、及び該マウスカーソルに対して接近(所定範囲内に接近)したラインカーソルを移動(平行移動だけでなく回転移動を含む。)させる。
特に、十字カーソルの回転移動の場合は、指のジェスチャーで十字カーソルをクリックさせたまま十字カーソルを回転移動する。つまり、指の回転角と十字カーソルの回転角とは同じである。この回転操作時に指の本数を変えることで速度を変えて正確に十字カーソルの回転角を定めることができる。
図10は、PCのモニタの表示例(1)であり、図11は、PCのモニタの表示例(2)である。
図10(a)(b)(c)は、歯根のCT画像であり、十字カーソルを構成する2本のラインカーソルを用いて歯根の中心軸や他のCT画像の切断面を決定している。例えば、図10(a)のラインカーソルA、及び図10(b)のラインカーソルCは、図10(c)の切断面を決定している。また、図10(b)のラインカーソルDは、図10(a)の切断面を決定している。図10(a)のラインカーソルB、及び図10(c)のラインカーソルEは、図10(b)の切断面を決定している。また、図10(d)は、CT画像を合成して作成した歯根、及び下顎の外観写真である。図11は、図10(c)の拡大画像である。
ここで、図10(a)(b)(c)、及び図11の十字カーソルは、細線なので、ボタンやアイコンよりも指でマウスカーソルを十字カーソルに接近させることが難しい。しかしながら、指の本数により、マウスカーソルの移動速度を高速から低速に変更することにより、十字カーソルへの接近が容易になり、結果的に、中心点の移動や十字カーソルの回転移動を容易に行うことができる。
(第3実施形態)
前記第2実施形態は、歯科用CTの画像診断装置に第1実施形態のカーソル表示システム1を適用したが、歯科用医療機器にも適用することができる。
図12は、本発明の第3実施形態である歯科用医療機器の外観を示す斜視図である。
歯科用医療機器200は、装置本体292と、装置本体292の上部前面側の傾斜部に設けた液晶モニタとしてのPC10と、装置本体292からケーブルで引き出されているフットスイッチ30bと、装置本体292の前面に設けた取っ手220と、取っ手220に埋め込まれたモーションキャプチャ装置20cと、装置本体292の下部に設けた4つのキャスタ295と、装置本体292の側面に設けた収納部293と、装置本体292の上部に設けたマニピュレータ232と、マニピュレータ232の先端部に設けたハンドピース231とを備え、ハンドピース231がレーザ光を照射するレーザ機器である。
歯科用医療機器200は、液晶モニタとしてのPC10に表示された操作ボタンやアイコンを、医師や衛生士が手や指の動作で操作するものであり、手や指の動きを取っ手220に設けられたモーションキャプチャ装置20cで検出するように構成されている。また、歯科用医療機器200は、フットスイッチ30bを設けており、マウスカーソルが操作ボタンやアイコンに近接したときに、医師や衛生士がフットスイッチ30bを押下することにより、操作ボタンやアイコンの選択が完了するように構成されている。
(第4実施形態)
前記実施形態は、マウスカーソルの移動を指の移動で行ったが、マウスのホイールの回転操作を、移動物体としての指の回転で行うことができる。つまり、指を回転させることでモニタ12に表示される画面を上下方向にスクロールさせることができ、指の回転方向とスクロール方向とが対応する。このとき、指の一周がホイールの1移動分に相当させることが好ましい。また、この回転操作時に指の本数を変えることで、スクロール速度を変えることができる。つまり、制御部は、指の回転速度と画面のスクロール速度との比を複数段階で変更する画面移動速度変更部を設けることができる。なお、一般のホイールは、回すときにカチッ、カチッと一定角度単位で回り、この1カチッ分が1移動分になっている。
(変形例)
本発明は前記した実施形態に限定されるものではなく、例えば以下のような種々の変形が可能である。
(1)前記第1実施形態のカーソル表示システム1は、医療機器への使用を前提としていたが、上肢の機能障がいがある障がい者にも使用することができる。
(2)前記各実施形態は、1本の指と複数の指とで、マウスカーソル60の移動速度を変更していたが、指の本数で移動速度や回転速度を複数段階に変更することができる。つまり、移動速度や回転速度は、1本よりも2本の方が速く、2本よりも3本の方が速く設定することができる。
(3)前記各実施形態は、マウスカーソル60の移動速度を、手や指の移動速度と無関係に設定したが、手や指の移動速度に比例させることもできる。つまり、マウスカーソル60の移動速度は、手や指の移動速度と指の数に応じた数値とを乗じた値に設定することもできる。
(4)前記実施形態は、人差し指を移動物体としてモニタ12に向けてマウスカーソル60を遅い速度で移動させたが、人差し指の代わりに、鉛筆等の筆記具や指示棒を移動物体としてモニタ12に向けてマウスカーソル60を移動させることもできる。
(5)前記実施形態のモーションキャプチャ装置20は、ステレオカメラ(2基の赤外線カメラ)を搭載していたが、1個のカメラでも深度や距離を検出することにより、ジェスチャーの検出を行うことができる。また、近赤外線用プロジェクタと、近赤外線カメラと、RGBカメラとを備え、近赤外線用プロジェクタと近赤外線カメラとを水平方向にずらすことによっても、ジェスチャーの検出を行うことができる。
1 カーソル表示システム
10,10a,10b PC
11,11a,11b 制御部
12 モニタ
13 USBハブ
14 記憶部
15 通信部
20,20a,20b モーションキャプチャ装置
30,30a,30b フットスイッチ
41 アプリケーションプログラム
42 OS
43 カーソル生成部
44 モニタドライバ
45 USBドライバ
50 キャプチャドライバ
51 キャプチャ機能部
52 カーソル位置変更部(カーソル移動速度変更部)
53 クリック操作機能部
54 ラインカーソル移動機能部
60 マウスカーソル
65 境界線(ラインカーソル)
70 インストール用頒布プログラム
71 インストール用頒布プログラム
100 歯科用医療機器
110 基台
120 患者用椅子
130 ドクターテーブル
131 インスツルメントハンガー
132 テーブル板
140 ユニット本体部
141 コップ給水パイプ
142 鉢洗い(スピットンボウル)
143 コップ給水用ノズル
150 アシスタントハンガー
200 歯科用医療機器
220 取っ手
231 ハンドピース
232 マニピュレータ
292 装置本体
293 収納部
295 キャスタ

Claims (11)

  1. カメラを用いたモーションキャプチャ装置を接続し、表示装置にカーソルを表示させるコンピュータが実行するカーソル制御方法であって、
    前記モーションキャプチャ装置が出力する出力情報を用いて、移動物体の三次元位置座標を逐次演算するモーションキャプチャ過程と、
    前記モーションキャプチャ過程で前記移動物体を検出した検出移動物体の移動方向に前記カーソルを移動させ、前記検出移動物体の数及び形状の何れか一方又は双方に応じて、前記カーソルの移動速度を複数段階で変更するカーソル移動速度変更過程とを備え
    前記モーションキャプチャ過程は、手の指の数を検出するものであり、
    前記カーソル移動速度変更過程は、前記検出された指の本数が複数であるとき、前記カーソルの移動速度を速くし、前記検出された指が1本であるとき、前記カーソルの移動速度を遅くする
    ことを特徴とするカーソル制御方法。
  2. 請求項1に記載のカーソル制御方法であって、
    前記カーソルの移動速度は、前記検出された指の移動速度に無関係であることを特徴とするカーソル制御方法。
  3. カメラを用いたモーションキャプチャ装置を接続し、表示装置にカーソルを表示させるコンピュータが実行するカーソル制御方法であって、
    前記モーションキャプチャ装置が出力する出力情報を用いて、移動物体の三次元位置座標を逐次演算するモーションキャプチャ過程と、
    前記モーションキャプチャ過程で前記移動物体を検出した検出移動物体の移動方向に前記カーソルを移動させ、前記検出移動物体の数及び形状の何れか一方又は双方に応じて、前記カーソルの移動速度を複数段階で変更するカーソル移動速度変更過程とを備え、
    前記モーションキャプチャ過程は、手の指の数を検出するものであり、
    前記カーソル移動速度変更過程は、前記検出された指の本数に応じて、前記カーソルの移動速度を変更すると共に、変更されたカーソルの移動速度、前記検出された指の移動速度に略比例させる
    ことを特徴とするカーソル制御方法。
  4. 請求項1乃至請求項の何れか一項に記載のカーソル制御方法であって、
    前記コンピュータは、フットスイッチを接続したものであり、
    前記フットスイッチの状態遷移を検出したとき、前記移動方向に移動した位置に前記カーソルを固定させるクリック操作機能過程をさらに備えることを特徴とするカーソル制御方法。
  5. カメラを用いたモーションキャプチャ装置とフットスイッチとを接続し、表示装置にマウスカーソル、及びラインカーソルを表示させるコンピュータが実行するカーソル制御方法であって、
    前記モーションキャプチャ装置が出力する出力情報を用いて、移動物体の三次元位置座標を逐次演算するモーションキャプチャ過程と、
    前記モーションキャプチャ過程で前記移動物体を検出した検出移動物体の移動方向に前記マウスカーソルを移動させ、前記検出移動物体の数及び形状の何れか一方又は双方に応じて、前記マウスカーソルの移動速度を複数段階で変更するマウスカーソル移動速度変更過程と、
    前記フットスイッチの状態遷移を検出したとき、前記移動方向に移動した位置に前記マウスカーソルを固定させるクリック操作機能過程と、
    前記クリック操作機能過程の後、前記モーションキャプチャ過程を再実行することにより、前記移動物体の位置座標を再検出し、前記固定されたマウスカーソルの近傍に位置する前記ラインカーソルを再検出した再検出移動物体の移動方向に移動させるラインカーソル移動過程と
    を備えることを特徴とするカーソル制御方法。
  6. 請求項1乃至請求項の何れか一項に記載のカーソル制御方法を前記コンピュータに実行させることを特徴とするカーソル制御プログラム。
  7. カメラを用いたモーションキャプチャ装置と、表示装置にカーソルを表示するコンピュータとを備えるカーソル表示システムであって、
    前記モーションキャプチャ装置が逐次出力する出力情報を用いて、移動物体の三次元位置座標を逐次演算するモーションキャプチャ機能部と、
    前記モーションキャプチャ機能部で前記移動物体を検出した検出移動物体の移動方向に前記カーソルを移動させ、前記検出移動物体の数及び形状の何れか一方又は双方に応じて、前記カーソルの移動速度を複数段階で変更するカーソル移動速度変更部と
    を備え
    前記モーションキャプチャ機能部は、手の指の数を検出するものであり、
    前記カーソル移動速度変更部は、前記検出された指の本数が複数であるとき、前記カーソルの移動速度を速くし、前記検出された指が1本であるとき、前記カーソルの移動速度を遅くする
    ることを特徴とするカーソル表示システム。
  8. カメラを用いたモーションキャプチャ装置と、表示装置にカーソルを表示するコンピュータとを備えるカーソル表示システムであって、
    前記モーションキャプチャ装置が逐次出力する出力情報を用いて、移動物体の三次元位置座標を逐次演算するモーションキャプチャ機能部と、
    前記モーションキャプチャ機能部で前記移動物体を検出した検出移動物体の移動方向に前記カーソルを移動させ、前記検出移動物体の数及び形状の何れか一方又は双方に応じて、前記カーソルの移動速度を複数段階で変更するカーソル移動速度変更部と
    を備え、
    前記モーションキャプチャ機能部は、手の指の数を検出するものであり、
    前記カーソル移動速度変更部は、前記カーソルの移動速度を、前記検出された指の移動速度に略比例させる
    ことを特徴とするカーソル表示システム。
  9. 請求項7又は請求項8に記載のカーソル表示システムであって、
    前記コンピュータは、フットスイッチをさらに接続しており、
    前記フットスイッチの押下を検出したとき、前記移動方向に移動した位置に前記カーソルを固定させるクリック操作機能部をさらに備えることを特徴とするカーソル表示システム。
  10. 複数のカメラを有するモーションキャプチャ装置と、フットスイッチと、表示装置にマウスカーソル、及びラインカーソルを表示させるコンピュータとを備える医療機器であって、
    前記モーションキャプチャ装置が逐次出力する出力情報を用いて、移動物体の三次元位置座標を逐次演算するモーションキャプチャ機能部と、
    前記モーションキャプチャ機能部で前記移動物体を検出した検出移動物体の移動方向に前記マウスカーソルを移動させ、前記検出移動物体の数及び形状の何れか一方又は双方に応じて、前記マウスカーソルの移動速度を複数段階で変更するマウスカーソル移動速度変更部と、
    前記フットスイッチの押下を検出したとき、前記移動方向に移動した位置に前記マウスカーソルを固定させるクリック操作機能部と、
    前記マウスカーソルを固定した後、前記モーションキャプチャ機能部の逐次演算を再実行することにより、前記移動物体の位置座標を再検出し、前記固定されたマウスカーソルに近傍の前記ラインカーソルを再検出した再検出移動物体の移動方向に移動させるラインカーソル移動機能部と
    を備えることを特徴とする医療機器。
  11. カメラを用いたモーションキャプチャ装置と、フットスイッチと、表示装置にマウスカーソル、及びラインカーソルを表示させるコンピュータとを接続する医療機器であって、
    前記モーションキャプチャ装置が逐次出力する出力情報を用いて、移動物体の三次元位置座標を逐次演算するモーションキャプチャ機能部と、
    前記モーションキャプチャ機能部で前記移動物体を検出した検出移動物体の移動方向に前記マウスカーソルを移動させ、前記検出移動物体の数及び形状の何れか一方又は双方に応じて、前記マウスカーソルの移動速度を複数段階で変更するマウスカーソル移動速度変更機能部と、
    前記フットスイッチの状態遷移を検出したとき、前記移動方向に移動した位置に前記マウスカーソルを固定させるクリック操作機能部と、
    前記マウスカーソルを固定した後、前記モーションキャプチャ機能部の逐次演算を再実行することにより、前記移動物体の位置座標を再検出し、該再検出された位置座標が回転移動しているとき、前記固定されたマウスカーソルと該固定されたマウスカーソルに近傍の前記ラインカーソルとの双方を前記回転移動の方向に移動させるラインカーソル移動機能部と
    を備えることを特徴とする医療機器。
JP2015039282A 2015-02-27 2015-02-27 カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器 Active JP6488153B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015039282A JP6488153B2 (ja) 2015-02-27 2015-02-27 カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015039282A JP6488153B2 (ja) 2015-02-27 2015-02-27 カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器

Publications (2)

Publication Number Publication Date
JP2016162117A JP2016162117A (ja) 2016-09-05
JP6488153B2 true JP6488153B2 (ja) 2019-03-20

Family

ID=56845331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015039282A Active JP6488153B2 (ja) 2015-02-27 2015-02-27 カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器

Country Status (1)

Country Link
JP (1) JP6488153B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6905250B2 (ja) * 2017-04-20 2021-07-21 株式会社モリタ東京製作所 口腔内写真撮影システム
CN108829278B (zh) * 2018-08-24 2021-08-24 京东方科技集团股份有限公司 鼠标、鼠标的操控方法和装置
WO2020171107A1 (ja) * 2019-02-19 2020-08-27 株式会社Nttドコモ 情報処理装置
JP7467391B2 (ja) 2021-06-18 2024-04-15 キヤノン株式会社 情報処理装置および情報処理装置の制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3544739B2 (ja) * 1994-04-13 2004-07-21 株式会社東芝 情報入力装置
JPH11104064A (ja) * 1997-10-01 1999-04-20 Olympus Optical Co Ltd 内視鏡の視野変換装置
JP4794993B2 (ja) * 2005-11-17 2011-10-19 富士フイルムRiファーマ株式会社 画像診断支援装置及び画像表示方法
JP5091591B2 (ja) * 2007-08-30 2012-12-05 株式会社東芝 情報処理装置、プログラム及び情報処理方法
US20090160778A1 (en) * 2007-12-19 2009-06-25 Nokia Corporation Apparatus, method and computer program product for using variable numbers of tactile inputs
TWI366780B (en) * 2008-05-16 2012-06-21 Tatung Co A video based apparatus and method for controlling the cursor
TW201027399A (en) * 2009-01-09 2010-07-16 E Lead Electronic Co Ltd Method for aiding control of cursor movement through a track pad
JP2013117870A (ja) * 2011-12-02 2013-06-13 Denso Corp 入力装置
US20140306897A1 (en) * 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Virtual keyboard swipe gestures for cursor movement

Also Published As

Publication number Publication date
JP2016162117A (ja) 2016-09-05

Similar Documents

Publication Publication Date Title
US11723734B2 (en) User-interface control using master controller
US11662830B2 (en) Method and system for interacting with medical information
US20210030491A1 (en) Interaction between user-interface and master controller
Schultheis et al. Comparison of a two-handed interface to a wand interface and a mouse interface for fundamental 3D tasks
DK2649409T3 (en) SYSTEM WITH INTEGRATION OF 3D USER INTERFACE
Hatscher et al. GazeTap: towards hands-free interaction in the operating room
US20100013764A1 (en) Devices for Controlling Computers and Devices
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
Mewes et al. A gesture-controlled projection display for CT-guided interventions
JP6488153B2 (ja) カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器
Rossol et al. Touchfree medical interfaces
Paulo et al. Touchless interaction with medical images based on 3D hand cursors supported by single-foot input: A case study in dentistry
US20160004315A1 (en) System and method of touch-free operation of a picture archiving and communication system
Park et al. Gesture-controlled interface for contactless control of various computer programs with a hooking-based keyboard and mouse-mapping technique in the operating room
Ram et al. Effect of control-display gain and mapping and use of armrests on accuracy in temporally limited touchless gestural steering tasks
Luong et al. Controllers or Bare Hands? A Controlled Evaluation of Input Techniques on Interaction Performance and Exertion in Virtual Reality
WO2018011105A1 (en) Systems and methods for three dimensional touchless manipulation of medical images
Heinrich et al. Interacting with medical volume data in projective augmented reality
Avola et al. Toward the future of surgery: an immersive, virtual-reality-based endoscopic prototype
Kishore Kumar Designing hand-based interaction for precise and efficient object manipulation in Virtual Reality
Kangas et al. Push-Poke: Collision based Direct Manipulation Technique for Plane Alignment in Virtual Reality
Stuij Usability evaluation of the kinect in aiding surgeon computer interaction
Vasiliev et al. AR-based One Hand Aerial Gesture Control For Medical Applications
US20160004318A1 (en) System and method of touch-free operation of a picture archiving and communication system
Leiva Gaze-supported pointing devices for day-to-day computerinteraction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190225

R150 Certificate of patent or registration of utility model

Ref document number: 6488153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250