JP6125368B2 - 医用機器操作支援装置及び超音波診断装置 - Google Patents

Description

本発明の実施形態は、医用機器操作支援装置及び超音波診断装置に関する。

医療分野では、医用機器の操作支援に関する音声認識技術の利用が増加している。例えば、米国では、医療分野の音声認識技術に関連する市場規模は、２００８年に１．７億ドルに達しており、２０１３年には倍増する見込みである。

また、音声認識のディクテーション（口述筆記）機能を使ったレポート作成は、既に広く利用されている。また、医用機器の音声操作機能は、例えば超音波診断時のように、医師の手が塞がっている状態での有効性が高い。

超音波診断装置の音声操作機能ではＧＥ（登録商標）社のVoiceScan（登録商標）、フィリップス（登録商標）社のiCommandなどがある。これらの音声操作機能は、ほぼ全ての操作に対応しているため、膨大な数のコマンドがある。例えば、VoiceScanは１５０個以上のコマンドがあり、iCommandは２３００個以上のコマンドがある。

音声操作を行うためには、これらの音声コマンドを暗記もしくはその場で確認する必要がある。ここで、音声コマンドを暗記する場合、医用機器の音声コマンドには難しいコマンド名が多いので、負担が大きい。また、音声コマンドをその場で確認する場合、患者の目の前で診療行為を遮って音声コマンドを確認することになるため、非現実的である。

一方、音声コマンドの暗記の負担を軽減する観点から、例えば、２つの方法が知られている。
第１の方法は、操作者の音声の一部が所定の音声コマンドと一致しない場合でも、唯一の機能を特定できるときに限り、機能を実行する方式である。

しかしながら、第１の方式は、依然として断片であっても音声コマンドを暗記する必要がある。

第２の方法は、例えば「メールを見せて」というフレーズからキーワードを抽出し、このキーワードから使用が予想される音声コマンドのリストを表示する方式である。

しかしながら、第２の方式は、リストを絞り込んで表示させるためだけの操作が余計に発生してしまう。また、第２の方式は、対象がコンピュータシステムであり、対象に医用機器が含まれていない。

特開２００２−２５９１１４号公報 特開２００３−８４７９４号公報

以上説明したように、従来の医用機器の操作支援に関する音声認識技術には、音声コマンドの暗記が必要であるという不都合か、又は音声コマンドのリストを絞り込んで表示させるためだけの操作が余計に発生する不都合がある。

本発明が解決しようとする課題は、音声コマンドの暗記と、音声コマンドのリストの絞り込みのみの操作とを不要にし得る医用機器操作支援装置及び超音波診断装置を提供することである。

実施形態の医用機器操作支援装置は、被検体に対する医用機器の操作者の操作を支援する。

前記医用機器操作支援装置は、位置情報取得手段、状態特定手段、次操作予測手段、音声コマンド変換手段及び音声コマンド提示手段を備えている。

前記位置情報取得手段は、前記被検体又は前記操作者のいずれかの位置情報と、前記医用機器の位置情報とを取得する。

前記状態特定手段は、前記位置情報の各々に基づいて、診療行為状態を特定する。

前記次操作予測手段は、前記特定された診療行為状態に基づいて、次操作を予測する。

前記音声コマンド変換手段は、前記予測された次操作を音声コマンドに変換する。

前記音声コマンド提示手段は、前記変換された音声コマンドを提示する。

一方、実施形態の超音波診断装置は、操作者に操作される。

前記超音波診断装置は、超音波プローブ、走査部、画像発生部、表示部、位置情報取得手段、状態特定手段、次操作予測手段、音声コマンド変換手段及び表示制御部を備えている。

前記超音波プローブは、操作者に把持される。

前記操作部は、前記超音波プローブを介して被検体の内部を超音波で走査する。

前記画像発生部は、前記走査に応じた前記超音波プローブの出力に基づいて前記被検体の内部の断層像の画像データを発生する。

前記表示部は、少なくとも前記画像データを画面の一部の領域に表示する。

前記位置情報取得手段は、前記被検体の位置情報と、前記超音波プローブの位置情報とを取得する。

前記状態特定手段は、前記位置情報の各々に基づいて、診療行為状態を特定する。

前記次操作予測手段は、前記特定された診療行為状態に基づいて、次操作を予測する。

前記音声コマンド変換手段は、前記予測された次操作を音声コマンドに変換する。

前記表示制御部は、前記変換された音声コマンドを表示するように前記表示部を制御する。

第１の実施形態に係る医用機器操作支援装置の構成を示す模式図である。 同実施形態における位置情報取得部の一例を示す模式図である。 同実施形態における画像解析手段を説明するための模式図である。 同実施形態における画像解析手段を説明するための模式図である。 同実施形態における画像解析手段を説明するための模式図である。 同実施形態における骨格情報の一例を示す模式図である。 同実施形態における位置情報記憶部を説明するための模式図である。 同実施形態における診断行為条件記憶部を説明するための模式図である。 同実施形態における条件を説明するための模式図である。 同実施形態における診断行為条件記憶部を説明するための模式図である。 同実施形態における条件を説明するための模式図である。 同実施形態における条件を説明するための模式図である。 同実施形態における条件を説明するための模式図である。 同実施形態における次操作予測記憶部を説明するための模式図である。 同実施形態における音声コマンドマッピング記憶部を説明するための模式図である。 同実施形態における音声コマンドの表示例を示す模式図である。 同実施形態における医用機器操作支援装置が適用された超音波診断装置の構成を示す模式図である。 同実施形態における動作を説明するためのフローチャートである。 同実施形態における動作を説明するための模式図である。 同実施形態における動作を説明するための模式図である。 同実施形態における動作を説明するための模式図である。 同実施形態における動作を説明するための模式図である。 第２の実施形態に係る医用機器操作支援装置の構成を示す模式図である。 同実施形態における外部起因情報記憶部を説明するための模式図である。 同実施形態における診療行為状態条件記憶部を説明するための模式図である。 同実施形態における次操作予測記憶部を説明するための模式図である。 同実施形態における超音波診断装置の構成を示す模式図である。 同実施形態における動作を説明するためのフローチャートである。 第３の実施形態における診療行為状態条件記憶部を説明するための模式図である。 同実施形態におけるスコアを含む条件を説明するための模式図である。 同実施形態における次操作予測記憶部を説明するための模式図である。 同実施形態における動作を説明するためのフローチャートである。 第４の実施形態における動作を説明するためのフローチャートである。 同実施形態における動作を説明するための模式図である。

以下、各実施形態について図面を用いて説明する。なお、以下の医用機器操作支援装置は、ハードウェア構成、又はハードウェア資源とソフトウェアとの組合せ構成のいずれでも実施可能となっている。組合せ構成のソフトウェアとしては、予めネットワーク又は記憶媒体からコンピュータにインストールされ、医用機器操作支援装置の機能を当該コンピュータに実現させるためのプログラムが用いられる。なお、「医用機器操作支援装置」の用語に関し、「医用機器」を「医療機器」と読み替えてもよく、「操作支援装置」を「操作支援システム」と読み替えてもよい。

＜第１の実施形態＞
図１は第１の実施形態に係る医用機器操作支援装置の構成を示す模式図である。この医用機器操作支援装置Ｓは、検査・患者情報記憶部１０、操作来歴記憶部２０、位置情報取得部３０、位置−音声コマンド変換部４０及び音声コマンド提示部５０を備えている。位置−音声コマンド変換部４０は、位置情報記憶部４１、診療行為状態条件記憶部４２、次操作予測記憶部４３、操作−音声コマンドマッピング記憶部４４、診療行為状態特定部４５、次操作予測部４６、及び操作−音声コマンドマッピング部４７を備えている。医用機器操作支援装置Ｓは、被検体に対する医用機器の操作者の操作を支援する装置であって、例えば、病院情報システム（hospital information system：ＨＩＳ）の一部として設けられる。

ここで、検査・患者情報記憶部１０は、検査・患者情報を記憶している。検査・患者情報は、例えば、患者ＩＤ、患者名、性別、身長、体重、日時、病歴、検査項目、検査項目の値及び疾患名を互いに関連付けた情報である。患者ＩＤは、患者を識別する数字又は英数字などからなる番号である。患者名は、患者の氏名を表す情報である。患者ＩＤ又は患者名は、患者を識別する患者識別情報に相当する。患者識別情報は、患者を識別する情報であればよいので、前述した患者ＩＤ又は患者名に限らず、例えば、患者名と日時の組合せ、患者名と検査項目の組合せ、又は患者名と日時と検査項目の組合せ等といった任意の情報による実施が可能である。日時は、疾患を判明させた検査を施した日時を表す情報である。病歴は、既往症及び現在の疾患の経過や治療に関する経歴を表す情報である。検査項目は、「検査タイプ」の項目のように、検査を特定する項目を表す情報である。検査は、操作支援対象の医用機器（例、超音波診断装置）を用いる検査と、問診のように医用機器を用いない検査との両者を含んでいる。検査項目の値としては、例えば、検査項目「検査タイプ」に対し、検査項目の値「部位名＋エコー」が使用可能であり、また、検査項目「身長・体重」に対し、検査項目の値「ｘｘｘ［ｃｍ］、ｙｙ［ｋｇ］」が使用可能となっている。疾患名は、検査により判明した疾患の名称を表す情報である。なお、検査・患者情報は必須ではなく、例えば、検査項目を直接入力（指定）する場合には、省略できる。また、検査・患者情報を用いる場合であっても、検査・患者情報のうちの患者名及び日時は、本実施形態の音声コマンドを提示する動作には必須ではなく、省略してもよい。

操作来歴記憶部２０は、操作支援対象の医用機器の操作来歴を記憶している。「操作来歴」の用語は「操作履歴」又は「操作ログ」と読み替えてもよい。操作来歴中の操作としては、医用機器に付随する機能を音声コマンドにより実行する操作が適宜、使用可能となっている。

位置情報取得部（位置情報取得手段）３０は、被検体又は操作者のいずれかの位置情報と、医用機器の位置情報とを取得する機能をもっている。具体的には例えば、位置情報取得部３０は、診療行為に関わる人物の位置情報と、医用機器の特徴点などの位置情報とを取得し、当該位置情報の各々を診療行為状態特定部４５に送出する一方、当該位置情報の各々を位置情報記憶部４１に書込む機能をもっている。

人物の位置情報を取得する場合、例えば図２に示すように、カメラなどの撮像手段３１と骨格抽出などの画像解析手段３２、またはモーションセンサーなどが使用可能であり、人物の役割（医師、患者、看護師、その他）と、ある時刻におけるその人物の骨格の座標とを含む位置情報を取得する。

医師または患者が使う器具の位置情報を取得する場合、カメラなどの撮像手段３１と画像解析手段３２が使用可能であり、器具の種類と、ある時刻におけるその器具の特徴点の座標とを含む位置情報を取得する。

撮像手段３１及び画像解析手段３２としては、例えばＫｉｎｅｃｔ（登録商標）が使用可能となっている。但し、位置情報取得部３０としては、撮像手段３１及び画像解析手段３２を用いず、モーションセンサーを用いてもよい。

撮像手段３１は、診療行為が行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、撮像手段３１は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、撮像手段３１は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と撮像手段３１との距離を求め、撮影範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と撮像手段３１との距離が対応付けられた情報とが含まれる。撮像手段３１は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、撮像手段３１によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、撮像手段３１は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。また、撮像手段３１によって算出される距離の単位は、例えば、メートル［ｍ］である。

画像解析手段３２は、人物や物体等の位置を表す位置情報を生成する。この位置情報は、人物又は物体等のいずれでも同様に生成可能であるので、以下の説明では人物の場合を代表例に挙げて述べる。位置情報は、例えば、人物の姿勢（ポーズ）から人物の各関節の座標を得ることにより生成される。概要を説明すると、画像解析手段３２は、人体パターンを用いたパターンマッチングにより、撮像手段３１によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、画像解析手段３２は、次に、距離画像座標系における各関節の座標を、診療行為が行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。以下、画像解析手段３２の処理を具体的に説明する。

図３〜図５は、画像解析手段３２の処理を説明するための模式図である。図３には、撮像手段３１によって生成される距離画像の一例を示す。なお、図３においては、説明の便宜上、人物の立ち姿を表現した画像を示すが、人物が寝た姿などのように、任意の姿の画像にも適用可能なことは言うまでもない。また、図３においては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置Ｘ」と、距離画像の上下方向における「画素位置Ｙ」と、当該画素に対応する被写体と撮像手段３１との「距離Ｚ」とを対応付けた３次元の値を有する。以下では、距離画像座標系の座標の値を、この３次元の値（Ｘ，Ｙ，Ｚ）で表記する。

画像解析手段３２は、様々な姿勢に対応する人体パターンを、学習により予め記憶している。画像解析手段３２は、撮像手段３１によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、画像解析手段３２は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。

ここで、人体パターンについて説明する。図４には、人体パターンの一例を示す。第１の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報（以下、「人体表面」と呼ぶ）を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図４に示すように、人体の骨格を形成する各関節の情報を有する。また、人体パターンは、図示しないが、検査対象となる各器官（例、臓器）の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節と各器官との相対的な位置関係は既知である。

図４に示す例では、人体パターンは、関節３ａから関節３ｔまでの２０点の関節の情報を有する。このうち、関節３ａは、頭部に対応し、関節３ｂは、両肩の中央部に対応し、関節３ｃは、腰に対応し、関節３ｄは、臀部の中央部に対応する。また、関節３ｅは、右肩に対応し、関節３ｆは、右肘に対応し、関節３ｇは、右手首に対応し、関節３ｈは、右手に対応する。また、関節３ｉは、左肩に対応し、関節３ｊは、左肘に対応し、関節３ｋは、左手首に対応し、関節３ｌは、左手に対応する。また、関節３ｍは、右臀部に対応し、関節３ｎは、右膝に対応し、関節３ｏは、右足首に対応し、関節３ｐは、右足の足根に対応する。また、関節３ｑは、左臀部に対応し、関節３ｒは、左膝に対応し、関節３ｓは、左足首に対応し、関節３ｔは、左足の足根に対応する。

なお、図４では、人体パターンが２０点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節３ａから関節３ｄまでのうち、関節３ｂ及び関節３ｃの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節３ｈのみならず、右手の指の関節を新たに設定して良い。なお、図４の関節３ａ、関節３ｈ、関節３ｌ、関節３ｐ、関節３ｔは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。

画像解析手段３２は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、画像解析手段３２は、図４に示す人体パターンの人体表面と、図３に示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、画像解析手段３２は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、画像解析手段３２は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図５に示すように、画像解析手段３２は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。

なお、画像解析手段３２は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係（例えば、「関節３ａと関節３ｂとが連結」等）や、各関節の可動域が含まれる。関節は、２つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、画像解析手段３２は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。

続いて、画像解析手段３２は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、診療行為が行われる３次元空間の座標系であり、例えば、位置情報取得部３０の位置を原点とし、水平方向をｘ軸、鉛直方向をｙ軸、ｘｙ平面に直交する方向をｚ軸とする座標系である。なお、このｚ軸方向の座標の値を「深度」と呼ぶことがある。

ここで、距離画像座標系から世界座標系へ変換する処理について説明する。画像解析手段３２は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、画像解析手段３２は、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）を世界座標系の座標（ｘ１，ｙ１，ｚ１）に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、画像解析手段３２は、座標（Ｘ１，Ｙ１，Ｚ１）に対応する入射角を変換式に入力することができる。また、ここでは、画像解析手段３２が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。

そして、画像解析手段３２は、この世界座標系で表される各関節の座標から骨格情報を生成する。図６は、画像解析手段３２によって生成される骨格情報の一例を示す模式図である。各フレームの骨格情報は、当該フレームの人物及び役割と、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、画像解析手段３２は、図６に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図６において、人物、役割及び撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「３ａ」は、頭部に対応し、関節識別情報「３ｂ」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。

図６の１行目には、関節識別情報「３ａ」と、座標情報「（ｘ１，ｙ１，ｚ１）」とが対応付けられている。つまり、図６の骨格情報は、あるフレームにおいて頭部が座標（ｘ１，ｙ１，ｚ１）の位置に存在することを表す。また、図６の２行目には、関節識別情報「３ｂ」と、座標情報「（ｘ２，ｙ２，ｚ２）」とが対応付けられている。つまり、図６の骨格情報は、あるフレームにおいて両肩の中央部が座標（ｘ２，ｙ２，ｚ２）の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。

このように、画像解析手段３２は、撮像手段３１から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、画像解析手段３２は、生成した各フレームの骨格情報を位置情報として位置−音声コマンド変換部４０へ送出する。

位置情報記憶部４１は、図７に示すように、位置情報取得部３０から送出された位置情報の各々を人物情報テーブル４１ａ及び装置・器具情報テーブル４１ｂに個別に記憶する。

人物情報テーブル４１ａは、診療行為に関わる人物に関する位置情報として、人物、役割、時刻、関節識別情報及び座標を互いに関連付けて記憶する。

装置・器具情報テーブル４１ｂは、診療行為に関わる人物が用いる装置・器具に関する位置情報として、器具、種類、時刻、特徴点及び座標を互いに関連付けて記憶する。

診療行為状態条件記憶部４２は、図８に示すように、診療行為の状態を示す診療行為状態と、人物や器具・装置の絶対的または相対的な位置関係の条件とを関連付けて保持する。診療行為状態条件記憶部４２は、例えば図８の１行目に示すように、診療行為状態“腹部エコー（肝臓）”と、医師が持つ超音波プローブの座標（Ｘａ，Ｙａ，Ｚａ）が患者の肝臓の座標（Ｘｂ，Ｙｂ，Ｚｂ）から所定範囲（±αｘ，±αｙ，±αｚ）内にあるという条件とを関連付けて保持する。

例えば図９（ａ）及び図９（ｂ）に示すように、超音波プローブの位置を示す点をＰａ（Ｘａ，Ｙａ，Ｚａ）とし、検査対象の臓器の位置を示す点をＰｂ（Ｘｂ，Ｙｂ，Ｚｂ）とし、点Ｐｂを重心とした立方体の各辺の長さを２αｘ，２αｙ，２αｚとする。点Ｐａが立方体内に位置するとき、次の全ての不等式の関係を満たす。

Ｘｂ−αｘ＜Ｘａ＜Ｘｂ＋αｘ …（ｘ座標が所定範囲内）
Ｙｂ−αｙ＜Ｙａ＜Ｙｂ＋αｙ …（ｙ座標が所定範囲内）
Ｚｂ−αｚ＜Ｚａ＜Ｚｂ＋αｚ …（ｚ座標が所定範囲内）
この関係は、前述した図８の１行目に示す条件を表している。

また例えば、診療行為状態条件記憶部４２は、図１０の１〜２行目に示すように、現在の位置情報と過去の位置情報とに基づく条件と、診療行為状態とを関連付けて記憶する場合がある。

このような条件には、例えば、直前の医師が持つ超音波プローブの座標（過去の位置情報）が患者の肝臓の座標から所定範囲外にあり、かつ、現在の医師が持つ超音波プローブの座標（現在の位置情報）が患者の肝臓の座標から所定範囲内にある、などがある（図１１参照）。

ここで、超音波プローブの位置を示す点Ｐａが肝臓の位置を示す点Ｐｂから所定範囲外にあるとき、次のいずれかの関係を満たす。

Ｘａ＜Ｘｂ−αｘ …（ｘ座標が所定範囲外）
Ｘｂ＋αｘ＜Ｘａ …（ｘ座標が所定範囲外）
Ｙａ＜Ｙｂ−αｙ …（ｙ座標が所定範囲外）
Ｙｂ＋αｙ＜Ｙａ …（ｙ座標が所定範囲外）
Ｚａ＜Ｚｂ−αｚ …（ｚ座標が所定範囲外）
Ｚｂ＋αｚ＜Ｚａ …（ｚ座標が所定範囲外）
この関係は、前述した図１０の１行目に示す条件を表している。図１０の２行目に示す条件は、前述した図８の１行目に示す条件と同様である。

このような条件は、例えば、図１０の３〜４行目に示すように、直前の患者の全ての座標（過去の位置情報）が寝台から所定範囲外にあり、かつ、現在の患者の全ての座標（現在の位置情報）が寝台の位置から所定範囲内にある、などにも適用可能である（図１２（ａ）及び図１２（ｂ）参照）。

この場合、患者の全ての座標（Ｘａ，Ｙａ，Ｚａ）が寝台の左奥の角の位置（０，０，０）から所定範囲内（＋Ｘｂ２０，＋Ｙｂ５，＋Ｚｂ２）にあるとき、次の全ての不等式の関係を満たす。

０＜Ｘａ＜Ｘｂ２０ …（ｘ座標が所定範囲内）
０＜Ｙａ＜Ｙｂ５ …（ｙ座標が所定範囲内）
０＜Ｚａ＜Ｚｂ２ …（ｚ座標が所定範囲内）
この関係は、前述した図１０の３〜４行目に示す条件を表している。また、このような座標と、所定範囲（所定領域）との関係を表す形式は、任意の形式が使用可能である。

また例えば、診療行為状態条件記憶部４２は、図１０の５行目に示すように、患者の位置情報を用いず、医師の位置情報と器具の位置情報とに基づく条件と、診療行為状態とを関連付けて記憶する場合がある。

このような条件には、例えば、一定期間内の医師の手先の座標（医師の位置情報：Ｐａ（Ｘａ，Ｙａ，Ｚａ））がモニタの位置（器具の位置情報：Ｐｂ（Ｘｂ，Ｙｂ，Ｚｂ））から所定範囲内（±αｘ，±αｙ，±αｚ）にある、などがある（図１３（ａ）及び図１３（ｂ）参照）。

次操作予測記憶部４３は、図１４に示すように、一つの診療行為状態と、単一または複数の装置における次操作と、診療行為状態を示す条件とを互いに関連付けて記憶している。

ここでいう「操作」は音声以外の通常入力装置を介して行う一つの操作（装置上のボタンを押す、ＧＵＩ（graphical user interface）上のボタンクリック）や、その操作を複数組み合わせた一連の操作（複数のボタンを順にクリック、キーボードによる特定のワードを入力、ドラッグ操作）、通常入力装置を介して本来行えない操作も含まれる。

操作−音声コマンドマッピング記憶部４４は、図１５に示すように、音声コマンドマッピングテーブル４４ａを記憶している。

音声コマンドマッピングテーブル４４ａは、一つの操作と、単一または複数の音声コマンドとを互いに関連付けて記憶している。

診療行為状態特定部４５は、位置情報取得部３０により取得された位置情報の各々に基づいて、診療行為状態を特定する機能をもっている。

具体的には例えば、診療行為状態特定部４５は、現在の人物や器具・装置の位置情報と、位置情報記憶部４１に記憶された過去の位置情報とを参照し、各々の位置情報を診療行為状態条件記憶部４２に予め記憶された条件に照合することにより、診療行為状態を特定する。このような位置情報記憶部４１及び診療行為状態特定部４５は、状態特定手段を構成している。

なお、位置情報が複数の条件に当てはまる場合は、同時に複数の診療行為状態が特定される場合も可能である。

次操作予測部４６は、診療行為状態特定部４５により特定された診療行為状態に基づいて、次操作を予測する機能をもっている。「次操作」の用語は「次の操作」と読み替えてもよい。

例えば、次操作予測部４６は、診療行為状態特定部４５により特定された現在の診療行為状態と、予め記憶された次操作予測記憶部４３の情報とに基づいて次操作を予測する。次操作の予測時に、検査・患者情報記憶部１０及び操作来歴記憶部２０に記憶された検査・患者情報や操作来歴に基づく条件がある場合、条件を満たす次操作のみ予測する。複数の診療行為状態が特定された場合、全ての診療行為状態について次操作を予測する。このような次操作予測記憶部４３及び次操作予測部４６は、次操作予測手段を構成している。

操作−音声コマンドマッピング部４７は、次操作予測部４６により予測された次操作を単一または複数の音声コマンドにマッピング（変換）する機能をもっている。

例えば、操作−音声コマンドマッピング部４７は、次操作予測部４６により予測された次操作を、予め記憶された操作−音声コマンドマッピング記憶部４４の情報に基づいて音声コマンドにマッピングする。複数の次操作が予測された場合、全ての次操作について音声コマンドにマッピングする。このような操作−音声コマンドマッピング記憶部４４及び操作−音声コマンドマッピング部４７は、音声コマンド変換手段を構成している。

音声コマンド提示部５０は、操作−音声コマンドマッピング部４７によりマッピングされた音声コマンド（のテキスト）を操作者に提示する。音声コマンド提示部５０は、音声コマンド提示手段を構成している。

提示には、ディスプレイやスピーカーなどの提示デバイスを用いる。

音声コマンドをディスプレイに提示する場合、表示時間、色、サイズ、位置、透明度、表示時の音などのパラメータを各音声コマンド毎に設定して表示することが可能である。

音声コマンドの表示時間に関しては、所定の時間だけ表示する設定、何らかの操作が行われるまで表示する設定、他の音声コマンドが表示されるまで表示する設定、などが可能である。音声コマンド毎に、これらの設定を組み合わせてもよい。

音声コマンドの表示位置に関しては、図１６の画面５０ａに示すように、ＧＵＩ上のボタンＢ１，Ｂ２に近接した位置や、画面の隅Ｃ１の位置など、任意の位置が使用可能となっている。また、音声コマンドは、ボタンＢ１，Ｂ２近傍に示すように、個別に提示してもよく、隅Ｃ１に示すように、リスト化して提示してもよい。

以上のように構成された医用機器操作支援装置は、音声コマンドで操作可能な医用機器であれば、任意の医用機器に適用可能となっている。これは以下の各実施形態でも同様である。本実施形態では、医用機器操作支援装置を超音波診断装置に適用した例について述べる。超音波診断装置は、使用時に操作者の手が塞がるため、音声コマンドによる操作が望ましい。このため、超音波診断装置は、次操作の音声コマンドを提示する医用機器操作支援装置を適用できることが好ましい。

図１７は本実施形態における医用機器操作支援装置が適用された超音波診断装置の構成を示す模式図である。

この超音波診断装置１００は、検査・患者情報記憶部１０、操作来歴記憶部２０、位置情報取得部３０、位置−音声コマンド変換部４０、超音波プローブ１１０、送信部１２０、受信部１３０、Ｂモード処理部１４０、速度演算処理部１５０、歪み分布演算部１６０、表示制御部１８０及び表示部１９０を備えている。

ここで、検査・患者情報記憶部１０、操作来歴記憶部２０、位置情報取得部３０及び位置−音声コマンド変換部４０は、前述した医用機器操作支援装置Ｓ内の同一名の各部１０〜４０と同様に構成されている。前述した医用機器操作支援装置Ｓ内の音声コマンド提示部５０は、表示制御部１８０及び表示部１９０の一部として構成されている。

超音波プローブ１１０は、医師等の操作者に把持されるデバイスであって、被検体との間で照射及び反射される超音波信号の送受波を担うデバイス（探触子）であり、電気／機械可逆的変換素子で形成されている。この超音波プローブ１１０は、例えばアレイ状に配列される複数の素子を先端部に装備したフェーズドアレイタイプのデバイスとして構成される。これにより、超音波プローブ１１０は、送信部１２０から供給されるパルス駆動電圧を超音波パルス信号に変換して被検体のスキャン領域内の所望方向に送信し、且つ被検体から反射してきた超音波エコー信号をこれに対応する電圧量のエコー信号に変換する。電圧量のエコー信号は、超音波プローブ１１０から受信部１３０に送出される。

送信部１２０は、図示しない制御部からの制御信号に基づいて、送信チャンネル毎に所定の送信遅延時間が付与されたタイミングで、超音波プローブ１１０の各素子にパルス駆動信号を送信し、超音波プローブ１１０の各素子から被検体内に向けて超音波信号を送波させる。このように、送信部１２０は、超音波プローブ１１０を介して被検体の内部を超音波で走査する走査部を構成している。

受信部１３０は、超音波信号の送波に応じて被検体内の音響インピーダンスの不整合面で反射され、組織内の散乱体によって散乱された成分等を含む超音波エコー信号を、超音波プローブ１１０の各素子を介してそれに対応する電圧量のエコー信号として受信する。受信部１３０は、受信したエコー信号に受信遅延・加算処理を施してエコー受信信号を作成し、このエコー受信信号をＢモード処理部１４０及び速度演算処理部１５０に出力する。

Ｂモード処理部１４０は、受信部１３０から受けたエコー受信信号に包絡線検波を行い、得られた検波信号を被検体内の組織の形態を示す信号として、表示制御部１８０に出力する。

速度演算処理部１５０は、受信部１３０から受けたエコー受信信号に対して直交検波処理、自己相関処理、遅延加算処理を施し、遅延加算処理されたエコー信号のドプラ偏移成分に基づいて、被検体内で移動している組織の速度、分散、パワーに対応した組織ドプラ信号を求める。速度演算処理部１５０は、組織ドプラ信号を用いて、所定断面に関する速度、分散、パワー値の二次元分布を表した組織ドプラ像を、所定期間の各時相に生成する。所定期間とは、診断対象に対する圧迫・解放の繰り返しを含む任意の期間である。さらに、速度演算処理部１５０は、所定期間の各時相における組織ドプラ像を用いて、所定期間の各時相における組織速度の時空間分布画像（診断対象組織の各位置における速度を表す画像。以下、速度分布情報と呼ぶ。）を生成する。速度分布情報は、速度演算処理部１５０から歪み分布演算部１６０及び表示制御部１８０に送出される。速度分布情報は、組織ドプラ画像のデータとも呼ぶ。

歪み分布演算部１６０は、速度分布情報の速度成分を時間積分して変位（移動距離）を求め、得られた変位を用いて所定の演算をすることにより、組織の局所的な歪み（ストレイン）を時相毎に演算する。所定の演算とは、例えば、局所内での中心画素と周辺画素との間の変位の差の二乗和を求める演算である。また、歪み分布演算部１６０は、得られた時相毎の組織の局所的な歪み値をカラーコード化し、対応する位置にマッピングすることで、歪み分布情報を生成する。歪み分布情報は、歪み分布演算部１６０から表示制御部１８０に送出される。歪み分布情報は、歪み分布画像のデータとも呼ぶ。なお、受信部１３０、速度演算処理部１５０及び歪み分布演算部１６０は、送信部（走査部）１２０による走査に応じた超音波プローブ１１０の出力に基づいて被検体の内部の断層像の画像データを発生する画像発生部を構成している。

表示制御部１８０は、Ｂモード処理部１４０から受けた検波信号、歪み分布演算部１６０から受けた歪み分布情報を、表示に適した走査線信号列に変換（スキャンコンバート）し、位置−音声コマンド変換部４０から受けた音声コマンドとともに表示画像としての超音波診断画像（Ｂモード超音波像、歪み分布画像等）や音声コマンドを表示する表示画面のビデオ信号を作成する。また、表示制御部１８０は、速度演算処理部１５０により生成された速度分布情報（組織ドプラ画像）を走査線信号列に変換し、表示画像としての組織ドプラ画像を表示する表示画面のビデオ信号を作成してもよい。

表示部１９０は、表示制御部１８０から受けたビデオ信号に基づいて、Ｂモード超音波像、歪み分布画像及び音声コマンドを所定の形態とタイミングで表示する。また、表示部１９０は、ビデオ信号に基づいて、画像上の解剖学的位置を示すためのマーカ（marker）や、カラーコード化された物理量の大きさを示すカラーバーを表示する。また、表示部１９０は、被検体の内部の断層像の画像データを画面の一部の領域に表示し、画面の他の領域の一部に音声コマンドのテキストを表示する。

次に、以上のように構成された医用機器操作支援装置及び超音波診断装置の動作を順次、説明する。始めに、医用機器操作支援装置Ｓの動作を図１８〜図２２を用いて述べる。

医用機器操作支援装置Ｓでは、図１８及び図１９に示すように、位置情報取得部３０が人物の骨格や器具・装置の特徴点を位置情報として取得する（ＳＴ１）。

診療行為状態特定部４５は、図１８及び図２０に示すように、取得された位置情報を診療行為状態条件記憶部４２と照合し、各々の診療行為状態の条件を満たすか否かを判定し（ＳＴ２）、条件を満たす診療行為状態を特定する。

次操作予測部４６は、図１８及び図２１に示すように、特定された診療行為状態に基づいて、次操作予測記憶部４３を参照し、次操作を予測する（ＳＴ３）。

操作−音声コマンドマッピング部４７は、予測された次操作を操作−音声コマンドマッピング記憶部４４の参照により音声コマンドに変換する（ＳＴ４）。

音声コマンド提示部５０は、図１８及び図２２に示すように、変換された音声コマンドを操作者に提示する（ＳＴ５）。

操作者は、提示された音声コマンドを視認し、所望の音声コマンドを発話する。

これにより、医用機器操作支援装置は、発話された音声コマンドに基づいて、医用機器を制御する。

次に、上述した医用機器操作支援装置が適用された超音波診断装置の動作を述べる。

超音波診断装置１００においては、操作者が超音波プローブ１１０を被検体に当てる。超音波診断装置１００では、送信部１２０が、超音波プローブ１１０を介して被検体の内部を超音波で走査する。

受信部１３０及びＢモード処理部１４０は、当該走査に応じた超音波プローブ１１０の出力に基づいて検波信号を生成する。

表示部１９０は、検波信号に基づくＢモード画像を画面の一部に表示する。

一方、位置−音声コマンド変換部４０は、前述したステップＳＴ１〜ＳＴ４の実行により、得られた音声コマンドを表示制御部１８０に送出する。

表示制御部１８０は、音声コマンドをＢモード画像とは異なる領域に表示するように、表示部１９０を制御する。詳しくは表示制御部１８０は、音声コマンドを画面の一部に表示するように、表示部１９０を制御する。

表示部１９０は、音声コマンドを画面の一部に表示（提示）する（ＳＴ５）。

操作者は、表示された音声コマンドを視認し、所望の音声コマンドを発話する。

これにより、超音波診断装置は、図示しない制御部が、発話された音声コマンドに基づいて、診断装置本体１０１の動作を制御する。

上述したように本実施形態によれば、位置情報から診断行為状態を特定し、診断行為状態から次操作を予測し、次操作を音声コマンドに変換し、得られた音声コマンドを提示する。これにより、音声コマンドの暗記と、音声コマンドのリストの絞り込みのみの操作とを不要にすることができる。

また、医用機器操作支援装置を超音波診断装置に適用した場合、予測した次操作の音声コマンドを操作者に示して超音波診断装置の操作を支援することができる。

また、本実施形態によれば、被検体又は操作者のいずれかの位置情報が、当該被検体又は当該操作者のいずれかの骨格の座標を含む構成により、診療行為状態を特定するための位置情報を人間の姿勢に応じて取得することができる。

＜第２の実施形態＞
図２３は第２の実施形態に係る医用機器操作支援装置の構成を示す模式図であり、図１と略同一部分については同一符号を付してその詳しい説明を省略し、ここでは異なる部分について主に述べる。

第２の実施形態は、第１の実施形態の変形例であり、次操作の予測精度の向上を図る観点から、発話情報（医師から患者への発話内容など）及び環境情報（部屋の明るさ、周囲音の大きさなど）を取得する構成となっている。

具体的には、医用機器操作支援装置Ｓは、図１に示した構成に比べ、外部起因情報記憶部４８及び外部起因情報取得部６０を備えた構成となっている。

外部起因情報記憶部４８は、外部起因情報取得部６０により書込可能であり、且つ診療行為状態特定部４５及び次操作予測部４６により読出可能な記憶部である。外部起因情報記憶部４８は、図２４に示すように、外部起因情報としての発話情報を含む発話情報テーブル４８ａと、外部起因情報としての環境情報を含む環境情報テーブル４８ｂとを記憶する。なお、「発話」の用語は、「声掛け」又は「会話」等と読み替えてもよい。

発話情報テーブル４８ａは、発話者、時刻及び内容を互いに関連付けて記憶する。なお、発話情報は、操作者及び被検体の各々の発話内容を示す情報であり、ここでは、発話情報テーブル４８ａ内の内容（例、音声認識の結果を表す文字列）、発話者（例、操作者、被検体）及び時刻を含む情報である。また、発話情報のうち、発話者及び時刻は、音声コマンドとは直接関係がない任意の付加的事項であり、省略してもよい。また、発話情報は、操作者及び被検体の各々の発話内容を示す情報に限らず、少なくとも操作者（例、医師）から被検体（患者）への発話内容を含む情報であればよい。

環境情報テーブル４８ｂは、環境（例、部屋）、項目（例、部屋の明るさ）及び値（例、部屋の明るさの測定値）を互いに関連付けて記憶する。なお、環境情報は、医用機器の周囲の物理的な環境を示す情報であり、ここでは環境情報テーブル４８ｂ内の環境、項目及び値を含む情報である。また、環境情報のうち、環境（医用機器の配置場所）は、音声コマンドとは直接関係がない任意の付加的事項であり、省略してもよい。

外部起因情報取得部６０は、発話情報及び環境情報を取得し、当該取得した発話情報及び環境情報を外部起因情報記憶部４８に書込む。具体的には、外部起因情報取得部６０は、発話情報を発話情報テーブル４８ａに書込むと共に、環境情報を環境情報テーブル４８ｂに書込む。このような外部起因情報取得部６０は、発話情報取得手段及び環境情報取得手段を構成している。

外部起因情報取得部６０は、発話情報を取得する場合、マイクなどの録音部と音声認識技術を用い、発話の時刻、発話者および内容を取得する。

外部起因情報取得部６０は、環境情報を取得する場合、各種センサーと信号処理技術を用い、例えば部屋の明るさ、周囲音の大きさを取得する。

また、外部起因情報記憶部４８の追加に伴い、診療行為状態条件記憶部４２は、前述した記憶内容に加え、図２５に示すように、発話情報又は環境情報に基づく条件と、診療行為状態とを関連付けて記憶する。但し、発話情報に基づく条件は、発話情報のうち、音声コマンドのリストを絞り込んで表示させるためだけの発話情報には基づいていない。発話情報に基づく条件は、例えば、医師から患者への声掛け内容を含む発話情報に基いている。

同様に、外部起因情報記憶部４８の追加に伴い、次操作予測記憶部４３は、前述した記憶内容に加え、図２６に示すように、図２５に示した診療行為状態と、単一または複数の装置における次操作と、診療行為状態を示す条件とを互いに関連付けて記憶している。ここで、図２５に示した診療行為状態とは、発話情報又は環境情報に基づく条件に関連付けられた診療行為状態を意味している。

また、診療行為状態特定部４５は、前述した位置情報の各々に基づいて診療行為状態を特定する第１特定機能と、発話情報又は環境情報に基づいて、当該（位置情報に基づく）診療行為状態とは異なる診療行為状態を特定する第２特定機能と、を含んでいる。

また、このような医用機器操作支援装置Ｓが適用された超音波診断装置１００は、図２７に示すように、前述した図１７に示した構成に比べ、更に、外部起因情報取得部６０及び図示しない外部起因情報記憶部４８を備えた構成になっている。図２７に示した超音波診断装置１００においても、外部起因情報取得部６０、外部起因情報記憶部４８、診療行為状態条件記憶部４２、次操作予測記憶部４３及び診療行為状態特定部４５は、本実施形態に述べた構成となっている。

次に、以上のように構成された医用機器操作支援装置及び超音波診断装置の動作を順次、説明する。始めに、医用機器操作支援装置Ｓの動作を図２８を用いて述べる。

医用機器操作支援装置Ｓでは、位置情報取得部３０が人物の骨格や器具・装置の特徴点を位置情報として取得する（ＳＴ１）。

また、ステップＳＴ１の動作に並行して、医用機器操作支援装置Ｓでは、外部起因情報取得部６０が、発話情報及び環境情報を取得し、当該取得した発話情報及び環境情報を外部起因情報記憶部４８に書込む（ＳＴ１ａ）。

診療行為状態特定部４５は、ステップＳＴ１で取得された位置情報を診療行為状態条件記憶部４２と照合し、各々の診療行為状態の条件を満たすか否かを判定し（ＳＴ２）、条件を満たす診療行為状態を特定する。

同様に、ステップＳＴ２の動作に並行して、診療行為状態特定部４５は、ステップＳＴ１ａで取得された発話情報及び環境情報を診療行為状態条件記憶部４２と照合し、各々の診療行為状態の条件を満たすか否かを判定し（ＳＴ２ａ）、条件を満たす診療行為状態を特定する。

次操作予測部４６は、ステップＳＴ２及びＳＴ２ａで特定された診療行為状態に基づいて、次操作予測記憶部４３を参照し、次操作を予測する（ＳＴ３ａ）。

操作−音声コマンドマッピング部４７は、予測された次操作を操作−音声コマンドマッピング記憶部４４の参照により音声コマンドに変換する（ＳＴ４）。

音声コマンド提示部５０は、変換された音声コマンドを操作者に提示する（ＳＴ５）。

操作者は、提示された音声コマンドを視認し、所望の音声コマンドを発話する。

これにより、医用機器操作支援装置は、発話された音声コマンドに基づいて、医用機器を制御する。

次に、上述した医用機器操作支援装置が適用された超音波診断装置の動作を述べる。

超音波診断装置１００では、前述同様に、操作者が超音波プローブ１１０を被検体に当てると共に、超音波プローブ１１０を介して被検体の内部を超音波で走査する。

また、超音波診断装置１００では、前述同様に、当該走査に応じた超音波プローブ１１０の出力に基づくＢモード画像を画面の一部に表示する。

一方、位置−音声コマンド変換部４０は、前述したステップＳＴ１，ＳＴ１ａ，ＳＴ２，ＳＴ２ａ，ＳＴ３ａ，ＳＴ４の実行により、得られた音声コマンドを表示制御部１８０に送出する。

表示制御部１８０は、音声コマンドをＢモード画像とは異なる領域に表示するように、表示部１９０を制御する。詳しくは表示制御部１８０は、音声コマンドを画面の一部に表示するように、表示部１９０を制御する。

表示部１９０は、音声コマンドを画面の一部に表示（提示）する（ＳＴ５）。

操作者は、表示された音声コマンドを視認し、所望の音声コマンドを発話する。

これにより、超音波診断装置は、図示しない制御部が、発話された音声コマンドに基づいて、診断装置本体１０１の動作を制御する。

上述したように本実施形態によれば、発話情報又は環境情報から診断行為状態を特定し、診断行為状態から次操作を予測し、次操作を音声コマンドに変換し、得られた音声コマンドを提示する構成により、第１の実施形態の効果に加え、発話情報又は環境情報から予測した次操作の音声コマンドを提示して医用機器の操作を支援することができる。

＜第３の実施形態＞
次に、第３の実施形態に係る医用機器操作支援装置及び超音波診断装置について図１及び図１７を用いて説明する。

第３の実施形態は、第１又は第２の実施形態の変形例であり、優先度としてのスコアに応じて音声コマンドを提示する構成となっている。なお、以下の説明では第１の実施形態の変形例とした場合を述べるが、第２の実施形態の変形例としても同様に実施できる。

ここで、診療行為状態特定部４５は、前述同様に診療行為状態を特定する機能と、前述とは異なり、位置情報取得部３０により取得された位置情報の各々に基づいて、特定した診療行為状態にスコア付けする機能（優先度を設定する機能）と、を備えている。

この場合、診療行為状態特定部４５が参照する診療行為状態条件記憶部４２は、診療行為状態及び次操作に対し、スコアを含む条件を関連付けて記憶していてもよい。

スコアを含む条件としては、例えば図２９の１行目の条件及び図３０（ａ）に示すように、ある座標（Ｘｂ，Ｙｂ，Ｚｂ）を中心として近い領域ほど高スコア（高い優先度）を付け、遠い領域ほど低スコア（低い優先度）を付けるなどと定めてもよい。ここで、各々の領域としては、必ずしも同心の円柱形状ではなく、同心の四角柱形状などの任意の形状が使用可能となっている。

具体的には例えば図２９の１行目に示すように、診療行為状態“腹部エコー（肝臓）”と、医師が持つ超音波プローブの座標（Ｘａ，Ｙａ，Ｚａ）が患者の肝臓の座標（Ｘｂ，Ｙｂ，Ｚｂ）から所定範囲（±αｘ，±αｙ，±αｚ），（±０．７αｘ，±０．７αｙ，±αｚ）又は（±０．３αｘ，±０．３αｙ，±αｚ）内にあるという条件とを関連付けて保持する。この条件は、前述同様の不等式の関係により表現可能となっている（前述した不等式の関係内のαｘ，αｙに対し、適宜、０．３や０．７等の係数を付加すればよい。）。

また、遠い所定範囲（±αｘ，±αｙ，±αｚ）は、低いスコア１と関連付けている。中間の所定範囲は（±０．７αｘ，±０．７αｙ，±αｚ）は、中間のスコア５と関連付けている。近い所定範囲は（±０．３αｘ，±０．３αｙ，±αｚ）は、高いスコア１０と関連付けている。

また、スコアを含む条件としては、例えば図２９の２行目の条件及び図３０（ｂ）に示すように、ある領域に超音波プローブ１１０が入っている時間が長いほど高スコアを付け、短いほど低スコアを付けるなどと定めてもよい（例えば、「５秒以上：スコア１０」及び「３秒以上５秒未満：スコア５」などと定めてもよい）。

スコアは、診療行為状態の特定に用いてもよい。例えば、診療行為状態特定部４５は、ある閾値以上のスコアの条件に関連付けられた診療行為状態を特定する処理、又はスコア上位ｎ個の条件に関連付けられた診療行為状態を特定する処理を実行してもよい。上位ｎ個としては、任意の個数が適用可能であるが、例えば、視認の容易な１個〜５個の範囲内にあることが好ましい。

次操作予測部４６は、前述同様に、特定された診療行為状態に基づいて次操作を予測する機能と、前述とは異なり、予測した次操作にスコア付けする機能（次操作に優先度を設定する機能）と、を備えている。

予測した次操作にスコア付けする機能としては、例えば、予測された次操作に関連付けられた診療行為状態に設定されたスコアと、当該予測された次操作に関連付けられた条件に設定されたスコアとの二つの段階のスコアを合計し、合計したスコアを当該次操作に設定すればよい。

この場合、次操作予測部４６が参照する次操作予測記憶部４３は、図３１に示すように、診療行為状態及び次操作に対し、スコアを含む条件を関連付けて記憶している。

例えば、次操作予測記憶部４３は、検査・患者情報又は操作来歴情報の少なくとも一方と、スコアとを関連付けた情報を条件に含んでいる。

検査・患者情報と、スコアとを関連付けた情報（患者の病歴に応じてスコア付けする情報）としては、例えば、心不全：スコア１０、心筋梗塞：スコア５などがある。

操作来歴情報と、スコアとを関連付けた情報（医用機器の操作来歴に応じてスコア付けする情報）としては、例えば、「フリーズ実行０回：スコア１０」及び「フリーズ実行１回：スコア５」などがある。

スコアは、次操作の予測に用いてもよい。次操作予測部４６は、例えば、ある閾値以上のスコアの条件に関連付けられた次操作を（予測した次操作として）抽出する処理、又は上位ｍ個の条件に関連付けられた次操作を（予測した次操作として）抽出する処理を実行してもよい。上位ｍ個としては、任意の個数が適用可能であるが、例えば、視認の容易な１個〜５個の範囲内にあることが好ましい。

音声コマンド提示部５０は、前述同様に、予測された次操作に基づいて音声コマンドを提示する機能と、前述とは異なり、予測された次操作に設定されたスコアに基づいて、当該音声コマンドの提示方法を変更する機能とを有している。

例えば、音声コマンド提示部５０は、予測した次操作に設定されたスコアに基づき、表示の有無、表示時間、色、サイズ、位置、透明度、表示時の音などのパラメータを変更して、音声コマンドを提示する。

音声コマンド提示部５０は、次操作に設定されたスコアの高い音声コマンドほど、操作者の確認し易い提示方法で提示することが好ましい。

なお、以上のようなスコア付けの機能は、診療行為状態特定部４５及び次操作予測部４６の両者が有する場合に限らず、診療行為状態特定部４５及び次操作予測部４６のいずれか一方のみが有していてもよい。

また、このような医用機器操作支援装置Ｓが適用された超音波診断装置１００は、図１７に示した位置−音声コマンド変換部４０内の診療行為状態条件記憶部４２、次操作予測記憶部４３、診療行為状態特定部４５及び次操作予測部４６が、本実施形態に述べた構成となっている。また、表示制御部１８０及び表示部１９０が、本実施形態に述べた音声コマンド提示部５０としても機能する。

次に、以上のように構成された医用機器操作支援装置及び超音波診断装置の動作を順次、説明する。始めに、医用機器操作支援装置Ｓの動作を図３２を用いて述べる。

医用機器操作支援装置Ｓでは、位置情報取得部３０が人物の骨格や器具・装置の特徴点を位置情報として取得する（ＳＴ１）。

診療行為状態特定部４５は、ステップＳＴ１で取得された位置情報を診療行為状態条件記憶部４２と照合し、各々の診療行為状態の条件を満たすか否かを判定し（ＳＴ２）、条件を満たす診療行為状態を特定する。

また、診療行為状態特定部４５は、条件により特定した診療行為状態に当該条件内のスコアを付ける（ＳＴ２ｂ）。

次操作予測部４６は、特定された診療行為状態に基づいて、次操作予測記憶部４３の参照により次操作を予測すると共に（ＳＴ３）、予測した次操作に次操作予測記憶部４３内の条件に含まれるスコアを付ける（ＳＴ３ｂ）。

操作−音声コマンドマッピング部４７は、予測された次操作を操作−音声コマンドマッピング記憶部４４の参照により音声コマンドに変換する（ＳＴ４）。

音声コマンド提示部５０は、当該変換された音声コマンドを、ステップＳＴ３ｂで設定されたスコアに基づく提示方法で操作者に提示する（ＳＴ５ｂ）。

操作者は、提示された音声コマンドを視認し、所望の音声コマンドを発話する。

これにより、医用機器操作支援装置は、発話された音声コマンドに基づいて、医用機器を制御する。

次に、上述した医用機器操作支援装置が適用された超音波診断装置の動作を述べる。

超音波診断装置１００では、前述同様に、操作者が超音波プローブ１１０を被検体に当てると共に、超音波プローブ１１０を介して被検体の内部を超音波で走査する。

また、超音波診断装置１００では、前述同様に、当該走査に応じた超音波プローブ１１０の出力に基づくＢモード画像を画面の一部に表示する。

一方、位置−音声コマンド変換部４０は、前述したステップＳＴ１，ＳＴ２，ＳＴ２ｂ，ＳＴ３，ＳＴ３ｂ，ＳＴ４の実行により、得られた音声コマンドと、ＳＴ３ｂの実行により、設定されたスコアとを表示制御部１８０に送出する。

表示制御部１８０は、音声コマンドをＢモード画像とは異なる領域に表示するように、表示部１９０を制御する。詳しくは表示制御部１８０は、音声コマンドを画面の一部に表示するように、表示部１９０を制御する。このとき、表示制御部１８０は、スコアに基づいて音声コマンドの表示方法を変更するように、表示部１９０を制御する。

表示部１９０は、スコアに基づき、音声コマンドを画面の一部に表示（提示）する（ＳＴ５ｂ）。

操作者は、表示された音声コマンドを視認し、所望の音声コマンドを発話する。

これにより、超音波診断装置は、図示しない制御部が、発話された音声コマンドに基づいて、診断装置本体１０１の動作を制御する。

上述したように本実施形態によれば、診断行為状態から次操作を予測し、予測した次操作にスコアを設定し、予測した次操作を音声コマンドに変換し、得られた音声コマンドをスコアに基づいて提示する構成により、第１の実施形態の効果に加え、スコアに基づいて表示方法を変更しながら、音声コマンドを提示することができる。

このように、スコアに応じて表示方法を変更するので、特に高く使用が予測される音声コマンドほど、容易に操作者が確認することができる。

＜第４の実施形態＞
次に、第４の実施形態に係る医用機器操作支援装置及び超音波診断装置について図１及び図１７を用いて説明する。

第４の実施形態は、第１乃至第３の各実施形態の変形例であり、操作者が画面を視認している期間だけ音声コマンドを画面に提示する構成となっている。なお、以下の説明では、第１の実施形態の変形例とした場合を述べるが、第２又は第３の実施形態の変形例としても同様に実施できる。

具体的には、図１に示す診療行為状態特定部４５は、前述した機能に加え、操作者の位置情報と医用機器の位置情報とに基づいて、操作者による医用機器の画面の視認を表す診療行為状態を特定する機能を含んでいる。

図１に示す音声コマンド提示部５０は、前述した機能に加え、特定された診療行為状態が画面の視認を表す期間中に、所定の提示時間だけ音声コマンドを画面内に提示する機能を含んでいる。

また、このような医用機器操作支援装置Ｓが適用された超音波診断装置１００は、図１７に示した位置−音声コマンド変換部４０内の診療行為状態特定部４５が、本実施形態に述べた構成となっている。また、表示制御部１８０及び表示部１９０が、本実施形態に述べた音声コマンド提示部５０としても機能する。

次に、以上のように構成された医用機器操作支援装置及び超音波診断装置の動作を順次、説明する。始めに、医用機器操作支援装置Ｓの動作について図３３を用いて述べる。

医用機器操作支援装置Ｓでは、前述同様に、位置情報取得部３０が人物の骨格や器具・装置の特徴点を位置情報として取得する（ＳＴ１）。

診療行為状態特定部４５は、取得された位置情報を診療行為状態条件記憶部４２と照合し、各々の診療行為状態の条件を満たすか否かを判定し（ＳＴ２）、条件を満たす診療行為状態を特定する。このとき、診療行為状態特定部４５は、前述した次操作の予測のための診療行為状態の特定に加え、操作者の位置情報と医用機器の位置情報とに基づいて、操作者による医用機器の画面の視認を表す診療行為状態をも特定する。また、診療行為状態特定部４５は、画面の視認を表す診療行為状態を音声コマンド提示部５０に送出する。

次操作予測部４６は、前述した次操作の予測のために特定された診療行為状態に基づいて、次操作予測記憶部４３を参照し、次操作を予測する（ＳＴ３）。

操作−音声コマンドマッピング部４７は、前述同様に、予測された次操作を音声コマンドに変換する（ＳＴ４）。

音声コマンド提示部５０は、当該変換された音声コマンドを操作者に提示する（ＳＴ５）。但し、本実施形態のステップＳＴ５では、音声コマンド提示部５０は、特定された診療行為状態が画面の視認を表す期間中に、所定の提示時間だけ音声コマンドを画面内に提示する（ステップＳＴ５−１〜ＳＴ５−５）。

すなわち、ステップＳＴ５において、音声コマンド提示部５０は、操作−音声コマンドマッピング部４７から音声コマンドを取得する（ＳＴ５−１）。

また、音声コマンド提示部５０は、画面の視認を表す診療行為状態を診療行為状態特定部４５から取得したか否かを判定し（ＳＴ５−２）、否の場合には、音声コマンドを提示せずに（ＳＴ５−３）、ステップＳＴ５−２の処理に戻る。

ステップＳＴ５−２の判定の結果、取得した場合には、音声コマンド提示部５０は、ステップＳＴ５−１で取得した音声コマンドを提示する（ＳＴ５−４）。

音声コマンドの提示中、音声コマンド提示部５０は、所定の提示時間を過ぎたか否かを判定し（ＳＴ５−５）、否の場合にはステップＳＴ５−２の処理に戻る。

ステップＳＴ５−５の判定の結果、所定の提示時間を過ぎた場合には、音声コマンド提示部５０は、音声コマンドの提示を終了し、ステップＳＴ５を終了する。

操作者は、図３４（ｂ）又は図３４（ｃ）に示すように、ステップＳＴ５において提示された音声コマンドを視認する。このとき、操作者が音声コマンドの提示を見逃す状況（図３４（ａ）参照）は、防止されている。

また、操作者は、視認した音声コマンドのうち、所望の音声コマンドを発話する。

医用機器操作支援装置は、発話された音声コマンドに基づいて、医用機器を制御する。

次に、上述した医用機器操作支援装置が適用された超音波診断装置の動作を述べる。

超音波診断装置１００では、前述同様に、操作者が超音波プローブ１１０を被検体に当てると共に、超音波プローブ１１０を介して被検体の内部を超音波で走査する。

また、超音波診断装置１００では、前述同様に、当該走査に応じた超音波プローブ１１０の出力に基づくＢモード画像を画面の一部に表示する。

一方、位置−音声コマンド変換部４０は、前述したステップＳＴ１〜ＳＴ４の実行により、得られた音声コマンドと、画面の視認を表す診療行為状態とを表示制御部１８０に送出する。

表示制御部１８０は、音声コマンドをＢモード画像とは異なる領域に表示するように、表示部１９０を制御する。このとき、表示制御部１８０は、特定された診療行為状態が画面の視認を表す期間中に、所定の提示時間だけ音声コマンドを画面内に提示するように、表示部１９０を制御する。

表示部１９０は、表示制御部１８０の制御により、診療行為状態が画面の視認を表す期間中に、所定の提示時間だけ音声コマンドを画面の一部に表示（提示）する（ＳＴ５）。

操作者は、図３４（ｂ）又は図３４（ｃ）に示すように、表示された音声コマンドを視認し、所望の音声コマンドを発話する。

これにより、超音波診断装置は、図示しない制御部が、発話された音声コマンドに基づいて、診断装置本体１０１の動作を制御する。

上述したように本実施形態によれば、操作者の位置情報と医用機器の位置情報とに基づいて、医用機器の画面の視認を表す診療行為状態を特定し、画面の視認を表す期間中に、所定の提示時間だけ音声コマンドを画面内に提示する。

これにより、第１乃至第３の各実施形態の効果に加え、音声コマンドを所定の表示時間だけ表示する場合、操作者による表示の見逃しを防止することができる。

以上説明した少なくとも１つの実施形態によれば、位置情報から診断行為状態を特定し、診断行為状態から次操作を予測し、次操作を音声コマンドに変換し、得られた音声コマンドを提示する。これにより、音声コマンドの暗記と、音声コマンドのリストの絞り込みのみの操作とを不要にすることができる。

なお、上記の各実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行しても良い。

さらに、各実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

なお、各実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記の各実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

また、各実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…検査・患者情報記憶部、２０…操作来歴記憶部、３０…位置情報取得部、４０…位置−音声コマンド変換部、４１…位置情報記憶部、４２…診療行為状態条件記憶部、４３…次操作予測記憶部、４４…操作−音声コマンドマッピング記憶部、４５…診療行為状態特定部、４６…次操作予測部、４７…操作−音声コマンドマッピング部、５０…音声コマンド提示部、１００…超音波診断装置、１０１…診断装置本体、１１０…超音波プローブ、１２０…送信部、１３０…受信部、１４０…Ｂモード処理部、１５０…速度演算処理部、１６０…歪み分布演算部、１８０…表示制御部、１９０…表示部。

Claims (6)

1. 被検体に対する医用機器の操作者の操作を支援する医用機器操作支援装置であって、
   前記被検体又は前記操作者のいずれかの位置情報と、前記医用機器の位置情報とを取得する位置情報取得手段と、
   前記位置情報の各々に基づいて、診療行為状態を特定する状態特定手段と、
   前記特定された診療行為状態に基づいて、次操作を予測する次操作予測手段と、
   前記予測された次操作を音声コマンドに変換する音声コマンド変換手段と、
   前記変換された音声コマンドを提示する音声コマンド提示手段と、
   を備えたことを特徴とする医用機器操作支援装置。
2. 請求項１に記載の医用機器操作支援装置において、
   前記被検体又は前記操作者のいずれかの位置情報は、当該被検体又は当該操作者のいずれかの骨格の座標を含むことを特徴とする医用機器操作支援装置。
3. 請求項２に記載の医用機器操作支援装置において、
   前記操作者から前記被検体への発話内容を含む発話情報を取得する発話情報取得手段と、
   前記医用機器の周囲の物理的な環境を示す環境情報を取得する環境情報取得手段と、
   を備え、
   前記状態特定手段は、
   前記位置情報の各々に基づいて、前記診療行為状態を特定する第１特定手段と、
   前記発話情報又は前記環境情報に基づいて、前記診療行為状態とは異なる診療行為状態を特定する第２特定手段と、
   を含んでいることを特徴とする医用機器操作支援装置。
4. 請求項１乃至請求項３のいずれか１項に記載の医用機器操作支援装置において、
   前記次操作予測手段は、
   前記次操作を予測する手段と、
   前記予測された次操作に優先度を設定する手段と、
   を備え、
   前記音声コマンド提示手段は、前記設定された優先度に基づいて、前記音声コマンドの提示方法を変更することを特徴とする医用機器操作支援装置。
5. 請求項１乃至請求項４のいずれか１項に記載の医用機器操作支援装置において、
   前記状態特定手段は、前記操作者の位置情報と前記医用機器の位置情報とに基づいて、前記操作者による前記医用機器の画面の視認を表す診療行為状態を特定する手段を含み、
   前記音声コマンド提示手段は、前記特定された診療行為状態が前記画面の視認を表す期間中に、所定の提示時間だけ前記音声コマンドを前記画面内に提示することを特徴とする医用機器操作支援装置。
6. 操作者に把持される超音波プローブと、
   前記超音波プローブを介して被検体の内部を超音波で走査する走査部と、
   前記走査に応じた前記超音波プローブの出力に基づいて前記被検体の内部の断層像の画像データを発生する画像発生部と、
   少なくとも前記画像データを画面の一部の領域に表示する表示部と、
   を備え、前記操作者に操作される超音波診断装置であって、
   前記被検体の位置情報と、前記超音波プローブの位置情報とを取得する位置情報取得手段と、
   前記位置情報の各々に基づいて、診療行為状態を特定する状態特定手段と、
   前記特定された診療行為状態に基づいて、次操作を予測する次操作予測手段と、
   前記予測された次操作を音声コマンドに変換する音声コマンド変換手段と、
   前記変換された音声コマンドを表示するように前記表示部を制御する表示制御部と、
   を備えたことを特徴とする超音波診断装置。

Images