JP6598508B2 - 超音波診断装置とそのプログラム - Google Patents

Description

この発明の実施形態は、操作情報の入力を必要とする超音波診断装置とそのプログラムに関する。

超音波診断装置は、一般に、キーボードやトラックボールを有する操作パネルと、液晶ディスプレイ等を使用した表示デバイスを備え、これらの操作パネル及び表示デバイスを用いて、診断に必要な検査パラメータの入力やその変更等を行うようになっている。しかし、検査中において医師や検査技師等の操作者はプローブを操作しているため、被検査者の検査対象部位の位置や操作者の体勢によっては、両手が塞がって上記操作パネルへの入力操作を行えなかったり、また片手が空いていたとしても操作パネルに手が届かず入力操作を行えないことがある。

そこで、音声認識機能を持たせ、操作者が操作情報を音声入力できるようにした装置が提案されている。例えば特許文献１に記載された装置は、予め定めた制御用の言葉を記憶しておき、音声入力された言葉を上記記憶されている言葉と照合していずれに該当するかを判別し、該当する言葉が記憶されていた場合に当該言葉を受け付けるようにしている。

また、特許文献２に記載された装置は、音声入力された制御指令を認識し、この認識した制御指令がその時点での各部の動作設定内容に対応する制御指令と一致することが確認された場合に、上記入力された制御指令を有効にするようにしている。

特開平１１−１７５０９５号公報 特開平１０−２４８８３２号公報

ところが、特許文献１及び２に記載された装置では、操作者が言葉を発するつもりがないのに無意識に発した場合や、助手等との会話中に偶然そのコマンドが含まれていた場合に、当該言葉やコマンドが装置で認識されて当該言葉やコマンドに対応する制御が操作者の意図には関係なく実行されてしまうおそれがある。

この発明は上記事情に着目してなされたもので、その目的とするところは、操作者が無意識に或いは他者との会話中に偶然発した言葉が制御コマンドとして認識されないようにし、これにより操作性を改善しつつ誤入力の低減を図った超音波診断装置とそのプログラムを提供することにある。

実施形態によれば、超音波診断装置は、被検査者の検査に係る情報を表示手段に表示し、操作者が当該表示された情報を視認して検査のための操作を行う装置であって、検出手段と、判定手段と、入力受付制御手段を具備する。検出手段は、前記操作者が超音波プローブを用いて検査をする様子を撮影状態として検出する手段を備える。判定手段は、前記撮影状態が予め定められた状態にあるか否かを判定する。入力受付制御手段は、前記判定手段の判定結果に基づいて、前記操作者のジェスチャ及び音声の少なくとも一方による操作情報の入力を受け付ける。

第１の実施形態である超音波診断装置の外観を示す斜視図。 第１の実施形態である超音波診断装置の機能構成を示すブロック図。 第１の実施形態の動作説明に使用する、装置と操作者との位置関係の一例を示す図。 図２に示した超音波診断装置において実行される操作支援制御の処理手順と処理内容を示すフローチャートである。 検査期間中においてジェスチャ・音声入力受付モードが設定されたときの表示画面の第１の例を示す図。 検査期間中においてジェスチャ・音声入力受付モードが設定されたときの表示画面の第２の例を示す図。 第２の実施形態である超音波診断装置の機能構成を示すブロック図。 第２の実施形態の動作説明に使用する、装置と操作者との位置関係の一例を示す図。 第２の実施形態の動作説明に使用する、装置と操作者との位置関係の他の例を示す図。 図７に示した超音波診断装置において実行される操作支援制御の処理手順と処理内容を示すフローチャートである。 非検査期間中の情報入力設定時においてジェスチャ・音声入力受付モードが設定されたときの表示画面の第１の例を示す図。 非検査期間中の情報入力設定時においてジェスチャ・音声入力受付モードが設定されたときの表示画面の第２の例を示す図。 非検査期間中の情報入力設定時において音声入力受付モードが設定されたときの表示画面の第３の例を示す図。 第３の実施形態である超音波診断装置の機能構成を示すブロック図。 第３の実施形態の動作説明に使用する、装置と操作者との位置関係の一例を示す図。 図１４に示した超音波診断装置において実行される操作支援制御の処理手順と処理内容を示すフローチャートである。 図１６に示した操作支援制御によるジェスチャ入力受付処理の一例を示す図。 トラックボール操作が必要な時にジェスチャ入力受付モードが設定されたときの表示画面の第１の例を示す図。 第４の実施形態である超音波診断装置の機能構成を示すブロック図。 第４の実施形態の動作説明に使用する、装置と操作者との位置関係の一例を示す図。 図１９に示した超音波診断装置において実行される操作支援制御の処理手順と処理内容を示すフローチャートである。 第５の実施形態である超音波診断装置の機能構成を示すブロック図。 第５の実施形態の動作説明に使用する、装置と操作者との位置関係の一例を示す図。 図２２に示した超音波診断装置において実行される操作支援制御の処理手順と処理内容を示すフローチャートである。 第５の実施形態の動作説明に使用する、鉛直方向に対する操作者の体軸角度について説明するための図。 検査期間中においてジェスチャ・音声入力受付モードが設定されたときの表示画面の第１の例を示す図（複数受付の場合）。 検査期間中においてジェスチャ・音声入力受付モードが設定されたときの表示画面の第２の例を示す図（複数受付の場合）。 第５の実施形態の変形例１の説明に使用する、装置と操作者との位置関係の一例を示す図。

以下、図面を参照して実施形態を説明する。
［第１の実施形態］
第１の実施形態は、超音波診断装置において、操作者が超音波プローブを操作しており、かつ操作者と超音波診断装置との間の距離が予め設定した距離以上離れていることをジェスチャ・音声の入力受付条件とし、当該条件を満たす場合にジェスチャ・音声の入力受付モードを設定して、ジェスチャ・音声の入力受付け処理を実行するようにしたものである。

図１は、第１の実施形態に係る超音波診断装置の外観を示す斜視図である。
この第１の実施形態に係る超音波診断装置は、装置本体１の上部に操作パネル２と、表示デバイスとしてのモニタ３を配置し、上記装置本体１の側部に超音波プローブ４を収容したものとなっている。

操作パネル２は、オペレータからの各種指示、条件、関心領域（ＲＯＩ）の設定指示、種々の画質条件設定指示等を装置本体１にとりこむための各種スイッチ、ボタン、トラックボール、マウス、キーボード等を有している。モニタ３は例えば液晶表示器からなり、検査期間中には各種制御パラメータと超音波画像を表示するために用いられる。また非検査期間には、上記各設定指示を入力するための種々設定画面等をそれぞれ表示するために用いられる。

超音波プローブ４は、先端部にＮ（Ｎは２以上の整数）個の振動素子アレイを備え、上記先端部を被検体の体表に接触させて超音波の送受信を行なう。振動素子は電気音響変換素子からなり、送信時には電気的な駆動信号を送信超音波に変換し、受信時には受信超音波を電気的な受信信号に変換する機能を有している。尚、第１の実施形態では、複数個の振動素子を有するセクタ走査用の超音波プローブを用いる場合について述べるが、リニア走査やコンベックス走査等に対応した超音波プローブを用いてもよい。

また、表示デバイス３の筐体上部にはセンサユニット６が取着されている。センサユニット６は、検査が行われる空間（検査空間）における人物や物体等の位置や向き、動きを検出するために用いられるもので、カメラ６１とマイクロフォン６２を有する。カメラ６１は、撮影素子として例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）を使用したもので、検査空間における人物や物体等を撮影し、その画像データを装置本体１へ出力する。マイクロフォン６２は、複数の小型マイクロフォンを並べて配置したマイクロフォンアレイからなり、上記検査が行われる空間において操作者が発する音声を検出し、その音声データを上記装置本体１へ出力する。なお、センサユニット６としては例えばＫｉｎｅｃｔ（登録商標）センサが用いられる。

図２は、上記装置本体１の機能構成をその周辺のユニットと共に示したブロック図である。
装置本体１は、主制御ユニット２０と、超音波送信ユニット２１と、超音波受信ユニット２２と、入力インタフェースユニット２９と、操作支援制御ユニット３０Ａと、記憶ユニット４０とを備え、これらのユニット間をバスを介して接続している。主制御ユニット２０は、例えば所定のプロセッサとメモリとから構成される。主制御ユニット２０は、装置全体を統括的に制御する。

超音波送信ユニット２１は、図示しないトリガ発生回路、遅延回路及びパルサ回路等を有している。トリガ発生回路では、所定のレート周波数ｆｒHz（周期；１／ｆｒ秒）で、送信超音波を形成するためのトリガパルスが繰り返し発生される。遅延回路では、チャンネル毎に超音波をビーム状に集束しかつ送信指向性を決定するために必要な遅延時間が、各トリガパルスに与えられる。パルサ回路は、このトリガパルスに基づくタイミングで、超音波プローブ４に駆動パルスを印加する。

超音波受信ユニット２２は、図示していないアンプ回路、Ａ／Ｄ変換器、遅延回路、加算器等を有している。アンプ回路では、超音波プローブ４を介して取り込まれたエコー信号をチャンネル毎に増幅する。Ａ／Ｄ変換器では、増幅されたアナログのエコー信号をデジタルエコー信号に変換する。遅延回路では、デジタル変換されたたエコー信号に対し受信指向性を決定し、受信ダイナミックフォーカスを行うために必要な遅延時間を与え、その後加算器において加算処理を行う。この加算により、エコー信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。この超音波受信ユニット２３から出力されたエコー信号は、Ｂモード処理ユニット２３及びドプラ処理ユニット２４に入力される。

Ｂモード処理ユニット２３は、例えば所定のプロセッサとメモリとから構成される。Ｂモード処理ユニット２３は、上記超音波受信ユニット２２からエコー信号を受け取り、対数増幅、包絡線検波処理などを施し、信号強度が輝度の明るさで表現されるデータを生成する。

ドプラ処理ユニット２４は、例えば所定のプロセッサとメモリとから構成される。ドプラ処理ユニット２４は、上記超音波受信ユニット２２から受け取ったエコー信号から血流信号を抽出し、血流データを生成する。血流の抽出は、通常ＣＦＭ（Color Flow Mapping）で行われる。この場合、血流信号を解析し、血流データとして平均速度、分散、パワー等の血流情報を多点について求める。

データメモリ２５は、Ｂモード処理ユニット２３から受け取った複数のＢモードデータを用いて、三次元的な超音波走査線上のＢモードデータであるＢモードＲＡＷデータを生成する。また、データメモリ２５は、ドプラ処理ユニット２４から受け取った複数の血流データを用いて、三次元的な超音波走査線上の血流データである血流ＲＡＷデータを生成する。なお、ノイズ低減や画像の繋がりを良くすることを目的として、データメモリ２５の後に三次元的なフィルタを挿入し、空間的なスムージングを行うようにしてもよい。

ボリュームデータ生成ユニット２６は、例えば所定のプロセッサとメモリとから構成される。ボリュームデータ生成ユニット２６は、ＲＡＷ−ボクセル変換を実行することにより、上記データメモリ２５から受け取ったＢモードＲＡＷデータ及び血流ＲＡＷデータから、それぞれＢモードボリュームデータ及び血流ボリュームデータを生成する。

画像処理ユニット２７は、例えば所定のプロセッサとメモリとから構成される。画像処理ユニット２７は、ボリュームデータ生成ユニット２６から受け取ったボリュームデータに対して、ボリュームレンダリング、多断面変換表示（ＭＰＲ：multi planar reconstruction）、最大値投影表示（ＭＩＰ：maximum intensity projection）等の所定の画像処理を行う。なお、ノイズ低減や画像の繋がりを良くすることを目的として、画像処理ユニット２７の後に二次元的なフィルタを挿入し、空間的なスムージングを行うようにしてもよい。

表示処理ユニット２８は、例えば所定のプロセッサとメモリとから構成される。表示処理ユニット２８は、画像処理ユニット２７において生成・処理された各種画像データに対し、ダイナミックレンジ、輝度（ブライトネス）、コントラスト、γカーブ補正、ＲＧＢ変換等の、画像表示のための各種処理を実行する。

入力インタフェースユニット２９は、例えば所定のプロセッサとメモリとから構成される。入力インタフェースユニット２９は、先に述べたセンサユニット６のカメラ６１から出力された画像データと、マイクロフォン６２から出力された音声データをそれぞれ取り込む。そして、この取り込んだ画像データ及び音声データを記憶ユニット４０のバッファエリアに保存する。

操作支援制御ユニット３０Ａは、例えば所定のプロセッサとメモリとから構成される。操作支援制御ユニット３０Ａは、検査中において操作者のジェスチャ又は音声による制御コマンドの入力支援を行うもので、その制御機能として操作者認識部３０１と、距離検出部３０２と、プローブ使用状態判定部３０３と、入力受付条件判定部３０４と、入力受付処理部３０５を備えている。これらの制御機能は、いずれも図示しないプログラムメモリに格納されたプログラムを、主制御ユニット２０のプロセッサに実行させることにより実現される。

操作者認識部３０１は、上記記憶ユニット４０に保存された検査空間の画像データをもとに検査空間に存在する人物と超音波プローブ４の画像を認識し、超音波プローブ４を持ち人物を操作者と判別する。

距離検出部３０２は、センサユニット６が備えるカメラ６１の測距用光源とその受光器を用い、操作者に向け赤外線を照射してその反射光を受光して、当該受信された反射光と照射波との位相差、或いは照射から受光までの時間に基づいて、操作者７とモニタ３との間の距離Ｌを検出する。

プローブ使用状態判定部３０３は、主制御モード２０が検査モードに設定されているか、又は超音波のライブ画像がモニタ３に表示されているかにより、超音波プローブ４が使用中か否かを判定する。なお、上記操作者認識部３０１による人物と超音波プローブ４の画像の認識結果をもとに、検査空間の画像データから超音波プローブ４が検出されたか否かにより、超音波プローブ４が使用中か否かを判定することも可能である。

入力受付条件判定部３０４は、上記距離検出部３０２により検出された距離と、プローブ使用状態判定部３０３により判定された超音波プローブ４の使用状態とに基づいて、現在の操作者の状態がジェスチャ・音声の入力受付条件を満たすか否かを判定する。

入力受付処理部３０５は、上記入力受付条件判定部３０４において現在の操作者の状態がジェスチャ・音声による操作情報の入力受付条件を満たしていると判定された場合に、ジェスチャ入力受付モードを設定して、ジェスチャ・音声入力を受付中であることを示すアイコン４１を、モニタ３の表示画面に表示する。そして、センサユニット６のカメラ６１により得られた操作者の画像データ、及びマイクロフォン６２により得られた操作者の音声データから、それぞれ操作者のジェスチャ及び音声を認識する。そして、この認識したジェスチャ及び音声により表される操作情報の妥当性を判断し、妥当であれば当該ジェスチャ及び音声により表される操作情報を受け付ける。

（動作）
次に、以上のように構成された装置による入力操作支援動作を説明する。
図３は装置本体１に対する超音波プローブ４、操作者７及び被検査者８の位置関係の一例を示す図、図４は操作支援制御ユニット３０Ａによる入力操作支援制御の処理手順と処理内容を示すフローチャートである。

（１）超音波プローブ４の使用状態の判定
操作支援制御ユニット３０Ａは、先ずステップＳ１１によりプローブ使用状態判定部３０３の制御の下、超音波プローブ４が使用中か否かを判定する。この判定は、主制御モード２０が検査モードに設定されているか、又は超音波のライブ画像がモニタ３に表示されているかにより、判定することができる。

（２）操作者の認識
操作支援制御ユニット３０Ａは、次に操作者認識部３０１の制御の下、操作者を認識するための処理を以下のように実行する。
すなわち、先ずステップＳ１２によりセンサユニット６のカメラ６１から検査空間を撮影した画像データを取り込み、記憶ユニット４０のバッファエリアに保存する。次にステップＳ１３により、上記保存された画像データから超音波プローブ４及び人物の画像を認識する。この超音波プローブ４の認識は、例えばパターン認識を用いて行う。具体的には、上記保存された１フレームの画像データに対しそれより小サイズの着目領域を設定し、この着目領域の位置を１画素ずつシフトするごとにその画像を予め記憶された超音波プローブ４の画像パターンと照合し、その一致の度合いがしきい値以上になった場合に当該照合対象の画像を超音波プローブ４の画像として認識する。そしてステップＳ１４により、上記抽出された超音波プローブ４を持つ人物を操作者７と認識する。

（３）操作者７とモニタ３との間の距離Ｌの検出
次にステップＳ１５において、距離検出部３０２の制御の下で、上記認識した操作者７の特定の部位、例えば超音波プローブ４を持っていない側の肩関節の位置と、モニタ３との間の距離Ｌを以下のように検出する。

すなわち、センサユニット６は、例えばカメラ６１が備える測距用の光源と受光器を用い、検査空間に赤外線を照射して、当該照射光の操作者７による反射光を受光する。そして、上記受信された反射光と照射波との位相差、或いは照射から受光までの時間に基づいて、操作者７の超音波プローブ４を持っていない側の肩関節の位置とセンサユニット６との間の距離Ｌを算出する。なお、センサユニット６はモニタ３の上部に一体的に取着されているので、上記距離Ｌは操作者とモニタ３との間の距離と見なすことができる。

（４）入力受付条件を満たしているか否かの判定
上記距離Ｌの算出が終了すると、次にステップＳ１６において入力受付条件判定部３０４の制御の下、上記距離検出部３０２により検出された距離Ｌと、プローブ使用状態判定部３０３により判定された超音波プローブ４の使用状態の判定結果をもとに、現在の操作者７の状態がジェスチャ・音声による操作情報の入力受付条件を満たすか否かを判定する。例えば、ステップＳ１１において超音波プローブ４が使用中と判定され、かつ操作者７とモニタ３との間の距離が５０cm以上離間している場合には、入力受付条件を満たしていると判定する。この判定の結果、入力受付条件を満たしていなければ、ジェスチャ・音声による操作情報入力モードを設定せず、入力操作の支援制御は終了する。

（５）ジェスチャ・音声による操作情報の入力受付処理
これに対し、上記ステップＳ１６において入力受付条件を満たすと判定されたとする。この場合には、入力受付処理部３０５の制御の下、以下のようにジェスチャ・音声の入力受付処理を実行する。

すなわち、先ずステップＳ１７において、ジェスチャ入力受付モードを設定したのち、ジェスチャ・音声入力を受付中であることを示すアイコン４１を、モニタ３の表示画面上に表示する。またそれと共にステップＳ１８において、ジェスチャ・音声の入力により操作可能な対象項目４２をモニタ３の表示画面に表示する。図５又は図６はその表示例を示すもので、図５はカテゴリの項目選択をジェスチャ・音声入力による操作対象とする場合を、また図６は選択されたカテゴリの中の詳細項目の選択をジェスチャ・音声入力による操作対象とする場合をそれぞれ示している。

この状態で、操作者７が例えば図３に示したようにジェスチャにより操作対象項目の番号に対応する本数の指を立てたとする。この場合入力受付処理部３０５は、ステップＳ１９〜Ｓ２０において、カメラ６１により撮影された操作者の画像データから手指の画像を抽出し、この抽出した手指の画像を予め記憶してある手指により番号を表現したときの基本画像パターンと照合する。そして、両画像がしきい値以上の類似度で一致すると、このときの手指の画像により表される番号を受付け、ステップＳ２１において当該番号に対応するカテゴリ又は詳細項目を選択する。

一方、操作者が操作対象項目の番号を表す音声を発したとする。この場合、入力受付処理部３０５は、マイクロフォン６２により集音された音声について、その音源の方向を検出する処理と、音声認識処理を以下のように行う。すなわち、マイクロフォンアレイにより構成されるマイクロフォン６２を利用してビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術であり、これにより音源の方向、つまり操作者の方向を特定する。また、入力受付処理部３０５は、既知の音声認識技術を用いて、集音した音声から単語を認識する。そして、上記音声認識技術によって認識された単語が操作対象項目に存在するか否かを判定し、存在する場合には当該単語により表される番号を受付け、ステップＳ２１において当該番号に対応するカテゴリ又は詳細項目を選択する。

上記ジェスチャ・音声の入力受付モードが設定されている状態で、入力受付条件判定部３０４は、ステップＳ２２において入力受付モードの解除を監視する。そして、操作者の状況が上記入力受付条件を満たしている限り上記ジェスチャ・音声の入力受付モードを維持する。これに対し、操作者７が超音波プローブ４の操作を終了するか、又は装置に近づいて手動による入力操作が可能になると、入力受付条件を満足しなくなるので、この時点でジェスチャ・音声の入力受付モードを解除し、アイコン４１も消去する。

（第１の実施形態の効果）
以上詳述したように第１の実施形態では、超音波プローブ４の使用状態を判定すると共に、検査空間をカメラ６１により撮影した画像データをもとに操作者を認識して当該操作者とモニタ３との間の距離Ｌを算出している。そして、超音波プローブ４が使用中で、かつ距離Ｌが予め設定した距離以上の場合に、ジェスチャ・音声入力の受付条件を満足していると判断してジェスチャ・音声の入力受付モードを設定し、この状態で入力されたジェスチャ又は音声の認識結果を入力操作情報として受け付けるようにしている。

したがって、ジェスチャ・音声による入力受付期間を操作者が真に必要とする状況下のみに制限することができる。このため、ジェスチャ・音声による入力操作を必要としない状況下で、操作者７が言葉を発するつもりがないのに、或いはジェスチャするつもりはないのに、無意識に行った場合や、助手や被検査者８等との会話或いは手振りによる説明の中に偶然その操作コマンドが含まれていた場合に、当該言葉やコマンドが装置で認識されて当該言葉やコマンドに対応する制御が操作者７の意図には関係なく実行されないようにすることができる。

また、ジェスチャ・音声入力の受付条件を満たしたときに、モニタ３の表示画面上にアイコン４１を表示し、さらに操作対象となる項目を番号を付して表示するようにしている。このため、操作者７はジェスチャ・音声入力が可能なモードになっているか否かをモニタ３を見ることで明確に認識することができ、さらに操作対象項目を確認した上でジェスチャ・音声による入力操作を行うことができる。

［第２の実施形態］
第２の実施形態は、患者・検査情報の登録、変更又は削除等に対し非検査期間に操作者がデータ操作を行う際に、操作者がモニタを視認し、かつ当該モニタにデータ操作に必要な表示画面データが表示されていることをジェスチャ・音声の入力受付条件とし、当該条件を満たす場合にジェスチャ・音声の入力受付モードを設定して、ジェスチャ・音声の入力受付け処理を実行するようにしたものである。

図７は、第２の実施形態に係る超音波診断装置の装置本体１Ｂの機能構成を、周辺部の構成と共に示したブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。

装置本体１Ｂの操作支援制御ユニット３０Ｂは、例えば、所定のプロセッサ及びメモリによって構成されている。操作支援制御ユニット３０Ｂは、第２の実施形態を実施する上で必要な制御機能として、顔方向検出部３０６と、画面判定部３０７と、入力受付条件判定部３０８と、入力受付処理部３０９を備えている。

顔方向検出部３０６は、センサユニット６のカメラ６１により撮影された操作者の画像データをもとに操作者の顔画像をパターン認識技術を用いて認識し、当該認識結果をもとに操作者の顔がモニタ３の方向を向いているか否かを判定する。

画面判定部３０７は、患者・検査情報の登録、変更又は削除等の制御情報に対するデータ操作を行う際に、当該データ操作に必要なステータスの表示画面データがモニタ３に表示されているか否かを判定する。

入力受付条件判定部３０８は、上記顔方向検出部３０６により検出された操作者の顔の方向と、上記画面判定部３０７により判定された表示画面データのステータスに基づいて、操作者の顔の方向及び表示画面データのステータスがジェスチャ・音声による操作情報の入力受付条件を満たすか否かを判定する。

入力受付処理部３０９は、上記入力受付条件判定部３０８において操作者の顔の方向及び表示画面データのステータスがジェスチャ・音声の入力受付条件を満たしていると判定された場合に、ジェスチャ及び音声の入力受付モードを設定し、ジェスチャ及び音声の入力受付中であることを示すアイコンを表示画面に表示させる。そして、センサユニット６のカメラ６１により得られた操作者の画像データ、及びマイクロフォン６２により得られた操作者の音声データをもとに、それぞれ操作者のジェスチャ及び音声を認識する。そして、この認識したジェスチャ及び音声により表される操作情報の妥当性を判断し、妥当であれば当該ジェスチャ及び音声により表される操作情報を受け付ける。

（動作）
次に、以上のように構成された装置による入力操作支援動作を説明する。
図８及び図９は装置に対する操作者７の位置関係の一例を示すもので、図８は操作者が立った状態で入力操作を行おうとしている場合を、図９は操作者が座った状態で入力操作を行おうとしている場合をそれぞれ示している。また図１０は操作支援制御ユニット３０Ｂによる入力操作支援制御の処理手順と処理内容を示すフローチャートを示している。

（１）操作者の顔の向きの検出
操作支援制御ユニット３０Ｂは、先ず顔方向検出部３０６の制御の下、操作者の顔の向きを検出するための処理を以下のように実行する。
すなわち、先ずステップＳ３１によりセンサユニット６のカメラ６１から操作者７を撮影した画像データを取り込み、記憶ユニット４０のバッファエリアに一旦保存する。次にステップＳ３２により、上記保存された画像データから操作者７の顔画像を認識する。この顔画像の認識は、例えば上記取得した画像データを、予め記憶しておいた操作者の顔画像パターンと照合する周知のパターン認識技術を用いて行う。そしてステップＳ３３により、上記認識した操作者の顔画像中から目を表す画像を抽出し、この抽出された目の画像から操作者の視線Ｋを検出する。

続いてステップＳ３４において、装置のモニタ３と操作者７との間の距離を検出する。この距離の検出は例えば以下のように行われる。すなわち、センサユニット６から例えば赤外線を操作者に向けて照射し、照射波が操作者７の顔面で反射された反射波をカメラ６１の受光素子で受光する。そして、上記照射波と反射波との位相差、或いは照射から受光までの時間に基づいて算出する。

（２）操作対象画面の判定
次にステップＳ３５において、画面判定部３０７の制御の下、モニタ３に表示されている表示画面データのステータス、つまり表示画面の種類とその状態が、データ操作を必要とする場合に相当するか否かを、予め記憶しておいた判定条件をもとに判定する。判定条件としては、例えば下記の３つの場合が挙げられる。
(1) 患者情報登録画面において病院サーバに問い合わせたところ、検査予約データが未登録であり、登録操作が必要な状態。
(2) 患者情報又は検査情報の編集画面が表示され、かつ当該表示画面中のいずれかの項目のテキストボックスにフォーカスが当たっている状態。
(3) 検査リストの表示画面が表示され、かつ当該画面中のキーワード入力ボックスにフォーカスが当たっている状態。

（３）入力受付条件を満たしているか否かの判定
操作支援制御ユニット３０Ｂは、次にステップＳ３６において入力受付条件判定部３０８の制御の下、上記顔方向検出部３０６による操作者の顔の向き（正確には視線の方向Ｋ）の検出結果と、上記画面判定部３０７による表示画面データのステータスの判定結果とに基づいて、ジェスチャ・音声による操作情報の入力受付条件を満たしているか否かを判定する。

例えば、操作者の顔（視線）がモニタ３を向いている状態で、かつモニタ３に表示されている画面が上記(1) 、(2) 及び(3) のいずれかに該当する場合には、ジェスチャ・音声の入力受付条件を満たしていると判定する。この判定の結果、入力受付条件を満たしていなければ、ジェスチャ・音声による操作情報入力モードを設定せず、入力操作の支援制御は終了する。

なお、入力受付条件の１つとして、操作者７の顔とモニタ３との間の距離が予め設定されたしきい値以内である場合を加えてもよい。このようにすると、表示画面データがデータ操作を必要とするステータスになっていても、また操作者７の顔がモニタ３を向いていても、操作者７とモニタ３との距離がしきい値を超えていれば、操作者７は操作パネル２を用いた主たる入力操作を行える状態になっていないと見なして、ジェスチャ・音声による入力受付を許可しないようにすることができる。

（５）ジェスチャ・音声による操作情報の入力受付処理
これに対し、上記ステップＳ３６において入力受付条件を満たすと判定されたとする。この場合には、入力受付処理部３０９の制御の下、以下のようにジェスチャ・音声の入力受付処理を実行する。

すなわち、先ずステップＳ３７において、ジェスチャ・音声入力受付モードを設定した上で、当該モードが設定中であることを示すアイコン４１を、モニタ３の表示画面上に表示する。図１１乃至図１３はその表示例を示すもので、図１１は検査予約情報が未登録の患者情報登録画面にアイコン４１を表示した場合を、図１２は患者・検査情報の編集画面にアイコン４１を表示した場合を、図１３は検索リストの表示画面にアイコン４１を表示した場合をそれぞれ示している。

上記ジェスチャ・音声入力受付モードが設定された状態で、操作者７がジェスチャ及び音声により操作情報を入力すると、入力受付処理部３０９は以下のように操作情報の入力受付処理を行う。

例えば図１１に示したように患者情報登録画面が表示され、かつ予約検査リストに予約検査情報が登録されていない状態で、操作者７がモニタ３の表示画面に向けた指を移動させたとする。そうすると、ステップＳ３９において、カメラ６１により操作者７を撮影した画像データから先ず当該操作者７の指先の画像を抽出し、この抽出した指先の画像の移動方向と移動量を検出する。そして、その検出結果に従いステップＳ４０によりテキストボックスに対するフォーカスの位置を移動させる。例えば、いま“Exam Type”のテキストボックスにフォーカスが当たっている状態で操作者７がジェスチャにより指を下方に一定量移動させると、このジェスチャが認識されてフォーカスが当たるテキストボックスが “ID”のテキストボックスに移動する。

続いて、操作者７が音声を入力すると、この入力音声がマイクロフォン６２により検出され、さらにその音声データから周知の音声認識処理により操作者７が入力した単語がステップＳ３９において認識されて、ステップＳ４０により当該単語が上記フォーカスの当たっている“ID”のテキストボックスに入力される。

また、図１２に示したように患者・検査情報の編集画面が表示され、かつ当該画面中の “ID”のテキストボックスにフォーカスが当たっている状態で、操作者７がジェスチャにより指を下方に移動させたとする。この場合には、当該ジェスチャが認識されてフォーカスが当たるテキストボックスが“Last Name”のテキストボックスに移動する。そして、操作者７が音声を入力すると、この入力音声がマイクロフォン６２により検出され、さらにその音声データから音声認識処理により操作者７が入力した単語が認識されて、当該単語が上記フォーカスの当たっている“Last Name”のテキストボックスに入力される。

一方、図１３に示したように検査リストが表示されている状態では、入力対象のテキストボックスは検索キーワード用のテキストボックスだけである。このため、ジェスチャの入力受付中を示すアイコンは表示されず、音声の入力受付中であることを示すアイコン４１のみが表示される。そして、この状態で操作者７が音声によりキーワードを入力すると、この入力音声がマイクロフォン６２により検出され、さらにその音声データから音声認識処理により操作者７が入力したキーワードの単語が認識されて、当該単語が上記フォーカスの当たっている“検索キーワードの”のテキストボックスに入力される。

かくして、操作者７のジェスチャ及び音声によるテキストボックスの選択操作と、選択されたテキストボックスに情報を入力する操作が行われる。

上記ジェスチャ・音声の入力受付モードが設定されている状態で、入力受付条件判定部３０８は、ステップＳ４１において入力受付モードの解除を監視する。その結果、操作者７の状況が上記入力受付条件を満たしている限り上記ジェスチャ・音声の入力受付モードを維持する。これに対し、操作者７が一定時間以上連続して顔をモニタ３から逸らすか、又は表示画面のステータスが操作者７によるデータ操作を必要としないものになると、入力受付条件を満足しなくなるので、この時点でジェスチャ・音声の入力受付モードを解除し、アイコン４１も消去する。

（第２の実施形態の効果）
以上詳述したように第２の実施形態では、非検査期間に操作者７が患者・検査情報の登録、変更又は削除等の制御情報に対するデータ操作を行う際に、操作者７の顔がモニタ３に向いており、かつ当該モニタ３にデータ操作が必要な表示画面データが表示されていることをジェスチャ・音声の入力受付条件とし、当該条件を満たす場合にジェスチャ・音声の入力受付モードを設定して、ジェスチャ・音声の入力受付け処理を実行するようにしている。

したがって、操作者７が患者・検査情報の登録、変更又は削除等の制御情報のデータ操作を行おうとする場合に、ジェスチャ及び音声によるテキストボックスの選択操作と、選択されたテキストボックスに情報を入力する操作を行うことが可能となり、全ての操作をキーボードやトラックボールを操作して行う場合に比べ、操作性を改善することができる。一般に、超音波診断装置のキーボードは小さく、またその都度引き出して使用しなければならないため、上記ジェスチャ及び音声による入力操作とキーボードによる入力操作を併用できることは、操作性を改善する上で大きな効果が期待できる。

しかも、上記ジェスチャ・音声の入力受付条件を設定し、当該条件を満たす場合にのみ入力を受け付けるようにしたので、ジェスチャ・音声による入力受付期間を操作者が真に必要とする状況下のみに制限することができる。このため、ジェスチャ・音声による入力操作を必要としない状況下で、操作者７が言葉を発するつもりがないのに、或いはジェスチャするつもりはないのに、無意識に行った場合や、助手や被検査者８等との会話或いは手振りによる説明の中に偶然その操作コマンドが含まれていた場合に、当該言葉やコマンドが装置で認識されて当該言葉やコマンドに対応する制御が操作者７の意図には関係なく実行されないようにすることができる。

また、ジェスチャ・音声入力の受付条件を満たしたときに、モニタ３の表示画面上にアイコン４１を表示し、さらに操作対象となる項目を番号を付して表示するようにしている。このため、操作者７はジェスチャ・音声入力が可能なモードになっているか否かを、モニタ３を見ることで明確に認識することができる。

［第３の実施形態］
第３の実施形態は、検査中以外の画面が表示され、かつトラックボールの操作によるカーソル移動が必要な状態で、操作者の顔がモニタの方向を向き、操作者がトラックボールに触れておらず、さらに操作者の手の位置が操作パネルの位置より高い位置にある場合に、ジェスチャの入力受付条件を満たしていると判定してジェスチャの入力受付モードを設定し、この状態で操作者のジェスチャを認識してカーソルを移動制御するようにしたものである。

図１４は、第３の実施形態に係る超音波診断装置の装置本体１Ｃの機能構成を、周辺部の構成と共に示したブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。

装置本体１Ｃの操作支援制御ユニット３０Ｃは、例えば所定のプロセッサ及びメモリから構成される。操作支援制御ユニット３０Ｃは、第３の実施形態を実施する上で必要な制御機能として、顔方向検出部３１１と、手位置検出部３１２と、画面判定部３１３と、入力受付条件判定部３１４と、入力受付処理部３１５を備えている。

顔方向検出部３１１は、センサユニット６のカメラ６１により撮影された操作者の画像データをもとに操作者の顔画像をパターン認識技術を用いて認識し、当該認識結果をもとに操作者の顔がモニタ３の方向を向いているか否かを判定する。

手位置検出部３１２は、上記カメラ６１により撮影された操作者の画像データをもとに操作者の手の画像をパターン認識技術を用いて認識し、当該認識結果をもとに操作者の手の位置が操作パネルの位置より高い位置にあるか否かを判定する。

画面判定部３１３は、患者・検査情報の閲覧時のようにカーソル移動が必要な種類の画面が表示されているか否かを判定する。

入力受付条件判定部３１４は、上記顔方向検出部３１１により検出された操作者の顔の方向と、上記手位置検出部３１２により検出された操作者の手の位置と、上記画面判定部３１３により判定された表示画面の種類に基づいて、操作者の顔の方向、操作者の手の高さ位置及び表示画面の種類がジェスチャの入力受付条件を満たすか否かを判定する。

入力受付処理部３１５は、上記入力受付条件判定部３１４において上記ジェスチャ入力受付条件を満たすと判定された場合に、ジェスチャの入力受付モードを設定し、ジェスチャ入力受付中であることを示すアイコンを表示画面に表示させる。そして、センサユニット６のカメラ６１により得られた操作者の画像データをもとに、操作者のジェスチャを認識する。そして、この認識したジェスチャにより表される操作情報の妥当性を判断し、妥当であれば当該ジェスチャにより表される操作情報を受け付けてカーソルの移動制御を行う。

（動作）
次に、以上のように構成された装置による入力操作支援動作を説明する。
図１５は装置に対する操作者７の位置関係の一例を示す図、図１６は操作支援制御ユニット３０Ｃによる入力操作支援制御の処理手順と処理内容を示すフローチャートである。

（１）表示画面の判定
操作支援制御ユニット３０Ｃは、先ずステップＳ５１において画面判定部３１３の制御の下、モニタ３に表示中の画面の種類を判定する。ここでは、検査中以外の画面が表示され、かつ検査リスト表示画面のようにカーソル操作が必要な画面が表示中であるか否かを判定する。

（２）操作者の顔の向き及び手の位置の検出
操作支援制御ユニット３０Ｃは、次に顔方向検出部３１１の制御の下、操作者の顔の向きを検出するための処理を以下のように実行する。
すなわち、先ずステップＳ５２によりセンサユニット６のカメラ６１から操作者７を撮影した画像データを取り込み、記憶ユニット４０のバッファエリアに一旦保存する。次にステップＳ５３により、上記保存された画像データから操作者７の顔画像を認識する。この顔画像の認識は、例えば上記取得した画像データを、予め記憶しておいた操作者の顔画像パターンと照合するパターン認識技術を用いて行う。そしてステップＳ５４により、上記認識した操作者の顔画像中から目を表す画像を抽出し、この抽出された目の画像から操作者の視線Ｋを検出する。

続いてステップＳ５５において、上記操作者７を撮影した画像データから当該操作者７の手の画像を認識し、この認識した手の位置Ｈがトラックボール２ｂより高い位置にあるか低い位置にあるかを判定する。

（３）入力受付条件を満たしているか否かの判定
操作支援制御ユニット３０Ｃは、次にステップＳ５６において入力受付条件判定部３１４の制御の下、上記顔方向検出部３１１による操作者の顔の向き（正確には視線の方向Ｋ）の検出結果と、手位置検出部３１２による操作者７の手の位置の判定結果と、画面判定部３１３により判定された表示中の画面の種類に基づいて、ジェスチャの入力受付条件を満たしているか否かを判定する。

例えば図１５に示すように、モニタ３に検査中以外の画面で、かつトラックボール２ｂの操作によりカーソル移動が必要な画面が表示されている状態で、操作者７の顔（正確には視線Ｋ）がモニタ３の方向を向き、操作者７がトラックボール２ｂに触れておらず、さらに操作者７の手の位置Ｈが操作パネル２の位置より高い位置にある場合に、ジェスチャの入力受付条件を満たしていると判定する。なお、入力受付条件を満たしていないと判定された場合には、ジェスチャによる操作情報入力モードを設定せず、入力操作の支援制御は終了する。

（４）ジェスチャによる操作情報の入力受付処理
これに対し、上記ステップＳ５６において入力受付条件を満たすと判定されたとする。この場合には、入力受付処理部３１５の制御の下、以下のようにジェスチャの入力受付処理を実行する。

すなわち、先ずステップＳ５７において、ジェスチャ入力受付モードを設定した上で、ジェスチャ入力受付中であることを示すアイコン４１を、モニタ３の表示画面上に表示する。図１８はその一例を示すもので、患者リストの表示画面にアイコン４１を表示した場合を示している。

上記ジェスチャ入力受付モードが設定された状態で、操作者７が自身の指でジェスチャを行うと、入力受付処理部３１５は以下のように操作情報の入力受付処理を行う。すなわち、例えばいま図１７に示すように操作者７が指で時計回りの円Ａ１を描いたとする。そうすると、カメラ６１により操作者７を撮影した画像データから当該操作者７の指の画像を抽出し、この抽出した指の画像の移動を検出する。そして、一定量以上の指の移動が検出されるとジェスチャが行われたとステップＳ５８で判断し、続いてステップＳ５９において上記ジェスチャの移動方向と移動量、つまり移動軌跡認識する。そして、この認識した移動軌跡に応じて、ステップＳ６０によりモニタ３の患者リスト表示画面に表示中のカーソルＣＳの位置を、図１７のＡ２に示すように移動させる。かくして、操作者７のジェスチャによるカーソルＣＳの移動操作が行われる。

上記ジェスチャの入力受付モードが設定されている状態で、入力受付条件判定部３１４は、ステップＳ６１において入力受付モードの解除を監視する。その結果、操作者７の状況が上記入力受付条件を満たしている限り上記ジェスチャの入力受付モードを維持する。これに対し、操作者７が一定時間以上連続して顔をモニタ３から逸らすか、表示画面の種類が操作者７によるカーソル操作を必要としないものになるか、或いは操作者７が手を操作パネル２より下に下げると、入力受付条件を満足しなくなるので、この時点でジェスチャの入力受付モードを解除し、アイコン４１も消去する。

（第３の実施形態の効果）
以上詳述したように第３の実施形態では、カーソル移動が必要な検査中以外の画面が表示されている状態で、操作者７の顔（正確には視線Ｋ）がモニタ３の方向を向き、操作者７の手の位置Ｈが操作パネル２の位置より高い位置にあるもののトラックボール２ｂには触れていない場合には、操作者がジェスチャ入力を希望していると推測されるので、ジェスチャの入力受付条件を満たしていると判定する。そして、ジェスチャの入力受付モードを設定すると共にジェスチャ入力受付中を示すアイコン４１を表示画面に表示させ、この状態で操作者７が行ったジェスチャの軌跡を画像データから認識してカーソルの移動処理を実行している。

したがって、カーソル２ｂを操作することなくカーソルＣＳを移動させることが可能となる。一般にトラックボールはカーソルを画面の対角線方向に移動させるには不向きである。しかし、ジェスチャによるカーソルを移動させることが可能となることで、操作性を向上することができる。

しかも、ジェスチャ入力受付条件を満たした場合にのみ、つまり操作者７がジェスチャ入力によるカーソル操作の意思を明確に示した場合にのみ、ジェスチャ入力受付モードが設定される。このため、操作者７が画面に向かって無意識又は別の目的で指を動かした場合に、この指の動きをカーソル操作として誤認識されないようにすることができる。

また、ジェスチャ入力の受付条件を満たしたときに、モニタ３の表示画面上にアイコン４１を表示するようにしている。このため、操作者７はジェスチャ入力が可能なモードになっているか否かをモニタ３を見ることで明確に認識することができる。

なお、第３の実施形態ではジェスチャによりカーソル操作を行う場合を例にとって説明したが、それに限らずジェスチャにより表示画面の拡大又は縮小操作を行うようにしてもよい。図１８はその一例を説明するためのもので、操作者が手７２を開くようなジェスチャを行うと、カーソルにより指示されている情報を含む周辺の一定範囲が拡大表示される。

当該例を実施するときのジェスチャ入力受付条件には、例えば操作者の手７２とモニタ３との距離が予め設定した距離より遠い場合や、表示画面の文字のサイズが所定サイズより小さい場合を加えるとよい。このようにすると、操作者がモニタ３から離れていて画面に表示されている文字を判別しにくい場合や、モニタ３の近くにいても表示文字サイズが小さく判読しにくい場合に、カーソルにより指示されている情報を含む周辺の一定範囲が拡大表示されるので、当該範囲に含まれる文字を判読しやすくすることができる。

［第４の実施形態］
第４の実施形態は、検査中において操作者が超音波プローブを操作している場合や、非検査中であっても操作者がモニタから一定の距離内で一定時間以上連続してモニタに顔を向けている場合には、操作者がモニタを見ている状態と判断して表示方向追尾制御機能を起動し、操作者の顔の方向に向けてモニタの表示方向が追尾するように制御するようにしたものである。

図１９は、第４の実施形態に係る超音波診断装置の装置本体１Ｄの機能構成を、周辺部の構成と共に示したブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。

装置本体１Ｄの操作支援制御ユニット３０Ｄは、例えば、所定のプロセッサとメモリとから構成される。操作支援制御ユニット３０Ｄは、第４の実施形態を実施する上で必要な制御機能として、顔方向検出部３１６と、距離検出部３１７と、プローブ使用状態判定部３１８と、追尾条件判定部３１９と、表示方向追尾制御部３２０を備えている。

顔方向検出部３１６は、センサユニット６のカメラ６１により撮影された操作者の画像データをもとに操作者の顔画像をパターン認識技術を用いて認識し、当該認識結果をもとに操作者の顔がモニタ３の方向を向いているか否かを判定する。

距離検出部３１７は、例えばセンサユニット６が備えるカメラ６１の測距用光源とその受光素子を用い、操作者に向け光源から赤外線を照射してその反射光を受光素子で受光し、当該受光された反射光と照射光との位相差、或いは照射から受光までの時間に基づいて、操作者７とモニタ３との間の距離を算出する。

プローブ使用状態判定部３１８は、主制御モード２０が検査モードに設定されているか、又は超音波のライブ画像がモニタ３に表示されているかにより、超音波プローブ４が使用中か否かを判定する。

追尾条件判定部３１９は、上記顔方向検出部３１６による操作者７の顔の向きの検出結果と、上記距離検出部３１７による操作者７とモニタ３との間の距離の検出結果と、上記プローブ使用状態判定部３１８による超音波プローブ４の使用状態の判定結果に基づいて、これらの検出結果又は判定結果が予め設定したモニタ３の表示方向追尾条件を満たしているか否かを判定する。

表示方向追尾制御部３２０は、上記追尾条件判定部３１９により各検出結果及び判定結果が上記表示方向追尾条件を満たしていると判定された場合に、上記顔方向検出部３１６による操作者の顔方向の検出結果に基づいて、モニタ３の表示方向が常に操作者７の顔の方向を向くように制御する。

（動作）
次に、以上のように構成された装置による入力操作支援動作を説明する。
図２０は装置本体１に対する操作者７の位置関係の一例を示す図、図２１は操作支援制御ユニット３０Ｄによる入力操作支援制御の処理手順と処理内容を示すフローチャートである。

（１）超音波プローブ４の使用状態の判定
操作支援制御ユニット３０Ｄは、先ずステップＳ７１によりプローブ使用状態判定部３１８の制御の下、超音波プローブ４が使用中か否かを判定する。この判定は、主制御モード２０が検査モードに設定されているか、又は超音波のライブ画像がモニタ３に表示されているかにより、判定することができる。

（２）操作者の顔の向き及び距離の検出
操作支援制御ユニット３０Ｄは、次に顔方向検出部３１６の制御の下、操作者の顔の向きを検出するための処理を以下のように実行する。
すなわち、先ずステップＳ７２によりセンサユニット６のカメラ６１から操作者７を撮影した画像データを取り込み、記憶ユニット４０のバッファエリアに一旦保存する。次にステップＳ７３により、上記保存された画像データから操作者７の顔画像を認識する。この顔画像の認識は、例えば上記取得した画像データを、予め記憶しておいた操作者の顔画像パターンと照合する周知のパターン認識技術を用いて行う。そしてステップＳ７４により、上記認識した操作者の顔画像中から目を表す画像を抽出し、この抽出された目の画像から操作者の視線Ｋを検出する。

（３）モニタと操作者との距離の検出
続いてステップＳ７５において、距離検出部３１７の制御の下、モニタ３と操作者７との間の距離を検出する。この距離の検出は例えば以下のように行われる。すなわち、先に述べたようにカメラ６１の測距用光源とその受光素子を用い、操作者に向け光源から赤外線を照射してその反射光を受光素子で受光する。そして、当該受光された反射光と照射光との位相差、或いは照射から受光までの時間に基づいて、操作者７とモニタ３との間の距離を算出する。

（４）追尾条件の判定
操作支援制御ユニット３０Ｄは、次にステップＳ７６において、追尾条件判定部３１９の制御の下、上記顔方向検出部３１６による操作者７の顔の向きの検出結果と、上記距離検出部３１７による操作者７とモニタ３との間の距離の検出結果と、上記プローブ使用状態判定部３１８による超音波プローブ４の使用状態の判定結果が、予め設定した追尾条件を満たすか否かを判定する。

表示方向の追尾条件は、例えば以下のように設定される。
(1) 検査中において、超音波プローブ４が使用されている場合。
(2) 非検査中において、操作者７がモニタ３に対し予め設定した距離（例えば２ｍ）以内に存在し、かつ操作者７の顔がモニタ３の方向を一定時間（例えば２秒）以上連続して向いている場合。

（５）表示方向追尾制御
操作支援制御ユニット３０Ｄは、上記ステップＳ７６において上記顔方向検出部３１６による操作者７の顔の向きの検出結果と、上記距離検出部３１７による操作者７とモニタ３との間の距離の検出結果と、上記プローブ使用状態判定部３１８によるプロープ使用状態の判定結果が上記表示方向追尾条件を満たしていると判定された場合に、表示方向追尾制御部３２０の制御の下、以下のようにモニタ３の表示方向を制御する。

すなわち、先ずステップＳ７７において、上記顔方向検出部３１６によりモニタ３（実際にはセンサユニット６）から見たときの操作者７の顔の方向を、検査空間に定義した二次元座標上の座標位置として検出する。続いてステップＳ７８により、上記検出された操作者７の顔の方向を表す座標値と、モニタ３の現在の表示方向を示す座標値との差をＸ軸及びＹ軸のそれぞれについて算出する。次にステップＳ７９において、上記算出されたＸ軸及びＹ軸の差に応じたモニタ３のパン方向Ｐ及びチルト方向Ｑの可変角度をそれぞれ算出し、この算出した可変角度に従いモニタ３の支持機構を駆動してモニタ３の画面の向きを制御する。そして、この向きの制御後に再度上記差を算出し、当該差が一定値以下になったか否かをステップＳ８０で判定する。この判定の結果、一定値以下になれば追尾制御を終了し、一定値以下になっていなければステップＳ７７に戻って上記ステップＳ７７〜Ｓ８０による追尾制御を繰り返す。

（第４の実施形態の効果）
以上詳述したように第４の実施形態では、検査中であれば超音波プローブ４が使用中の場合、非検査中であれば操作者７がモニタ３に対し予め設定した距離（例えば２ｍ）以内に存在し、かつ操作者７の顔がモニタ３の方向を一定時間（例えば２秒）以上連続して向いている場合に、モニタ３の画面の向きの追尾モードを設定し、モニタ３の画面の向きが操作者の顔の方向に常に向くように、操作者７の顔の位置の検出結果に応じて追尾制御するようにしている。

したがって、超音波プローブ４の操作中に操作者７の位置又は姿勢が変化しても、操作者７はモニタ３の画面の向きをその都度手操作で修正しなくてもよくなり、これにより検査効率を高めることが可能となる。この効果は、手術中のように操作者７の両手が塞がっている場合に特に有効である。

［第５の実施形態］
例えば心臓大血管手術に代表されるカテーテル手術において、超音波診断装置を用いて、被検体内をモニタリングする場合がある。特に、心臓大血管手術では、経食道心エコー（ＴＥＥ）による評価が重要視される。しかしながら、超音波診断装置の他に、Ｘ線診断装置、体外循環装置等の種々な装置が設置された環境下での手術となり、超音波診断装置を操作できるスペースが限られる（通常、心臓大血管手術等において超音波画像を撮影しようとする場合、技師は、術者のカテーテル操作の邪魔にならない限られた場所に立ち、そこから体勢を変えて経食道心エコー用プローブを患者の口から挿入して食道や胃の中まで入れ、体内から心臓に関する超音波画像を撮影しなければならない）。この様な場合には、技師による超音波診断装置の操作は、困難になると予想される。

そこで、第５の実施形態では、係る場合において、術者を補助する技師が、超音波診断装置の遠隔操作する例について説明する。また、技師に限らず、例えば、「私が操作者です（I’m an operator）」のような、予め決定されたフレーズを音声入力することで操作者となること（言い換えれば、超音波診断装置１Ｅの操作をする権利を取得すること）で、術者も操作者としてジェスチャ・音声入力による操作を行えるようにする。

図２２は、第５の実施形態に係る超音波診断装置の装置本体１Ｅの機能構成を、周辺部の構成と共に示したブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。

装置本体１Ｅの操作支援制御ユニット３０Ｅは、例えば、所定のプロセッサとメモリとから構成される。操作支援制御ユニット３０Ｅは、第５の実施形態を実施する上で必要な制御機能として、操作者認識部３２１と、状態検出部３２２と、プローブ使用状態判定部３０３と、入力受付条件判定部３２４と、入力受付処理部３２５を備えている。

操作者術者認識部３２１は、上記記憶ユニット４０Ｅに保存された検査空間の画像データをもとに検査空間に存在する人物と、記憶ユニット４０Ｅに予め登録された術者の画像データとを比較して術者を判別する。

装置本体１Ｅの記憶ユニット４０Ｅには、第１の実施形態における記憶ユニット４０に保存される情報に加えて、手術を行う術者を識別するための画像データが予め登録されている。さらに、装置本体１Ｅの記憶ユニット４０Ｅには、予め記憶された超音波プローブ４の画像パターンには、径食道心エコー検査等を行う際に、超音波プローブ４が被検査者８に口から挿入され、プローブ本体部分が一部見えないパターンが含まれる。

状態検出部３２２は、第１の実施形態に係る距離検出部３０２が検出する距離Ｌに代え、センサユニット６が備えるカメラ６１で撮影した画像データを元に、超音波プローブ４が被検査者８に口から挿入されているかどうかを検出する。なお、超音波プローブ４が被検査者８に口から挿入されているかどうかの検出は、モニタ３に映し出される超音波画像を用いて行ってもよい。

入力受付条件判定部３２４は、上記状態検出部３２２により検出された超音波プローブ４の被検査者８の口への挿入状態と、プローブ使用状態判定部３０３により判定された超音波プローブ４の使用状態とに基づいて、撮影状態がジェスチャ・入力受付条件を満たすか否かを判定する。

入力受付処理部３２５は、上記入力受付条件判定部３２４において撮影状態がジェスチャ・音声による操作情報の入力受付条件を満たしていると判定された場合に、ジェスチャ入力受付モードを設定して、ジェスチャ・音声入力を受付中であることを示すアイコンを、モニタ３の表示画面に表示する。

入力受付処理部３２５は、センサユニット６のカメラ６１により得られた技師９の画像データ、及びマイクロフォン６２により得られた技師９の音声データから、それぞれ技師９のジェスチャ及び音声を認識する。入力受付処理部３２５は、該認識したジェスチャ及び音声により表される操作情報の妥当性を判断し、妥当であれば当該ジェスチャ及び音声により表される操作情報を受け付ける。

入力受付処理部３２５は、上記入力受付条件判定部３２４において現在の撮影状態がジェスチャ・音声による操作情報の入力受付条件を満たしていると判定された場合に、センサユニット６のカメラ６１により得られた術者１０の画像データ、及びマイクロフォン６２により得られた術者１０の音声データから、それぞれ術者１０のジェスチャ及び音声を認識する。入力受付処理部３２５は、術者１０から操作者になりたい旨の合図を検知した場合に、ジェスチャ複数入力受付モードを設定して、技師９及び術者１０からのジェスチャ・音声入力を受付中であることを示すアイコンを、モニタ３の表示画面に表示する。入力受付処理部３２５は、術者１０に対して技師９と同様にジェスチャ及び音声により表される操作情報を受け付ける。
（動作）
次に、以上のように構成された装置による入力操作支援動作を説明する。

図２３は装置本体１Ｅに対する超音波プローブ４、被検査者８、手術の補助者としての技師９、術者１０、Ｘ線診断装置１２の位置関係の一例を示す図、図２４は操作支援ユニット３０Ｅによる入力操作支援制御の処理手順と処理内容を示すフローチャートである。

（１）超音波プローブ４の使用状態の判定
操作支援制御ユニット３０Ｅは、先ずステップＳ８１によりプローブ使用状態判定部３０３の制御の下、超音波プローブ４が使用中か否かを判定する。この判定は、主制御モード２０が検査モードに設定されているか、又は超音波のライブ画像がモニタ３に表示されているかにより、判定することができる。

（２）操作者の認識
操作支援制御ユニット３０Ｅは、次に操作者認識部３２１の制御の下、操作者を認識するための処理を以下のように実行する。
すなわち、先ずステップＳ８２によりセンサユニット６のカメラ６１から検査空間を撮影した画像データを取り込み、記憶ユニット４０Ｅのバッファエリアに保存する。次にステップＳ８３により、上記保存された画像データから超音波プローブ４及び人物の画像を認識する。この超音波プローブ４の認識は、例えばパターン認識を用いて行う。具体的には、上記保存された１フレームの画像データ（今の場合、経食道心エコー用プローブを当該患者の口に挿入した状態を撮影した画像データ）に対しそれより小サイズの着目領域を設定し、この着目領域の位置を１画素ずつシフトするごとにその画像を予め記憶された画像パターン（例えば、経食道心エコー用プローブを所定の患者の口に挿入した状態を予め撮影した画像データ）と照合し、その一致の度合いがしきい値以上になった場合に当該照合対象の画像を超音波プローブ４の画像として認識する。そしてステップＳ１４により、上記抽出された超音波プローブ４を持つ人物を操作者（今の場合、技師９）と認識する。

（３）撮影状態検出
次にステップＳ８５において、状態検出部３２２は、超音波プローブ４が被検査者８に口から挿入されているか否かを検出する。なお、必要に応じて技師９とモニタ３との間の距離等を検出してもよい。

具体的には、センサユニット６は、例えばカメラ６１が撮影した超音波プローブ４及び被検査者８の画像を取得する。そして、当該画像上に映し出された超音波プローブ４と被検査者８の位置関係に基づいて超音波プローブ４が被検査者８に口から挿入されているか否かを検出する。

（４）入力受付条件を満たしているか否かの判定
上記超音波プローブ４が被検査者８に口から挿入されているか否かの検出が終了すると、次にステップＳ８６において入力受付条件判定部３２４の制御の下、上記状態検出部３２２により検出された超音波プローブ４が被検査者８に口から挿入されているか否かと、プローブ使用状態判定部３０３により判定された超音波プローブ４の使用状態の判定結果をもとに、現在の技師９の状態がジェスチャ・音声による操作情報の入力受付条件を満たすか否かを判定する。例えば、ステップＳ８１において超音波プローブ４が使用中であること、超音波プローブ４が被検査者８に口から挿入されていることをすべて満たす場合には、入力受付条件を満たしていると判定する。入力受付条件判定部３２４は、上記判定結果が入力受付条件を満たしていなければ、ジェスチャ・音声による操作情報入力モードを設定せず、入力操作の支援制御は終了する。

（５）ジェスチャ・音声による操作情報の入力受付処理
これに対し、上記ステップＳ８６において入力受付条件を満たすと判定されたとする。この場合には、入力受付処理部３２５の制御の下、以下のようにジェスチャ・音声の入力受付処理を実行する。

すなわち、先ずステップＳ８７において、ジェスチャ入力受付モードを設定したのち、操作者９からのジェスチャ・音声入力を受付中であることを示すアイコン４１を、モニタ３の表示画面上に表示する。またそれと共にステップＳ８８において、ジェスチャ・音声の入力により操作可能な対象項目４２をモニタ３の表示画面に表示する。図２６又は図２７はその表示例を示すもので、図２６はカテゴリの項目選択をジェスチャ・音声入力による操作対象とする場合を、また図２７は選択されたカテゴリの中の詳細項目の選択をジェスチャ・音声入力による操作対象とする場合をそれぞれ示している。

次に、ステップ８９において、入力受付処理部３２５は、術者１０から装置を操作したい旨のジェスチャ・音声入力を受け付ける。術者１０から上記ジェスチャ・音声入力があった場合、ステップＳ９１において、術者１０からのジェスチャ・音声入力を受付中であることを示すアイコン４２を、モニタ３の表示画面上に表示する。その後、入力受付処理部３２５は、ステップＳ９２において技師９及び術者１０双方からのジェスチャ・音声入力を受付可能な状態で待機する。入力受付処理部３２５は、術者１０から装置を操作したい旨のジェスチャ・音声入力がなかった場合、ステップＳ９０において技師９のみからのジェスチャ・音声入力を受付可能な状態で待機する。以下、技師９がジェスチャ・音声入力を行う場合を説明する。

技師９が例えば図３に示したようにジェスチャにより操作対象項目の番号に対応する本数の指を立てたとする。この場合入力受付処理部３２５は、ステップＳ９０及びＳ９３において、カメラ６１により撮影された操作者の画像データから手指の画像を抽出し、この抽出した手指の画像を予め記憶してある手指により番号を表現したときの基本画像パターンと照合する。入力受付処理部３２５は、両画像がしきい値以上の類似度で一致すると、このときの手指の画像により表される番号を受付け、ステップＳ９４において当該番号に対応するカテゴリ又は詳細項目を選択する。

一方、技師９が操作対象項目の番号を表す音声を発したとする。この場合、入力受付処理部３２５は、マイクロフォン６２により集音された音声について、その音源の方向を検出する処理と、音声認識処理を以下のように行う。すなわち、マイクロフォンアレイにより構成されるマイクロフォン６２を利用してビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術であり、これにより音源の方向、つまり技師９の方向を特定する。また、入力受付処理部３２５は、既知の音声認識技術を用いて、集音した音声から単語を認識する。入力受付処理部３２５は、上記音声認識技術によって認識された単語が操作対象項目に存在するか否かを判定する。入力受付処理部３２５は、上記単語が操作対象項目に存在する場合には当該単語により表される番号を受付け、ステップＳ９４において当該番号に対応するカテゴリ又は詳細項目を選択する。

上記ジェスチャ・音声の入力受付モードが設定されている状態で、入力受付条件判定部３２４は、ステップＳ９５において入力受付モードの解除を監視する。入力受付条件判定部３２４は、技師の状況が上記入力受付条件を満たしている限り上記ジェスチャ・音声の入力受付モードを維持する。これに対し、入力受付条件判定部３２４は、技師９が超音波プローブ４の操作を終了するか、又は装置に近づいて手動による入力操作が可能になると、入力受付条件を満足しなくなるので、この時点でジェスチャ・音声の入力受付モードを解除し、アイコン４１も消去する。

（第５の実施形態の効果）
以上詳述したように第５の実施形態では、超音波プローブ４の使用状態を判定すると共に、検査空間をカメラ６１により撮影した画像データをもとに技師９を認識して超音波プローブ４が被検査者８に口から挿入されているか否かを検出している。そして、入力受付条件判定部３２４は、超音波プローブ４が使用中と判定され、かつ超音波プローブ４が被検査者８に口から挿入されていることが検出された場合に、ジェスチャ・音声入力の受付条件を満足していると判断する。ジェスチャ・音声入力の受付条件を満足していると判断された場合は、入力受付条件判定部３２４は、ジェスチャ・音声の入力受付モードを設定し、この状態で入力されたジェスチャ又は音声の認識結果を入力操作情報として受け付けるようにしている。また、入力受付処理部３２５は、術者１０から装置を操作したい旨のジェスチャ・音声入力を受け付け、技師９からだけでなく、術者１０からも入力操作情報を受け付けられるようにしている。

したがって、ジェスチャ・音声による入力受付期間を操作者が真に必要とする状況下のみに制限することができる。このため、ジェスチャ・音声による入力操作を必要としない状況下で、技師９が言葉を発するつもりがないのに、或いはジェスチャするつもりはないのに、無意識に行った場合や、被検査者８、術者１０等との会話或いは手振りによる説明の中に偶然その操作コマンドが含まれていた場合に、当該言葉やコマンドが装置で認識されて当該言葉やコマンドに対応する制御が技師９の意図には関係なく実行されないようにすることができる。検出するまた、技師９以外の者、例えば術者１０も操作に参加することができ、検査あるいは手術効率を高めることが可能となる。

また、ジェスチャ・音声入力の受付条件を満たしたときに、モニタ３の表示画面上にアイコン４１及びアイコン４２を表示し、さらに操作対象となる項目を番号を付して表示するようにしている。このため、技師９及び術者１０はジェスチャ・音声入力が可能なモードになっているか否かをモニタ３を見ることで明確に認識することができ、さらに操作対象項目を確認した上でジェスチャ・音声による入力操作を行うことができる。
（変形例１）
技師が限られた姿勢で超音波プローブを操作しなければならない例として、変形例１では寝ている患者の体の反対（奥）側を検査する場合ついて説明する。図２８は、第５の実施形態の変形例１の説明に使用する、装置と操作者との位置関係の一例を示す図である。

病室など限られた狭い空間で超音波プローブを利用して検査をする場合、例えば技師９は、患者８の左手側に立ち、患者８の胴体の上を覆いかぶさるように体を湾曲させ、反対（奥）側である右手側の胸部へ超音波プローブ４を回り込ませて当てる場合がある。このような場合、当該回り込み動作を行った操作者９の体軸角度θを検出することで、技師９の無理な体勢を検知し、ジェスチャ・音声入力の受付条件の１つとして制御を行う。

ジェスチャ・音声入力の受付条件として用いる変形例１の検出項目は、技師９とモニタ３との距離、技師９の鉛直方向（重力方向又は床面に垂直な方向）に対する体軸角度及び技師９が操作する超音波プローブ４の被検査者８への接触の有無の３項目である。変形例１では、図２２の状態検出部３２２が検出する項目に代えて、以下の3項目を検出する。

（ａ）技師９とモニタ３との間の距離Ｌの検出
上記認識した技師９の特定の部位、例えば超音波プローブ４を持っていない側の肩関節の位置と、モニタ３との間の距離Ｌを以下のように検出する。

すなわち、センサユニット６は、例えばカメラ６１が備える測距用の光源と受光器を用い、検査空間に赤外線を照射して、当該照射光の技師９による反射光を受光する。そして、上記受信された反射光と照射波との位相差、或いは照射から受光までの時間に基づいて、技師９の超音波プローブ４を持っていない側の肩関節の位置とセンサユニット６との間の距離Ｌを算出する。なお、センサユニット６はモニタ３の上部に一体的に取着されているので、上記距離Ｌは技師とモニタ３との間の距離と見なすことができる。

（ｂ）技師９の鉛直方向に対する体軸角度θの検出
上記認識した技師９の特定の部位、例えば体軸の鉛直方向に対する角度θを以下のように検出する。

すなわち、センサユニット６は、例えばカメラ６１が撮影した技師９の画像を取得する。そして、当該画像上における上記技師９の姿勢に基づいて鉛直方向に対する体軸の角度θを算出する（例えば、図２５を参照）。

（ｃ）（技師９が操作する超音波プローブ４の被検査者８への接触）の有無の検出
センサユニット６は、例えばカメラ６１が撮影した超音波プローブ４及び被検査者８の画像を取得する。そして、当該画像上に映し出された超音波プローブ４と被検査者８の位置関係に基づいて超音波プローブ４の被検査者８への接触の有無を検出する。

また、変形例１では、図２２の入力受付条件判定部３２４が判定する条件に代えて、ジェスチャ・音声入力の受付条件は、例えば超音波プローブ４が使用中であること、前記超音波プローブの前記被検査者への接触があること、技師９とモニタ３との間の距離が５０cm以上離間していることをすべて満たす場合である。また、ジェスチャ・音声入力の受付条件は、超音波プローブ４が使用中であること、前記超音波プローブの前記被検査者への接触があること、技師９の体軸角度θが３０度以上であることをすべて満たすことである。

このように、変形例１のような状況下では、よりジェスチャ・音声による入力受付期間を操作者が真に必要とする状況下のみに制限することが可能となる。
（変形例２）
技師が限られた姿勢で超音波プローブを操作しなければならない例として、変形例２では足先を検査する場合について説明する。足先を検査する状況は、第１の実施形態で説明した図３に示されるような場合である。操作者（技師）７は足先を検査するために体を湾曲させて患者８の足先に超音波プローブ４を接触させる必要がある。このような場合、体を湾曲させた操作者７の体軸角度θを検出することで、操作者７の無理な体勢を検知し、ジェスチャ・音声入力の受付条件の１つとして制御を行う。

ジェスチャ・音声入力の受付条件として用いる変形例２の検出項目は、変形例２と同様である。また、ジェスチャ・音声入力の受付条件は、例えば変形例１に記載した場合と同様である。

このように、変形例２のような状況下では、よりジェスチャ・音声による入力受付期間を操作者が真に必要とする状況下のみに制限することが可能となる。

上記説明において用いた「プロセッサ」という文言は、例えば、CPU（central processing unit）、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、上記各実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、上記各実施形態における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

［その他の実施形態］
第４の実施形態ではモニタ３の画面の向きを制御するようにしたが、超音波診断装置に自動走行機能が設けられている場合には、超音波診断装置自体の向きを変えるようにしてもよい。

また、第４の実施形態で述べたモニタ画面の向きの追尾機能を、第１乃至第３の各実施形態に追加するようにしてもよい。

また、第５の実施形態では音波診断装置が具備するモニタ３、センサユニット６のみを技師９及び術者１０が利用するようにしたが、例えば超音波診断装置が具備するモニタ３及びセンサユニット６に加えて、術者１０専用のモニタ及びセンサユニットをさらに設置して制御するようにしてもよい。

また、第５の実施形態では技師９及び術者１０によるジェスチャ・音声の入力操作情報を受け付けられるように制御したが、技師９及び術者１０以外の者によるジェスチャ・音声の入力操作情報をさらに受け付けられるように制御してもよい。また、ジェスチャ・音声の入力操作情報の受け付け可能人数に上限を設定して制御してもよい。

その他、顔の向きの検出手段や、距離の検出手段、ジェスチャ・音声の入力受付条件の設定内容、追尾条件の設定内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

すなわち、いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ…超音波診断装置、２…操作パネル、３…モニタ、４…超音波プローブ、５…多芯ケーブル、６…センサユニット、７…操作者、８…患者、９…技師、１０…術者、１１…装置本体、１２…Ｘ線診断装置、２０…主制御ユニット、２１…超音波送信ユニット、２２…超音波受信ユニット、２３…Ｂモード処理ユニット、２４…ドプラ処理ユニット、２５…データメモリ、２６…ボリュームデータ生成ユニット、２７…画像処理ユニット、２８…表示処理ユニット、２９…入力インタフェースユニット、３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ，３０Ｅ…操作支援制御ユニット、４０，４０Ｅ…記憶ユニット、４１…ジェスチャ・音声入力受付モード表示用アイコン、３０１…操作者認識部、３２１…操作者術者認識部、３２２…状態検出部、３０２，３１７…距離検出部、３０３…プローブ使用状態判定部、３０４，３０８，３１４，３２４…入力受付条件判定部、３０５，３０９，３１５，３２５…入力受付処理部、３０６，３１１，３１６…顔方向検出部、３０７，３１３…画面判定部、３１２…手位置検出部、３１３…画面判定部、３１８…プローブ使用状態判定部、３１９…条件判定部、３２０…表示方向制御部。

Claims (17)

1. 超音波送受波に用いる超音波プローブと、
   前記超音波プローブの使用状態を含む、前記超音波プローブによる撮影状態を検出する検出手段と、
   前記撮影状態が予め定められた条件に合致するか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記超音波プローブの操作者のジェスチャ及び音声の少なくとも一方による操作情報の入力を受け付ける入力受付制御手段と、
   を具備する超音波診断装置。
2. 前記検出手段は、前記超音波プローブの被検体への接触の有無を前記撮影状態として検出する請求項１記載の超音波診断装置。
3. 前記検出手段は、前記超音波プローブの操作者の位置を検出することを特徴とし、
   前記判定手段は、前記操作者の位置が予め設定した範囲にあるか否かを判定する請求項１又は２記載の超音波診断装置。
4. 前記入力受付制御手段は、ジェスチャ及び音声の少なくとも一方による受付可能な状態であることを示す案内メッセージ又はアイコンを表示手段に表示させる請求項１乃至３のうちいずれか一項記載の超音波診断装置。
5. 前記検出手段は、前記操作者を撮影しその画像データをもとに当該操作者の顔の向きを検出し、
   前記判定手段は、前記操作者の顔の向きが表示手段の方向であるか否かを判定する請求項１乃至４のうちいずれか一項記載の超音波診断装置。
6. 前記検出手段は、前記超音波プローブの操作者の位置と、前記超音波プローブの被検査者への接触状態と、を含む前記撮影状態を検出する請求項１乃至５のうちいずれか一項記載の超音波診断装置。
7. 前記検出手段は、前記超音波プローブの操作者の鉛直方向に対する体軸角度と、前記超音波プローブの被検査者への接触状態と、を含む前記撮影状態を検出する請求項１乃至５のうちいずれか一項記載の超音波診断装置。
8. 前記検出手段は、前記操作者の顔の向きと、前記操作者の手の位置と、を含む前記撮影状態を検出する請求項１乃至５のうちいずれか一項記載の超音波診断装置。
9. 超音波送受波に用いる超音波プローブと、
   前記超音波プローブの操作者の姿勢を検出する検出手段と、
   前記操作者の姿勢が予め定められた条件に合致するか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記超音波プローブの操作者のジェスチャ及び音声の少なくとも一方による操作情報の入力を受け付ける入力受付制御手段と、
   を具備する超音波診断装置。
10. 前記検出手段は、前記超音波プローブの被検体への接触の有無を、前記超音波プローブによる撮影状態として検出し、
    前記判定手段は、前記撮影状態が予め定められた条件に合致するか否かを判定する請求項９記載の超音波診断装置。
11. 前記検出手段は、前記超音波プローブの操作者の位置を検出することを特徴とし、
    前記判定手段は、前記操作者の位置が予め設定した範囲にあるか否かを判定する請求項９又は１０記載の超音波診断装置。
12. 前記入力受付制御手段は、ジェスチャ及び音声の少なくとも一方による受付可能な状態であることを示す案内メッセージ又はアイコンを表示手段に表示させる請求項９乃至１１のうちいずれか一項記載の超音波診断装置。
13. 前記検出手段は、前記操作者を撮影しその画像データをもとに当該操作者の顔の向きを検出し、
    前記判定手段は、前記操作者の顔の向きが表示手段の方向であるか否かを判定する請求項９乃至１２のうちいずれか一項記載の超音波診断装置。
14. 前記検出手段は、前記操作者の姿勢として、前記操作者を撮影して得られた画像データをもとに当該操作者の鉛直方向に対する体軸角度を検出し、
    前記判定手段は、前記操作者の鉛直方向に対する体軸角度が予め設定した範囲にあるか否かを判定する請求項９乃至１３のうちいずれか一項記載の超音波診断装置。
15. 前記入力受付制御手段は、前記操作者以外の者のジェスチャ及び音声の少なくとも一方による所定の入力情報を検知した後は、前記操作者以外の者からのジェスチャ及び音声の少なくとも一方による操作情報の入力を受け付ける、請求項１乃至１４のいずれかに記載の超音波診断装置。
16. 超音波診断装置が備えるコンピュータに、
    超音波送受波に用いる超音波プローブの使用状態を含む、前記超音波プローブによる撮影状態を検出する検出機能と、
    前記撮影状態が予め定められた条件に合致するか否かを判定する判定機能と、
    前記判定機能の判定結果に基づいて、前記超音波プローブの操作者のジェスチャ及び音声の少なくとも一方による操作情報の入力を受け付ける入力受付制御機能と、
    を実現させる超音波診断装置制御プログラム。
17. 超音波診断装置が備えるコンピュータに、
    超音波送受波に用いる超音波プローブの操作者の姿勢を検出する検出機能と、
    前記操作者の姿勢が予め定められた条件に合致するか否かを判定する判定機能と、
    前記判定機能の判定結果に基づいて、前記超音波プローブの操作者のジェスチャ及び音声の少なくとも一方による操作情報の入力を受け付ける入力受付制御機能と、
    を実現させる超音波診断装置制御プログラム。