JPWO2016088452A1 - 医療用観測装置、医療用観測装置の作動方法および医療用観測装置の作動プログラム - Google Patents

Abstract

本発明にかかる医療用観測装置は、操作者と非接触な操作によって第１の操作指示信号の入力を受け付ける非接触型信号入力手段と、操作者の接触操作によって第２の操作指示信号の入力を受け付ける接触型信号入力手段と、第１の操作指示信号に応じて観測画像に対する処理モードを設定し、接触型信号入力手段に入力される第２の操作指示信号に対して該設定した処理モードに応じた信号入力機能を割り当てる制御を行う制御部と、観測画像と、接触型信号入力手段に割り当てられた信号入力機能に応じた操作を案内する案内画像とを有する表示用画像を生成する画像処理部と、を備えた。

Description

本発明は、例えば、超音波を用いて観測対象を観測する医療用観測装置、医療用観測装置の作動方法および医療用観測装置の作動プログラムに関する。

観測対象である生体組織または材料の特性を観測するために、超音波を適用することがある。具体的には、観測対象に超音波を送信し、その観測対象によって反射された超音波エコーに対して所定の信号処理を施すことにより、観測対象の特性に関する情報を取得する。

超音波を適用した体内の生体組織などの診断には、挿入部の先端に超音波振動子が設けられた超音波内視鏡が用いられる。医師などの術者は、挿入部を体内に挿入後、手元の操作部を操作することにより、超音波振動子によって超音波エコーを取得し、該超音波エコーに基づく情報（超音波画像）をもとに診断を行う。

図１６は、従来の超音波診断を行うシステムの構成を示す模式図である。図１６に示す超音波診断システム５００は、先端に超音波振動子および撮像素子が設けられた挿入部を有する超音波内視鏡５０１と、超音波内視鏡５０１が取得した超音波エコーおよび撮像信号に基づく画像を生成する画像処理装置５０２と、画像処理装置５０２と接続し、指示信号などの信号を入力するキーボード５０３と、超音波エコーに基づく画像を表示する超音波画像モニタ５０４と、撮像信号に基づく画像を表示する内視鏡画像モニタ５０５と、を備える。術者Ｓ１は、超音波内視鏡５０１の挿入部を被検体Ｓ２に挿入し、キーボード５０３や超音波内視鏡５０１に設けられた操作部を介して指示信号を入力することで、超音波画像の調整、具体的には画像の回転や移動などを行って診断する。

ところで、検査室などのレイアウト上、術者Ｓ１と画像処理装置５０２（キーボード５０３）とが離れてしまうことがある。術者Ｓ１と画像処理装置５０２（キーボード５０３）とが離れてしまうと、操作性が低下してしまう。この問題に対し、音声認識とフットコントロールとの組み合わせにより術者が装置から離れていても操作できる技術が開示されている（例えば、特許文献１を参照）。

特開２００３−６１４号公報

超音波エコーは、体内のある観察位置での断面を示す性質上、観察位置がずれると観察する断面画像が異なるものとなってしまうため、観察位置を維持することが重要となる。しかしながら、上述した特許文献１に記載の技術では、例えば術者がフットコントロールを操作して画像の調整を行う際に、フットコントロールの配置などを確認するために超音波画像モニタ５０４から目をそらしてしまうと、観察位置が変化しても気付かないまま観察を続けてしまうおそれがあった。

本発明は、上記に鑑みてなされたものであって、モニタから視線をそらすことなくモニタ上の画像の調整操作を行うことができる医療用観測装置、医療用観測装置の作動方法および医療用観測装置の作動プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる医療用観測装置は、観測対象の画像を生成するための信号を取得し、該取得した信号に基づく観測画像を生成する医療用観測装置であって、操作者と非接触な操作によって第１の操作指示信号の入力を受け付ける非接触型信号入力手段と、操作者の接触操作によって第２の操作指示信号の入力を受け付ける接触型信号入力手段と、前記第１の操作指示信号に応じて前記観測画像に対する処理モードを設定し、前記接触型信号入力手段に入力される前記第２の操作指示信号に対して該設定した処理モードに応じた信号入力機能を割り当てる制御を行う制御部と、前記観測画像と、前記接触型信号入力手段に割り当てられた前記信号入力機能に応じた操作を案内する案内画像とを有する表示用画像を生成する画像処理部と、を備えたことを特徴とする。

本発明にかかる医療用観測装置は、上記発明において、前記制御部は、前記第１の操作指示信号の入力に応じた処理モードの切り替え、前記処理モードに応じた前記案内画像の切り替え、または前記処理モードにおける信号入力機能の切り替えを制御することを特徴とする。

本発明にかかる医療用観測装置は、上記発明において、前記非接触型信号入力手段は、音声、ジェスチャ、視線または脳波を検出し、前記接触型信号入力手段は、キーボード、トラックボール、マウス、タッチパネル、レバー、ダイヤル、ジョイスティックおよびフットスイッチのうち少なくとも一つを含むことを特徴とする。

本発明にかかる医療用観測装置は、上記発明において、前記処理モードにおける前記信号入力機能は、連続的もしくは非連続的、または多段階的もしくは無段階的な接触操作を含むことを特徴とする。

本発明にかかる医療用観測装置は、上記発明において、前記処理モードは、画像を回転させる回転モード、観測領域のうち画像表示するための表示領域を設定する表示領域設定モード、文字入力モード、フォーカス位置設定モード、拡大または縮小モード、関心領域の設定モードおよび計測モードのうち少なくとも一つを含むことを特徴とする。

本発明にかかる医療用観測装置は、上記発明において、前記案内画像は、前記接触型信号入力手段で操作する方向と、前記処理モードにおける前記信号入力機能に応じて動作する方向との関係を示す画像であることを特徴とする。

本発明にかかる医療用観測装置は、上記発明において、前記観測対象の画像を生成するための信号は、該観測対象に対して送信した超音波が前記観測対象によって反射された超音波エコーを電気信号に変換したエコー信号に基づいて生成される信号であることを特徴とする。

本発明にかかる医療用観測装置の作動方法は、観測対象の画像を生成するための信号を取得し、該取得した信号に基づく観測画像を表示する医療用観測装置の作動方法であって、操作者と非接触な操作による第１の操作指示信号の入力を非接触型信号入力手段が受け付ける非接触型信号入力ステップと、前記第１の操作指示信号に応じて前記観測画像に対する処理モードを設定する制御を制御部が行うモード設定ステップと、操作者の接触操作によって第２の操作指示信号の入力を受け付ける接触型信号入力手段に対し、前記モード設定ステップで設定された前記処理モードに応じた信号入力機能を割り当てる制御を前記制御部が行う機能割り当てステップと、前記観測画像と、前記接触型信号入力手段に割り当てられた前記信号入力機能に応じた操作を案内する案内画像とを有する表示用画像を画像処理部が生成する画像処理ステップと、を含むことを特徴とする。

本発明にかかる医療用観測装置の作動プログラムは、観測対象の画像を生成するための信号を取得し、該取得した信号に基づく観測画像を表示する医療用観測装置の作動プログラムであって、操作者と非接触な操作によって第１の操作指示信号の入力を非接触型信号入力手段が受け付ける非接触型信号入力手順と、前記第１の操作指示信号に応じて前記観測画像に対する処理モードを設定する制御を制御部が行うモード設定手順と、操作者の接触操作によって第２の操作指示信号の入力を受け付ける接触型信号入力手段に対し、前記モード設定手順で設定された前記処理モードに応じた信号入力機能を割り当てる制御を前記制御部が行う機能割り当て手順と、前記観測画像と、前記接触型信号入力手段に割り当てられた前記信号入力機能に応じた操作を案内する案内画像とを有する表示用画像を画像処理部が生成する画像処理手順と、を前記医療用観測装置に実行させることを特徴とする。

本発明によれば、モニタから視線をそらすことなくモニタ上の画像の調整操作を行うことができるという効果を奏する。

図１は、本発明の実施の形態１にかかる超音波内視鏡システムの構成を示すブロック図である。 図２は、本発明の実施の形態１にかかる処理装置が行う画像調整操作を説明するフローチャートである。 図３は、本発明の実施の形態１にかかる処理装置が行う画像調整操作を説明する図である。 図４は、本発明の実施の形態１にかかる処理装置が行う画像調整操作を説明する図である。 図５は、本発明の実施の形態１の変形例にかかる処理装置が行う画像調整操作を説明する図である。 図６は、本発明の実施の形態１の変形例にかかる処理装置が行う画像調整操作を説明する図である。 図７は、本発明の実施の形態２にかかる処理装置が行う画像調整操作を説明するフローチャートである。 図８は、本発明の実施の形態２にかかる処理装置が行う画像調整操作を説明する図である。 図９は、本発明の実施の形態２にかかる処理装置が行う画像調整操作を説明する図である。 図１０は、本発明の実施の形態３にかかる処理装置が行う画像調整操作を説明する図である。 図１１は、本発明の実施の形態３にかかる処理装置が行う画像調整操作を説明する図である。 図１２は、本発明の実施の形態３にかかる処理装置が行う画像調整操作を説明する図である。 図１３は、本発明の実施の形態４にかかる処理装置が行う画像調整操作を説明するフローチャートである。 図１４は、本発明の実施の形態４にかかる処理装置が行う画像調整操作を説明する図である。 図１５は、本発明の実施の形態４の変形例にかかる処理装置が行う画像調整操作を説明する図である。 図１６は、従来の超音波診断を行うシステムの構成を示す模式図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。また、以下の説明において、超音波エコーに基づく超音波画像を生成する医療用観測装置を含む超音波内視鏡システムを例示するが、この実施の形態によって本発明が限定されるものではない。また、同一の構成には同一の符号を付して説明する。

（実施の形態１）
図１は、本発明の実施の形態１にかかる超音波内視鏡システムの構成を示すブロック図である。同図に示す超音波内視鏡システム１は、超音波を用いて観測対象を観測するための装置である。

超音波内視鏡システム１は、超音波パルスを出力して反射した超音波エコーを受信するとともに、超音波パルスの出力領域を含む撮像領域を撮像し、撮像信号として取得する超音波内視鏡２と、超音波内視鏡２が取得した超音波エコーおよび撮像信号に基づく画像をそれぞれ生成する処理装置３と、処理装置３により生成された超音波エコーに基づく画像を含む各種情報を表示する超音波画像表示部４と、処理装置３により生成された撮像信号に基づく画像を含む各種情報を表示する内視鏡画像表示部５と、各種の指示入力を行うためのマイク６、トラックボール７およびキーボード８と、を備える。超音波画像表示部４および内視鏡画像表示部５は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現される。

超音波内視鏡２は、被検体の体腔内に挿入することによって被検体の体内画像を撮像する撮像部２１と、観測対象へ超音波パルスを出力するとともに、観測対象によって反射された超音波エコーを受信する超音波振動子２２と、を先端に有する挿入部と、撮像部２１および超音波振動子２２の操作を行う操作部とによって構成される。

撮像部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子を用いて実現される。撮像素子としては、例えばＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが挙げられる。

ここで、観測対象が生体組織である場合、超音波振動子２２は、生体の体表から超音波を照射する体外式探触子の形態、消化管、胆膵管、血管等の管腔内に挿入する長軸の挿入部を備えたミニチュア超音波プローブの形態、管腔内超音波プローブに光学系をさらに備えた超音波内視鏡の形態、のいずれの形態であってもよい。このうち、超音波内視鏡の形態をとった場合には、管腔内超音波プローブの挿入部の先端側に超音波振動子２２が設けられ、管腔内超音波プローブは基端側で処理装置と着脱可能に接続する。

超音波振動子２２は、送受信部３１から受信した電気的なパルス信号を超音波パルス（音響パルス信号）に変換するとともに、外部の検体で反射された超音波エコーを電気的なエコー信号に変換する。超音波振動子２２は、超音波振動子をメカ的に走査させるものであってもよいし、複数の超音波振動子を電子的に走査させるものであってもよい。

処理装置３は、送受信部３１、画像処理部３２、音声認識部３３、操作情報入力部３４、モード設定部３５、感度調整部３６、記憶部３７および制御部３８を有する。

送受信部３１は、撮像部２１および超音波振動子２２との間で電気信号の送受信を行う。送受信部３１は、撮像部２１と電気的に接続され、撮像タイミングなどの撮像情報を撮像部２１に送信するとともに、撮像部２１が生成した撮像信号を受信する。また、送受信部３１は、超音波振動子２２と電気的に接続され、電気的なパルス信号を超音波振動子２２へ送信するとともに、超音波振動子２２から電気的な受信信号であるエコー信号を受信する。具体的には、送受信部３１は、予め設定された波形および送信タイミングに基づいて電気的なパルス信号を生成し、この生成したパルス信号を超音波振動子２２へ送信する。

送受信部３１は、エコー信号を増幅する信号増幅部３１ａを有する。信号増幅部３１ａは、受信深度が大きいエコー信号ほど高い増幅率で増幅するＳＴＣ（Sensitivity Time Control）補正を行う。送受信部３１は、信号増幅部３１ａによって増幅されたエコー信号に対してフィルタリング等の処理を施した後、Ａ／Ｄ変換することによって時間ドメインのデジタル高周波（ＲＦ：Radio Frequency）信号を生成して出力する。

画像処理部３２は、撮像信号に基づく内視鏡画像データ、および電気的なエコー信号に対応する画像データの生成を行う。画像処理部３２は、超音波画像生成部３２ａ、内視鏡画像生成部３２ｂ、画像合成部３２ｃおよび表示画像生成部３２ｄを有する。

超音波画像生成部３２ａは、エコー信号の振幅を輝度に変換して表示する超音波画像であるＢモード画像データを生成する。超音波画像生成部３２ａは、デジタル信号に対してバンドパスフィルタ、対数変換、ゲイン処理、コントラスト処理等の公知の技術を用いた信号処理を行うとともに、超音波画像表示部４における画像の表示レンジに応じて定まるデータステップ幅に応じたデータの間引き等を行うことによってＢモード画像データを生成する。Ｂモード画像は、色空間としてＲＧＢ表色系を採用した場合の変数であるＲ（赤）、Ｇ（緑）、Ｂ（青）の値を一致させたグレースケール画像である。本実施の形態１では、Ｂモード画像は、超音波エコーを受信した走査領域のうちの一部を切り出した切り出し領域の画像であるものとして説明する。

内視鏡画像生成部３２ｂは、撮像信号をもとに、内視鏡画像表示部５が表示する体内画像データを生成する。内視鏡画像生成部３２ｂは、撮像信号に対して、所定の画像処理を実行して体内画像を含む体内画像データを生成する。体内画像は、色空間としてＲＧＢ表色系を採用した場合の変数であるＲ、Ｇ、Ｂの値をそれぞれ有するカラー画像である。

画像合成部３２ｃは、例えば、超音波画像生成部３２ａが生成したＢモード画像データと、マイク６やトラックボール７などにより入力された信号に応じた画像（操作情報画像）とを合成した合成画像（表示用画像）を含む合成画像データを生成する。

表示画像生成部３２ｄは、超音波画像生成部３２ａ、内視鏡画像生成部３２ｂまたは画像合成部３２ｃにより生成された画像データに対して、階調処理などの所定の処理を施した後、該処理後の信号を表示用の表示画像データとして出力する。

音声認識部３３は、マイク６に入力された音声の周波数を検出し、検出した音声の周波数と、予め記憶されている特徴データとを比較して言語系列を認識結果（第１の操作指示信号）として受け付ける。具体的には、音声認識部３３は、術者によりマイク６に「回転」と音声入力があった場合、「回転」と認識し、「回転」にかかるコマンドを認識結果として制御部３８に出力する。

操作情報入力部３４は、トラックボール７やキーボード８からの操作指示信号の入力を受け付け、制御部３８に出力する。操作情報入力部３４は、例えばトラックボール７が操作された場合、該トラックボール７の移動量（回転方向や回転量など）を含む指示信号（第２の操作指示信号）を制御部３８に出力する。

モード設定部３５は、音声認識部３３の認識結果（コマンド）に基づき、画像調整モードを設定する。具体的には、モード設定部３５は、音声認識部３３から「回転」にかかるコマンドが入力されると、画像調整モードを「回転モード」に設定する。モード設定部３５は、設定した画像調整モードに関する情報を制御部３８に出力する。

感度調整部３６は、モード設定部３５により設定された画像調整モードに応じて、操作情報入力部３４に入力されたトラックボール７の回転方向や回転量に応じた画像の調整量を算出する。具体的には、感度調整部３６は、モード設定部３５により設定された画像調整モードが「回転モード」である場合、トラックボール７の回転方向に応じた画像の回転方向を判断するとともに、トラックボール７の回転量をもとに画像の回転量を算出する。感度調整部３６は、判断した回転方向、および算出した回転量を制御部３８に出力する。

記憶部３７は、超音波内視鏡システム１を動作させるための各種プログラム、および超音波内視鏡システム１の動作に必要な各種パラメータ等を含むデータなどを記憶する。記憶部３７は、感度テーブル記憶部３７ａおよび操作情報画像記憶部３７ｂを有する。

感度テーブル記憶部３７ａは、音声認識部３３から入力されるコマンド（画像調整モード）に応じて作成され、モードごとの画像調整量、例えば回転方向および回転量などを記憶する。

操作情報画像記憶部３７ｂは、画像調整モードに応じた操作情報画像（案内画像）を記憶する。操作情報画像とは、接触型信号入力手段（トラックボール７）で操作する方向と、処理モード（画像調整モード）における信号入力機能に応じて動作する方向との関係を示す画像であり、例えば、トラックボール７により画像を回転させる回転モードの場合、術者の手の位置と、トラックボール７との配置に対する回転方向を案内する画像のことをいう。操作情報画像は、画像合成部３２ｃによりＢモード画像と合成されて超音波画像表示部４に表示される。

また、記憶部３７は、超音波内視鏡システム１の作動方法を実行するための作動プログラムを含む各種プログラムを記憶する。作動プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

以上の構成を有する記憶部３７は、各種プログラム等が予めインストールされたＲＯＭ（Read Only Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）等を用いて実現される。

制御部３８は、制御機能を有するＣＰＵ（Central Processing Unit）や各種演算回路等を用いて実現される。制御部３８は、記憶部３７が記憶、格納する情報を記憶部３７から読み出し、超音波内視鏡システム１の作動方法に関連した各種演算処理を実行することによって超音波内視鏡システム１を統括して制御する。

マイク６は、本発明の非接触型操作手段としての機能を有し、術者などが発した声（音）を電気信号に変換する。なお、非接触とは、物理的な接触を介さないことをいう。

トラックボール７は、本発明の接触型操作手段としての機能を有するポインティングデバイスであり、術者の操作により球体（ボール）が回転することで、該回転の方向や回転量（または回転速度）などに関する信号を出力する。

キーボード８は、複数のキーが設けられ、キーの押下により、該キーに応じた信号を出力する。なお、キーボード８は、複数のキーがタッチパネルにより実現されるものであってもよいし、画像を表示する表示部を有するものであってもよい。

続いて、以上の構成を有する超音波内視鏡システム１の処理装置３が行う画像調整操作について、図面を参照して説明する。図２は、本実施の形態１にかかる処理装置が行う画像調整操作を説明するフローチャートである。

まず、制御部３８は、マイク６からの音声入力があるか否かを判断する（ステップＳ１０１：非接触型信号入力ステップ）。制御部３８は、音声認識部３３から認識結果が得られた場合（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に移行する。これに対し、制御部３８は、音声認識部３３から認識結果が得られない場合（ステップＳ１０１：Ｎｏ）、ステップＳ１０１に戻り、マイク６からの音声入力の確認を繰り返す。

制御部３８は、ステップＳ１０２に移行すると、音声認識部３３からの認識結果が画像調整に関するものであるか否かを判断する。ここで、制御部３８は、認識結果として出力されたコマンドを参照し、画像調整に関するコマンドであるか否かを判断する。制御部３８は、認識結果として出力されたコマンドが画像調整に関するコマンドであると判断した場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０３に移行する。これに対し、制御部３８は、認識結果として出力されたコマンドが画像調整に関するコマンドではないと判断した場合（ステップＳ１０２：Ｎｏ）、ステップＳ１０１に戻り、マイク６からの音声入力の確認を繰り返す。

なお、ステップＳ１０１およびＳ１０２において、音声認識部３３から認識結果が得られない場合（ステップＳ１０１：Ｎｏ）や、認識結果として出力されたコマンドが画像調整に関するコマンドではないと判断した場合（ステップＳ１０２：Ｎｏ）は、ステップＳ１０１に戻らずに、画像調整操作処理を終了するようにしてもよい。

ステップＳ１０３では、制御部３８は、モード設定部３５に対し、認識結果として出力されたコマンドに応じて画像調整モードの設定を行うよう制御する（モード設定ステップ）。例えば、モード設定部３５は、音声認識部３３から「回転」にかかるコマンドが入力された場合、画像調整モードを「回転モード」に設定する。モード設定部３５は、設定した画像調整モードに関する情報を制御部３８に出力する。

制御部３８は、モード設定部３５から画像調整モードに関する情報が出力されると、トラックボール７により入力される信号に対して、設定されたモードに応じた信号入力機能の割り当て処理を行う（ステップＳ１０４：機能割り当てステップ）。

その後、制御部３８は、Ｂモード画像と操作情報画像とを有する表示用画像の生成処理を行う（ステップＳ１０５：画像処理ステップ）。表示用画像生成処理では、画像合成部３２ｃが、操作情報画像記憶部３７ｂを参照して、設定されたモードに応じた操作情報画像を取得し、Ｂモード画像データとともに、該操作情報画像が超音波画像表示部４に表示されるように画像合成処理を行う。

図３は、本実施の形態１にかかる処理装置が行う画像調整操作を説明する図である。画像調整モードでは、超音波画像表示部４が表示する表示領域１０１において、超音波画像（Ｂモード画像）を表示する超音波画像表示領域１０２と、画像調整モードに対応して、画像調整を案内する操作情報画像を表示する操作情報画像表示領域１０３と、が設けられる（図３参照）。操作情報画像表示領域１０３では、術者の手１１０と、トラックボール７の画像（トラックボール画像１１１）とを示す操作情報画像が表示される。画像調整モードが「回転モード」である場合、術者の手１１０と、トラックボール画像１１１とに加え、操作方向を示す矢印Ｙ１が表示される。矢印Ｙ１は、例えば、回転方向および回転量を決定するために設定された基準方向を示す。操作情報画像により、術者の手１１０の位置（向き）とトラックボール７（トラックボール画像１１１）との位置関係、および術者の手１１０の移動方向を視認することができる。

制御部３８は、表示用画像の生成処理後、トラックボール７の操作（入力）があるか否かを判断する（ステップＳ１０６）。制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７に移行する。これに対し、制御部３８は、トラックボール７の操作（入力）がない場合（ステップＳ１０６：Ｎｏ）、トラックボール７の操作（入力）の確認を繰り返す。

制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ１０６：Ｙｅｓ）、画像の調整量の算出処理を行う（ステップＳ１０７）。調整量の算出処理では、感度調整部３６が、トラックボール７の回転方向や回転量と、割り当てられた信号入力機能とに応じて画像の調整量を算出する。具体的には、感度調整部３６は、設定された画像調整モードが「回転モード」である場合、トラックボール７の回転方向に応じた回転方向を判断するとともに、トラックボール７の回転量をもとに画像の回転量を算出する。

図４は、本実施の形態１にかかる処理装置が行う画像調整操作を説明する図である。感度調整部３６は、術者がトラックボール７を回転した際の回転方向に対し、矢印Ｙ１方向の成分の方向および量を検出し、該検出した方向および量をもとに、回転方向を判断するとともに、画像の回転量を算出する。ここで、超音波画像表示領域１０２に表示される超音波画像は、例えば、図４に示すような、超音波エコーを受信した走査領域２００に含まれる領域（例えば、関心領域（Region Of Interest：ＲＯＩ）や、ＲＯＩを含む表示領域などの切り出し領域２０１）である。感度調整部３６により判断される画像の回転方向は、例えば、走査方向の同一深度同士を結ぶ弧（超音波の発振源を中心とする弧）に沿った方向の時計まわり、または反時計まわりとして出力される。なお、画像（切り出し領域２０１）の中心を回転軸として回転させるものであってもよいし、走査領域２００を回転させるものであってもよい。

制御部３８は、感度調整部３６から回転方向および回転量に関する情報が出力されると、ステップＳ１０８に移行して、調整後の画像を生成する画像生成処理を行う。画像生成処理では、超音波画像生成部３２ａが、回転方向および回転量に関する情報に応じて切り出し領域２０１を変更し、変更後の切り出し領域に応じたＢモード画像を生成する。

その後、制御部３８は、トラックボール７の操作（入力）があるか否かを判断する（ステップＳ１０９）。制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ１０９：Ｙｅｓ）、ステップＳ１０７に移行して、上述した調整量算出処理を行う。これに対し、制御部３８は、トラックボール７の操作（入力）がない場合（ステップＳ１０９：Ｎｏ）、処理を終了する。なお、本画像調整操作は、トラックボール７の操作が所定時間以上ない場合に終了すると判断するものであってもよいし、マイク６を介して回転モードが終了する旨の入力（例えば「回転終了」との入力）がある場合に終了すると判断するものであってもよい。

以上説明したように処理装置３によって画像調整操作を行うことにより生成されたＢモード画像は、超音波画像表示部４が表示する表示領域１０１の超音波画像表示領域１０２に表示される。この調整操作の際、術者は、音声によりモード設定を行い、超音波画像表示部４に表示された操作情報を見ながら手を動かして画像の回転操作を行うため、術者が超音波画像表示部４から視線をそらすことなく操作を行うことができ、画像調整などの操作時に観察位置がずれてしまうことを防止できる。

なお、術者の手の移動方向を確認するため、トラックボール７が操作された際に、回転方向の軌跡を表示するものであってもよい。この場合、軌跡の長さは一定の長さのものを表示する、すなわち回転方向のみを表示するものであってもよいし、回転量に対応させて軌跡の長さを変化させるものであってもよい。

以上説明した本実施の形態１によれば、音声認識部３３による認識結果に基づいてモード設定部３５がモードを変更し、設定されたモードに応じて超音波画像表示部４に操作情報画像を表示し、トラックボール７による操作を案内するとともに、該トラックボール７の操作に応じて感度調整部３６が画像の調整量を算出するようにしたので、モニタから視線をそらすことなくモニタ上の画像の調整操作を行うことができる。

なお、本実施の形態１では、手１１０がトラックボール画像１１１の下方に配置されているものとして説明したが、超音波内視鏡システム１のレイアウトなどによって手１１０の位置を変更してもよい。手１１０の配置は、操作情報画像として複数パターン記憶されているものであってもよく、例えば画像調整操作前やシステム起動時に手の配置を設定する。

また、上述した実施の形態１では、調整量を決定するための基準方向を設定し、トラックボール７の操作方向の基準方向の成分に応じて調整量を算出するものとして説明したが、操作方向と基準方向とのなす角度に応じて調整量を決定するなど、調整量の算出はこれに限るものではない。

（実施の形態１の変形例）
次に、本発明の実施の形態１の変形例について図面を参照して説明する。図５，６は、本実施の形態１の変形例にかかる処理装置が行う画像調整操作を説明する図である。図６（ａ）は画像調整の入力があった場合の表示領域の画像を示し、図６（ｂ）は画像調整後の表示領域の画像を示している。上述した実施の形態１では、音声入力により「回転」と指示された例を説明したが、本変形例では、音声入力により「スクロール」と指示された例であり、ラジアル型の超音波振動子によって取得された超音波画像（Ｂモード画像）が表示されている例を説明する。本変形例では、上述した走査領域２００が、超音波振動子が中心に配置された円環状をなし、切り出し領域２０１が、走査領域上に位置する矩形の領域となる。

上述したフローチャート（図２参照）のステップＳ１０３において、モード設定部３５は、音声認識部３３から「スクロール」にかかるコマンドが入力された場合、画像調整モードを「スクロールモード」に設定する。モード設定部３５は、設定した画像調整モードに関する情報を制御部３８に出力する。

制御部３８は、モード設定部３５から画像調整モードに関する情報が出力されると、設定されたモードに応じた信号入力機能の割り当て処理を行い（ステップＳ１０４）、Ｂモード画像と操作情報画像とを有する表示用画像の生成処理を行う（ステップＳ１０５：画像処理ステップ）。画像調整モードが「スクロールモード（表示領域設定モード）」である場合、図５に示すように、術者の手１１０と、トラックボール画像１１１と、操作方向を示す操作軸Ｙ２が表示される。操作軸Ｙ２は、例えば、画像中心位置の移動方向および移動量を決定するために設定された基準方向を示す直交する二つの軸からなる。操作軸Ｙ２は、走査領域２００に対する切り出し領域２０１の移動方向と、超音波画像表示領域１０２の画像の移動方向とが一致するように設定された軸となっている。

その後、制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ１０６：Ｙｅｓ）、画像の調整量の算出処理を行う（ステップＳ１０７）。感度調整部３６は、術者がトラックボール７を回転した際の回転方向に対し、操作軸Ｙ２に対するトラックボール７の回転方向の成分の方向および量を検出し、該検出した方向および量をもとに、スクロール方向を判断するとともに、画像のスクロール量を算出する。ここで、感度調整部３６により判断される画像（切り出し領域２０１）のスクロール方向は、例えば、画像中心位置からの移動方向（例えば図６（ａ）の破線矢印）として出力される。

制御部３８は、感度調整部３６からスクロール方向およびスクロール量に関する情報が出力されると、ステップＳ１０８に移行して、調整後の画像を生成する画像生成処理を行う。画像生成処理では、超音波画像生成部３２ａが、スクロール方向およびスクロール量に関する情報に応じて切り出し領域２０１を変更し、変更後の切り出し領域に応じたＢモード画像を生成する（図６（ｂ）を参照）。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図７は、本実施の形態２にかかる処理装置が行う画像調整操作を説明するフローチャートである。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態１では、音声入力により「回転」と指示された例を説明したが、本実施の形態２では、音声入力により「コメント」と指示された例を説明する。

まず、制御部３８は、マイク６からの音声入力があるか否かを判断する（ステップＳ２０１）。制御部３８は、音声認識部３３から認識結果が得られた場合（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に移行する。これに対し、制御部３８は、音声認識部３３から認識結果が得られない場合（ステップＳ２０１：Ｎｏ）、ステップＳ２０１に戻り、マイク６からの音声入力の確認を繰り返す。

制御部３８は、ステップＳ２０２に移行すると、音声認識部３３からの認識結果が画像調整に関するものであるか否かを判断する。ここで、制御部３８は、認識結果として出力されたコマンドを参照し、画像調整に関するコマンドであるか否かを判断する。制御部３８は、認識結果として出力されたコマンドが画像調整に関するコマンドであると判断した場合（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０３に移行する。これに対し、制御部３８は、認識結果として出力されたコマンドが画像調整に関するコマンドではないと判断した場合（ステップＳ２０２：Ｎｏ）、ステップＳ２０１に戻り、マイク６からの音声入力の確認を繰り返す。

ステップＳ２０３では、モード設定部３５は、音声認識部３３から「コメント」にかかるコマンドが入力された場合、画像調整モードを「コメントモード（文字入力モード）」に設定する。モード設定部３５は、設定した画像調整モードに関する情報を制御部３８に出力する。

制御部３８は、モード設定部３５から画像調整モードに関する情報が出力されると、トラックボール７により入力される信号に対して、設定されたモードに応じた信号入力機能の割り当て処理を行う（ステップＳ２０４）。

その後、制御部３８は、Ｂモード画像と操作情報画像とを有する表示用画像の生成処理を行う（ステップＳ２０５）。表示用画像生成処理では、画像合成部３２ｃが、操作情報画像記憶部３７ｂを参照して、設定されたモードに応じた操作情報画像を取得し、Ｂモード画像データとともに、該操作情報画像が超音波画像表示部４に表示されるように画像合成処理を行う。

図８は、本実施の形態２にかかる処理装置が行う画像調整操作を説明する図である。画像調整モードが「コメントモード」である場合、図８に示すように、術者の手１１０と、トラックボール画像１１１と、操作方向を示す操作軸Ｙ３が表示される。操作軸Ｙ３は、例えば、コメント入力カーソルＰ１の移動方向および移動量を決定するために設定された基準方向を示す直交する二つの軸からなる。

制御部３８は、表示用画像の生成処理後、トラックボール７の操作（入力）があるか否かを判断する（ステップＳ２０６）。制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０７に移行する。これに対し、制御部３８は、トラックボール７の操作（入力）がない場合（ステップＳ２０６：Ｎｏ）、トラックボール７の操作（入力）の確認を繰り返す。

制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ２０６：Ｙｅｓ）、コメント入力カーソルＰ１の調整量の算出処理を行う（ステップＳ２０７）。感度調整部３６は、術者がトラックボール７を回転した際の回転方向および回転量に対し、操作軸Ｙ３の各軸方向の成分を検出し、該検出した成分をもとに、各軸方向の移動量を算出する。感度調整部３６は、該算出した各軸方向の移動量をコメント入力カーソルＰ１の移動量として出力する。なお、コメント入力カーソルＰ１の移動量は、各軸方向の移動量を出力するものであってもよいし、Ｂモード画像における座標であって、移動後の座標を調整量として出力するものであってもよい。

制御部３８は、感度調整部３６からコメント入力カーソルＰ１の移動量に関する情報が出力されると、ステップＳ２０８に移行して、Ｂモード画像におけるコメント入力カーソルＰ１の移動処理を行う。移動処理では、超音波画像生成部３２ａが、コメント入力カーソルＰ１の移動量に関する情報に応じて、Ｂモード画像におけるコメント入力カーソルＰ１を移動し、移動後のＢモード画像を生成する。制御部３８は、生成された移動後のＢモード画像を超音波画像表示部４（超音波画像表示領域１０２）に表示する。

その後、制御部３８は、トラックボール７の操作（入力）があるか否かを判断する（ステップＳ２０９）。制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ２０９：Ｙｅｓ）、ステップＳ２０７に移行して、上述したコメント入力カーソルＰ１の移動処理を行う。これに対し、制御部３８は、トラックボール７の操作（入力）がない場合（ステップＳ２０９：Ｎｏ）、ステップＳ２１０に移行する。

ステップＳ２１０では、マイク６からの音声入力（コメント入力）があるか否かを判断する。画像調整モードが「コメントモード」に設定されると、設定後のマイク６からの音声入力に応じた文字情報（文字列）が、入力コメントとして処理される。制御部３８は、音声認識部３３から認識結果が得られた場合（ステップＳ２１０：Ｙｅｓ）、ステップＳ２１１に移行する。これに対し、制御部３８は、音声認識部３３から認識結果が得られない場合（ステップＳ２１０：Ｎｏ）、マイク６からの音声入力の確認を繰り返す。

ステップＳ２１１では、音声認識部３３からの認識結果に応じたコメントの入力処理を行う。図９は、本実施の形態２にかかる処理装置が行う画像調整操作を説明する図である。コメント入力処理では、制御部３８が音声認識部３３からの認識結果と、予め記憶されている言語とを比較して比較結果を出力し、画像合成部３２ｃが比較結果に基づく文字列の合成処理を行う。具体的には、「Ａｏｒｔａ」と音声入力があった場合、図９に示すように、コメント入力カーソルＰ１（図８参照）の位置に応じて「Ａｏｒｔａ」という文字列が挿入される。なお、「確定」や「変換」などの音声を認識して音声認識を終了し、「変換」の場合に、変換候補を一覧表示するようにしてもよい。なお、変換候補の選択は、各変換候補に付された番号を音声入力して確定させてもよいし、トラックボール７の操作により選択するものであってもよい。

その後、制御部３８は、コメント入力処理が完了したか否かを判断する（ステップＳ２１２）。制御部３８は、所定のコメント入力完了操作により、コメント入力が完了した旨の信号を受け付けると（ステップＳ２１２：Ｙｅｓ）、処理を終了する。これに対し、新たにコメントの入力操作があるなど、コメント入力が完了した旨の信号がない場合は（ステップＳ２１２：Ｎｏ）、ステップＳ２１０に戻り、コメント入力処理を繰り返す。

以上説明した本実施の形態２によれば、音声認識部３３による認識結果に基づいてモード設定部３５がモードを変更し、設定されたモードに応じて超音波画像表示部４に操作情報画像を表示し、トラックボール７による操作を案内するとともに、該トラックボール７の操作に応じて感度調整部３６がコメント入力カーソルＰ１の移動量を算出し、コメント入力カーソルＰ１を移動後、音声認識によりコメント入力処理を行うようにしたので、モニタから視線をそらすことなくモニタ上の画像の調整操作を行うことができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。なお、本実施の形態３にかかる図面では、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態１では、音声入力により「回転」と指示された例を説明したが、本実施の形態３では、音声入力により「フォーカス位置」と指示された例を説明する。なお、本実施の形態３にかかる画像調整操作は、図２に示すフローチャートに準じた処理が行われる。

本実施の形態３では、ステップＳ１０３において、音声認識部３３から「フォーカス位置」にかかるコマンドが入力される。モード設定部３５は、音声認識部３３から「フォーカス位置」にかかるコマンドが入力されると、画像調整モードを「フォーカス位置変更モード」に設定する。モード設定部３５は、設定した画像調整モードに関する情報を制御部３８に出力する。

制御部３８は、モード設定部３５から画像調整モードに関する情報が出力されると、設定されたモードに応じた信号入力機能の割り当て処理を行い（ステップＳ１０４）、Ｂモード画像と操作情報画像とを有する表示用画像の生成処理を行う（ステップＳ１０５：画像処理ステップ）。

図１０，１１は、本実施の形態３にかかる処理装置が行う画像調整操作を説明する図である。画像調整モードが「フォーカス位置変更モード」である場合、術者の手１１０と、トラックボール画像１１１とに加え、操作方向を示す矢印Ｙ４が表示される。矢印Ｙ４は、例えば、フォーカス位置を決定するために設定された基準方向を示す。また、表示領域１０１には、超音波画像表示領域１０２に表示される画像のフォーカス位置を示すフォーカス位置情報Ｇｆｐが表示される。フォーカス位置情報Ｇｆｐは、例えば、超音波画像表示領域１０２の上下方向に沿った深度に対する位置を示している。

制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ１０６：Ｙｅｓ）、フォーカス位置の変更処理を行う（ステップＳ１０７）。フォーカス位置の変更処理では、感度調整部３６によりトラックボール７の回転方向や回転量に応じたフォーカス位置の変更量が算出される。具体的には、感度調整部３６は、設定された画像調整モードが「フォーカス位置変更モード」である場合、トラックボール７の回転方向に応じた回転方向を判断するとともに、トラックボール７の回転量をもとにフォーカス位置の変更量を算出する。

図１２は、本実施の形態３にかかる処理装置が行う画像調整操作を説明する図である。図１２に示すように、超音波振動子２２に設けられた振動子２２ｂは、フォーカス位置Ｆｐを中心として超音波の進行方向（図１２の上下方向）に略対称な音場ＳＦを形成する。感度調整部３６は、術者がトラックボール７を回転した際の回転方向に対し、矢印Ｙ４方向の成分の方向および量を検出し、該検出した方向および量をもとに、フォーカス位置Ｆｐの移動方向を判断するとともに、移動量を算出する。

制御部３８は、感度調整部３６からフォーカス位置Ｆｐの移動方向および移動量に関する情報が出力されると、ステップＳ１０８に移行して、調整後の画像を生成する画像生成処理を行う。本実施の形態３にかかる画像生成処理では、変更後のフォーカス位置Ｆｐで超音波の照射を行って超音波エコーを受信し、超音波画像生成部３２ａが、変更後のフォーカス位置Ｆｐに応じたＢモード画像を新たに生成する（図１１参照）。また、図１１に示す表示領域１０１には、図１０に示すフォーカス位置に対して変更された変更後のフォーカス位置に応じたフォーカスポイントＧｆｐが表示される。

その後、制御部３８は、トラックボール７の操作（入力）があるか否かを判断する（ステップＳ１０９）。制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ１０９：Ｙｅｓ）、ステップＳ１０７に移行して、上述したフォーカス位置Ｆｐの変更処理を行う。これに対し、制御部３８は、トラックボール７の操作（入力）がない場合（ステップＳ１０９：Ｎｏ）、処理を終了する。

以上説明した本実施の形態３によれば、音声認識部３３による認識結果に基づいてモード設定部３５がモードを変更し、設定されたモードに応じて超音波画像表示部４に操作情報画像を表示し、トラックボール７による操作を案内するとともに、該トラックボール７の操作に応じて感度調整部３６がフォーカス位置Ｆｐの変更量を算出するようにしたので、モニタから視線をそらすことなくモニタ上の画像の調整操作を行うことができる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。図１３は、本実施の形態４にかかる処理装置が行う画像調整操作を説明するフローチャートである。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態１では、音声入力により「回転」と指示された例を説明したが、本実施の形態４では、音声入力により「拡大」と指示された例を説明する。

まず、制御部３８は、マイク６からの音声入力があるか否かを判断する（ステップＳ３０１）。制御部３８は、音声認識部３３から認識結果が得られた場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２に移行する。これに対し、制御部３８は、音声認識部３３から認識結果が得られない場合（ステップＳ３０１：Ｎｏ）、ステップＳ３０１に戻り、マイク６からの音声入力の確認を繰り返す。

制御部３８は、ステップＳ３０２に移行すると、音声認識部３３からの認識結果が画像調整に関するものであるか否かを判断する。ここで、制御部３８は、認識結果として出力されたコマンドを参照し、画像調整に関するコマンドであるか否かを判断する。制御部３８は、認識結果として出力されたコマンドが画像調整に関するコマンドであると判断した場合（ステップＳ３０２：Ｙｅｓ）、ステップＳ３０３に移行する。これに対し、制御部３８は、認識結果として出力されたコマンドが画像調整に関するコマンドではないと判断した場合（ステップＳ３０２：Ｎｏ）、ステップＳ３０１に戻り、マイク６からの音声入力の確認を繰り返す。

ステップＳ３０３では、モード設定部３５は、音声認識部３３から「拡大」にかかるコマンドが入力された場合、画像調整モードを「拡大モード」に設定する。モード設定部３５は、設定した画像調整モードに関する情報を制御部３８に出力する。

制御部３８は、モード設定部３５から画像調整モードに関する情報が出力されると、トラックボール７により入力される信号に対して、設定されたモードに応じた信号入力機能の割り当て処理を行う（ステップＳ３０４）。

その後、制御部３８は、Ｂモード画像と操作情報画像とを有する表示用画像の生成処理を行う（ステップＳ３０５）。表示用画像生成処理では、画像合成部３２ｃが、操作情報画像記憶部３７ｂを参照して、設定されたモードに応じた操作情報画像を取得し、Ｂモード画像データとともに、該操作情報画像が超音波画像表示部４に表示されるように画像合成処理を行う。

図１４は、本実施の形態４にかかる処理装置が行う画像調整操作を説明する図である。画像調整モードが「拡大モード」である場合、図１４に示すように、術者の手１１０と、トラックボール画像１１１と、操作方向を示す操作軸Ｙ５が表示される。操作軸Ｙ５は、例えば、拡大中心位置を指示する拡大位置指示カーソルＰ２の移動方向および移動量を決定するために設定された基準方向を示す直交する二つの軸からなる。

制御部３８は、モード設定部３５により画像調整モードの設定がなされると、トラックボール７の操作（入力）があるか否かを判断する（ステップＳ３０６）。制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ３０６：Ｙｅｓ）、ステップＳ３０７に移行する。これに対し、制御部３８は、トラックボール７の操作（入力）がない場合（ステップＳ３０６：Ｎｏ）、トラックボール７の操作（入力）の確認を繰り返す。

制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ３０６：Ｙｅｓ）、調整量として拡大位置指示カーソルＰ２の移動量の算出処理を行う（ステップＳ３０７）。感度調整部３６は、術者がトラックボール７を回転した際の回転方向および回転量に対し、操作軸Ｙ５の各軸方向の成分を検出し、該検出した成分をもとに、各軸方向の移動量を算出する。感度調整部３６は、該算出した各軸方向の移動量を拡大位置指示カーソルＰ２の移動量として出力する。なお、拡大位置指示カーソルＰ２の移動量は、各軸方向の移動量を出力するものであってもよいし、Ｂモード画像における座標であって、移動後の座標を調整量として出力するものであってもよい。

制御部３８は、感度調整部３６から拡大位置指示カーソルＰ２の移動量に関する情報が出力されると、ステップＳ３０８に移行して、Ｂモード画像における拡大位置指示カーソルＰ２の移動処理、具体的には、拡大中心位置の移動処理を行う。移動処理では、超音波画像生成部３２ａが、拡大位置指示カーソルＰ２の移動量に関する情報に応じて、Ｂモード画像における拡大位置指示カーソルＰ２を移動し、移動後のＢモード画像を生成する。制御部３８は、生成された移動後のＢモード画像を超音波画像表示部４（超音波画像表示領域１０２）に表示する。

その後、制御部３８は、拡大位置指示カーソルＰ２の移動処理が完了したか否かを判断する（ステップＳ３０９）。制御部３８は、所定の移動完了操作により、拡大位置指示カーソルＰ２の移動処理が完了した旨の信号を受け付けると（ステップＳ３０９：Ｙｅｓ）、ステップＳ３１０に移行する。これに対し、トラックボール７の操作（入力）があるなど、拡大位置指示カーソルＰ２の移動処理が完了した旨の信号がない場合は（ステップＳ３０９：Ｎｏ）、ステップＳ３０７に戻り、拡大位置指示カーソルＰ２の移動量の算出処理を繰り返す。

ステップＳ３１０では、拡大位置指示カーソルＰ２の指示位置を中心とした拡大処理を行う。超音波画像生成部３２ａは、拡大位置指示カーソルＰ２の指示位置を中心とし、所定の拡大率に応じた拡大領域Ｒ（図１４参照）の設定を行い、該設定された拡大領域Ｒをトリミングする。超音波画像生成部３２ａは、拡大領域Ｒを超音波画像表示領域１０２に応じた大きさに拡大したＢモード画像を生成する。

その後、制御部３８は、トラックボール７の操作（入力）があるか否かを判断する（ステップＳ３１１）。制御部３８は、トラックボール７の操作（入力）がある場合（ステップＳ３１１：Ｙｅｓ）、ステップＳ３０７に移行して、上述したＢモード画像における拡大位置指示カーソルＰ２の移動処理を行う。これに対し、制御部３８は、トラックボール７の操作（入力）がない場合（ステップＳ３１１：Ｎｏ）、処理を終了する。

以上説明した本実施の形態４によれば、音声認識部３３による認識結果に基づいてモード設定部３５がモードを変更し、設定されたモードに応じて超音波画像表示部４に操作情報画像を表示し、トラックボール７による操作を案内するとともに、該トラックボール７の操作に応じて感度調整部３６が拡大位置指示カーソルＰ２の移動量を算出し、拡大位置指示カーソルＰ２を移動後、Ｂモード画像の拡大処理を行うようにしたので、モニタから視線をそらすことなくモニタ上の画像の調整操作を行うことができる。

（実施の形態４の変形例）
次に、本発明の実施の形態４の変形例について図面を参照して説明する。図１５は、本実施の形態４の変形例にかかる処理装置が行う画像調整操作を説明する図である。上述した実施の形態４では、トラックボール７により拡大中心を決定し、所定の拡大率でＢモード画像を拡大するものとして説明したが、本変形例では、予め拡大中心Ｗｐが設定され、トラックボール７の操作により拡大率を変更する。

本変形例では、画像調整モードとして拡大モードが設定されている場合、感度調整部３６は、操作方向Ｙ６に基づき、トラックボール７の回転方向および回転量に応じて拡大率を算出する。また、制御部３８は、現在超音波画像表示領域１０２に表示されているＢモード画像がフリーズされたフリーズ中の画像であるか、ライブ中のＢモード画像であるかを判断する。制御部３８は、現在超音波画像表示領域１０２に表示されているＢモード画像がフリーズされたフリーズ中の画像であると判断した場合、設定された拡大中心を中心とし、算出された拡大率に応じた大きさの拡大領域のトリミング処理を行って、拡大したＢモード画像を生成する。

一方、制御部３８は、現在超音波画像表示領域１０２に表示されているＢモード画像がライブ中のＢモード画像であると判断した場合、拡大率に応じたレンジ変更を行った後、予め設定された拡大中心をフォーカス位置として超音波エコーの再受信を行う。超音波画像生成部３２ａは、受信した超音波エコーに基づき、所定の拡大率に応じたレンジのＢモード画像を生成する。

なお、本変形例と、上述した実施の形態４とを組み合わせた画像調整を行うようにしてもよい。具体的には、現在超音波画像表示領域１０２に表示されているＢモード画像がフリーズされたフリーズ中の画像である場合に、ステップＳ３０４〜Ｓ３０６の処理を行ってトリミングの中心位置を決定し、予め設定された拡大中心とは異なる位置を中心としてトリミングを行う。

また、上述した実施の形態１〜４では、音声を検出するマイク６（音声入力）を非接触型操作手段として説明したが、ジェスチャを検出して認識結果を出力するものであってもよいし、視線を検出して認識結果を出力するものであってもよいし、脳波を検出して認識結果を出力するものであってもよい。ジェスチャを認識する非接触型操作手段（例えばＩＲ）を用いる場合は、音声認識部３３に代えてジェスチャ認識部を設け、ジェスチャに応じたコマンドを認識結果として出力する。また、視線を認識する非接触型操作手段（例えば目（視線）を撮像する手段）を用いる場合は、音声認識部３３に代えて視線認識部を設け、視線（視線の動き）に応じたコマンドを認識結果として出力する。

また、上述した実施の形態１〜４では、回転モード、スクロールモード、フォーカス位置変更モードおよび拡大モードを例に挙げて説明したが、このほか、Ｂモード画像の縮小モードや、関心領域の設定を行う関心領域の設定モード、計測側線や計測領域を指定してＢモード画像中の所定部位の計測を行う計測モードなど、観測にかかる処理モードをマイク６により設定し、トラックボール７によって操作するものであってもよい。

また、上述した実施の形態１〜４では、トラックボール７を接触型操作手段として説明したが、キーボード、マウス、タッチパネルやレバー、ダイヤル、ジョイスティック、フットスイッチなどを接触型操作手段として用いるものであってもよいし、これらを組み合わせてもよい。例えば、接触型操作手段をタッチパネルとした場合、手、タッチパネル、操作方向などの操作情報画像を操作情報画像表示領域１０３に表示し、タップやドラッグ、ピンチイン、ピンチアウトなどの操作を行って、より直感的に画像調整を指示するものであってもよい。接触型操作手段は、画像調整モードにおける信号入力機能として、連続的もしくは非連続的、または多段階的もしくは無段階的な切り替え調整を指示できる入力手段であればこの限りではない。ここでいう連続的な切り替え調整とは、時系列的に連続した信号入力をいい、非連続的な切り替え調整指示とは、時系列的に非連続な信号入力（術者の画像確認などにより間欠的に行われる信号入力を含む）をいう。また、無段階的な切り替え調整指示とは、トラックボール７の回転など連続的な入力操作に応じて上述した信号を出力することをいい、多段階的な切り替え調整指示とは、キーボードのボタン押下やマウスのクリックなど間欠的な入力操作に応じて上述した信号を出力することをいう。

また、上述した実施の形態１〜４では、超音波画像表示部４および内視鏡画像表示部５によって、それぞれの画像を表示するものとして説明したが、一つの表示部とし、表示領域を分割し、各領域に超音波画像（操作情報画像を含む）および内視鏡画像をそれぞれ表示するようにしてもよい。

また、本発明にかかる超音波内視鏡システム１では、上述した実施の形態１〜４にかかる画像調整モードをマイク６の入力により適宜切り替え、さらに切り替えた画像調整モードに応じて操作情報画像を切り替えて観測対象の観測を行う。また、トラックボール７の配置の変更などにより、操作情報画像（トラックボール画像１１１に対する手１１０の位置）の切り替えを行ってもよい。

また、上述した実施の形態１〜４では、観測対象が生体組織である超音波内視鏡を例に説明したが、材料の特性を観測する工業用の内視鏡であっても適用できる。また、内視鏡に限らず、超音波振動子２２、処理装置３（内視鏡画像生成部３２ｂを除く）、超音波画像表示部４、マイク６およびトラックボール７を備えた観測装置として使用してもよい。本発明にかかる観測装置は、体内、体外を問わず適用可能である。また、超音波のほか、赤外線などを照射して観測対象の信号を送受信するものであってもよい。

このように、本発明は、特許請求の範囲に記載した技術的思想を逸脱しない範囲内において、様々な実施の形態を含みうるものである。

以上のように、本発明にかかる医療用観測装置、医療用観測装置の作動方法および医療用観測装置の作動プログラムは、モニタから視線をそらすことなくモニタ上の画像の調整操作を行うのに有用である。

１ 超音波内視鏡システム
２ 超音波内視鏡
３ 処理装置
４ 超音波画像表示部
５ 内視鏡画像表示部
６ マイク
７ トラックボール
８ キーボード
２１ 撮像部
２２ 超音波振動子
３１ 送受信部
３２ 画像処理部
３２ａ 超音波画像生成部
３２ｂ 内視鏡画像生成部
３２ｃ 画像合成部
３２ｄ 表示画像生成部
３３ 音声認識部
３４ 操作情報入力部
３５ モード設定部
３６ 感度調整部
３７ 記憶部
３７ａ 感度テーブル記憶部
３７ｂ 操作情報画像記憶部
３８ 制御部

Claims (9)

1. 観測対象の画像を生成するための信号を取得し、該取得した信号に基づく観測画像を生成する医療用観測装置であって、
   操作者と非接触な操作によって第１の操作指示信号の入力を受け付ける非接触型信号入力手段と、
   操作者の接触操作によって第２の操作指示信号の入力を受け付ける接触型信号入力手段と、
   前記第１の操作指示信号に応じて前記観測画像に対する処理モードを設定し、前記接触型信号入力手段に入力される前記第２の操作指示信号に対して該設定した処理モードに応じた信号入力機能を割り当てる制御を行う制御部と、
   前記観測画像と、前記接触型信号入力手段に割り当てられた前記信号入力機能に応じた操作を案内する案内画像とを有する表示用画像を生成する画像処理部と、
   を備えたことを特徴とする医療用観測装置。
2. 前記制御部は、前記第１の操作指示信号の入力に応じた処理モードの切り替え、前記処理モードに応じた前記案内画像の切り替え、または前記処理モードにおける信号入力機能の切り替えを制御することを特徴とする請求項１に記載の医療用観測装置。
3. 前記非接触型信号入力手段は、音声、ジェスチャ、視線または脳波を検出し、
   前記接触型信号入力手段は、キーボード、トラックボール、マウス、タッチパネル、レバー、ダイヤル、ジョイスティックおよびフットスイッチのうち少なくとも一つを含むことを特徴とする請求項１または２に記載の医療用観測装置。
4. 前記処理モードにおける前記信号入力機能は、連続的もしくは非連続的、または多段階的もしくは無段階的な接触操作を含むことを特徴とする請求項１〜３のいずれか一項に記載の医療用観測装置。
5. 前記処理モードは、画像を回転させる回転モード、観測領域のうち画像表示するための表示領域を設定する表示領域設定モード、文字入力モード、フォーカス位置設定モード、拡大または縮小モード、関心領域の設定モードおよび計測モードのうち少なくとも一つを含むことを特徴とする請求項１〜４のいずれか一項に記載の医療用観測装置。
6. 前記案内画像は、前記接触型信号入力手段で操作する方向と、前記処理モードにおける前記信号入力機能に応じて動作する方向との関係を示す画像であることを特徴とする請求項１〜５のいずれか一項に記載の医療用観測装置。
7. 前記観測対象の画像を生成するための信号は、該観測対象に対して送信した超音波が前記観測対象によって反射された超音波エコーを電気信号に変換したエコー信号に基づいて生成される信号であることを特徴とする請求項１〜６のいずれか一項に記載の医療用観測装置。
8. 観測対象の画像を生成するための信号を取得し、該取得した信号に基づく観測画像を表示する医療用観測装置の作動方法であって、
   操作者と非接触な操作による第１の操作指示信号の入力を非接触型信号入力手段が受け付ける非接触型信号入力ステップと、
   前記第１の操作指示信号に応じて前記観測画像に対する処理モードを設定する制御を制御部が行うモード設定ステップと、
   操作者の接触操作によって第２の操作指示信号の入力を受け付ける接触型信号入力手段に対し、前記モード設定ステップで設定された前記処理モードに応じた信号入力機能を割り当てる制御を前記制御部が行う機能割り当てステップと、
   前記観測画像と、前記接触型信号入力手段に割り当てられた前記信号入力機能に応じた操作を案内する案内画像とを有する表示用画像を画像処理部が生成する画像処理ステップと、
   を含むことを特徴とする医療用観測装置の作動方法。
9. 観測対象の画像を生成するための信号を取得し、該取得した信号に基づく観測画像を表示する医療用観測装置の作動プログラムであって、
   操作者と非接触な操作によって第１の操作指示信号の入力を非接触型信号入力手段が受け付ける非接触型信号入力手順と、
   前記第１の操作指示信号に応じて前記観測画像に対する処理モードを設定する制御を制御部が行うモード設定手順と、
   操作者の接触操作によって第２の操作指示信号の入力を受け付ける接触型信号入力手段に対し、前記モード設定手順で設定された前記処理モードに応じた信号入力機能を割り当てる制御を前記制御部が行う機能割り当て手順と、
   前記観測画像と、前記接触型信号入力手段に割り当てられた前記信号入力機能に応じた操作を案内する案内画像とを有する表示用画像を画像処理部が生成する画像処理手順と、
   を前記医療用観測装置に実行させることを特徴とする医療用観測装置の作動プログラム。

Images