JP7414590B2 - 制御装置および医療用観察システム - Google Patents

Description

本開示は、制御装置および医療用観察システムに関する。

被観察体の微小部位を撮像する医療用の撮像装置において、ジェスチャーによって視野を変換する技術が知られている（例えば、特許文献１を参照）。この技術では、術者の頭部のジェスチャーによって画面上のカーソルを動かし、別に設けられたスイッチを押すことによってカーソルの位置が画面中央になるよう視野移動を行う。

特開平１１－１０４０６４号公報

しかしながら、上述した特許文献１では、頭部の移動量をカーソルの移動量に変換した後、別のスイッチで確定させるというプロセスを踏むため、操作が煩雑であった。このため、簡易な操作で撮像装置を動作させることができる技術が求められていた。

本開示は、上記に鑑みてなされたものであって、簡易な操作で撮像装置を動作させることができる制御装置および医療用観察システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本開示に係る制御装置は、観察対象を撮像する撮像装置を操作するユーザの頭部の姿勢を検出するセンサから検出値を取得する取得部と、表示装置が表示する初期化情報を前記ユーザが目視することによって設定された基準値と前記検出値とを用いて前記撮像装置の操作指示信号を生成する制御部と、を備える。

本開示に係る医療用観察システムは、被観察体の微小部位を撮像する撮像装置と、前記撮像装置を操作するユーザの頭部の動きを検出するセンサと、前記撮像装置が取得した画像を表示する表示装置と、前記センサから検出値を取得する取得部と、前記表示装置が表示する初期化情報を前記ユーザが目視することによって設定された基準値と前記検出値とを用いて前記撮像装置の操作指示信号を生成し、前記撮像装置へ出力する制御部と、を有する制御装置と、を備える。

本開示によれば、簡易な操作で撮像装置を動作させることができる。

図１は、本開示の実施の形態１に係る医療用観察システムを模式的に示す図である。 図２は、本開示の実施の形態１に係る医療用観察システムの機能構成を示すブロック図である。 図３は、ユーザが操作指示信号を入力するときの頭部の姿勢を模式的に示す図（その１）である。 図４は、ユーザが操作指示信号を入力するときの頭部の姿勢を模式的に示す図（その２）である。 図５は、センサの基準値と検出値の差を操作指示信号に対応させる一例を模式的に示す図である。 図６は、ユーザが操作指示信号を入力するときの頭部の姿勢を模式的に示す図（その３）である。 図７は、本開示の実施の形態２に係る医療用観察システムの機能構成を示すブロック図である。 図８は、本開示の実施の形態３に係る医療用観察システムの機能構成を示すブロック図である。 図９は、フットスイッチの入力状態と顕微鏡装置の動作との関係を示すタイミングチャートである（その１）。 図１０は、フットスイッチの入力状態と顕微鏡装置の動作との関係を示すタイミングチャートである（その２）。 図１１は、フットスイッチの入力状態と顕微鏡装置の動作との関係を示すタイミングチャートである（その３）。 図１２は、本開示の実施の形態４に係る医療用観察システムの機能構成を示すブロック図である。

以下、添付図面を参照して、本開示を実施するための形態（以下、「実施の形態」という）を説明する。

（実施の形態１）
図１は、本開示の実施の形態１に係る医療用観察システムを模式的に示す図である。図１においては、医療用観察システム１を用いて手術を行う医師等のユーザ１０１が患者１０２の手術をしている状況を示している。図１に示す医療用観察システム１は、医療用観察装置２と、表示装置３と、センサ４とを備える。

医療用観察装置２は、顕微鏡装置５と、制御装置６とを備える。顕微鏡装置５は、被観察体の微小部位を撮像して画像信号を取得する撮像装置としての機能を有する。制御装置６は、顕微鏡装置５が撮像した画像信号に対して画像処理を行う医療用画像処理装置としての機能を有する。本実施の形態１に係る医療用観察装置２は、手術用顕微鏡である。

表示装置３は、制御装置６と無線または有線で通信可能に接続されており、制御装置６から３次元画像信号または２次元画像信号を受信し、３次元画像信号に基づく３次元画像（３Ｄ画像）または２次元画像信号に基づく２次元画像（２Ｄ画像）を表示する。表示装置３は、液晶または有機ＥＬ（Electro Luminescence）からなる表示パネルを有する。

センサ４は、３軸の加速度センサを有し、ユーザ１０１の頭部１０１ａの姿勢を検出すし、検出結果を制御装置６へ出力する。センサ４と制御装置６との通信接続は無線でも有線でもよい。センサ４は、手術の際にユーザ１０１が装着する眼鏡２０１に取り付けられる。眼鏡２０１は、アクティブシャッター方式（フレームシーケンシャル方式）およびパッシブ方式（円偏光フィルタ方式）のどちらか一方であり、好ましくはパッシブ方式である。図１において、センサ４は、眼鏡２０１のつるの部分に取り付けられているが、取り付ける場所はこれに限らず、例えば眼鏡２０１の左右のレンズの中間部に取り付けてもよい。また、センサ４はユーザ１０１の頭部１０１ａの動きを検出できればよく、眼鏡２０１に取り付けなくてもよい。また、ユーザ１０１は医師ではなくて、例えば手術助手等でもよい。

顕微鏡装置５の外観構成を説明する。顕微鏡装置５は、被観察体の微細構造を拡大して撮像する顕微鏡部７と、顕微鏡部７を支持する支持部８と、支持部８の基端を保持するとともに制御装置６を内蔵するベース部９とを有する。

顕微鏡部７は、円柱状をなす筒状部を有する。本体部の下端部の開口面にはカバーガラスが設けられている（図示せず）。筒状部は、ユーザによって把持可能であり、ユーザが顕微鏡部７の撮像視野を変更する際に把持しながら移動させることが可能な大きさを有している。なお、筒状部の形状は円筒状に限られるわけではなく、多角筒状をなしていてもよい。

支持部８は、アーム部に複数のリンクを有し、隣接するリンク同士が関節部を介して回動可能に連結されている。支持部８の内部に形成された中空部には、顕微鏡部７と制御装置６との間で各種信号を伝送する伝送ケーブルおよび制御装置６が発生する照明光を顕微鏡部７に伝送するライトガイドが通っている。

図２は、医療用観察装置２の機能構成を示すブロック図である。まず、顕微鏡装置５の機能構成を説明する。顕微鏡装置５は、レンズユニット５１と、レンズ駆動部５２と、撮像部５３と、アーム駆動部５４と、入力部５５と、通信部５６と、制御部５７とを備える。

レンズユニット５１は、光軸に沿って移動可能な複数のレンズを用いて構成され、集光した被写体像を撮像部５３が有する撮像素子の撮像面に結像する。レンズユニット５１は、焦点を調整するフォーカスレンズと、画角を変更するズームレンズとを有する。フォーカスレンズおよびズームレンズは、それぞれ１または複数のレンズを用いて構成される。レンズユニット５１は、フォーカスレンズの位置やズームレンズの位置をそれぞれ検出して制御部５７に出力する２つの位置センサを有する。

レンズ駆動部５２は、制御部５７の制御のもと、フォーカスレンズおよびズームレンズをそれぞれ動作させるアクチュエータと、アクチュエータを駆動するドライバとを有する。

撮像部５３は、レンズユニット５１が集光した被写体像を結像して撮像画像（アナログ信号）を生成する２つの撮像素子と、各撮像素子からの画像信号（アナログ信号）に対して、ノイズ除去やＡ／Ｄ変換等の信号処理を行う信号処理部とを有する。２つの撮像素子の視野は視差を有しており、３Ｄ画像を生成可能である。撮像素子は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを用いて構成される。

アーム駆動部５４は、制御部５７の制御のもと、支持部８が有する複数の関節をそれぞれ動作させる。具体的には、アーム駆動部５４は、アーム間の関節部に設けられたアクチュエータと、アクチュエータを駆動するドライバとを有する。

入力部５５は、レンズユニット５１の操作信号やアームの操作信号等の入力を受け付ける。入力部５５は、顕微鏡部７の筒状部の側面のうち、ユーザが顕微鏡部７を把持した状態で操作可能な位置に設けられた複数のスイッチやボタン等を有する。

通信部５６は、制御装置６との間で通信を行うインターフェースである。通信部５６は、撮像部５３が生成した画像信号（デジタル信号）を制御装置６に対して送信するとともに、制御装置６からの制御信号を受信する。

制御部５７は、制御装置６の制御部６５と連携して顕微鏡装置５の動作を制御する。制御部５７は、入力部５５で入力を受け付けた操作指示信号や、制御装置６の制御部６５から送られてくる操作指示信号に基づいて、顕微鏡装置５を動作させる。制御部５７は、センサ４によって検出されたユーザ１０１の頭部１０１ａの姿勢に基づいて制御部６５が生成した操作指示信号を受信し、この操作指示信号に基づいてアーム駆動部５４を動作させる。

制御部５７は、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、およびＡＳＩＣ（Application Specific Integrated Circuit）等の少なくともいずれか一つのプロセッサを用いて構成される。

つぎに、制御装置６の機能構成を説明する。制御装置６は、通信部６１と、画像処理部６２と、入力部６３と、光源部６４と、制御部６５と、記憶部６６と、を備える。

通信部６１は、センサ４および顕微鏡装置５から各種信号を取得する取得部としての機能を有する。通信部６１は、顕微鏡装置５が撮像し、伝送ケーブルを経由して伝送してくる画像信号を取得する。画像信号には、撮像時のゲイン調整値、フォーカスレンズ位置、ズームレンズ位置、露光時間、絞り値等の撮像に関する情報が含まれる。また、通信部６１は、センサ４によって検出される加速度の情報を取得する取得部の機能を有する。

画像処理部６２は、通信部６１が取得した画像信号に対して各種信号処理を施すことによって表示用の画像信号を生成し、生成した画像信号を表示装置３に出力する。具体的には、画像処理部６２は、検波処理、補間処理、色補正処理、色強調処理、および輪郭強調処理等の公知の画像処理を行う。画像処理部６２は、ＣＰＵ、ＦＰＧＡ、およびＡＳＩＣ等の少なくともいずれか一つのプロセッサを用いて構成される。

入力部６３は、各種情報の入力を受け付ける。入力部６３は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて構成される。なお、入力部６３に顕微鏡装置５の入力部５５の少なくとも一部の機能を兼備させてもよい。

光源部６４は、ライトガイドを介して顕微鏡装置５に供給する照明光を発生する。光源部６４は、例えばＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）等の固体発光素子、レーザ光源、キセノンランプまたはハロゲンランプ等を用いて構成される。

制御部６５は、センサ４の検出値に基づいて、ユーザ１０１の頭部１０１ａの姿勢に応じた操作指示信号を生成し、その操作指示信号を顕微鏡装置５の制御部５７に送信する。この際、制御部６５は、ユーザ１０１の頭部１０１ａの基準姿勢に対応するセンサ４の検出値として予め設定された基準値と、通常の動作時のセンサ４の検出値とを用いて、基準姿勢と通常の動作時の姿勢との差異を抽出し、この差異に基づいて操作指示信号を生成する。なお、制御部６５がセンサ４の検出値または検出値に対応する信号を顕微鏡装置５の制御部５７に送信し、制御部５７が制御部６５から受信した検出値または検出値に対応する信号に基づいて操作指示信号を生成する構成としてもよい。

制御部６５は、制御装置６の動作を制御するとともに、顕微鏡装置５の制御部５７と連携して医療用観察装置２の動作を統括して制御する。具体的には、制御部６５は、例えば通信部６１が取得した画像信号の検波を行って光源部６４の発光を制御するとともに、撮像部５３における露光時間を制御する。また、制御部６５は、画像処理部６２が生成した表示用の画像信号を表示装置３に表示させる制御を行う。制御部６５は、電子ズームによって表示用の画像信号の画角を変更する機能を有してもよい。制御部６５は、ＣＰＵ、ＦＰＧＡ、およびＡＳＩＣ等の少なくともいずれか一つのプロセッサを用いて構成される。なお、画像処理部６２と制御部６５を、共通のプロセッサを用いて構成してもよい。

記憶部６６は、制御装置６が動作するための各種プログラムを記憶するとともに、制御装置６が演算処理中のデータを一時的に記憶する。記憶部６６は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等を用いて構成される。

以上の構成を有する医療用観察システム１を用いてユーザ１０１が患者１０２の頭部等の手術を行う場合、ユーザ１０１は装着した眼鏡２０１を介して表示装置３が表示する３Ｄ画像を目視しながら手術を行う。

図３および図４は、医療用観察システム１において、ユーザ１０１が操作指示信号を入力するときの頭部１０１ａの姿勢を模式的に示す図である。本実施の形態１において、ユーザ１０１は頭部１０１ａを動かして姿勢を変化させることにより、顕微鏡装置５の撮像視野を移動させる操作指示信号を入力する。具体的には、図３に示すように、頭部１０１ａを前方または後方へ倒した姿勢が、撮像視野の下方または上方への移動指示にそれぞれ対応する。また、図４に示すように、頭部１０１ａを左方または右方へ倒した姿勢が、撮像視野の左方または右方への移動指示にそれぞれ対応する。

制御部６５は、センサ４の検出結果に基づいてユーザ１０１の頭部１０１ａの姿勢を判定する。この際、制御部６５は、センサ４の検出結果を、予め設定した基準値と比較することによって頭部１０１ａの姿勢を判定する。

まず、基準値の設定方法について説明する。基準値を設定する際、制御部６５は、表示装置３の画面上の中央部に所定の指標（初期化情報）を表示するとともに、画面上にその指標を注視することを促すメッセージを表示する。指標は、例えば十字形状や円形状等であり、ユーザ１０１が注視しやすい形状であれば特に限定されない。また、メッセージを音声によって出力してもよい。

その後、制御部６５はセンサ４から受信した時間ｔの検出値、すなわち時間ｔにおける加速度（Ａｘ（ｔ），Ａｙ（ｔ），Ａｚ（ｔ））を記憶部６６に記憶させるとともに、そのうち所定期間における加速度の統計的なばらつきを示す統計量として、加速度の各成分の分散を時間の経過とともに順次算出する。以下、所定期間における分散を単に分散という。各成分の分散のすべてが閾値以下である場合、制御部６５は加速度の各成分の平均（Ａｘｃ，Ａｙｃ，Ａｚｃ）を算出して基準値として設定し、設定日時等の情報とともに記憶部６６に記憶させる。この閾値は、統計的なばらつきを判定するために設定される値である。分散が閾値以下である場合が、ばらつきが少ないという基準を満足する場合に相当する。なお、ユーザ１０１の識別情報を基準値と関連付けて記憶部６６に記憶させてもよい。

加速度の各成分の分散のいずれかが閾値よりも大きい場合、制御部６５は操作指示信号を無効にする。この際、制御部６５は、操作指示信号の生成を停止することによって無効にしてもよいし、生成した操作指示信号の顕微鏡装置５への送信を停止することによって無効にしてもよい。また、制御部６５は、表示装置３に対してエラーメッセージを表示させるとともに、表示装置３の画面上の中心に指標を表示させ、その指標を注視するメッセージを表示させる。このときの指標は、最初に表示した指標から色や形状等を変更してもよい。また、メッセージを音声によって出力してもよい。

なお、統計的なばらつきを示す統計量は、加速度の各成分の２乗和の瞬時値でもよい。静止状態では、頭部１０１ａの姿勢によらず、加速度の各成分の２乗和の瞬時値はほぼ一定値を取る。制御部６５は、算出した２乗和と一定値との差分の絶対値が所定値より大きい場合、頭部１０１ａは静止状態にはないと判定する。また、加速度の各成分の２乗和の瞬時値を用いる代わりに、２乗和と一定値との差分の絶対値が所定値より小さい状況が予め定めた期間継続している場合、制御部６５は頭部１０１ａが静止していると判定するようにしてもよい。

以上のように設定される基準値は、ユーザ１０１が表示装置３の画面の中央を目視している時の頭部１０１ａの姿勢（以下、基準姿勢ともいう）に対応するセンサ４の検出値である。これに対して、頭部１０１ａが基準姿勢から倒れると、センサ４の検出値が変化する。本実施の形態１では、センサ４の検出値と基準値の差から、ユーザ１０１の頭部１０１ａの姿勢に応じた操作入力を作成する。

図５は、ユーザ１０１の頭部１０１ａの姿勢に対応したセンサ４の検出値と基準値の差を操作入力に変換する一例を図示したものである。操作指示作成平面３０１上に、センサ４の検出値と基準値の差を投影する。操作指示作成平面３０１の原点は基準値を表す。操作指示作成平面３０１の縦軸は、図３の動作に対応し、頭部１０１ａを基準姿勢から後方に倒すことは操作指示作成平面３０１の原点から上方向に移動することに対応する。同様に、操作指示作成平面３０１の横軸は、図４の動作に対応し、頭部１０１ａを基準姿勢から右に倒すことは、操作指示作成平面３０１の原点から右方向に移動することに対応する。図５に示す場合、操作指示作成平面３０１は実線で示す境界によって５つの領域に仮想的に分割されている。具体的には、操作指示作成平面３０１は、中央領域４１Ｃ、上側領域４１Ｕ、下側領域４１Ｄ、左側領域３０１Ｌ、右側領域３０１Ｒの５つの矩形領域に分割されている。中央領域３０１Ｃは四方を他の領域に囲まれており、操作指示作成平面３０１の中心を含む。また上側領域３０１Ｕおよび下側領域３０１Ｄは、左右方向の幅が中央領域３０１Ｃと等しく、それぞれ中央領域３０１Ｃの上方および下方に位置している。左側領域３０１Ｌおよび右側領域３０１Ｒは、中央領域３０１Ｃの左方および右方にそれぞれ位置している。

制御部６５は、センサ４の基準値を設定した後、その基準値と検出値との差を操作指示作成平面３０１上に投影する。投影した点が操作指示作成平面３０１のどの領域であるかを記憶部６６に記憶させる。ここでいう基準値と検出値との差は、３次元ベクトルの差を意味している。

例えば、センサ４の検出値と基準値の差が上側領域３０１Ｕに対応する加速度であって、その加速度の各成分の分散が閾値以下である場合、制御部６５は視野を上方へ移動する操作指示信号を生成して顕微鏡装置５の制御部５７へ送信する。これはユーザ１０１が頭部１０１ａを後方へ倒した状況に対応する。一方、加速度の各成分の分散のいずれかが閾値よりも大きい場合、制御部６５は操作指示信号を生成しない。

ユーザ１０１が頭部１０１ａを倒した状態から基準姿勢に戻すと、制御部６５は操作指示信号の生成を停止する。具体的には、センサ４の検出値が、中央領域３０１Ｃの内部に設定される停止判定領域４１Ｓ内に相当する加速度であって、その加速度の各成分の分散が閾値以下である場合、制御部６５は操作指示信号の生成を停止する。制御部６５が視野を移動している途中で操作指示信号の生成を停止する際には、頭部１０１ａの姿勢が確実に中央領域３０１Ｃの内側と判定でき、基準姿勢と同じまたは近い姿勢になっていることが必要である。すなわち、制御部６５が操作指示信号を生成している状態から操作指示信号の生成を停止する状態に遷移するときの基準値と検出値との差の絶対値は、制御部６５が操作指示信号の生成を停止している状態から操作指示信号の生成を開始する状態に遷移するときの基準値と検出値との差の絶対値よりも大きい。

本実施の形態１では、中央領域３０１Ｃの内部に停止判定領域３０１Ｓを設けることにより、例えば頭部１０１ａの姿勢が基準姿勢と倒した姿勢の境界付近にある場合、制御部６５は操作指示信号を停止しないので、ユーザ１０１は頭部１０１ａをより基準姿勢に近づけないと操作を停止させることができない。したがって、ユーザ１０１の意思に反して視野移動が停止してしまうのを防止することができる。

なお、センサ４の検出値が基準値から大きく乖離しており、ユーザ１０１の目視している場所が画面から外れていると判定できる値である場合、制御部６５は操作指示信号を生成しない。また、センサ４の検出値の時間変化が所定の基準よりも急激である場合にも、制御部６５は操作指示信号を生成しない。

以上説明した本開示の実施の形態１によれば、表示装置によって表示される初期化情報をユーザが目視することによって設定された基準値とユーザの頭部の姿勢を検出するセンサの検出値とを用いて撮像装置の操作指示信号を生成するため、簡易な操作で撮像装置を動作させることができる。

また、本実施の形態１によれば、撮像装置の視野移動、ズーム、フォーカス駆動などをユーザの手を用いることなく、直感的な操作で実現することができる。

また、本実施の形態１によれば、操作者の頭部の姿勢を検出する手段として加速度センサを用いるため、上述した特許文献１の技術よりも単純な構成を有する医療用観察システムを実現することができる。

（変形例）
ユーザ１０１が眼鏡２０１を装着するたびに基準値を設定することに加えて、頭部１０１ａを前後左右に倒したときの姿勢ごとに基準値を設定してもよい。この場合、制御部６５は、図５に示す操作指示作成平面３０１の上側領域３０１Ｕ、下側領域３０１Ｄ、左側領域３０１Ｌ、よび右側領域３０１Ｒの所定位置に指標をそれぞれ表示して、ユーザ１０１に注視を促すことによって頭部１０１ａの姿勢ごとの基準値を設定する。これにより、頭部１０１ａの姿勢に応じた基準値をきめ細かく設定することができる。なお、左側領域３０１Ｌおよび右側領域３０１Ｒにおける指標は、例えば画面上で頭部１０１ａを倒した状態でユーザ１０１が目視した時の上下左右に合うように十字を回転させたものでもよいし、頭部１０１ａを倒した状態でユーザ１０１が目視した時の左右にそれぞれ合うように傾斜させた直線でもよい。

また、センサ４が３軸ジャイロセンサをさらに有してもよい。この場合、センサ４は、図６に示すような頭部１０１ａの回転であってユーザ１０１の目の高さを変えない左右方向（横方向）への回転、換言するとユーザ１０１の頭部１０１ａの中心を通過しユーザ１０１の身長方向（高さ方向）に平行な軸を中心とする回転を検出する。これにより、制御部６５は、頭部１０１ａの横方向への回転に対応するセンサ４の検出値に基づいて、顕微鏡装置５の撮像視野を左右方向へ移動させる。

また、本実施の形態１では、頭部１０１ａの姿勢に応じて顕微鏡装置５の撮像部５３の撮像視野を移動させる操作指示信号の入力を受け付ける場合を説明したが、頭部１０１ａの姿勢に応じて撮像部５３のフォーカスやズームを変化させる操作指示信号を受け付けるようにしてもよい。例えば、頭部１０１ａが前後方向にそれぞれ倒れた姿勢をフォーカスのアウトとインに対応させる一方、頭部１０１ａが左右方向にそれぞれ倒れた姿勢をズームのアウトとインに対応させてもよい。また、入力部５５または入力部６３の操作入力に応じて、撮像視野を移動させる操作モードと、フォーカス／ズームを変化させる操作モードとを択一的に選択できるようにしてもよい。

（実施の形態２）
図７は、本開示の実施の形態２に係る医療用観察システムの構成を示すブロック図である。同図に示す医療用観察システム１Ａは、医療用観察装置２Ａと、表示装置３と、センサ４と、マイクロフォン１１とを備える。なお、実施の形態１で説明した医療用観察システム１の構成要素と同様の構成要素には、同じ符号を付して説明する。

マイクロフォン１１は、制御装置６Ａと無線または有線で通信接続されており、ユーザ１０１の音声入力を受け付けて、音声信号を制御装置６Ａに送信する。

制御装置６Ａは、通信部６１と、画像処理部６２と、入力部６３と、光源部６４と、制御部６５Ａと、記憶部６６と、音声処理部６７とを備える。音声処理部６７は、マイクロフォン１１から受信した音声信号の認識処理を実行する。音声処理部６７は、音声信号の特徴量と、記憶部６６が記憶する特徴量とを比較することによって音声信号の内容を認識する。

医療用観察システム１Ａは、ユーザ１０１が頭部１０１ａを前後左右のいずれかの方向へ倒した場合の頭部１０１ａの姿勢を検出し、検出結果に応じた操作指示信号の入力を受け付ける。医療用観察システム１Ａは、互いに異なる操作指示信号を生成する複数の操作モードを設定可能である。具体的には、撮像視野、ズーム倍率、およびフォーカス位置のいずれかの操作モードを設定可能である。以下、ユーザ１０１がズーム倍率を操作する操作モードを設定する場合を例にとって説明する。

まず、ユーザ１０１は、例えば「ウェイクアップ」と発話することによって音声入力を有効にする。音声処理部６７が、マイクロフォン１１から取得した音声の発話内容が「ウェイクアップ」であると判定した場合、制御部６５Ａは音声入力を有効にする。なお、この音声入力を有効にする際には、顕微鏡装置５の入力部５５または制御装置６Ａの入力部６３によってユーザ１０１が指示信号を入力してもよい。

この後、ユーザ１０１は所望の操作モードを選択する音声入力を行う。例えばズーム倍率を操作する操作モードを選択する場合、ユーザ１０１は「ズーム」と発話する。音声処理部６７が、マイクロフォン１１を介して取得した音声信号を「ズーム」と認識した場合、制御部６５Ａはその後にセンサ４の検出値に応じて、ズームに関する操作指示信号（ズームイン、ズームアウト）を生成する。例えば、頭部１０１ａが後方に倒れた姿勢に対応する場合、制御部６５はズームアウトに相当する操作指示信号を生成し、頭部１０１ａが前方に倒れた姿勢に対応する場合、制御部６５はズームインに相当する操作指示信号を生成する。

音声入力および頭部１０１ａによる操作を無効にする場合、ユーザは「キャンセル」と発話する。音声処理部６７が、マイクロフォン１１を介して取得した音声信号を「キャンセル」と認識した場合、制御部６５Ａは音声入力および頭部１０１ａによる操作を無効にし、ズーム動作を停止する。

なお、上述した「ウェイクアップ」、「ズーム」、「キャンセル」等の表現は一例に過ぎず、他の表現を採用してもよい。

以上説明した本開示の実施の形態２によれば、実施の形態１と同様に、簡易な操作で撮像装置を動作させることができる。

また、本実施の形態２によれば、ユーザは音声によって操作モードを選択した後、頭部を動かして操作指示信号の入力を行うため、操作モードの選択を意識して行うことができ、誤操作を防止することができる。

（実施の形態３）
図８は、本開示の実施の形態３に係る医療用観察システムの構成を示すブロック図である。同図に示す医療用観察システム１Ｂは、医療用観察装置２Ｂと、表示装置３と、センサ４と、フットスイッチ１２とを備える。なお、実施の形態１で説明した医療用観察システム１の構成要素と同様の構成要素には、同じ符号を付して説明する。

医療用観察システム１Ｂは、医療用観察システム１Ａと同様、ユーザ１０１が頭部１０１ａを前後左右のいずれかの方向へ倒すことによって撮像視野の移動、ズーム倍率の変更、およびフォーカス位置の変更を選択的に実行する機能を有する。

フットスイッチ１２は、制御装置６Ｂと無線または有線で通信接続されており、ユーザ１０１の足によってフットスイッチ１２が所定量以上踏み込まれたときに入力を受け付けて、制御装置６Ｂに入力信号を送信する。以下、フットスイッチ１２が所定量以上踏み込まれることを、フットスイッチ１２が押下されるという。

制御装置６Ｂは、通信部６１と、画像処理部６２と、入力部６３と、光源部６４と、制御部６５Ｂと、記憶部６６とを備える。制御部６５Ｂは、フットスイッチ１２が押下されて入力信号を受信している間、頭部１０１ａの姿勢に応じた操作指示信号を生成して顕微鏡装置５の制御部５７へ送信する。

図９～図１１は、フットスイッチ１２の入力状態と顕微鏡装置５の動作との関係を例示するタイミングチャートである。まず、図９に示す場合の動作を説明する。フットスイッチ１２がｔ＝ｔ₀に押下されると、視野移動（ＸＹ）が実行可能な操作モードとなる。フットスイッチ１２が押下されたまま、頭部１０１ａが後方に倒れた姿勢になった場合、制御部６５Ｂは撮像視野を上方へ移動させる操作指示信号を生成して顕微鏡装置５へ送信し、アーム駆動部５４が制御部５７の制御のもとで駆動を開始する（ｔ＝ｔ₁）。その後、頭部１０１ａが基準姿勢に戻ると、制御部６５Ｂは操作指示信号の生成を停止し、アーム駆動部５４は制御部５７の制御のもとで動作を停止する（ｔ＝ｔ₂）。続いて、頭部１０１ａが再び後方に倒れた姿勢になった場合、制御部６５Ｂは撮像視野を上方へ移動させる操作指示信号を生成して顕微鏡装置５へ送信し、アーム駆動部５４が制御部５７の制御のもとで再び駆動を開始する（ｔ＝ｔ₃）。この後、フットスイッチ１２が解除されたとき（ｔ＝ｔ₄）、視野移動の機能は禁止となり、頭部１０１ａが後方に倒れた状態であっても、制御部６５Ｂは操作指示信号の生成を停止する。

つぎに、図１０に示す場合の動作を説明する。図１０では、途中で操作モードを変更する場合を例示している。フットスイッチ１２がｔ＝ｔ₁₀に押下されると、視野移動（ＸＹ）を実行可能な操作モードとなる。その後、フットスイッチ１２の押下が解除されると視野移動の実行禁止状態となる（ｔ＝ｔ₁₁）。ｔ＝ｔ₁₁からの経過時間が所定時間Δｔより短い時間で再度フットスイッチ１２が押下されると（ｔ＝ｔ₁₂＜ｔ₁₁＋Δｔ）、制御部６５Ｂはフォーカス機能を実行可能な操作モードに変更する。この後、フットスイッチ１２が押下されたまま、頭部１０１ａが後方へ倒れた姿勢になった場合、制御部６５Ｂはフォーカスアウトの操作指示信号を生成して顕微鏡装置５へ送信し、レンズ駆動部５２が制御部５７の制御のもとでフォーカスアウトを開始する（ｔ＝ｔ₁₃）。続いて、頭部１０１ａが基準姿勢に戻ると、制御部６５Ｂは操作指示信号の生成を停止し、レンズ駆動部５２は制御部５７の制御のもとで動作を停止する（ｔ＝ｔ₁₄）。この後、フットスイッチ１２が解除されたとき（ｔ＝ｔ₁₅）、フォーカスの機能は禁止となる。なお、この後Δｔ以上経過してフットスイッチ１２が押下された場合には、視野移動を実行可能な操作モードに初期化してもよいし、フォーカス機能を実行可能な操作モードを継続してもよい。

つぎに、図１１に示す場合の動作を説明する。図１１では、途中で操作モードを２回変更する場合を例示している。フットスイッチ１２がｔ＝ｔ₂₀に押下されると、視野移動（ＸＹ）が実行可能な操作モードとなる。その後、フットスイッチ１２の押下が解除されると視野移動の実行禁止状態となる（ｔ＝ｔ₂₁）が、解除から時間Δｔより短い時間で再度フットスイッチ１２が押下されると（ｔ＝ｔ₂₂＜ｔ₁₁＋Δｔ）、制御部６５Ｂはフォーカス機能を実行可能な操作モードに変更する。この後、フットスイッチ１２の押下が解除されると（ｔ＝ｔ₂₃）、フォーカスの実行禁止状態となる。この解除から時間Δｔよりも短い時間でフットスイッチ１２が押下されると（ｔ＝ｔ₂₄＜ｔ₂₃＋Δｔ）、制御部６５Ｂはズーム機能を実行可能な操作モードに変更する。フットスイッチ１２が押下されたまま、頭部１０１ａが前方へ倒れた姿勢になった場合、制御部６５Ｂはズームインの操作指示信号を生成して顕微鏡装置５へ送信し、レンズ駆動部５２は制御部５７の制御のもとでズームインを開始する（ｔ＝ｔ₂₅）。続いて、頭部１０１ａが基準姿勢に戻ると、制御部６５Ｂは操作指示信号の生成を停止し、レンズ駆動部５２は制御部５７の制御のもとで動作を停止する（ｔ＝ｔ₂₆）。この後、フットスイッチ１２の押下が解除されたとき（ｔ＝ｔ₂₇）、フォーカスの機能は禁止となる。なお、フットスイッチ１２の押下が解除されてから時間Δｔ以上経過してからフットスイッチ１２が押下された場合には、視野移動を実行可能な操作モードに初期化してもよいし、ズーム機能を実行可能な操作モードを継続してもよい。

図１０および図１１に示す場合にも、頭部１０１ａが基準姿勢から倒れた状態のままフットスイッチ１２の押下が解除された場合には、その時点で該当する機能の実行を停止してもよい。

以上説明した本開示の実施の形態３によれば、実施の形態１と同様に、簡易な操作で撮像装置を動作させることができる。

また、本実施の形態３によれば、ユーザがフットスイッチを押下している間に頭部を動かして操作指示信号の入力を行う場合のみ有効であるため、誤操作を防止することができる。

（実施の形態４）
図１２は、実施の形態４に係る医療用観察システムの構成を示すブロック図である。同図に示す医療用観察システム１Ｃは、医療用観察装置２Ｃと、表示装置３と、センサ４と、マイクロフォン１１と、フットスイッチ１２とを備える。なお、実施の形態１で説明した医療用観察システム１の構成要素と同様の構成要素には、同じ符号を付して説明する。

医療用観察システム１Ｃは、医療用観察システム１Ａと同様、ユーザ１０１が頭部１０１ａを前後左右のいずれかの方向に倒すことによって撮像視野の移動、ズーム倍率の変更、およびフォーカス位置の変更を選択的に実行する機能を有する。

制御装置６Ｃは、通信部６１と、画像処理部６２と、入力部６３と、光源部６４と、制御部６５Ｃと、記憶部６６と、音声処理部６７とを備える。制御部６５Ｃは、フットスイッチ１２が押下されて入力信号を受け付けている間、マイクロフォン１１を介した音声入力と、頭部１０１ａの姿勢に応じた操作指示信号を生成して顕微鏡装置５の制御部５７へ送信する。

ユーザは、フットスイッチ１２を押下した後、実施の形態２と同様に音声入力を有効とする。その後の頭部１０１ａの姿勢に応じた処理は、実施の形態２と同様である。ただし、本実施の形態４において、制御部６５Ｃは、フットスイッチ１２の押下を解除した時点で音声入力や頭部１０１ａの姿勢に応じた操作指示信号の生成を停止する。

以上説明した本開示の実施の形態４によれば、実施の形態１と同様に、簡易な操作で撮像装置を動作させることができる。

また、本実施の形態４によれば、ユーザが意識してフットスイッチを押下している時のみ、マイクロフォンを介した音声入力や頭部の姿勢に基づく操作指示信号の入力が可能となるため、ユーザの意思に応じて操作することができ、誤操作を防止することができる。

ここまで、本開示を実施するための形態を説明してきたが、本開示は、上述した実施の形態１～４によってのみ限定されるべきものではない。例えば、本開示の撮像装置は、外視鏡や内視鏡でもよい。

（１）
観察対象を撮像する撮像装置を操作するユーザの頭部の姿勢を検出するセンサから検出値を取得する取得部と、
表示装置が表示する初期化情報を前記ユーザが目視することによって設定された基準値と前記検出値とを用いて前記撮像装置の操作指示信号を生成する制御部と、
を備える制御装置。
（２）
前記制御部は、
前記表示装置の画面の中央部に前記初期化情報を表示させ、
前記表示装置の表示領域と前記ユーザの頭部の姿勢に応じた検出値とを対応付けることによって前記操作指示信号を生成する前記（１）に記載の制御装置。
（３）
前記制御部は、
前記基準値と前記検出値との差に基づいて前記操作指示信号を生成する前記（１）または（２）に記載の制御装置。
（４）
前記制御部が前記操作指示信号を生成している状態から前記操作指示信号の生成を停止する状態に遷移するときの前記差の絶対値は、前記制御部が前記操作指示信号の生成を停止している状態から前記操作指示信号の生成を開始する状態に遷移するときの前記差の絶対値よりも大きい前記（３）に記載の制御装置。
（５）
前記制御部は、
前記検出値の所定期間における統計的なばらつきを示す統計量を算出し、該ばらつきが小さいと判定できる基準を前記統計量が満足しない場合、前記操作指示信号を無効にする前記（１）～（４）のいずれか一項に記載の制御装置。
（６）
前記制御部は、
前記ユーザが前記表示装置を見ていると判定できる基準を前記検出値が満足しない場合、前記操作指示信号を無効にする前記（１）～（５）のいずれか一項に記載の制御装置。
（７）
前記制御部が互いに異なる前記操作指示信号を生成する複数の操作モードを設定可能である前記（１）～（６）のいずれか一項に記載の制御装置。
（８）
前記取得部は、マイクロフォンが入力を受け付けた前記ユーザの音声信号を取得し、
前記音声信号の内容を認識する音声処理部をさらに備え、
前記制御部は、前記音声処理部の認識結果に応じて前記操作モードを変更する前記（７）に記載の制御装置。
（９）
前記取得部は、フットスイッチからの入力信号を取得し、
前記制御部は、
前記取得部が前記フットスイッチからの入力信号を取得している最中に前記マイクロフォンから前記音声信号を取得した場合のみ、前記音声信号の入力を有効とし、
前記取得部が前記フットスイッチからの入力信号を取得している最中に前記検出値を取得した場合のみ、前記操作指示信号を生成する前記（８）に記載の制御装置。
（１０）
前記取得部は、フットスイッチからの入力信号を取得し、
前記制御部は、
前記取得部が前記フットスイッチからの入力信号を取得している最中に前記検出値を取得した場合のみ、前記操作指示信号を生成する前記（１）～（７）のいずれか一項に記載の制御装置。
（１１）
前記制御部は、
前記フットスイッチからの入力信号が停止してから所定時間以内に前記取得部が前記フットスイッチからの入力信号を取得した場合、前記撮像装置の操作モードを変更する前記（１０）に記載の制御装置。
（１２）
前記センサは加速度センサを有し、前記ユーザの頭部を基準姿勢から前後左右のいずれかの方向へ倒した姿勢を検出する前記（１）～（１１）のいずれか一項に記載の制御装置。
（１３）
前記センサはジャイロセンサをさらに有し、前記ユーザの頭部の基準姿勢からの回転であって前記ユーザの目の高さを変えない横方向への回転を検出する前記（１２）に記載の制御装置。
（１４）
前記表示装置は３次元画像を表示し、
前記センサは、前記ユーザが前記３次元画像を目視するために装着する眼鏡に取り付けられる前記（１）～（１３）のいずれか一項に記載の制御装置。
（１５）
前記操作指示信号は、前記撮像装置の視野移動、ズームおよびフォーカスの少なくともいずれかの操作に関する信号である前記（１）～（１４）のいずれか一項に記載の制御装置。
（１６）
被観察体の微小部位を撮像する撮像装置と、
前記撮像装置を操作するユーザの頭部の動きを検出するセンサと、
前記撮像装置が取得した画像を表示する表示装置と、
前記センサから検出値を取得する取得部と、前記表示装置が表示する初期化情報を前記ユーザが目視することによって設定された基準値と前記検出値とを用いて前記撮像装置の操作指示信号を生成し、前記撮像装置へ出力する制御部と、を有する制御装置と、
を備える医療用観察システム。

１、１Ａ、１Ｂ、１Ｃ 医療用観察システム
２、２Ａ、２Ｂ、２Ｃ 医療用観察装置
３ 表示装置
４ センサ
５ 顕微鏡装置
６、６Ａ、６Ｂ、６Ｃ 制御装置
７ 顕微鏡部
８ 支持部
９ ベース部
１１ マイクロフォン
１２ フットスイッチ
５１ レンズユニット
５２ レンズ駆動部
５３ 撮像部
５４ アーム駆動部
５５、６３ 入力部
５６、６１ 通信部
５７、６５、６５Ａ、６５Ｂ、６５Ｃ 制御部
６２ 画像処理部
６４ 光源部
６６ 記憶部
６７ 音声処理部
１０１ ユーザ
１０１ａ 頭部
１０２ 患者
２０１ 眼鏡
３０１ 操作指示作成平面

Claims (15)

1. 観察対象を撮像する撮像装置を操作するユーザの頭部の姿勢を検出するセンサから検出値を取得する取得部と、
   表示装置が表示する初期化情報を前記ユーザの頭部が静止状態で前記ユーザが目視することによって設定された基準値と前記検出値との差に基づいて前記撮像装置の操作指示信号を生成する制御部と、
   を備え、
   前記制御部が前記操作指示信号を生成している状態から前記操作指示信号の生成を停止する状態に遷移するときの前記差の絶対値は、前記制御部が前記操作指示信号の生成を停止している状態から前記操作指示信号の生成を開始する状態に遷移するときの前記差の絶対値よりも大きい制御装置。
2. 前記制御部は、
   前記表示装置の画面の中央部に前記初期化情報を表示させ、
   前記表示装置の表示領域と前記ユーザの頭部の姿勢に応じた検出値とを対応付けることによって前記操作指示信号を生成する請求項１に記載の制御装置。
3. 前記制御部は、
   前記検出値の所定期間における統計的なばらつきを示す統計量を算出し、該ばらつきが小さいと判定できる基準を前記統計量が満足しない場合、前記操作指示信号を無効にする請求項１または２に記載の制御装置。
4. 前記制御部は、
   前記ユーザが前記表示装置を見ていると判定できる基準を前記検出値が満足しない場合、前記操作指示信号を無効にする請求項１～３のいずれか１つに記載の制御装置。
5. 前記制御部が互いに異なる前記操作指示信号を生成する複数の操作モードを設定可能である請求項１～４のいずれか１つに記載の制御装置。
6. 前記取得部は、マイクロフォンが入力を受け付けた前記ユーザの音声信号を取得し、
   前記音声信号の内容を認識する音声処理部をさらに備え、
   前記制御部は、前記音声処理部の認識結果に応じて前記操作モードを変更する請求項５に記載の制御装置。
7. 前記取得部は、フットスイッチからの入力信号を取得し、
   前記制御部は、
   前記取得部が前記フットスイッチからの入力信号を取得している最中に前記マイクロフォンから前記音声信号を取得した場合のみ、前記音声信号の入力を有効とし、
   前記取得部が前記フットスイッチからの入力信号を取得している最中に前記検出値を取得した場合のみ、前記操作指示信号を生成する請求項６に記載の制御装置。
8. 前記取得部は、フットスイッチからの入力信号を取得し、
   前記制御部は、
   前記取得部が前記フットスイッチからの入力信号を取得している最中に前記検出値を取得した場合のみ、前記操作指示信号を生成する請求項１～５のいずれか１つに記載の制御装置。
9. 前記制御部は、
   前記フットスイッチからの入力信号が停止してから所定時間以内に前記取得部が前記フットスイッチからの入力信号を取得した場合、前記撮像装置の操作モードを変更する請求項８に記載の制御装置。
10. 前記センサは加速度センサを有し、前記ユーザの頭部を基準姿勢から前後左右のいずれかの方向へ倒した姿勢を検出する請求項１～９のいずれか１つに記載の制御装置。
11. 前記センサはジャイロセンサをさらに有し、前記ユーザの頭部の基準姿勢からの回転であって前記ユーザの目の高さを変えない横方向への回転を検出する請求項１０に記載の制御装置。
12. 前記表示装置は３次元画像を表示し、
    前記センサは、前記ユーザが前記３次元画像を目視するために装着する眼鏡に取り付けられる請求項１～１１のいずれか１つに記載の制御装置。
13. 前記操作指示信号は、前記撮像装置の視野移動、ズームおよびフォーカスの少なくともいずれかの操作を指示する信号である請求項１～１２のいずれか１つに記載の制御装置。
14. 観察対象を撮像する撮像装置を操作するユーザの頭部の姿勢を検出するセンサから検出値を取得する取得部と、
    表示装置が表示する初期化情報を前記ユーザの頭部が静止状態で前記ユーザが目視することによって設定された基準値と前記検出値とを用いて前記撮像装置の操作指示信号を生成する制御部と、
    を備え、
    前記制御部は、
    前記検出値の所定期間における統計的なばらつきを示す統計量を算出し、該ばらつきが小さいと判定できる基準を前記統計量が満足しない場合、前記操作指示信号を無効にする制御装置。
15. 被観察体の微小部位を撮像する撮像装置と、
    前記撮像装置を操作するユーザの頭部の動きを検出するセンサと、
    前記撮像装置が取得した画像を表示する表示装置と、
    前記センサから検出値を取得する取得部と、前記表示装置が表示する初期化情報を前記ユーザの頭部が静止状態で前記ユーザが目視することによって設定された基準値と前記検出値との差に基づいて前記撮像装置の操作指示信号を生成し、前記撮像装置へ出力する制御部と、を有する制御装置と、
    を備え、
    前記制御部が前記操作指示信号を生成している状態から前記操作指示信号の生成を停止する状態に遷移するときの前記差の絶対値は、前記制御部が前記操作指示信号の生成を停止している状態から前記操作指示信号の生成を開始する状態に遷移するときの前記差の絶対値よりも大きい医療用観察システム。

Images