JP2024051017A - 医療用観察システム、医療用観察装置及び医療用観察方法 - Google Patents

Abstract

【課題】離れた位置から患部を拡大して安定的に観察することができる医療用観察システム、医療用観察装置及び医療用観察方法を提供する。【解決手段】術野を撮像して術野画像を得る撮像装置と、前記撮像装置が撮像した術野画像から、術野の３次元情報を生成する３次元情報生成部と、前記撮像装置が、所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定する設定部と、前記３次元情報と前記設定部が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定する推定部と、推定された注目領域を所定の倍率で拡大した拡大術野画像を生成する拡大画像生成部と、少なくとも前記拡大術野画像を出力する表示制御部と、を備える医療用観察システムを提供する。【選択図】図２

Description

本開示は、医療用観察システム、医療用観察装置及び医療用観察方法に関する。

近年、手術用内視鏡や手術用顕微鏡といった医療用観察装置によって、術野画像を大画面の表示装置に表示して、術者が当該術野画像をモニタしながら手術を行う例が増加している。内視鏡は体内に挿入された状態で使用される。したがって、内視鏡のレンズには、体内からの出血や、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行うエナジーデバイスの使用に伴う煙や油分の飛散によって、汚れが付着したり、曇りが発生したりしていた。そのため、内視鏡を頻繁に抜き取って、レンズを清掃する必要があった。そこで、レンズの汚れや曇りを抑制するために、例えば特許文献１に示すように、離れた位置から手術視野（術野）を拡大して観察する技術が提案されている。

特開２０１６－１９２９８６号公報

しかしながら、特許文献１に開示された技術は、特徴点を使ってその箇所に電子ズームを追跡させている。したがって、例えば外科手術において、体腔内に挿入した内視鏡を術中に頻繁に様々な方向に動かして観察するような場合、内視鏡が撮像する画像は大きな動きを伴うため、特徴点に対する追跡性能が十分ではなかった。また対象としている組織に対して処置を加えた場合には、その部分の見え方が変化してしまうため、特徴点の追跡が困難になるという問題があった。これによって、拡大したい箇所を安定的に観察することができなかった。

そこで、本開示では、離れた位置から患部を拡大して安定的に観察することができる医療用観察システム、医療用観察装置及び医療用観察方法を提案する。

上記の課題を解決するために、本開示に係る一形態の医療用観察システムは、術野を撮像して術野画像を得る撮像装置と、前記撮像装置が撮像した術野画像から、術野の３次元情報を生成する３次元情報生成部と、前記撮像装置が、所定のタイミングで撮像した少なくとも一枚の前記術野画像の中に、少なくとも一つの注目領域を設定する設定部と、前記３次元情報と前記設定部が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定する推定部と、推定された注目領域を所定の倍率で拡大した拡大術野画像を生成する拡大画像生成部と、少なくとも前記拡大術野画像を出力する表示制御部と、を備える。

本開示の第１の実施の形態に係る医療用観察システムが適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。 本開示の第１の実施の形態に係る医療用観察システムの概略的な構成の一例を示す図である。 地図生成部が術野の３次元地図を生成する方法の一例を説明する図である。 注目枠の設定方法の一例を示す図である。 注目枠の設定方法の別の一例を示す図である。 特徴点を抽出する領域を設定した例を示す図である。 医療用観察システムが表示させる画像の一例を示す図である。 医療用観察システムが行う処理の流れの一例を示すフローチャートである。 表示制御部が表示装置に出力する画像の表示形態の一例を示す図である。 内視鏡の移動に伴って、ズーム枠が術野画像の端に達した場合に行われる処理の一例を示す図である。 撮像装置が像面位相差センサを備える撮像素子で構成された医療用観察システムの概略的な構成の一例を示す図である。 撮像装置が２つの撮像素子で構成された医療用観察システムの概略的な構成の一例を示す図である。 撮像装置が２つの撮像素子で構成されるとともに、カメラコントロールユニットがトラッキング処理部を備える医療用観察システムの概略的な構成の一例を示す図である。 撮像装置が撮像素子とデプスセンサで構成された医療用観察システムの概略的な構成の一例を示す図である。 撮像装置が撮像素子とデプスセンサで構成されるとともに、カメラコントロールユニットがトラッキング処理部を備える医療用観察システムの概略的な構成の一例を示す図である。 術野画像の中に複数の注目領域を設定した例を示す図である。 術野画像の中から、所定の距離範囲の領域を強調表示させた例を示す図である。 術野画像の中に設定する注目枠の表示形態の一例を示す図である。 ズーム枠の設定方法の一例を示す図である。 医療用観察システムを運用している際のズーム枠の表示方法の一例を示す図である。 本開示に係る技術が適用され得る顕微鏡手術システムの概略的な構成の一例を示す図である。 顕微鏡手術システムを用いた手術の様子を示す図である。 顕微鏡手術システムが備える、ズーム枠を画面の中央部に保持する制御状態の一例を示す図である。

以下に、本開示の実施の形態について図面に基づいて詳細に説明する。なお、以下の各実施の形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。

（第１の実施の形態）
［第１の実施の形態に係る医療用観察システムの構成］
図１は、本開示に係る医療用観察システムが適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６１が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。スコピスト５０６２は、内視鏡５００１を把持して、患者５０７１の体腔内に挿入している。助手５０６３は、術具５０１７を把持して、患者５０７１の体腔内に挿入している。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図１の例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。気腹チューブ５０１９は、内視鏡５００１による視野の確保及び術者５０６１の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、体腔内にガスを送り込む。エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。また、図１には図示しないが、気腹チューブ５０１９及びエネルギー処置具５０２１は、非図示の制御装置と接続されており、術者５０６１等の指示を受けた術具５０１７が、所定の動作を行う。なお、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮像された患者５０７１の体腔内の術野の画像（以下、術野画像と呼ぶ）が、表示装置５０に表示される。術者５０６１は、表示装置５０に表示された術野画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。また、スコピスト５０６２は、表示装置５０に表示された術野画像をリアルタイムで見ながら、術野画像の中に患部が映るように、内視鏡５００１の位置を調整する。なお、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中は、術者５０６１又は助手５０６３等によって把持される。

［内視鏡の概略構成］
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３（スコープともいう）と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図１の例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には、図示しない光源装置が接続されており、当該光源装置によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒５００３の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１２ａに送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

また、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

内視鏡手術システム５０００は、ユーザである術者５０６１、スコピスト５０６２、又は助手５０６３から各種の情報入力や指示入力を受け付ける入力デバイスを備える。例えば、ユーザは、入力デバイスを介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力デバイスを介して、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１等の術具５０１７を駆動させる旨の指示等を入力する。

入力デバイスの種類は限定されず、入力デバイスは各種の公知の入力デバイスであってよい。入力デバイスとしては、例えば、マウス、キーボード、タッチパネル、スイッチ及び／又はレバー等が適用され得る。図１は、スコピスト５０６２が、入力デバイスの一例であるフットスイッチ５０５７を用いて情報入力を行う例を示している。例えば、スコピスト５０６２は、フットスイッチ５０５７を介して、術野画像に中に注目領域の設定等を行う。詳しくは後述する。なお、入力デバイスとしてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０の表示面上に設けられてもよい。

［第１の実施の形態に係る医療用観察システムの構成の説明］
図２は、内視鏡手術に適用される医療用観察システム１０ａの機能構成を示す機能ブロック図である。医療用観察システム１０ａは、例えば、前記した内視鏡手術システム５０００に適用されて、手術中に患者５０７１の体腔内に挿入された内視鏡５００１によって、術野画像をモニタするシステムである。特に、医療用観察システム１０ａは、術野の３次元位置に基づいて、内視鏡５００１の位置・姿勢によらずに、常に設定した注目領域を拡大した拡大術野画像を表示させるシステムである。

医療用観察システム１０ａは、撮像装置４２ａと、カメラコントロールユニット１２ａとを備える。撮像装置４２ａは、前記した内視鏡５００１のカメラヘッド５００５に実装されて、患者５０７１の体腔内の術野を撮像して術野画像を得る。カメラコントロールユニット１２ａは、撮像装置４２ａが撮像を行う際に、術野画像を生成するとともに、術野の３次元情報を生成する。

撮像装置４２ａは、撮像素子４４ａを備える。撮像素子４４ａは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子（光電変換素子）で構成されて、術野からの光を電気信号に変換する。

カメラコントロールユニット１２ａは、３次元情報生成部１４と、現像処理部１８と、注目領域設定部２０と、注目領域推定部２２と、３次元地図データ格納部２４と、ズーム処理部２６と、表示制御部４０とを備える。カメラコントロールユニット１２ａは、内視鏡の位置・姿勢によらずに、常に注目領域が拡大された拡大術野画像を生成して、表示装置５０に表示させる。なお、カメラコントロールユニット１２ａは、本開示における医療用観察装置の一例である。

３次元情報生成部１４は、撮像素子４４ａが撮像した、例えば体腔内の術野画像の３次元位置を算出する。３次元情報生成部１４は、地図生成部１５と、自己位置推定部１６とを備える。地図生成部１５は、術野の３次元位置、及び後述する注目領域の３次元位置を示す３次元地図（以下、単に地図と呼ぶ）を生成する。地図の生成方法は後述する。自己位置推定部１６は、生成された地図と、所定のタイミングで撮像された術野画像とに基づいて、当該所定のタイミングにおける内視鏡５００１の自己位置及び姿勢を推定する。

現像処理部１８は、撮像データを視認可能な画像に変換する現像処理を行う。現像処理部１８は、撮像素子４４ａが出力したＲＡＷデータに対して、現像処理（デモザイク処理）等の、画像を表示するための各種の画像処理を施す。より具体的には、現像処理部１８は、ＲＡＷデータに対して、予め設定されたデジタルゲインやガンマカーブを適用することによって、ＲＡＷデータを可視可能な画像データとする。なお、設定するデジタルゲインやガンマカーブは、術者５０６１やスコピスト５０６２が見やすい画像データが生成されるように、予め調整しておくのが望ましい。

注目領域設定部２０は、撮像素子４４ａが撮像して現像処理部１８が視認可能に変換した術野画像の中から、例えば、手術によって摘出する腫瘍等の注目したい領域を指定する。より具体的には、医療用観察システム１０ａの操作者が、液晶モニタ等の表示装置５０で術野画像をモニタしながら、術野画像の中から、少なくとも一つの注目領域を設定する。注目領域の具体的な設定方法は後述する。なお、注目領域設定部２０は、本開示における設定部の一例である。

注目領域推定部２２は、任意のタイミングにおける術野画像の中の注目領域の存在位置を推定する。なお、注目領域推定部２２は、本開示における推定部の一例である。

３次元地図データ格納部２４は、前記した地図生成部１５が生成した術野の３次元地図を格納する。なお、３次元地図データ格納部２４に格納される３次元地図は、時間の経過とともに更新される。

ズーム処理部２６は、注目領域推定部２２が推定した注目領域の存在位置に基づいて、当該タイミングにおいて推定される注目領域を拡大した拡大術野画像を生成する。なお、ズーム処理部２６は、本開示における拡大画像生成部の一例である。ズーム処理部２６は、例えば、画素間の画素値を補間することによって、術野画像に対して電子的なズーム処理を行う。画素値の補間は、例えば、二アレストネイバー法、バイリニア法、バイキュービック法、ランチョス法等の公知の手法を用いて行えばよい。また、ズーム処理部２６は、超解像処理を加えて電子ズームを行ってもよい。

なお、ズームの拡大率は、予め設定された所定の倍率にしてもよいし、注目領域の大きさから、ズーム処理部２６が自動的に決定してもよい。また、操作者であるスコピスト５０６２等のユーザが倍率を指定してもよい。

表示制御部４０は、現像処理部１８が生成した術野画像と、ズーム処理部２６が生成した拡大術野画像と、を表示装置５０に出力する表示制御を行う。表示装置５０としては、液晶ディスプレイ装置、又はＥＬ（Electro Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用可能である。なお、表示装置５０は、少なくとも、拡大術野画像を表示させる第１の表示領域５２ａを備えている。また、表示装置５０は、図２に示すように、第１の表示領域５２ａとともに、術野画像を表示させる第２の表示領域５２ｂを備えてもよい。その場合、表示装置５０は１台のモニタの中に第１の表示領域５２ａと第２の表示領域５２ｂを備えてもよいし、表示装置５０が、異なる２台のモニタで構成されて、各モニタが、それぞれ、第１の表示領域５２ａと第２の表示領域５２ｂを備えていてもよい。

［３次元地図の生成方法の説明］
次に、地図生成部１５が、術野の３次元地図を生成する方法について説明する。図３は、地図生成部１５が術野の３次元地図を生成する方法を説明する図である。

図３は、空間上の点を基準位置Ｏとする３次元空間ＸＹＺにおいて、撮像装置４２ａで静止した物体１００を観測している様子を示している。そして、撮像装置４２ａは、所定のタイミング、例えば時刻ｔにおいて術野画像Ｋ（ｘ，ｙ，ｔ）を撮像して、前記所定のタイミングとは異なるタイミング、例えば時刻ｔ＋Δｔにおいて術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）を撮像したものとする。なお、時間間隔Δｔは、例えば３３ｍｓｅｃ等に設定される。また、基準位置Ｏは任意に設定してよいが、例えば、時間とともに移動しない位置に設定するのが望ましい。なお、術野画像Ｋ（ｘ，ｙ，ｔ）のｘは、画像の水平方向の座標を表し、ｙは、画像の垂直方向の座標を表す。

地図生成部１５は、まず、術野画像Ｋ（ｘ，ｙ，ｔ）及び術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）の中から、特徴となる画素である特徴点を検出する。特徴点とは、例えば、隣接する画素との間で、画素値が所定値以上異なる画素である。なお、特徴点は、時間が経過しても安定して存在する点であることが望ましく、例えば、画像の中でエッジを構成する画素がよく利用される。ここで、以下の説明を簡単にするため、術野画像Ｋ（ｘ，ｙ，ｔ）の中から、物体１００の頂点である特徴点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｈ１が検出されたとする。

次に、地図生成部１５は、術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）の中から、特徴点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｈ１にそれぞれ対応する点を探索する。具体的には、特徴点Ａ１の画素値、特徴点Ａ１の近傍の画素値等に基づいて、同様の特徴を有する点を、術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）の中から探索する。この探索処理によって、術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）の中から、特徴点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｈ１に対応する特徴点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２，Ｆ２，Ｈ２が、それぞれ検出されたとする。

続いて、地図生成部１５は、３次元測量の原理に基づいて、例えば、特徴点Ａ１の術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）上の２次元座標と、特徴点Ａ２の術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）上の２次元座標とから、空間上の点Ａの３次元座標（Ｘ_Ａ，Ｙ_Ａ，Ｚ_Ａ）を算出する。このようにして算出された３次元座標（Ｘ_Ａ，Ｙ_Ａ，Ｚ_Ａ）の集合として、物体１００が置かれた空間の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）が生成される。生成された３次元地図Ｄ（Ｘ，Ｙ，Ｚ）は、３次元地図データ格納部２４に記憶される。なお、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）は、本開示における３次元情報の一例である。

なお、時間間隔Δｔの間に、撮像装置４２ａの位置と姿勢が変化しているため、地図生成部１５は、撮像装置４２ａの位置と姿勢も同時に推定する。数学的には、物体１００を構成する各特徴点の３次元座標と、撮像装置４２ａの位置と、姿勢とを未知数として、術野画像Ｋ（ｘ，ｙ，ｔ）と術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）でそれぞれ観測された特徴点の２次元座標に基づいて連立方程式を立てる。地図生成部１５は、この連立方程式を解くことによって、物体１００を構成する各特徴点の３次元座標と、撮像装置４２ａの位置及び姿勢とを推定する。

このように、撮像装置４２ａが撮像した術野画像Ｋ（ｘ，ｙ，ｔ）の中から複数の特徴点を検出して、術野画像Ｋ（ｘ，ｙ，ｔ＋Δｔ）の中から、それらの特徴点に対応する点を検出することによって、撮像装置４２ａが観測している環境の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を生成することができる。さらに、撮像装置４２ａの位置と姿勢、すなわち自己位置を推定することができる。また、前記した処理を繰り返して実行することによって、例えば、当初は見えなかった特徴点が見えるようになることによって、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を拡充することができる。また、処理を繰り返すことによって、同じ特徴点の３次元位置を繰り返し算出することができるため、例えば平均化処理を行うことによって、算出誤差を低減することができる。このように、３次元地図データ格納部２４に記憶された３次元地図Ｄ（Ｘ，Ｙ，Ｚ）は、随時更新される。なお、環境の３次元地図を作成するとともに、撮像装置４２ａの自己位置を特定する技術は、一般にＳＬＡＭ（Simultaneous Localization and Mapping）技術と呼ばれている。

単眼カメラを用いたＳＬＡＭ技術の基本的な原理は、例えば「Andrew J.Davison, “Real-Time Simultaneous Localization and Mapping with a Single Camera”, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410」において説明されている。また、被写体のカメラ画像を用いて被写体の３次元位置を推定するＳＬＡＭ技術は、特にＶｉｓｕａｌ ＳＬＡＭとも称される。

［注目領域の設定方法の説明］
注目領域は、注目領域設定部２０の作用によって設定する。具体的には、注目領域設定部２０は、注目領域を示す注目枠を術野画像に重畳して表示させて、当該注目枠の大きさ・形状・位置を指定することによって行う。

図４は、注目枠の設定方法の一例を示す図である。図４Ａは、内視鏡５００１で観察された術野画像Ｋ（ｘ，ｙ）の一例を示す図である。なお、以下の説明において、術野画像を撮像したタイミング（例えば時刻）の情報は省略して、術野画像は単にＫ（ｘ，ｙ）と記載して説明する。図４ｂは、注目領域に設定したい患部が術野画像Ｋ（ｘ，ｙ）の中央に映るように、内視鏡５００１の向きを調整するとともに、注目領域設定部２０が、注目領域を示す注目枠１１０を設定した状態の一例を示す図である。図４Ｃは、注目枠１１０を含む領域を所定の倍率で拡大表示した拡大術野画像Ｌ（ｘ，ｙ）の一例を示す図である。

スコピスト５０６２は、例えば、図４Ａに示す術野画像Ｋ（ｘ，ｙ）を見ながら、患部等の拡大したい特定位置が術野画像Ｋ（ｘ，ｙ）の中央（所定の位置の一例）に映るように、内視鏡５００１を移動させる。

図４Ｂに示すように、注目したい特定位置が術野画像Ｋ（ｘ，ｙ）の中央（所定の位置の一例）に映ったら、スコピスト５０６２は、フットスイッチ５０５７（図１）を踏んで、注目領域設定部２０に対して、注目領域の設定を指示する。このとき、フットスイッチ５０５７が踏まれたことをトリガとして注目領域の設定を指示する設定信号が発生する。そして、注目領域設定部２０は、設定信号が入力されたことを条件として、図４Ｂに示すように、術野画像Ｋ（ｘ，ｙ）の中央に、予め決められたサイズの注目枠１１０を表示させることによって、注目領域を設定する。なお、注目枠１１０のサイズ、形状は任意に設定してよいが、詳しくは後述する。

なお、注目領域設定部２０が注目領域を設定させる方法は、前記した方法に限定されるものではない。例えば、表示装置５０の画面に積層させてタッチパネルを設置して、当該タッチパネルの操作を検出することによって、タッチパネルが押下された位置に注目領域を設定してもよい。また、マウスによって、注目領域の位置や形状を設定してもよい。さらに、注目領域設定部２０は、ジェスチャー等の操作に基づいて、注目領域の位置や形状を設定してもよい。

図５は、注目枠の設定方法の別の一例を示す図である。図５Ａは、内視鏡５００１で観測された術野画像Ｋ（ｘ，ｙ）の一例を示す図である。スコピスト５０６２は、表示装置５０に表示された術野画像Ｋ（ｘ，ｙ）を見ながら、注目したい領域の位置を、タッチパネルやマウス等の入力デバイスによって指定する。注目領域設定部２０は、術野画像Ｋ（ｘ，ｙ）に重畳させて、指定された領域を示す注目領域指示情報１０５を表示させる。

続いて、注目領域設定部２０は、入力された注目領域指示情報１０５の位置に、注目枠１１０を設定する。注目領域設定部２０は、術野画像Ｋ（ｘ，ｙ）に重畳させて、図５Ｂに示すように、設定された注目枠１１０を表示させる。なお、注目枠１１０は、予め設定された大きさ、形状の枠であってもよいし、注目領域指示情報１０５を模した閉領域であってもよい。

その後、ズーム処理部２６は、内視鏡５００１の位置と姿勢に関わらず、図５Ｃに示すように、設定された注目枠１１０を所定の倍率で拡大した拡大術野画像Ｌ（ｘ，ｙ）を生成して表示させる。

なお、注目領域設定部２０は、前記した３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を利用して、３次元空間内での距離や撮像系からの距離が一定範囲にある等の条件を加味して注目領域を設定してもよい。また、注目枠１１０の表示形態は、図４、図５に示したものに限定される訳ではない。注目枠１１０の表示形態のバリエーションについては後述する（図１８参照）。さらに、注目領域設定部２０は、ジェスチャー等の操作に基づいて、注目領域の位置や形状を設定してもよい。

続いて、ズーム処理部２６は、図４Ｃに示すように、術野画像Ｋ（ｘ，ｙ）の注目枠１１０を含む領域を所定の倍率で拡大した、拡大術野画像Ｌ（ｘ，ｙ）を生成する。このとき、図４Ｃに示すように、注目枠１１０も所定の倍率で拡大して表示する。そして、表示制御部４０は、生成された拡大術野画像Ｌ（ｘ，ｙ）を表示装置５０に出力して表示させる。術者５０６１は、表示装置５０に表示された拡大術野画像Ｌ（ｘ，ｙ）を観察しながら、手術を行う。

なお、図４には図示しないが、医療用観察システム１０ａは、拡大術野画像Ｌ（ｘ，ｙ）を生成した後は、所定の時間間隔Δｔで術野画像Ｋ（ｘ，ｙ）の撮像と表示を繰り返す。そして、術野画像Ｋ（ｘ，ｙ）が撮像される都度、新たな拡大術野画像Ｌ（ｘ，ｙ）の生成と表示が繰り返される。

［注目領域の存在位置の推定方法の説明］
その後、術野画像Ｋ（ｘ，ｙ）の観察時間が経過すると、時刻とともに内視鏡５００１の位置や姿勢が変化する場合がある。そして、注目領域推定部２２は、術野画像Ｋ（ｘ，ｙ）の中から注目領域の存在位置を推定する。ズーム処理部２６は、推定した注目領域を所定の倍率で拡大した拡大術野画像Ｌ（ｘ，ｙ）を生成する。表示制御部４０は、図４Ｃに示すように、拡大術野画像Ｌ（ｘ，ｙ）を表示装置５０に出力して表示させる。このような処理を継続することによって、医療用観察システム１０ａは、表示装置５０に拡大術野画像Ｌ（ｘ，ｙ）を表示し続ける。

ここで、内視鏡５００１の位置や姿勢が変化した場合に、注目領域推定部２２が、術野画像Ｋ（ｘ，ｙ）の中から注目領域の存在位置を推定する方法について説明する。

注目領域推定部２２は、所定のタイミング、例えば時刻ｔにおける内視鏡５００１の位置及び姿勢と、前記所定のタイミングとは異なるタイミング、例えば時刻ｔ＋Δｔにおける内視鏡５００１の位置及び姿勢と、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）とに基づいて、時刻ｔにおける注目枠１１０が、時刻ｔ+Δｔにおいて、術野画像Ｋ（ｘ，ｙ、ｔ＋Δｔ）のどの位置に観測されるかを推定する。

具体的には、注目領域推定部２２は、内視鏡５００１の位置及び姿勢に基づいて、設定した注目枠１１０の近傍の複数の特徴点が、時刻ｔから時刻ｔ＋Δｔの間にどのように移動したかを特定する。そして、注目領域推定部２２は、特定した特徴点の移動状態に基づいて、注目領域の位置を推定する。

なお、注目領域として設定した領域は、一般に、手術の対象となる患部であることが多い。患部は、手術によって切除されたり、出血したり、大きく変形したりする可能性が高い。したがって、仮に注目領域の内部に特徴点を設定しても、時間の経過とともに、その特徴点が消失する可能性がある。したがって、注目領域を設定した後の術野画像Ｋ（ｘ，ｙ）からは、注目領域の周囲を除いた領域の中から特徴点を抽出するのが望ましい。

図６は、特徴点を抽出する領域を設定した例を示す画像である。前記した地図生成部１５は、図６に示すように、注目枠１１０を設定した画面の中央部を避けて、画面の周囲にマスク１２０を設定する。そして、地図生成部１５は、設定したマスク１２０の内部のみで特徴点を抽出する。設定されたマスク１２０の領域は、注目領域の位置を示す注目枠１１０から離れているため、手術中の変形が少ないと想定される。したがって、マスク１２０の内部は、時間の経過に関わらずに、安定して特徴点を検出することができる。そして、特徴点が安定して抽出できるため、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）や内視鏡５００１の位置及び姿勢の推定精度の安定性が向上する。

なお、術野画像Ｋ（ｘ，ｙ）において、マスク１２０の内部に、鉗子５０２３等の手術器具又は術者の指等の術野に関係しない物体が写り込む場合がある。これらの物体を構成する特徴点は、時間の経過とともに不規則に移動する可能性が高い。すなわち、術野画像Ｋ（ｘ，ｙ）の中に安定して存在する保証がないため、これらの物体を除去した上で特徴点を抽出するのが望ましい。そのため、地図生成部１５は、術野画像Ｋ（ｘ，ｙ）の中から、予め登録した、手術器具や指等の物体を除去する機能を備えてもよい。この除去機能は、例えば予め登録した物体を画像認識して、認識した物体が存在する領域は、計算対象としない機能である。

［第１の実施の形態に係る医療用観察システムが表示させる画像の説明］
図７は、医療用観察システム１０ａが表示させる画像の一例を示す図である。図７に示すように、表示制御部４０は、スコピスト５０６２がモニタする術野画像Ｋ（ｘ，ｙ）を表示装置５０ａ（第２の表示領域５２ｂ）に出力して表示させる。また、表示制御部４０は、術者５０６１がモニタする拡大術野画像Ｌ（ｘ，ｙ）を、表示装置５０ａとは異なる表示装置５０ｂ（第１の表示領域５２ａ）に出力して表示させる。このような表示形態とすることにより、術者５０６１とスコピスト５０６２は、それぞれ見易い位置に表示装置５０ａ、５０ｂを配置することができる。したがって、術者５０６１は、拡大術野画像Ｌ（ｘ，ｙ）を観察しながら手術を進行させやすくすることができる。また、スコピスト５０６２は、術野画像Ｋ（ｘ，ｙ）を観察しながら内視鏡５００１の位置の調整等を行い易くなる。

なお、図７に示すように、術野画像Ｋ（ｘ，ｙ）の中には、前記した注目枠１１０と、拡大術野画像Ｌ（ｘ，ｙ）の範囲を示すズーム枠１１２を表示してもよい。注目枠１１０とズーム枠１１２は、内視鏡５００１の動きに応じて、術野画像Ｋ（ｘ，ｙ）の中で移動する。このように、術野画像Ｋ（ｘ，ｙ）の中に注目枠１１０とズーム枠１１２を表示することによって、スコピスト５０６２は、術野画像Ｋ（ｘ，ｙ）のみを確認して、拡大術野画像Ｌ（ｘ，ｙ）に適切な範囲が表示されているかを即座に確認することができる。また、注目枠１１０とズーム枠１１２とを表示する必要がない場合は、スコピスト５０６２の操作指示によって、これらの表示を独立してＯＮ／ＯＦＦしてもよい。

なお、医療用観察システム１０ａは、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を生成するとともに、内視鏡５００１の位置及び姿勢の推定を行うため、注目領域の近傍の特徴点の３次元位置を算出することができる。したがって、撮像された術野画像Ｋ（ｘ，ｙ）を透視変換または／および回転変換することによって、注目領域を常に同じ方向から見た拡大術野画像Ｌ（ｘ，ｙ）を生成して表示させることもできる。

［第１の実施の形態に係る医療用観察システムが行う処理の流れの説明］
次に、第１の実施の形態の医療用観察システム１０ａが行う処理の流れを説明する。図７は、医療用観察システム１０ａが行う処理の流れの一例を示すフローチャートである。

以下、図８のフローチャートについて説明する。まず、撮像素子４４ａは、術野画像Ｋ（ｘ，ｙ）を撮像する（ステップＳ１０）。

地図生成部１５は、撮像した術野画像Ｋ（ｘ，ｙ）の中から特徴点を抽出する（ステップＳ１１）。

さらに、撮像素子４４ａは、所定のタイミング、例えばΔｔ秒後の術野画像Ｋ（ｘ，ｙ）を撮像する（ステップＳ１２）。

地図生成部１５は、撮像したΔｔ秒後の術野画像Ｋ（ｘ，ｙ）の中から特徴点を抽出する（ステップＳ１３）。

地図生成部１５は、特徴点の３次元位置を算出することによって、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を生成する（ステップＳ１４）。

自己位置推定部１６は、内視鏡５００１の位置及び姿勢を推定する（ステップＳ１５）。

注目領域設定部２０は、術野画像Ｋ（ｘ，ｙ）の中に注目領域を設定する（ステップＳ１６）。

ズーム処理部２６は、拡大術野画像Ｌ（ｘ，ｙ）を生成する。そして、表示制御部４０は、生成された拡大術野画像Ｌ（ｘ，ｙ）を表示装置５０に表示させる（ステップＳ１７）。

表示制御部４０は、処理の終了指示があるかを判定する（ステップＳ１８）。終了指示があると判定される（ステップＳ１８：Ｙｅｓ）と、医療用観察システム１０ａは、図８の処理を終了する。一方、終了指示があると判定されない（ステップＳ１８：Ｎｏ）と、ステップＳ１９に移行する。なお、処理の終了指示は、例えば、カメラコントロールユニット１２ａの電源スイッチ（非図示）をＯＦＦにする等の操作を検出することによって行われる。

ステップＳ１８においてＮｏと判定されると、撮像素子４４ａは、所定のタイミング、例えばΔｔ秒後の術野画像Ｋ（ｘ，ｙ）を撮像する（ステップＳ１９）。

地図生成部１５は、撮像されたΔｔ秒後の術野画像Ｋ（ｘ，ｙ）の中から特徴点を抽出する（ステップＳ２０）。

地図生成部１５は、特徴点の３次元位置を算出することによって、ステップＳ１４で生成した３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を更新する（ステップＳ２１）。

自己位置推定部１６は、内視鏡５００１の位置及び姿勢を推定する（ステップＳ２２）。

注目領域推定部２２は、ステップＳ１９で撮像したΔｔ秒後の術野画像Ｋ（ｘ，ｙ）における注目領域の位置を推定する（ステップＳ２３）。その後、ステップＳ１７に戻る。

［第１の実施の形態の作用効果の説明］
以上説明したように、第１の実施の形態の医療用観察システム１０ａによると、３次元情報生成部１４は、撮像装置４２ａが撮像した術野画像Ｋ（ｘ，ｙ）から、術野の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）（３次元情報）を生成する。そして、注目領域設定部２０（設定部）は、所定のタイミングで撮像された術野画像Ｋ（ｘ，ｙ）の中に、少なくとも一つの注目領域を設定する。注目領域推定部２２（推定部）は、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）と注目領域設定部２０が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像Ｋ（ｘ，ｙ）の中から、注目領域の存在位置を推定する。そして、ズーム処理部２６（拡大画像生成部）は、推定された注目領域を所定の倍率で拡大した拡大術野画像Ｌ（ｘ，ｙ）を生成して、表示制御部４０は、少なくとも拡大術野画像Ｌ（ｘ，ｙ）を出力する。したがって、撮像装置４２ａが実装された内視鏡５００１が位置や姿勢を変化させた場合であっても、離れた位置から患部を拡大して観察し続けることができる。

また、第１の実施の形態の医療用観察システム１０ａによると、表示制御部４０は、術野画像Ｋ（ｘ，ｙ）と、拡大術野画像Ｌ（ｘ，ｙ）と、を表示させる。したがって、術者５０６１が見たい拡大術野画像Ｌ（ｘ，ｙ）と、スコピスト５０６２が見たい術野画像Ｋ（ｘ，ｙ）と、をともに表示することができる。

また、第１の実施の形態の医療用観察システム１０ａによると、表示制御部４０は、２つの表示装置５０ａ、５０ｂに、それぞれ、術野画像Ｋ（ｘ，ｙ）と拡大術野画像Ｌ（ｘ，ｙ）とを表示させる。したがって、術者５０６１とスコピスト５０６２は、それぞれ見易い位置に表示装置５０ａ、５０ｂを配置することができる。

また、第１の実施の形態の医療用観察システム１０ａによると、注目領域設定部２０（設定部）は、表示制御部４０が表示装置５０に表示させた術野画像Ｋ（ｘ，ｙ）の特定位置を、当該表示装置５０の所定の位置に合致させた状態で、注目領域の設定を指示する設定信号が発生したことを条件として、前記特定位置を注目領域に指定する。したがって、定型的な操作によって、注目領域を容易かつ確実に設定することができる。

また、第１の実施の形態の医療用観察システム１０ａによると、注目領域設定部２０（設定部）は、表示制御部４０が表示装置５０に表示させた術野画像Ｋ（ｘ，ｙ）上の、入力デバイスによって指示された位置に注目領域を設定する。したがって、直観的な操作によって、注目領域を容易かつ確実に設定することができる。

また、第１の実施の形態の医療用観察システム１０ａによると、撮像装置４２ａは、１つの撮像素子４４ａを備えて、３次元情報生成部１４は、撮像装置４２ａが異なる時刻に撮像した少なくとも２枚の術野画像Ｋ（ｘ，ｙ）に基づいて、術野の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）（３次元情報）を生成する。したがって、単眼カメラのみという簡易な構成の撮像装置４２ａを用いて、離れた位置から患部を拡大して観察し続けることができる。

また、第１の実施の形態の医療用観察システム１０ａによると、撮像装置４２ａは内視鏡５００１に実装される。したがって、内視鏡５００１を利用した手術等を行う際に、術者５０６１は患部を拡大して安定的に観察することができる。

また、第１の実施の形態のカメラコントロールユニット１２ａ（医療用観察装置）によると、術野を撮像した術野画像Ｋ（ｘ，ｙ）から、３次元情報生成部１４が術野の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）（３次元情報）を生成する。そして、注目領域設定部２０（設定部）が、ある時刻に撮像された術野画像Ｋ（ｘ，ｙ）の中に、少なくとも一つの注目領域を設定する。注目領域推定部２２（推定部）は、３次元地図Ｄ（Ｘ，Ｙ，Ｚ）と注目領域設定部２０が設定した注目領域の位置とに基づいて、前記時刻とは異なる時刻に撮像された術野画像Ｋ（ｘ，ｙ）の中から、注目領域の存在位置を推定する。そして、ズーム処理部２６（拡大画像生成部）が、推定された注目領域を所定の倍率で拡大した拡大術野画像Ｌ（ｘ，ｙ）を生成して、表示制御部４０が、少なくとも拡大術野画像Ｌ（ｘ，ｙ）を表示させる。したがって、患部を拡大して観察し続けることができる。

なお、医療用観察システム１０ａにおいて、撮像装置４２ａを内蔵する内視鏡５００１が、ジャイロセンサ等の加速度センサを実装してもよい。加速度センサの出力をモニタすることによって、内視鏡５００１の位置と姿勢をリアルタイムで計測することができる。したがって、撮像装置４２ａが異なる時刻に２枚の画像を撮像することなく、内視鏡５００１の位置と姿勢を計測することができ、これによって、注目領域の位置を推定することができる。

（第２の実施の形態）
医療用観察システム１０ａの構成は、第１の実施の形態で説明した構成に限定されるものではなく、様々な変形例を実現することができる。以下、医療用観察システムの別の実施の形態について、順を追って説明する。

図９は、表示制御部４０が表示装置５０に出力する画像の表示形態の一例を示す図である。すなわち、第１の実施の形態では、表示制御部４０が、拡大術野画像Ｌ（ｘ，ｙ）のみを表示装置５０に出力する例、及び異なる表示装置５０ａ、５０ｂに、それぞれ術野画像Ｋ（ｘ，ｙ）、拡大術野画像Ｌ（ｘ，ｙ）を出力する例について説明したが、出力した画像の表示形態は、これらに限定されるものではない。

図９Ａは、表示制御部４０が、術野画像Ｋ（ｘ，ｙ）と拡大術野画像Ｌ（ｘ，ｙ）とを隣接させて（サイドバイサイドで）表示装置５０に表示させた例である。すなわち、表示装置５０の表示画面上に設定した第１の表示領域５２ａに拡大術野画像Ｌ（ｘ，ｙ）を表示させて、第２の表示領域５２ｂに術野画像Ｋ（ｘ，ｙ）を表示させる。このような表示形態とすることにより、術者５０６１は、拡大術野画像Ｌ（ｘ，ｙ）を観察しながら手術を進行させることができ、スコピスト５０６２は、術野画像Ｋ（ｘ，ｙ）を観察しながら内視鏡５００１の位置を調整することができる。

図９Ｂは、表示制御部４０が、拡大術野画像Ｌ（ｘ，ｙ）の一部に術野画像Ｋ（ｘ，ｙ）を重畳させて（ＰｉｎＰで）、表示装置５０に表示させた例である。この場合、第２の表示領域５２ｂが第１の表示領域５２ａの一部に重畳される。このような表示形態とすることにより、術者５０６１は、拡大術野画像Ｌ（ｘ，ｙ）を観察しながら手術を進行させることができ、スコピスト５０６２は、術野画像Ｋ（ｘ，ｙ）を観察しながら内視鏡５００１の位置を調整することができる。なお、術野画像Ｋ（ｘ，ｙ）を重畳させる位置は、図９Ｂの例に限定されるものではなく、拡大術野画像Ｌ（ｘ，ｙ）の左上、右上、右下のいずれの場所に重畳してもよい。

［第２の実施の形態の作用効果の説明］
このように、第２の実施の形態によると、表示制御部４０は、１つの表示装置５０に、術野画像Ｋ（ｘ，ｙ）と拡大術野画像Ｌ（ｘ，ｙ）とを、隣接させて表示させる。したがって、術者５０６１が見たい拡大術野画像Ｌ（ｘ，ｙ）と、スコピスト５０６２が見たい術野画像Ｋ（ｘ，ｙ）と、をともに表示することができる。

また、第２の実施の形態によると、表示制御部４０は、１つの表示装置５０に、拡大術野画像Ｌ（ｘ，ｙ）の一部に術野画像Ｋ（ｘ，ｙ）を重畳させて表示させる。したがって、術者５０６１が見たい拡大術野画像Ｌ（ｘ，ｙ）と、スコピスト５０６２が見たい術野画像Ｋ（ｘ，ｙ）と、をともに表示することができる。特に、拡大術野画像Ｌ（ｘ，ｙ）をできるだけ大きく表示することができる。

（第３の実施の形態）
図１０は、内視鏡５００１の移動に伴って、ズーム枠が術野画像Ｋ（ｘ，ｙ）の端に達した場合に行われる処理の一例を示す図である。ズーム枠とは、拡大術野画像Ｌ（ｘ，ｙ）の表示範囲を示す枠である。

ここで、内視鏡５００１は、円形断面を有するチューブ状であるため、内視鏡５００１で観察した術野画像Ｋ（ｘ，ｙ）は、周囲に円形のけられ領域１３０を伴う。けられ領域１３０は光が達しない領域であるため、図１０Ａに示すように黒色領域として観察される。

スコピスト５０６２が内視鏡５００１を移動させた場合、ズーム枠が術野画像Ｋ（ｘ，ｙ）の端に達する可能性がある。このような場合、医療用観察システム１０ａは、予め用意された３つの処理形態のうち、一つの処理形態をとる。

図１０Ｂは、ズーム枠１１２ａが術野画像Ｋ（ｘ，ｙ）の端に達した場合に、画像情報のない領域を黒塗りして表示する例である。すなわち、ズーム処理部２６は、ズーム枠１１２ａのうち、術野画像Ｋ（ｘ，ｙ）の辺縁を超える領域及びけられ領域１３０に重複する領域には、所定の画素値（例えば、黒を表す画素値０）を格納した拡大術野画像Ｌ（ｘ，ｙ）を生成する。そして、表示制御部４０は、生成された拡大術野画像Ｌ（ｘ，ｙ）を表示させる。

具体的には、ズーム枠１１２ａが、図１０Ａの位置に達した場合には、ズーム枠１１２ａの内部の画像情報が欠落した領域に、黒を表す画素値０を補った拡大術野画像Ｌ（ｘ，ｙ）を表示させる。このような表示形態とすることによって、スコピスト５０６２は、黒色の領域が拡大することから、内視鏡５００１の位置が術野画像Ｋ（ｘ，ｙ）の端に達したことを即座に認識することができる。そして、スコピスト５０６２は、内視鏡５００１の位置を調整することによって、けられのない拡大術野画像Ｌ（ｘ，ｙ）を再び生成させることができる。

図１０Ｃは、ズーム枠１１２ａが術野画像Ｋ（ｘ，ｙ）の端に達した場合に、画面端をそのまま表示し続ける例である。すなわち、ズーム処理部２６は、ズーム枠１１２ａの辺縁、すなわち拡大術野画像Ｌ（ｘ，ｙ）の辺縁と、術野画像Ｋ（ｘ，ｙ）の辺縁と、が一致した場合に、内視鏡５００１が、更に術野画像Ｋ（ｘ，ｙ）の辺縁を超えて移動した場合であっても、ズーム枠１１２ａの位置を保持して拡大術野画像Ｌ（ｘ，ｙ）を生成する。そして、表示制御部４０は、生成された拡大術野画像Ｌ（ｘ，ｙ）を表示させる。

具体的には、ズーム枠１１２ａが図１０Ａの位置に達した場合には、ズーム枠１１２ａをズーム枠１１２ｂの位置に移動させて、移動させたズーム枠１１２ｂの内部の画像を拡大術野画像Ｌ（ｘ，ｙ）として表示させる。すなわち、このときズーム枠１１２ｂの左端部は、術野画像Ｋ（ｘ，ｙ）の左端と一致する。このような表示形態とすることによって、内視鏡５００１の動きによらずに、拡大術野画像Ｌ（ｘ，ｙ）の表示領域を術野画像Ｋ（ｘ，ｙ）の端部に保持することができる。

図１０Ｄは、ズーム枠１１２ａが術野画像Ｋ（ｘ，ｙ）の端に達した場合に、ズーム処理部２６は、拡大術野画像Ｌ（ｘ，ｙ）の生成を中止する例である。そして、このとき、表示制御部４０は、術野画像Ｋ（ｘ，ｙ）を表示させる。

このような表示形態とすることによって、スコピスト５０６２は、拡大術野画像Ｌ（ｘ，ｙ）の表示が解除されるため、内視鏡５００１の撮像範囲が術野画像Ｋ（ｘ，ｙ）の端に達したことを即座に認識することができる。そして、スコピスト５０６２は、内視鏡５００１の位置を調整することによって、けられのない拡大術野画像Ｌ（ｘ，ｙ）を再び生成させることができる。

なお、ズーム枠１１２ａが術野画像Ｋ（ｘ，ｙ）の端に達した場合に、前記したいずれの処理を行うかは、予め、ズーム処理部２６に設定しておけばよい。

［第３の実施の形態の作用効果の説明］
このように、第３の実施の形態によると、ズーム処理部２６（拡大画像生成部）は、ズーム枠１１２ａが、術野画像Ｋ（ｘ，ｙ）の辺縁に達した場合、又は術野画像Ｋ（ｘ，ｙ）のけられ領域に重複した場合には、ズーム枠１１２ａのうち、辺縁を超える領域及びけられ領域に重複する領域には、所定の画素値を格納した拡大術野画像Ｌ（ｘ，ｙ）を生成する。したがって、スコピスト５０６２は、ズーム枠１１２ａが術野画像Ｋ（ｘ，ｙ）の辺縁に達したことを即座に認識することができる。そして、スコピスト５０６２は、けられが発生しないように、内視鏡５００１の位置を調整することができる。

また、第３の実施の形態によると、ズーム処理部２６（拡大画像生成部）は、ズーム枠１１２ａが術野画像Ｋ（ｘ，ｙ）の辺縁に達した場合には、拡大術野画像Ｌ（ｘ，ｙ）の辺縁と術野画像Ｋ（ｘ，ｙ）の辺縁とが一致する拡大術野画像Ｌ（ｘ，ｙ）を生成する。したがって、けられのない拡大術野画像Ｌ（ｘ，ｙ）を表示させ続けることができる。

また、第３の実施の形態によると、ズーム処理部２６（拡大画像生成部）は、ズーム枠１１２ａが、術野画像Ｋ（ｘ，ｙ）の辺縁に達した場合、又は術野画像Ｋ（ｘ，ｙ）のけられ領域に重複した場合には、拡大術野画像Ｌ（ｘ，ｙ）の生成を中止する。したがって、スコピスト５０６２は、内視鏡５００１の撮像範囲が術野画像Ｋ（ｘ，ｙ）の端に達したことを即座に認識することができる。そして、スコピスト５０６２は、けられが発生しないように、内視鏡５００１の位置を調整することができる。

（第４の実施の形態）
第１の実施の形態において、医療用観察システム１０ａは、撮像装置４２ａが１つの撮像素子４４ａを有するものとして説明した。しかしながら、撮像装置の構成は、これに限定されるものではない。

図１１は、撮像装置４２ｂが像面位相差センサ４６を備える撮像素子４４ｂで構成された医療用観察システム１０ｂの概略的な構成の一例を示す図である。なお、図１１は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。

像面位相差センサ４６は、撮像素子４４ｂの中に、測距を行う画素を離散配置した構成を有している。図１１のように構成された医療用観察システム１０ｂを用いることによって、地図生成部１５は、像面位相差センサ４６が出力する像面位相差情報から、撮像した物体１００までの深度情報（距離情報）を取り出すことができる。したがって、ＳＬＡＭ技術を有効に活用することができる。なお、像面位相差センサ４６は、撮像した１枚の画像のみから深度情報を得ることができる。

このように、第４の実施の形態によると、撮像した１枚の術野画像Ｋ（ｘ，ｙ）から深度情報を得ることができるため、物体が動いている場合であっても、当該物体の３次元位置を高精度に計測することができる。

（第５の実施の形態）
図１２は、撮像装置４２ｃが２つの撮像素子４４ｃ、４４ｄで構成された医療用観察システム１０ｃの概略的な構成の一例を示す図である。なお、２つの撮像素子４４ｃ、４４ｄは、予め決められた相対関係を保った状態で配置されて、患部の異なる場所を、一部が重複するように撮像する。より具体的には、撮像素子４４ｃ、４４ｄは、立体視に対応する右目用及び左目用の画像信号をそれぞれ取得する。なお、図１２は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。

また、医療用観察システム１０ｃにおいて、カメラコントロールユニット１２ｂは、図２で説明した構成に加えて、深度情報生成部３０を備える。深度情報生成部３０は、２つの撮像素子４４ｃ、４４ｄでそれぞれ撮像された２枚の術野画像のマッチングを行って、深度情報を生成する。

図１２のように構成された医療用観察システム１０ｃを用いることによって、地図生成部１５は、深度情報生成部３０が生成した深度情報と、撮像素子４４ｃ、４４ｄがそれぞれ撮像した術野画像とにより、ＳＬＡＭ技術を活用して３次元地図Ｄ（Ｘ，Ｙ，Ｚ）を生成することができる。また、２つの撮像素子４４ｃ、４４ｄは、同時に撮像を行うことができるため、１回の撮像で得た２枚の画像から深度情報を得ることができる。したがって、物体が動いている場合であっても、当該物体の３次元位置を高精度に計測することができる。

このように、第５の実施の形態によると、撮像装置４２ｃは、一部が重複する異なる範囲を撮像する２つの撮像素子４４ｃ、４４ｄを備えて、３次元情報生成部１４は、２つの撮像素子４４ｃ、４４ｄが同じ時刻に撮像した２枚の術野画像Ｋ（ｘ，ｙ）に基づいて、術野の３次元情報を生成する。したがって、１回の撮像で得た２枚の術野画像Ｋ（ｘ，ｙ）から深度情報を得ることができるため、術野が動いている場合であっても、当該術野の３次元位置を高精度に計測することができる。

（第６の実施の形態）
図１３は、撮像装置４２ｃが２つの撮像素子で構成されるとともに、カメラコントロールユニット１２ｃがトラッキング処理部３４を備える医療用観察システム１０ｄの概略的な構成の一例を示す図である。なお、図１３は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。

医療用観察システム１０ｄのカメラコントロールユニット１２ｃは、深度情報生成部３０と、３次元情報生成部３２と、トラッキング処理部３４と、ズーム領域算出部３６を備える。

３次元情報生成部３２は、３次元情報生成部１４（図２）に代わって備えられて、深度情報生成部３０が生成した深度情報に基づいて、術野画像Ｋ（ｘ，ｙ）の３次元情報を生成する。トラッキング処理部３４は、３次元地図データ格納部２４（図２）に代わって備えられて、直前フレームの３次元情報と現フレームの３次元情報とに基づいて、２つの点群を重ね合わせる手法であるＩＣＰ（Iterative Closest Point）法等を用いることによって撮像装置４２ｃの位置・姿勢の差分を算出する。ズーム領域算出部３６は、注目領域推定部２２（図２）に代わって備えられて、トラッキング処理部３４が算出した撮像装置４２ｃの位置・姿勢の差分値に基づいて、注目領域の画面上の座標を算出する。そして、前記したズーム処理部２６（図２）が、ズーム領域算出部３６が算出した領域に対してズーム処理を行い、拡大術野画像Ｌ（ｘ，ｙ）を生成する。

このように、第６の実施の形態によると、撮像装置４２ｃの動きによらずに、術野画像Ｋ（ｘ，ｙ）の中の注目領域を安定してトラッキング（追尾）することができる。

（第７の実施の形態）
図１４は、撮像装置４２ｄが撮像素子４４ａとデプスセンサ４８で構成された医療用観察システム１０ｅの概略的な構成の一例を示す図である。なお、図１４は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。

デプスセンサ４８は、被写体までの距離を測定する、いわゆる３Ｄセンサである。デプスセンサ４８は、被写体に向けて照射した、例えば赤外光等の反射光を受光することによって、光の飛行時間を計測して被写体までの距離を測定する、いわゆるＴｏＦ（Time of Flight）センサである。また、デプスセンサ４８は、被写体に照射された複数の異なる幾何パターンを有する投影光の像を撮像することによって、被写体までの距離を測定する、いわゆるパターン投影法（Structured Light）によって実現される。

地図生成部１５は、撮像素子４４ａが撮像した術野画像Ｋ（ｘ，ｙ）と、デプスセンサ４８が出力する距離とに基づいて、撮像した物体１００までの深度情報（距離情報）を取り出す。より具体的には、地図生成部１５は、デプスセンサ４８が測距した点が、撮像素子４４ａが撮像した術野画像Ｋ（ｘ，ｙ）のどの画素に対応するかを算出する。そして、地図生成部１５は、術野の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）（３次元情報）を生成する。したがって、ＳＬＡＭ技術を有効に活用することができる。

このように、第７の実施の形態によると、撮像装置４２ｄは、１つの撮像素子４４ａと対象物までの距離を計測するデプスセンサ４８（測距装置）とを備えて、３次元情報生成部１４は、撮像素子４４ａが撮像した画像とデプスセンサ４８が計測した距離とに基づいて、術野の３次元地図Ｄ（Ｘ，Ｙ，Ｚ）（３次元情報）を生成する。したがって、術野までの距離を容易且つ確実に測定することができる。

（第８の実施の形態）
図１５は、撮像装置４２ｄが撮像素子４４ａとデプスセンサ４８で構成されるとともに、カメラコントロールユニット１２ｄがトラッキング処理部３４を備える医療用観察システム１０ｆの概略的な構成の一例を示す図である。なお、図１５は、図２を一部省略して描いており、特に断りのない限り、省略された箇所は図２と同じ構成を有している。

医療用観察システム１０ｆのカメラコントロールユニット１２ｄは、３次元情報生成部３２と、トラッキング処理部３４と、ズーム領域算出部３６を備える。

３次元情報生成部３２は、３次元情報生成部１４（図２）に代わって備えられて、デプスセンサ４８が異なる位置から測定した２つの距離情報（例えば、被写体までの距離に対応する画素値が格納された距離画像）をマッチングさせることによって、術野の移動状態を求める。トラッキング処理部３４は、３次元地図データ格納部２４（図２）に代わって備えられて、前記した術野の移動状態に基づいて、撮像装置４２ｃの位置・姿勢の差分を算出する。ズーム領域算出部３６は、注目領域推定部２２（図２）に代わって備えられて、トラッキング処理部３４が算出した撮像装置４２ｃの位置・姿勢の差分値に基づいて、注目領域の画面上の座標を算出する。そして、前記したズーム処理部２６（図２）が、ズーム領域算出部３６が算出した領域に対してズーム処理を行い、拡大術野画像Ｌ（ｘ，ｙ）を生成する。

このように、第８の実施の形態によると、撮像装置４２ｄの動きによらずに、術野画像Ｋ（ｘ，ｙ）の中の注目領域を安定してトラッキング（追尾）することができる。

（第９の実施の形態）
図１６は、術野画像Ｋ（ｘ，ｙ）の中に複数の注目枠１１０ａ、１１０ｂを設定した例を示す図である。

図１６に示すように、注目領域設定部２０（図２）は、術野画像Ｋ（ｘ，ｙ）の中に複数の注目領域を設定してもよい。例えば、複数の患部に注目する必要がある場合、注目領域設定部２０は、スコピスト５０６２の指示に基づいて、各注目領域を示す注目枠１１０ａ、１１０ｂを設定する。そして、表示制御部４０は、各注目枠１１０ａ、１１０ｂに対応するズーム枠の領域を拡大した２枚の拡大術野画像Ｌ（ｘ，ｙ）を、それぞれ表示装置５０に表示させる。

このように、第９の実施の形態によると、術野の中に複数の注目したい領域がある場合に、注目領域設定部２０は、複数の注目領域を設定する。したがって、複数の注目領域を拡大した拡大術野画像Ｌ（ｘ，ｙ）を表示させることができる。

（第１０の実施の形態）
図１７は、術野画像Ｋ（ｘ，ｙ）の中から、所定の距離範囲の領域を強調表示させた例を示す図である。

注目領域設定部２０は、注目領域を設定する際に、図１７に示すように、術野画像Ｋ（ｘ，ｙ）の中の所定の距離範囲領域に所定の着色をして表示させる。図１７は、距離ｄ１よりも近い距離を有する領域Ｒ１と、距離ｄ２よりも遠い距離を有する領域Ｒ２と、にそれぞれ異なる着色をさせた表示した例である。なお、これは、注目領域の設定を行い易くする目的で、注目領域までの距離範囲を、距離ｄ１から距離ｄ２の間に制限するために行う処理である。

距離ｄ１及び距離ｄ２の値は、例えば、図１７に示すように、注目領域設定部２０が、術野画像Ｋ（ｘ，ｙ）の近傍に、距離目盛を表示させて、スコピスト５０６２がマウスやタッチパネル等の入力デバイスを操作することによって設定すればよい。そして、設定された距離ｄ１及び距離ｄ２の値に応じて、注目領域設定部２０は、術野画像Ｋ（ｘ，ｙ）上の領域Ｒ１及び領域Ｒ２を、リアルタイムで着色表示する。このとき、操作者は、距離目盛上の設定したい距離の位置で入力デバイスをポインティングして、距離ｄ１又は距離ｄ２を設定する。そして、操作者は、入力デバイスをポインティングしたまま距離目盛上の遠方方向又は近接方向に向かって入力デバイスをドラッグする。注目領域設定部２０は、このドラッグ操作を検出することによって、図１７に示すように、距離目盛上に、ドラッグされた距離範囲に着色される色を表示する。このようなＧＵＩ（Graphical User Interface）とすることによって、操作者は、術野画像Ｋ（ｘ，ｙ）において、自身が設定した距離範囲に対応する領域を認識しやすくなる。なお、距離目盛上に、設定された距離範囲を表示する方法は、図１７に示した方法に限定される訳ではなく、設定された距離範囲が明示されるものであれば、その他の表示形態をとってもよい。

表示制御部４０は、領域Ｒ１及び領域Ｒ２が着色表示された術野画像Ｋ（ｘ，ｙ）を表示装置５０に表示させる。そして、スコピスト５０６２は、領域Ｒ１及び領域Ｒ２が着色表示された術野画像Ｋ（ｘ，ｙ）を見ながら、前記した手順（図４参照）に従って、注目領域を設定する。

このように、第１０の実施の形態によると、注目領域設定部２０（設定部）は、注目領域が存在する距離範囲を指定する機能を、更に備えて、指定された距離範囲の中で注目領域を設定させる。したがって、スコピスト５０６２は、注目領域の設定をより容易に行うことができる。

（第１１の実施の形態）
図１８は、術野画像Ｋ（ｘ，ｙ）の中に設定する注目枠１１０ｃ～１１０ｇの表示形態の一例を示す図である。

注目枠の表示形態は、図４に示した矩形状の枠に限定されるものではない。図１８Ａは、注目枠１１０ｃを円形領域で表示した例である。図１８Ｂは、注目枠１１０ｄを着色（ハイライト）された閉領域で示した例である。図１８Ｃは、注目枠１１０ｅを記号で示した例である。図１８Ｄは、注目枠１１０ｆを閉曲線で示した例である。図１８Ｅは、注目枠１１０ｇ及び注目枠１１０ｇを設定した位置と等しい距離を有する領域を、ともに着色して表示した例である。特に、図１８Ｅの表示形態によると、スコピスト５０６２は、注目領域と等しい距離の位置に別の領域が存在することを認識することができる。したがって、内視鏡５００１が誤って別の領域の方向を向くことによって、注目領域に対する追尾が外れないように、内視鏡５００１をより一層注意深く把持することができる。

なお、注目枠をいずれの形態で表示するかは、スコピスト５０６２が、予め注目領域設定部２０に設定しておけばよい。なお、注目枠１１０ｃ～１１０ｇの設定方法は、図４または図５で説明した方法に従えばよい。特に、図１８Ｂ、図１８Ｄ、図１８Ｅに示すように、注目枠を任意形状の閉領域として設定する場合は、図５で説明したように、表示装置５０に表示された術野画像Ｋ（ｘ，ｙ）の上で、注目枠の位置と形状を直接設定するのが効率的である。

このように、第１１の実施の形態によると、設定された注目領域に、操作者が見やすい形態の注目枠１１０ｃ～１１０ｇを表示することができる。

（第１２の実施の形態）
図１９は、ズーム枠１１２の設定方法の一例を示す図である。

医療用観察システム１０ａの使用開始時に、スコピスト５０６２が、術野画像Ｋ（ｘ，ｙ）を拡大する際の倍率を設定するようにしてもよい。倍率の設定は、例えば、図２のズーム処理部２６が、表示制御部４０に対して、表示装置５０に術野画像Ｋ（ｘ，ｙ）に重畳させて、選択可能な複数のズーム枠１１２（１１２ｃ～１１２ｆ）を表示させて、その中から１つのズーム枠を操作者に指定させればよい。図１９は、倍率１．５倍を示すズーム枠１１２ｅが指定された例を示している。なお、ズーム枠１１２の選択は、例えば、内視鏡５００１の手元に備えたスイッチ等の入力デバイスの操作によって行えばよい。

また、ズーム処理部２６は、注目領域までの距離に応じた倍率で、拡大術野画像Ｌ（ｘ，ｙ）を生成してもよい。すなわち、ズーム処理部２６は、３次元情報生成部１４が生成して３次元地図データ格納部２４に格納された３次元地図Ｄ（Ｘ，Ｙ,Ｚ）に基づいて、例えば注目領域までの距離を算出する。そして、算出された注目領域までの距離に応じて、拡大術野画像Ｌ（ｘ，ｙ）を生成する際の倍率を決定する。また、撮像装置４２ａにＡＦ（Auto Focus）機能を実装して、当該撮像装置４２ａが、注目領域推定部２２が推定した注目領域の位置にフォーカスを合わせることによって、注目領域までの距離を算出してもよい。そして、例えば注目領域までの距離が遠い場合は、倍率を高く設定して、注目領域までの距離が近い場合は、倍率を低く設定することができる。

このように、第１２の実施の形態によると、スコピスト５０６２は、表示装置５０に表示された複数のズーム枠１１２ｃ～１１２ｆの中から一つのズーム枠を選択することによって、倍率を容易に設定することができる。

また、第１２の実施の形態によると、ズーム処理部２６（拡大画像生成部）は、注目領域までの距離に応じた倍率で、拡大術野画像Ｌ（ｘ，ｙ）を生成する。したがって、内視鏡５００１が患部に対して前後方向に移動した場合であっても、患部を一定の大きさで観察し続けることができる。

（第１３の実施の形態）
図２０は、医療用観察システム１０ａを運用している際のズーム枠１１２の表示方法の一例を示す図である。

ズーム処理部２６は、表示制御部４０に対して、表示装置５０に表示した術野画像Ｋ（ｘ，ｙ）に重畳させてズーム枠１１２を表示させてもよい。

図２０Ａは、拡大術野画像Ｌ（ｘ，ｙ）の一部に重畳させて表示された術野画像Ｋ（ｘ，ｙ）の中にズーム枠１１２を表示させた例である。

図２０Ｂは、拡大術野画像Ｌ（ｘ，ｙ）と隣接させて表示させた術野画像Ｋ（ｘ，ｙ）の中にズーム枠１１２を表示させた例である。

図２０Ｃは、拡大術野画像Ｌ（ｘ，ｙ）を表示させた表示装置５０ｂとは別の表示装置５０ａに表示した術野画像Ｋ（ｘ，ｙ）の中にズーム枠１１２を表示させた例である。

このように、第１３の実施の形態によると、スコピスト５０６２は、ズーム枠１１２の位置を容易に確認することができる。したがって、スコピスト５０６２は、ズーム枠１１２の画面端への到達を事前に予測することができるため、拡大術野画像Ｌ（ｘ，ｙ）の表示範囲が、術野画像Ｋ（ｘ，ｙ）の辺縁を超えることによる、けられの発生を防止することができる。

（第１４の実施の形態）
第１の実施の形態で説明した医療用観察システム１０ａにおいて、表示装置５０に表示する術野画像Ｋ（ｘ，ｙ）及び拡大術野画像Ｌ（ｘ，ｙ）をより見やすくするために、これらの画像に対して、手振れ補正処理や露出量の調整を行ってもよい。手振れ補正処理は、例えば図２のズーム処理部２６が行い、露光量の調整は、図２の現像処理部１８が行う。

より具体的には、ズーム処理部２６は、術野画像Ｋ（ｘ，ｙ）及び拡大術野画像Ｌ（ｘ，ｙ）に対して、撮像された複数の画像間で、画像に映った物体等の移動量と移動方向を算出する。そして、算出された移動量と移動方向に応じて、撮像された画像を電子的にシフトさせることによって、手振れが補正された画像を生成する。なお、拡大術野画像Ｌ（ｘ，ｙ）は術野画像Ｋ（ｘ，ｙ）よりも狭い領域を観察した画像であるため、手振れに伴って発生する画像のブレが大きくなる。したがって、ズーム処理部２６は、拡大術野画像Ｌ（ｘ，ｙ）に対して、術野画像Ｋ（ｘ，ｙ）に対する手振れ補正よりも補正効果の高い手振れ補正を行うのが望ましい。

また、現像処理部１８は、術野画像Ｋ（ｘ，ｙ）と拡大術野画像Ｌ（ｘ，ｙ）に対して、それぞれ別々にデジタルゲインやガンマカーブを設定することによって、露光量を個別に調整してもよい。

このように、第１４の実施の形態によると、ズーム処理部２６（拡大画像生成部）は、術野画像Ｋ（ｘ，ｙ）及び拡大術野画像Ｌ（ｘ，ｙ）に対して、手振れ補正を行う。したがって、内視鏡５００１で撮像した術野画像Ｋ（ｘ，ｙ）に手振れが発生した場合であっても、当該手振れが補正された、見やすい術野画像Ｋ（ｘ，ｙ）及び拡大術野画像Ｌ（ｘ，ｙ）を得ることができる。

（第１５の実施の形態）
図２１は、本開示に係る技術が適用され得る顕微鏡手術システム５３００の概略的な構成の一例を示す図である。図２１を参照すると、顕微鏡手術システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５０と、から構成される。なお、以下の顕微鏡手術システム５３００についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム５３００を使用する任意の医療スタッフのことを意味する。

顕微鏡装置５３０１は、観察対象（患者の術部）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。

顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。なお、撮像部は、本開示における撮像装置の一例である。

筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light Emitting Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。

撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術野の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。

なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto Exposure）機能やＡＦ機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。

また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術野における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。

アーム部５３０９は、複数のリンク（第１リンク５３１３ａ～第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ～第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。

第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ_１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ_１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ_１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。

第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ_１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。

第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ_１と直交する回転軸（第２軸Ｏ_２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。

第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ_２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。

第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ_１及び第２軸Ｏ_２と互いに直交する回転軸（第３軸Ｏ_３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ_２及び第３軸Ｏ_３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ_２及び第３軸Ｏ_３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。

第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。

第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ_３と直交する回転軸（第４軸Ｏ_４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。

第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ_４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。

第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ_４と平行な回転軸（第５軸Ｏ_５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ_４及び第５軸Ｏ_５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ_４及び第５軸Ｏ_５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。

第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。

第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ_６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。

第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。

第１関節部５３１１ａ～第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術野を観察することが可能となり、手術をより円滑に実行することができる。

なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５０を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。

ここで、第１関節部５３１１ａ～第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ～第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、顕微鏡部５３０３が所望の移動を実現するように、各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。

例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて、制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてもよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャー検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。

また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図２１に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。

制御装置５３１７は、顕微鏡装置５３０１及び表示装置５０の動作を制御することにより、顕微鏡手術システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ～第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、制御装置５３１７は、第１の実施の形態で説明したカメラコントロールユニット１２ａの機能を備えている。そして、制御装置５３１７は、顕微鏡部５３０３の撮像部が撮像した術野画像Ｋ（ｘ，ｙ）の中から、注目領域を拡大した拡大術野画像Ｌ（ｘ，ｙ）を生成して、表示装置５０に表示させる。なお、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部が取得した術野画像Ｋ（ｘ，ｙ）に、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）等、各種の公知の信号処理が行ってもよい。

制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ～第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。

制御装置５３１７は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別体の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ～第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。

表示装置５０は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５０には、顕微鏡部５３０３によって撮像された術野画像Ｋ（ｘ，ｙ）と拡大術野画像Ｌ（ｘ，ｙ）のうち、少なくとも拡大術野画像Ｌ（ｘ，ｙ）が表示される。なお、表示装置５０は、術野画像Ｋ（ｘ，ｙ）に代えて、又は術野画像Ｋ（ｘ，ｙ）とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５０の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５０は複数設けられてもよく、複数の表示装置５０のそれぞれに、術野画像Ｋ（ｘ，ｙ）及び拡大術野画像Ｌ（ｘ，ｙ）や、手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５０としては、液晶ディスプレイ装置又はＥＬディスプレイ装置等、各種の公知の表示装置が適用されてよい。

図２２は、図２１に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。図２２では、術者５０６１が、顕微鏡手術システム５３００を用いて、患者ベッド５０６９上の患者５０７１に対して手術を行っている様子を概略的に示している。なお、図２２では、簡単のため、顕微鏡手術システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡部５３０３（図２１）を含む顕微鏡装置５３０１を簡略化して図示している。

図２２に示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮像された術野画像Ｋ（ｘ，ｙ）と拡大術野画像Ｌ（ｘ，ｙ）のうち、少なくとも拡大術野画像Ｌ（ｘ，ｙ）が、手術室の壁面に設置される表示装置５０に拡大表示される。表示装置５０は、術者５０６１と対向する位置に設置されており、術者５０６１は、表示装置５０に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。

図２３は、顕微鏡手術システム５３００が備える、ズーム枠１１２を画面の中央部に保持する制御状態の一例を示す図である。

制御装置５３１７は、術野画像Ｋ（ｘ，ｙ）におけるズーム枠１１２の位置を常時モニタする。具体的には、制御装置５３１７は、ズーム枠１１２が、術野画像Ｋ（ｘ，ｙ）の略中央部に設定した制御判定枠１１４からはみ出しているか否かを常時モニタする。

そして、ズーム枠１１２が、制御判定枠１１４からはみ出したことが検出された場合、制御装置５３１７は、ズーム枠１１２が、制御判定枠１１４の内部に留まるように、第１関節部５３１１ａ～第６関節部５３１１ｆの角度を制御することによって、顕微鏡部５３０３の位置と姿勢を制御する。

図２３の例では、ズーム枠１１２が制御判定枠１１４の右側にはみ出している。この場合、制御装置５３１７は、顕微鏡部５３０３の位置と姿勢を、ズーム枠１１２が、制御判定枠１１４の内部に留まるように制御する。すなわち、図２３の例では、制御装置５３１７は、顕微鏡部５３０３の位置と姿勢を、右方向に移動させることによって、ズーム枠１１２を制御判定枠１１４の内部に留める。ズーム枠１１２が制御判定枠１１４の右側以外の方向にはみ出した場合も同様にして、制御装置５３１７は、顕微鏡部５３０３の位置と姿勢を、ズーム枠１１２が制御判定枠１１４の内部に留まるように制御する。

このように、第１５の実施の形態によると、制御装置５３１７は、ズーム枠１１２が制御判定枠１１４の内部に留まるように、顕微鏡部５３０３の位置と姿勢を制御する。したがって、術者５０６１が一人で手術を行う場合、術者５０６１は顕微鏡部５３０３を把持する必要がないため、手術に専念することができる。なお、第１５の実施の形態に記載した顕微鏡部５３０３の位置と姿勢の制御は、例えば、第１の実施の形態に記載した医療用観察システム１０ａに適用することもできる。すなわち、医療用観察システム１０ａにおいて、ズーム枠１１２が常に表示装置５０の所定の位置に留まるように、内視鏡５００１の位置と姿勢を制御することができる。

また、第１５の実施の形態によると、撮像部は顕微鏡部５３０３に実装される。したがって、顕微鏡を利用した手術等を行う際に、術者５０６１は患部を拡大して安定的に観察することができる。

以上、本開示に係る技術が適用され得る顕微鏡手術システム５３００の一例について説明した。なお、ここでは、一例として顕微鏡手術システム５３００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置５３０１は、その先端に顕微鏡部５３０３に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で把持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本開示は、以下のような構成もとることができる。
（１）
術野を撮像して術野画像を得る撮像装置と、
前記撮像装置が撮像した術野画像から、術野の３次元情報を生成する３次元情報生成部と、
前記撮像装置が、所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定する設定部と、
前記３次元情報と前記設定部が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定する推定部と、
推定された注目領域を所定の倍率で拡大した拡大術野画像を生成する拡大画像生成部と、
少なくとも前記拡大術野画像を出力する表示制御部と、
を備える医療用観察システム。
（２）
前記表示制御部は、前記術野画像と、前記拡大術野画像と、を表示させる、
前記（１）に記載の医療用観察システム。
（３）
前記表示制御部は、１つの表示装置に、前記術野画像と前記拡大術野画像とを、隣接させて表示させる、
前記（２）に記載の医療用観察システム。
（４）
前記表示制御部は、１つの表示装置に、前記拡大術野画像の一部に前記術野画像を重畳させて表示させる、
前記（２）に記載の医療用観察システム。
（５）
前記表示制御部は、２つの表示装置に、それぞれ、前記術野画像と前記拡大術野画像とを表示させる、
前記（２）に記載の医療用観察システム。
（６）
前記設定部は、前記表示制御部が表示させた術野画像の特定位置を、所定の位置に合致させた状態で、注目領域の設定を指示する設定信号が発生したことを条件として、前記特定位置を注目領域に指定する、
前記（１）乃至（５）のいずれかに記載の医療用観察システム。
（７）
前記設定部は、前記表示制御部が表示させた術野画像の、入力デバイスによって指示された位置に注目領域を設定する、
前記（１）乃至（５）のいずれかに記載の医療用観察システム。
（８）
前記拡大画像生成部は、前記注目領域が、術野画像の辺縁に達した場合、又は術野画像のけられ領域に重複した場合には、
前記注目領域のうち、前記辺縁を超える領域及び前記けられ領域に重複する領域には、所定の画素値を格納した拡大術野画像を生成する、
前記（１）乃至（７）のいずれかに記載の医療用観察システム。
（９）
前記拡大画像生成部は、前記注目領域が、術野画像の辺縁に達した場合には、
拡大術野画像の辺縁と術野画像の辺縁とが一致する拡大術野画像を生成する、
前記（１）乃至（７）のいずれかに記載の医療用観察システム。
（１０）
前記拡大画像生成部は、前記注目領域が、術野画像の辺縁に達した場合、又は術野画像のけられ領域に重複した場合には、
拡大術野画像の生成を中止する、
前記（１）乃至（７）のいずれかに記載の医療用観察システム。
（１１）
前記撮像装置は、１つの撮像素子を備えて、
前記３次元情報生成部は、前記撮像装置が異なる時刻に撮像した少なくとも２枚の術野画像に基づいて、術野の３次元情報を生成する、
前記（１）乃至（１０）のいずれかに記載の医療用観察システム。
（１２）
前記撮像装置は、一部が重複する異なる範囲を撮像する２つの撮像素子を備えて、
前記３次元情報生成部は、前記撮像素子が同じ時刻に撮像した２枚の術野画像に基づいて、術野の３次元情報を生成する、
前記（１）乃至（１０）のいずれかに記載の医療用観察システム。
（１３）
前記撮像装置は、１つの撮像素子と対象物までの距離を計測する測距装置とを備えて、
前記３次元情報生成部は、前記撮像素子が撮像した画像と前記測距装置が計測した距離とに基づいて、術野の３次元情報を生成する、
前記（１）乃至（１０）のいずれかに記載の医療用観察システム。
（１４）
前記設定部は、前記注目領域が存在する距離範囲を指定する機能を、更に備えて、指定された距離範囲の中で注目領域を設定させる、
前記（１）乃至（１３）のいずれかに記載の医療用観察システム。
（１５）
前記拡大画像生成部は、前記注目領域までの距離に応じた倍率で、前記拡大術野画像を生成する、
前記（１）乃至（１４）のいずれかに記載の医療用観察システム。
（１６）
前記拡大画像生成部は、前記術野画像及び前記拡大術野画像に対して、手振れ補正を行う、
前記（１）乃至（１５）のいずれかに記載の医療用観察システム。
（１７）
前記撮像装置は、内視鏡に実装される、
前記（１）乃至（１６）のいずれかに記載の医療用観察システム。
（１８）
前記撮像装置は、顕微鏡に実装される、
前記（１）乃至（１６）のいずれかに記載の医療用観察システム。
（１９）
術野を撮像した術野画像から、術野の３次元情報を生成する３次元情報生成部と、
所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定する設定部と、
前記３次元情報と前記設定部が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定する推定部と、
推定された注目領域を所定の倍率で拡大した拡大術野画像を生成する拡大画像生成部と、
少なくとも前記拡大術野画像を出力する表示制御部と、
を備える医療用観察装置。
（２０）
術野を撮像した術野画像から、術野の３次元情報を生成するステップと、
所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定するステップと、
前記３次元情報と前記注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定するステップと、
推定された注目領域を所定の倍率で拡大した拡大術野画像を生成するステップと、
少なくとも前記拡大術野画像を出力するステップと、
を備える医療用観察方法。

１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆ 医療用観察システム
１２ａ、１２ｂ、１２ｃ カメラコントロールユニット（医療用観察装置）
１４ ３次元情報生成部
１５ 地図生成部
１６ 自己位置推定部
１８ 現像処理部
２０ 注目領域設定部（設定部）
２２ 注目領域推定部（推定部）
２４ ３次元地図データ格納部
２６ ズーム処理部（拡大画像生成部）
４０ 表示制御部
４２ａ、４２ｂ、４２ｃ、４２ｄ 撮像装置
４４ａ、４４ｂ、４４ｃ、４４ｄ 撮像素子
４６ 像面位相差センサ
４８ デプスセンサ（測距装置）
５０、５０ａ、５０ｂ 表示装置
５２ａ 第１の表示領域
５２ｂ 第２の表示領域
１１０ 注目枠
１１２、１１２ａ、１１２ｂ ズーム枠
５００１ 内視鏡
５０６１ 術者
５０６２ スコピスト
５０６３ 助手
５３００ 顕微鏡手術システム
５３０３ 顕微鏡部
５３１７ 制御装置
Ｄ（Ｘ，Ｙ，Ｚ） ３次元地図（３次元情報）
Ｋ（ｘ，ｙ）、Ｋ（ｘ，ｙ，ｔ） 術野画像
Ｌ（ｘ，ｙ） 拡大術野画像

Claims (3)

1. 術野を撮像して術野画像を得る撮像装置と、
   前記撮像装置が撮像した術野画像から、術野の３次元情報を生成する３次元情報生成部と、
   前記撮像装置が、所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定する設定部と、
   前記３次元情報と前記設定部が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定する推定部と、
   推定された注目領域を所定の倍率で拡大した拡大術野画像を生成する拡大画像生成部と、
   少なくとも前記拡大術野画像を出力する表示制御部と、
   を備える医療用観察システム。
2. 術野を撮像した術野画像から、術野の３次元情報を生成する３次元情報生成部と、
   所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定する設定部と、
   前記３次元情報と前記設定部が設定した注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定する推定部と、
   推定された注目領域を所定の倍率で拡大した拡大術野画像を生成する拡大画像生成部と、
   少なくとも前記拡大術野画像を出力する表示制御部と、
   を備える医療用観察装置。
3. 術野を撮像した術野画像から、術野の３次元情報を生成するステップと、
   所定のタイミングで撮像した少なくとも一枚の前記術野画像に基づいて、少なくとも一つの注目領域を設定するステップと、
   前記３次元情報と前記注目領域の位置とに基づいて、前記所定のタイミングとは異なるタイミングで撮像された術野画像の中から、前記注目領域の存在位置を推定するステップと、
   推定された注目領域を所定の倍率で拡大した拡大術野画像を生成するステップと、
   少なくとも前記拡大術野画像を出力するステップと、
   を備える医療用観察方法。

Images