JP7073618B2 - 制御装置、制御方法及び医療用システム - Google Patents

Description

本開示は、制御装置、制御方法及び医療用システムに関する。

一般的に、手術や検査等の医療行為においては、処置内容や症例の記録のため、あるいは若手医師の教育等の目的で、医療行為に係る画像（医療画像）を保存することが行われている。ここで、医療行為の最中には、例えば内視鏡画像、Ｘ線画像及び超音波画像等、複数の異なる種類の医療画像が撮影されることが多い。しかしながら、これらの医療画像を全て保存しようとすると、例えば観察対象である病変部が鮮明に映っていないような本来不要な医療画像まで保存されてしまい、手術後に編集等の煩雑な作業が生じる可能性がある。

そこで、医療行為中に撮影される複数の医療画像をより適切に保存するための技術が開発されている。例えば、特許文献１には、医療行為中に撮影される複数の医療画像が１つの画像に合成された合成画像を保存するに際し、各医療画像を撮影した撮像装置の種類及び各医療画像を解析した結果に基づいて当該複数の医療画像を合成するための合成パターンを決定し、当該合成パターンに従って合成画像を生成、保存する技術が開示されている。特許文献１では、当該技術により、人手によらず自動的に、適切な合成画像を保存することが可能になるとしている。

特許第５３４７０８９号公報

しかし、上述したように、特許文献１に記載の技術では、医療画像を解析した結果を用いて合成画像の合成パターンが決定される（すなわち、保存する医療画像が決定される）。一般的に、画像解析には多大な演算処理が必要となるため、特許文献１に記載の技術では、合成パターンを決定し、当該合成パターンに従って合成画像を生成、保存する一連の処理を迅速に行うことは困難である。また、医療画像が鮮明でない場合には、画像解析の結果を用いて合成パターンを適切に決定することが不可能となる恐れがある。このように、特許文献１に記載の技術では、保存する医療画像を決定する処理を安定的に行うことができない可能性があった。

そこで、本開示では、医療画像をより適切に管理することが可能な、新規かつ改良された制御装置、制御方法及び医療用システムを提案する。

本開示によれば、複数の撮像装置の少なくともいずれかについての位置又は姿勢についての情報を含む撮像装置状態情報に基づいて、前記複数の撮像装置によって撮影された医療画像の中から、表示又は保存する医療画像として少なくとも１つの医療画像を決定する、制御装置が提供される。

また、本開示によれば、複数の撮像装置の少なくともいずれかについての位置又は姿勢についての情報を含む撮像装置状態情報に基づいて、前記複数の撮像装置によって撮影された医療画像の中から、表示又は保存する医療画像として少なくとも１つの医療画像を決定する、制御方法が提供される。

また、本開示によれば、複数の撮像装置と、
前記複数の撮像装置の少なくともいずれかについての位置又は姿勢についての情報を含む撮像装置状態情報に基づいて、前記複数の撮像装置によって撮影された医療画像の中から、表示又は保存する医療画像として少なくとも１つの医療画像を決定する、制御装置と、を備える、医療用システムが提供される。

本開示によれば、複数の撮像装置の少なくともいずれかについての位置又は姿勢についての情報を含む撮像装置状態情報に基づいて、前記複数の撮像装置によって撮影された医療画像の中から、表示又は保存する少なくとも１つの医療画像が決定される。つまり、表示又は保存する医療画像を決定する際に、画像解析の結果は用いられない。画像解析を行うことなく表示又は保存する画像を決定することができるため、上述したような画像解析の結果を用いる場合に生じ得る不具合を回避することができ、医療画像をより適切に管理することが可能になる。

以上説明したように本開示によれば、医療画像をより適切に管理することが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

第１の実施形態に係るシステムの概略構成を示す図である。 第１の実施形態に係るシステムの概略構成を示す図である。 第１の実施形態に係るシステムの機能構成を示すブロック図である。 第１の実施形態に係る制御方法の処理手順の一例を示すフロー図である。 第２の実施形態に係るシステムの概略構成を示す図である。 第２の実施形態に係るシステムの機能構成を示すブロック図である。 第２の実施形態に係る制御方法の処理手順の一例を示すフロー図である。 第３の実施形態に係るシステムの概略構成を示す図である。 第３の実施形態に係るシステムの機能構成を示すブロック図である。 第３の実施形態に係る制御方法の処理手順の一例を示すフロー図である。 第４の実施形態に係るシステムの概略構成を示す図である。 第４の実施形態に係るシステムの機能構成を示すブロック図である。 第４の実施形態に係るシステムにおける表示装置の一表示例を示す図である。 第４の実施形態に係る制御方法の処理手順の一例を示すフロー図である。

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１－１．システムの構成
１－２．制御方法
２．第２の実施形態
２－１．システムの構成
２－２．制御方法
３．第３の実施形態
３－１．システムの構成
３－２．制御方法
４．第４の実施形態
４－１．システムの構成
４－２．制御方法
５．まとめと補足

（１．第１の実施形態）
（１－１．システムの構成）
図１－図３を参照して、本開示の第１の実施形態に係るシステムの構成について説明する。図１及び図２は、第１の実施形態に係るシステムの概略構成を示す図である。図３は、第１の実施形態に係るシステムの機能構成を示すブロック図である。図１及び図２では、術者２０１が手術台２０５上の患者２０３に対して手術を行っている際に、第１の実施形態に係るシステム１を用いて手術の様子が撮影されている様子を図示している。

図１－図３を参照すると、第１の実施形態に係るシステム１は、術者２０１の頭部に取り付けられる第１のカメラ１０１と、手術室の天井に設置され、手術の様子を撮影する第２のカメラ１０３と、手術室内に設置され、第１のカメラ１０１によって撮影された医療画像又は第２のカメラ１０３によって撮影された医療画像を表示する表示装置１０５と、表示装置１０５に表示された医療画像に対応する画像情報を保存する記憶装置１０７と、表示装置１０５に表示する医療画像及び記憶装置１０７に保存する画像情報を決定する制御装置１０９と、を備える。なお、記憶装置１０７及び制御装置１０９は、手術室内に設置されてもよいし、手術室とは離れた他の場所に設置されてもよい。ただし、手術室内を煩雑にしない観点からは、手術室以外の場所に設置されることが好ましい。なお、本明細書では、画像情報を保存することを、便宜的に、単に、画像を保存するとも記載することがある。

手術においては、処置内容や症例の記録のため、あるいは若手医師の教育等の目的で、手術中に患者２０３の術部に各種の処置が行われている様子を撮影することが求められることがある。システム１は、かかる目的で手術中に第１のカメラ１０１又は第２のカメラ１０３によって撮影された医療画像を管理する、医療用の画像管理システムである。

第１のカメラ１０１は、例えばヘッドバンドによって術者２０１の頭部に装着される小型カメラである。あるいは、第１のカメラ１０１は、ヘッドマウントディスプレイ（Head Mounted Display）や眼鏡型のウェアラブルデバイス等、術者２０１の頭部に装着されるデバイスに搭載されるカメラであってもよい。第１のカメラ１０１は、術者２０１の頭部に装着されることにより、当該術者２０１の視野に対応する医療画像を撮影し得る。以下では、第１のカメラ１０１のことを視野カメラ１０１ともいう。

第１の実施形態では、視野カメラ１０１に、当該視野カメラ１０１の姿勢を検出するための姿勢センサが設けられる。当該姿勢センサは、例えばジャイロセンサである。ただし、本実施形態はかかる例に限定されず、当該姿勢センサとしては、姿勢を検出するために用いられる各種の公知のものが用いられてよい。

視野カメラ１０１は、自身が撮影した医療画像（以下、視野画像ともいう）についての情報（視野画像情報）を、例えば当該医療画像のフレームレートに対応する所定の間隔で随時制御装置１０９に送信する。また、このとき、視野カメラ１０１は、当該視野画像情報とともに、当該視野カメラ１０１の状態を示す視野カメラ状態情報をメタデータとして当該視野画像情報に紐付けて、制御装置１０９に送信する。第１の実施形態では、視野カメラ状態情報には、少なくとも上記姿勢センサによって検出された視野カメラ１０１の姿勢についての情報が含まれる。なお、図３、並びに後述する図６、図９及び図１２では、医療画像についての情報の移動を実線の矢印で示し、当該医療画像についての情報に紐付けられたメタデータの移動を破線の矢印で示している。

第２のカメラ１０３は、手術の様子を定点撮影する、いわゆる術野カメラである。以下では、第２のカメラ１０３のことを術野カメラ１０３ともいう。術野カメラ１０３は、一般的に手術室に設置されている各種の公知のものと同様の構成及び機能を有してよい。例えば、術野カメラ１０３には、手術の様子、特に患者２０３の術部の様子が適切に撮影され得るように、その露光を自動調整するＡＥ（Auto Exposure）機能や、その焦点距離を自動調整するＡＦ（Auto Focus）機能が搭載され得る。

術野カメラ１０３は、自身が撮影した医療画像（以下、術野画像ともいう）についての情報（術野画像情報）を、例えば当該医療画像のフレームレートに対応する所定の間隔で随時制御装置１０９に送信する。また、このとき、術野カメラ１０３は、当該術野画像情報とともに、術野カメラ１０３の状態を示す術野カメラ状態情報をメタデータとして当該術野画像情報に紐付けて、制御装置１０９に送信する。第１の実施形態では、術野カメラ状態情報には、少なくとも、上述したＡＦ機能によって調整された、焦点距離についての情報が含まれる。

なお、本明細書では、視野カメラ１０１のように手術中にその位置及び／又は姿勢が移動可能に設けられるカメラのことを、移動カメラともいうことがある。また、術野カメラ１０３のようにその位置及び姿勢が固定的に設けられるカメラのことを、固定カメラともいうことがある。

表示装置１０５は、制御装置１０９からの制御により、視野カメラ１０１による視野画像又は術野カメラ１０３による術野画像を表示する。いずれの医療画像を表示するかは、制御装置１０９によって決定される。表示装置１０５としては、例えば、液晶ディスプレイ装置又はＥＬ（Electro Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。

記憶装置１０７は、制御装置１０９からの制御により、表示装置１０５に表示されたものに対応する、視野カメラ１０１による視野画像情報又は術野カメラ１０３による術野画像情報を保存する。この際、記憶装置１０７は、これらの画像情報に紐付けられたメタデータとともにこれらの画像情報を保存する。表示装置１０５に表示される医療画像と同様に、いずれの画像情報を保存するかは、制御装置１０９によって決定される。記憶装置１０７としては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等、情報を保存可能な各種の公知の装置を用いることができる。

制御装置１０９は、システム１における画像管理機能を統合的に制御する。具体的には、制御装置１０９は、その機能として、画像決定部１１１を有する。画像決定部１１１は、視野カメラ１０１による視野画像及び術野カメラ１０３による術野画像の中から、表示装置１０５に表示する医療画像及び記憶装置１０７に保存する画像情報（以下、採用する医療画像と総称する）を決定する。なお、制御装置１０９は、例えば、ＣＰＵ（Central Processing Unit）や、ＤＳＰ（Digital Signal Processor）等のプロセッサ、プロセッサとメモリ等の記憶素子が混載された制御基板、又はプロセッサが搭載されたＰＣ（Personal Computer）等の一般的な情報処理装置等であり得る。制御装置１０９を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、画像決定部１１１の機能が実現され得る。

第１の実施形態では、画像決定部１１１は、視野カメラ１０１から送信される視野カメラ状態情報及び術野カメラ１０３から送信される術野カメラ状態情報の少なくともいずれかに基づいて、採用する医療画像を決定する。この際、画像決定部１１１は、視野画像及び術野画像のうちで、観察対象である患者２０３の術部が含まれる医療画像を、採用する医療画像として決定する。

ここで、システム１は、複数の撮像装置（視野カメラ１０１及び術野カメラ１０３）を備え、これら複数の撮像装置によって手術中の医療画像が撮影される。一方、第１の実施形態においてこれらの医療画像を撮影する目的は、表示装置１０５への表示によって手術中に術部の様子を医療スタッフによって共有すること、並びに記憶装置１０７への保存によって手術の記録を残すこと、及び若手医師の教育用の資料を作成すること等である。従って、これら複数の撮像装置によって撮影される医療画像は、患者２０３の術部の医療画像（すなわち、当該術部に対して術者２０１が各種の処置を行っている様子を示す医療画像）であることが好ましい。患者２０３の術部に対して術者２０１が各種の処置を行っている様子を示す医療画像が表示装置１０５に表示されることにより、手術室内の医療スタッフが現在の術部の状態、及び術者２０１の処置内容を共有することができるため、円滑な手術の実行が実現される。また、患者２０３の術部に対して術者２０１が各種の処置を行っている様子を示す医療画像が記憶装置１０７に保存されることにより、後日手術の様子を確認する際に、有用な記録となり得る。

しかしながら、手術中の撮像装置の状態によっては、必ずしも適切な医療画像が撮影されるとは限らない。例えば、図１に示すように術者２０１が略正面を向いている場合、すなわち術者２０１の視野に患者２０３の術部が含まれない場合には、視野カメラ１０１では当該術部は撮影されないこととなる。一方、この場合には、術野カメラ１０３では、当該術部が撮影されている可能性が高い。

また、例えば、図２に示すように術者２０１が患者２０３の術部を覗き込んでいる場合には、術者２０１の視野に当該術部が含まれることとなり、視野カメラ１０１によって当該術部が撮影され得る。一方、この場合には、術者２０１の頭部が妨げとなり、術野カメラ１０３では当該術部が撮影されない可能性が高い。

従って、撮影された視野画像及び術野画像を全て表示及び保存すると、患者２０３の術部が含まれていない不要な医療画像まで表示及び保存されることとなり、上述した目的を好適に達成することができない。そこで、第１の実施形態では、上述したように、画像決定部１１１が、視野画像及び術野画像のうちで、患者２０３の術部がより確実に映っている医療画像を、採用する医療画像として決定する処理を実行することとしている。当該処理により、手術中における患者２０３の術部を含む、より適切な医療画像のみが表示及び保存されることとなる。

具体的には、システム１では、視野カメラ１０１の状態及び術野カメラ１０３の状態について、採用する医療画像として決定するかどうかを判定するための条件（以下、画像決定条件ともいう）が事前に設定されている。当該画像決定条件としては、撮像画像に患者２０３の術部が含まれるような条件が適宜設定される。画像決定部１１１は、視野カメラ状態情報及び／又は術野カメラ状態情報に基づいて、この画像決定条件が満たされているかどうかを判定する。そして、画像決定部１１１は、視野画像及び術野画像のうちで、その視野カメラ１０１の状態又は術野カメラ１０３の状態が当該画像決定条件を満たすものに対応する医療画像を、採用する医療画像として決定する。

例えば、視野カメラ１０１の状態についての画像決定条件は、視野カメラ１０１が水平方向から所定の角度以上傾いていることであることであってよい。当該所定の角度は、術者２０１の視野に患者２０３の術部が含まれ得るような角度の範囲の境界を示す値として、術者２０１の身長や、術者２０１と患者２０３との位置関係等に応じて適宜設定され得る。画像決定部１１１は、視野カメラ状態情報に含まれる視野カメラ１０１の姿勢についての情報に基づいて、視野カメラ１０１が水平方向から当該所定の角度以上傾いているかどうかを判定し、当該所定の角度以上傾いている場合には、視野画像を採用することを決定する。

また、例えば、術野カメラ１０３の状態についての画像決定条件は、術野カメラ１０３の焦点距離が所定の範囲内であることであってよい。当該所定の範囲は、術野カメラ１０３の焦点が患者２０３の術部におおよそ合致するような範囲として適宜設定され得る。術野カメラ１０３と患者２０３との位置関係から、術野カメラ１０３の焦点が患者２０３の術部に合致している場合における当該術野カメラ１０３の焦点距離は既知であるため、かかる所定の範囲を事前に設定することが可能である。画像決定部１１１は、術野カメラ状態情報に含まれる焦点距離についての情報に基づいて、術野カメラ１０３の焦点距離が当該所定の範囲に含まれるかどうかを判定し、当該所定の範囲内に含まれる場合には、術野画像を採用することを決定する。

なお、視野カメラ１０１の状態についての画像決定条件及び術野カメラ１０３の状態についての画像決定条件がともに満たされている場合には、画像決定部１１１は、視野画像及び術野画像のうちで、より確実に患者２０３の術部が映っている方を適宜選択してよい。例えば、視野カメラ１０１及び術野カメラ１０３の性能や、術部の特性等に応じて、術部をより確実に撮影し得る観点から視野画像及び術野画像に予め優先順位が設定されていてよく、画像決定部１１１は、視野カメラ１０１の状態についての画像決定条件及び術野カメラ１０３の状態についての画像決定条件がともに満たされている場合には、当該優先順位に従って、採用する医療画像を決定してよい。あるいは、例えば、画像決定部１１１は、視野カメラ１０１の状態についての画像決定条件が満たされている度合い、及び術野カメラ１０３の状態についての画像決定条件が満たされている度合いを、適当な評価関数を用いて定量的に評価してよく、視野カメラ１０１の状態についての画像決定条件及び術野カメラ１０３の状態についての画像決定条件がともに満たされている場合には、その度合いが大きい方に対応する医療画像を、採用する医療画像として決定してよい。

また、逆に、視野カメラ１０１の状態についての画像決定条件及び術野カメラ１０３の状態についての画像決定条件がともに満たされていない場合には、画像決定部１１１は、視野画像及び術野画像のいずれの医療画像も採用しなくてよい。この場合には、視野画像及び術野画像のいずれにも患者２０３の術部が明りょうに映っていないと考えられるため、その医療画像を表示及び保存する意義がほぼないからである。この場合、視野カメラ１０１の状態についての画像決定条件及び術野カメラ１０３の状態についての画像決定条件がともに満たされていない間は、表示装置１０５には何も表示されず、記憶装置１０７にも何も保存されないこととなる。

画像決定部１１１は、採用する医療画像を決定すると、表示装置１０５の動作を制御し、当該表示装置１０５に決定した医療画像を表示させる。また、画像決定部１１１は、記憶装置１０７の動作を制御し、当該記憶装置１０７に決定した医療画像を保存させる。この際、画像決定部１１１は、決定された医療画像に紐付けられているメタデータ（すなわち、決定された医療画像が視野画像であれば視野カメラ状態情報、決定された医療画像が術野画像であれば術野カメラ状態情報）も、当該医療画像と一緒に保存させる。

以上、第１の実施形態に係るシステム１の構成について説明した。なお、図１－図３では、表示装置１０５、記憶装置１０７及び制御装置１０９を、それぞれ別個の装置として記載しているが、システム１の構成はかかる例に限定されない。これらの装置と同様の機能を有する１つ又は複数の装置が設けられることにより、システム１が構成されればよく、システム１の具体的な装置構成は任意に決定されてよい。例えば、これらの装置は一体的な装置として構成されてもよい。この場合、制御装置１０９の中に、表示装置１０５と同様の機能を有する表示部、及び記憶装置１０７と同様の機能を有する記憶部が搭載されてもよい。

ここで、特許文献１に例示するように、手術中に撮影された医療画像を管理するシステムはこれまでにも開発されている。しかしながら、上述したように、特許文献１に記載の技術は、その撮影された医療画像を解析した結果を用いて医療画像の管理を行っているため、医療画像の解析に時間を要する場合や、医療画像が鮮明でない場合等、画像解析を円滑に行えない場合には、適切な医療画像の管理を行えない恐れがある。

これに対して、第１の実施形態によれば、上述したように、画像解析の結果を用いることなく、撮像装置の状態を示す撮像装置状態情報（視野カメラ状態情報及び／又は術野カメラ状態情報）に基づいて、採用する医療画像が決定される。従って、画像解析の結果を用いる場合に発生し得る不具合を回避することができ、より適切に医療画像の管理を行うことが可能になる。これにより、得られた医療画像を手術後に編集する作業が不要になり、医療スタッフの負担が軽減する。また、有意義な医療画像のみが自動的に保存されることとなるため、記憶装置１０７に保存されるデータ量を削減することができ、コストを低減することができる。

なお、第１の実施形態では、システム１は、視野カメラ１０１を含む。当該視野カメラ１０１は、実際に手術を行っている術者２０１の視野を再現し得るものであるため、手術の様子を示す医療画像として非常に有意義な医療画像であり得る。その反面、視野カメラ１０１は移動カメラであるため、その撮影範囲が手術中に頻繁に変化することが想定され、固定カメラに比べて、術部を含む適切な医療画像が撮影されていない可能性が高いと言える。従って、視野カメラ１０１のような移動カメラを含む複数の撮像装置によって手術の様子を撮影する場合においては、その撮影された医療画像の中から採用する医療画像を適切に決定することの重要性が高い。第１の実施形態に係るシステム１によれば、上述したように、より適切に医療画像の管理を行うことが可能になるため、当該システム１は、このような、手術中に撮影される医療画像に移動カメラによる撮像画像が含まれる場合により効果を奏するものである。

また、移動カメラの特性の１つとして、その位置及び姿勢が変化し得ることが挙げられる。当該特性に起因して、上述した術部を含む適切な医療画像が必ずしも撮影されないという不具合も生じ得る。これに対して、システム１では、上述したように、移動カメラである視野カメラ１０１の姿勢についての情報に基づいて画像決定条件の充足が判定され、採用する医療画像が決定される。つまり、移動カメラの特性を踏まえた画像決定条件が設定され、当該画像決定条件に基づいて採用する医療画像が決定される。このように、当該特性に起因して生じる上述した不具合をより効果的に解消し得るような、適切な画像決定条件を設定することにより、移動カメラによる撮像画像を採用する医療画像として決定するかどうかをより適切に判定することが可能になる。

なお、以上の説明では、視野カメラ１０１の状態についての画像決定条件が視野カメラ１０１の姿勢に関するものであり、これに対応して、視野カメラ状態情報は少なくとも視野カメラ１０１の姿勢についての情報を含んでいたが、第１の実施形態はかかる例に限定されない。視野カメラ状態情報は、視野カメラ１０１の状態に関する他の情報を含んでもよい。例えば、視野カメラ状態情報は、視野カメラ１０１の位置や、加速度等についての情報を含み得る。これらの情報は、例えば、視野カメラ１０１に位置センサや加速度センサを搭載することによって取得され得る。この場合、例えば、視野カメラ１０１が患者２０３の術部の直上の所定の範囲に位置する等、視野カメラ１０１によって当該術部が撮影されていることが想定されるような条件が、画像決定条件として適宜設定され得る。

また、以上の説明では、術野カメラ１０３の状態についての画像決定条件が術野カメラ１０３の姿勢に関するものであり、これに対応して、術野カメラ状態情報は少なくとも術野カメラ１０３の焦点距離についての情報を含んでいたが、第１の実施形態はかかる例に限定されない。術野カメラ状態情報は、術野カメラ１０３の状態に関する他の情報を含んでもよい。例えば、術野カメラ状態情報は、術野カメラ１０３の露出値についての情報を含み得る。当該情報は、術野カメラ１０３に搭載されるＡＥ機能によって調整された露出値として取得することができる。この場合には、例えば、術野カメラ１０３の露出値が所定の範囲内であることが、画像決定条件として設定され得る。当該所定の範囲は、例えば、術野カメラ１０３によって術部が適切に撮影されている場合に想定される露出値の範囲として、適宜設定される。

（１－２．制御方法）
図４を参照して、以上説明した第１の実施形態に係るシステム１の制御方法の処理手順について説明する。図４は、第１の実施形態に係る制御方法の処理手順の一例を示すフロー図である。なお、図４に示す各処理は、図１－図３に示す制御装置１０９によって実行される各処理に対応している。制御装置１０９を構成するプロセッサが所定のプログラムに従って動作することにより、図４に示す各処理が実行される。図４に示す各処理の詳細については、制御装置１０９の機能について説明する際に既に上述しているため、以下の第１の実施形態に係る制御方法の処理手順についての説明では、各処理の概要を述べるに留め、その詳細な説明は省略する。

図４を参照すると、第１の実施形態に係る制御方法では、まず、視野カメラ１０１から、視野画像情報及び視野カメラ状態情報が取得される（ステップＳ１０１）。ステップＳ１０１における処理は、図１－図３に示す視野カメラ１０１から制御装置１０９に対して、視野画像情報及び視野カメラ状態情報が送信される処理に対応している。

次に、術野カメラ１０３から、術野画像情報及び術野カメラ状態情報が取得される（ステップＳ１０３）。ステップＳ１０３における処理は、図１－図３に示す術野カメラ１０３から制御装置１０９に対して、術野画像情報及び術野カメラ状態情報が送信される処理に対応している。なお、図４では便宜的にステップＳ１０１における処理及びステップＳ１０３における処理が、この順に行われるように記載しているが、実際には、手術中に、ステップＳ１０１における処理及びステップＳ１０３における処理が、それぞれ所定の間隔（例えば、視野画像及び術野画像のフレームレートにそれぞれ対応する所定の間隔）で並行して実行され得る。

次に、視野カメラ状態情報及び／又は術野カメラ状態情報に基づいて、視野画像及び術野画像のうちで、採用する医療画像が決定される（ステップＳ１０５）。ステップＳ１０５における処理は、図１－図３に示す制御装置１０９の画像決定部１１１が実行する処理に対応している。

そして、決定された医療画像が、表示装置１０５に表示されるとともに、記憶装置１０７に保存される（ステップＳ１０７）。ステップＳ１０７における処理は、図１－図３に示す制御装置１０９の画像決定部１１１が表示装置１０５及び記憶装置１０７の動作をそれぞれ制御して実行させる処理に対応している。

以上、第１の実施形態に係る制御方法の処理手順について説明した。

（２．第２の実施形態）
本開示の第２の実施形態について説明する。なお、以下に説明する第２～第４の実施形態に係るシステムは、上述した第１の実施形態に係るシステム１に対して、設置される撮像装置の種類が変更されるとともに、それに応じて、画像決定部１１１が採用する医療画像を決定するための基準である画像決定条件が変更されたものに対応する。その他の事項は、第１の実施形態と略同様である。従って、以下の第２～第４の実施形態についての説明では、第１の実施形態と相違する事項について主に説明することとし、重複する事項についてはその詳細な説明を省略する。

（２－１．システムの構成）
図５及び図６を参照して、第２の実施形態に係るシステムの構成について説明する。図５は、第２の実施形態に係るシステムの概略構成を示す図である。図６は、第２の実施形態に係るシステムの機能構成を示すブロック図である。図５では、患者の術部２０９に対する手術に際し、第２の実施形態に係るシステム２を用いて当該手術の様子が撮影されている様子を図示している。

図５及び図６を参照すると、第２の実施形態に係るシステム２は、複数（図示する例では３台）の移動カメラ１２１と、複数の移動カメラ１２１の位置を検出する位置センサ１２３と、手術室内に設置され、複数の移動カメラ１２１によってそれぞれ撮影された医療画像のうちのいずれかの医療画像を表示する表示装置１０５と、表示装置１０５に表示された医療画像に対応する画像情報を保存する記憶装置１０７と、表示装置１０５に表示する医療画像及び記憶装置１０７に保存する画像情報を決定する制御装置１０９と、を備える。このように、システム２は、上述した第１の実施形態に係るシステム１において、視野カメラ１０１及び術野カメラ１０３の代わりに複数の移動カメラ１２１が設けられたものに対応する。

移動カメラ１２１は、例えば、術者の頭部、助手の頭部、及び手術に用いられる処置具（例えば鉗子等）にそれぞれ取り付けられる。術者の頭部及び助手の頭部に取り付けられる移動カメラ１２１は、第１の実施形態に係るシステム１における視野カメラ１０１と同様に、それぞれ、術者及び助手の視野を撮影する視野カメラとして機能する。処置具に取り付けられる移動カメラ１２１は、当該処置具が術部２０９に近付けられた際に、当該術部２０９を撮影し得る。なお、移動カメラ１２１が取り付けられるものはかかる例に限定されず、第２の実施形態では、移動カメラ１２１は、手術中に術部２０９に向けられ得る各種のものに取り付けられてよい。また、各移動カメラ１２１には、ＡＦ機能が搭載され得る。

各移動カメラ１２１は、自身が撮影した医療画像（以下、移動カメラ画像ともいう）についての情報（移動カメラ画像情報）を、例えば当該医療画像のフレームレートに対応する所定の間隔で随時制御装置１０９に送信する。また、このとき、各移動カメラ１２１は、移動カメラ画像情報とともに、自身の状態を示す移動カメラ状態情報をメタデータとして当該移動カメラ画像情報に紐付けて、制御装置１０９に送信する。第２の実施形態では、移動カメラ状態情報には、少なくとも、上述したＡＦ機能によって調整された焦点距離についての情報が含まれる。

各移動カメラ１２１には位置を検出するためのマーカー１２５が取り付けられており、位置センサ１２３は、これらマーカー１２５の位置を検出することにより、各移動カメラの位置を検出する。例えば、位置センサ１２３は磁気センサであり、マーカー１２５は磁気マーカーである。あるいは、例えば、位置センサ１２３はステレオカメラ等の深さ情報を取得可能なカメラであり、位置センサ１２３は、撮影した画像の中からマーカー１２５を検出することにより、各移動カメラ１２１の位置を検出する。位置センサ１２３は、検出した各移動カメラ１２１の位置情報を、制御装置１０９に送信する。位置センサ１２３が当該位置情報を制御装置１０９に送信する間隔は、例えば移動カメラ１２１が移動カメラ画像情報を制御装置１０９に送信する間隔と同程度であってよい。なお、位置センサ１２３は、各移動カメラ１２１の３次元的な位置を検出可能なものであればよく、位置センサ１２３としては各種の公知のものが用いられてよい。

位置センサ１２３が検出した各移動カメラ１２１の位置情報は、各移動カメラ１２１の状態を示す移動カメラ状態情報の一種であると言える。このように、第２の実施形態では、移動カメラ１２１とは別途設けられる位置センサ１２３によって、移動カメラ状態情報が取得される。

第１の実施形態と同様に、制御装置１０９は、その機能として、画像決定部１１１を有する。画像決定部１１１は、複数の移動カメラ１２１による移動カメラ画像の中から、表示装置１０５に表示する一の医療画像及び記憶装置１０７に保存する一の医療画像（すなわち、採用する一の医療画像）を決定する。

画像決定部１１１は、移動カメラ１２１及び位置センサ１２３から送信される移動カメラ状態情報に基づいて、採用する医療画像を決定する。この際、第２の実施形態においても、第１の実施形態と同様に、画像決定部１１１は、複数の移動カメラ１２１による移動カメラ画像のうちで、観察対象である術部２０９が含まれる医療画像を、採用する医療画像として決定する。

具体的には、システム２では、移動カメラ１２１の状態について、撮像画像に術部２０９が含まれるような条件が、画像決定条件として事前に設定されている。画像決定部１１１は、移動カメラ状態情報に基づいて、この画像決定条件が満たされているかどうかを判定する。そして、画像決定部１１１は、複数の移動カメラ画像の中から、その移動カメラ１２１の状態が当該画像決定条件を満たすものに対応する医療画像を、採用する医療画像として決定する。

例えば、移動カメラ１２１の状態についての画像決定条件は、移動カメラ１２１の焦点が術部２０９に合っていることである。手術室内において患者の術部２０９の位置は既知である。制御装置１０９には、位置センサ１２３から、移動カメラ状態情報として各移動カメラ１２１の位置情報が送信されているため、画像決定部１１１は、かかる位置情報に基づいて、各移動カメラ１２１と術部２０９との位置関係をそれぞれ算出することができる。また、制御装置１０９には、各移動カメラ１２１から、移動カメラ状態情報として焦点距離についての情報が送信されている。従って、画像決定部１１１は、手術室内における術部２０９の位置と、算出した上記位置関係と、焦点距離についての情報から、各移動カメラ１２１の焦点が術部２０９に合っているかどうかを判定することができる。すなわち、各移動カメラ１２１の状態が上記画像決定条件を満たすかどうかを判定することができる。

判定の結果、いずれかの移動カメラ１２１の状態が上記術部含有条件を満たす場合には、画像決定部１１１は、その画像決定条件を満たす移動カメラ１２１によって撮影された移動カメラ画像を、採用する医療画像として決定する。例えば、図５に示す例であれば、図中、右上に位置する移動カメラ１２１のように、その撮影方向が術部２０９が存在する方向とは異なる方向を向いているものや、図中、右下に位置する移動カメラ１２１のように、移動カメラ１２１の撮影方向が術部２０９が存在する方向を向いているものの間に遮蔽物２０７（例えば、他の医療スタッフや手術に用いられる各種の器具等）が存在するものについては、その焦点が術部２０９に合っていない、すなわち画像決定条件を満たしていないと判定されることとなる。そして、図中、左側に位置する移動カメラ１２１のように、その撮影方向が術部２０９が存在する方向を向くとともに、当該移動カメラ１２１と術部２０９との距離と、当該移動カメラ１２１の焦点距離と、からその焦点が術部２０９に合っていると考えられるものが、画像決定条件を満たす移動カメラ１２１であると判定される。従って、当該移動カメラ１２１による移動カメラ画像が、採用する医療画像として決定される。

なお、複数の移動カメラ１２１の状態についての画像決定条件が同時に満たされている場合には、画像決定部１１１は、これらに対応する複数の移動カメラ画像の中で、より確実に術部２０９が映っている方を適宜選択してよい。例えば、各移動カメラ１２１の性能や、術部の特性等に応じて、術部をより確実に撮影し得る観点から各移動カメラ１２１に予め優先順位が設定されていてよく、画像決定部１１１は、複数の移動カメラ１２１の状態についての画像決定条件が同時に満たされている場合には、当該優先順位に従って、採用する医療画像を決定してよい。あるいは、例えば、画像決定部１１１は、各移動カメラ１２１の状態についての画像決定条件が満たされている度合いを、適当な評価関数を用いて定量的に評価してよく、複数の移動カメラ１２１の状態についての画像決定条件が同時に満たされている場合には、その度合いが大きい方に対応する医療画像を、採用する医療画像として決定してよい。

また、逆に、複数の移動カメラ１２１の状態についての画像決定条件がいずれも満たされていない場合には、画像決定部１１１は、いずれの移動カメラ画像も採用しなくてよい。この場合には、いずれの移動カメラ画像にも術部２０９が明りょうに映っていないと考えられるため、その医療画像を表示及び保存する意義がほぼないからである。

画像決定部１１１は、採用する医療画像を決定すると、表示装置１０５の動作を制御し、当該表示装置１０５に決定した医療画像を表示させる。また、画像決定部１１１は、記憶装置１０７の動作を制御し、当該記憶装置１０７に決定した医療画像を保存させる。この際、画像決定部１１１は、決定された医療画像に紐付けられているメタデータ（すなわち、決定された医療画像を撮影した移動カメラ１２１についての移動カメラ状態情報）も、当該医療画像と一緒に保存させる。

以上、第２の実施形態に係るシステム２の構成について説明した。なお、以上の説明では、移動カメラ状態情報は移動カメラ１２１の位置情報及び焦点距離についての情報を含んでいたが、第２の実施形態はかかる例に限定されない。移動カメラ状態情報は、焦点が術部２０９に合っているという画像決定条件の判定に寄与し得るものを含んでいればよく、必ずしもこれらの情報を含まなくてもよいし、他の各種の情報を含んでもよい。例えば、各移動カメラ１２１の姿勢についての情報は、各移動カメラの撮影方向を示すものであり得るため、画像決定条件の判定に寄与し得るものである。従って、各移動カメラ１２１に姿勢センサが搭載され、当該姿勢センサによって検出された各移動カメラ１２１の姿勢についての情報が、移動カメラ状態情報に含まれてもよい。

（２－２．制御方法）
図７を参照して、以上説明した第２の実施形態に係るシステム２における制御方法の処理手順について説明する。図７は、第２の実施形態に係る制御方法の処理手順の一例を示すフロー図である。なお、図７に示す各処理は、図５及び図６に示す制御装置１０９によって実行される各処理に対応している。制御装置１０９を構成するプロセッサが所定のプログラムに従って動作することにより、図７に示す各処理が実行される。図７に示す各処理の詳細については、制御装置１０９の機能について説明する際に既に上述しているため、以下の第２の実施形態に係る制御方法の処理手順についての説明では、各処理の概要を述べるに留め、その詳細な説明は省略する。

図７を参照すると、第２の実施形態に係る制御方法では、まず、移動カメラ１２１から、移動カメラ画像情報及び移動カメラ状態情報が取得される（ステップＳ２０１）。ステップＳ２０１における処理は、図５及び図６に示す各移動カメラ１２１から制御装置１０９に対して、移動カメラ画像情報及び移動カメラ状態情報が送信される処理に対応している。

次に、位置センサ１２３から、移動カメラ状態情報（具体的には、各移動カメラ１２１の位置情報）が取得される（ステップＳ２０３）。ステップＳ２０３における処理は、図５及び図６に示す位置センサ１２３から制御装置１０９に対して、移動カメラ状態情報として各移動カメラ１２１の位置情報が送信される処理に対応している。なお、図７では便宜的にステップＳ２０１における処理及びステップＳ２０３における処理が、この順に行われるように記載しているが、実際には、手術中に、ステップＳ２０１における処理及びステップＳ２０３における処理が、それぞれ所定の間隔（例えば、移動カメラ画像のフレームレートに対応する所定の間隔）で並行して実行され得る。

次に、移動カメラ状態情報に基づいて、複数の移動カメラ画像の中から、採用する医療画像が決定される（ステップＳ２０５）。ステップＳ２０５における処理は、図５及び図６に示す制御装置１０９の画像決定部１１１が実行する処理に対応している。

そして、決定された医療画像が、表示装置１０５に表示されるとともに、記憶装置１０７に保存される（ステップＳ２０７）。ステップＳ２０７における処理は、図５及び図６に示す制御装置１０９の画像決定部１１１が表示装置１０５及び記憶装置１０７の動作をそれぞれ制御して実行させる処理に対応している。

以上、第２の実施形態に係る制御方法の処理手順について説明した。

（３．第３の実施形態）
（３－１．システムの構成）
図８及び図９を参照して、第３の実施形態に係るシステムの構成について説明する。図８は、第３の実施形態に係るシステムの概略構成を示す図である。図９は、第３の実施形態に係るシステムの機能構成を示すブロック図である。図８では、患者の術部２０９に対する手術に際し、第３の実施形態に係るシステム３を用いて当該手術の様子が撮影されている様子を図示している。

図８及び図９を参照すると、第３の実施形態に係るシステム３は、患者の術部２０９を拡大観察するための顕微鏡装置５３０１と、患者の術部２０９の内部又は裏側を観察するための内視鏡装置５４０１と、手術室内に設置され、顕微鏡装置５３０１及び内視鏡装置５４０１によってそれぞれ撮影された医療画像のうちの少なくともいずれかの医療画像を表示する表示装置１０５と、表示装置１０５に表示された医療画像に対応する画像情報を保存する記憶装置１０７と、表示装置１０５に表示する医療画像及び記憶装置１０７に保存する画像情報を決定する制御装置１０９と、を備える。このように、システム３は、上述した第１の実施形態に係るシステム１において、視野カメラ１０１及び術野カメラ１０３の代わりに顕微鏡装置５３０１及び内視鏡装置５４０１が設けられたものに対応する。つまり、システム３は、顕微鏡装置５３０１及び内視鏡装置５４０１を併用する手術に対して好適に適用される。

顕微鏡装置５３０１は、観察対象である患者の術部２０９を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、顕微鏡装置５３０１の動作を制御する顕微鏡制御装置５３１７と、を有する。顕微鏡装置５３０１では、アーム部５３０９によって、当該アーム部５３０９の可動範囲内において、顕微鏡部５３０３の位置及び姿勢を任意に制御することができる。つまり、顕微鏡装置５３０１は、その撮像機能を有する顕微鏡部５３０３が移動可能に構成されるものであり、移動カメラの一種であると言える。アーム部５３０９によって顕微鏡部５３０３が支持されることにより、顕微鏡部５３０３の位置決めを高精度に行うことができるとともに、その位置及び姿勢を所望の状態でより確実に維持することができるため、より安定的に撮像画像を得ることが可能になる。

顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。

筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light Emitting Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。

撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして顕微鏡制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。

なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。撮像部には、その光学系を適宜駆動させることにより、焦点距離を自動で調整する機能（すなわち、ＡＦ機能）が搭載される。また、撮像部には、ＡＥ機能等、一般的に電子撮像式の顕微鏡部に備えられる各種の機能が搭載され得る。

また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。

操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザ（システム３、並びに顕微鏡装置５３０１及び内視鏡装置５４０１を使用する術者等の医療スタッフ）の操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。

アーム部５３０９は、複数のリンク（第１リンク５３１３ａ～第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ～第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。

第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ_１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ_１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ_１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。

第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ_１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。

第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ_１と直交する回転軸（第２軸Ｏ_２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。

第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ_２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。

第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ_１及び第２軸Ｏ_２と互いに直交する回転軸（第３軸Ｏ_３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ_２及び第３軸Ｏ_３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ_２及び第３軸Ｏ_３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。

第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。

第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ_３と直交する回転軸（第４軸Ｏ_４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。

第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ_４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。

第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ_４と平行な回転軸（第５軸Ｏ_５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ_４及び第５軸Ｏ_５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ_４及び第５軸Ｏ_５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。

第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。

第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ_６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。

第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。

第１関節部５３１１ａ～第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。

なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置１０５を見るユーザ、特に術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、当該ユーザにとってより利便性の高い制御が実現され得る。

ここで、第１関節部５３１１ａ～第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ～第６関節部５３１１ｆに設けられる各アクチュエータの駆動が顕微鏡制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、顕微鏡制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。顕微鏡制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、顕微鏡制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。

例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて顕微鏡制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。

また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離が固定された状態で用いられる場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を適宜変更しながら用いられる場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、顕微鏡部５３０３に設けられるＡＦ機能を用いて、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われる。あるいは、顕微鏡制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。

また、第１関節部５３１１ａ～第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、顕微鏡制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、顕微鏡制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、顕微鏡制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。

このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。

顕微鏡制御装置５３１７は、顕微鏡装置５３０１の動作を制御する。例えば、顕微鏡制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、顕微鏡制御装置５３１７は、第１関節部５３１１ａ～第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、顕微鏡制御装置５３１７は、顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成する。すなわち、顕微鏡制御装置５３１７は、ＣＣＵ（Camera Control Unit）の機能を有する。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。

なお、顕微鏡制御装置５３１７と顕微鏡部５３０３との通信、及び顕微鏡制御装置５３１７と第１関節部５３１１ａ～第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。

顕微鏡制御装置５３１７は、生成した表示用の画像データ、すなわち顕微鏡部５３０３によって撮影された医療画像（以下、顕微鏡画像ともいう）についての情報（顕微鏡画像情報）を、例えば当該医療画像のフレームレートに対応する所定の間隔で随時制御装置１０９に送信する。また、このとき、顕微鏡制御装置５３１７は、顕微鏡画像情報とともに、顕微鏡装置５３０１の状態（より詳細には顕微鏡部５３０３の状態）を示す顕微鏡装置状態情報をメタデータとして当該顕微鏡画像情報に紐付けて、制御装置１０９に送信する。第３の実施形態では、顕微鏡装置状態情報には、少なくとも、アーム部５３０９の動作の制御のために得られる顕微鏡部５３０３の現在の位置及び姿勢についての情報、及びＡＦ機能によって調整された顕微鏡部５３０３の焦点距離についての情報が含まれる。

顕微鏡制御装置５３１７は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載された制御基板等であり得る。顕微鏡制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、顕微鏡制御装置５３１７は、顕微鏡装置５３０１の本体（顕微鏡部５３０３、アーム部５３０９及びベース部５３１５）とは別個の装置として設けられているが、顕微鏡制御装置５３１７は、例えば顕微鏡装置５３０１のベース部５３１５の内部に設置される等、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、顕微鏡制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ～第６関節部５３１１ｆにそれぞれ制御基板等が配設され、これらが互いに通信可能に接続されることにより、顕微鏡制御装置５３１７と同様の機能が実現されてもよい。

内視鏡装置５４０１は、観察対象である患者の術部２０９を観察するための内視鏡５４０３と、内視鏡５４０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、内視鏡装置５４０１の動作を制御する内視鏡制御装置５４１７と、を有する。内視鏡装置５４０１では、アーム部５３０９によって、当該アーム部５３０９の可動範囲内において、内視鏡５４０３の位置及び姿勢を任意に制御することができる。つまり、内視鏡装置５４０１は、その撮像機能を有する内視鏡５４０３が移動可能に構成されるものであり、移動カメラの一種であると言える。このように、アーム部５３０９によって内視鏡５４０３が支持されることにより、内視鏡５４０３の位置決めを高精度に行うことができるとともに、その位置及び姿勢を所望の状態でより確実に維持することができるため、より安定的に撮像画像を得ることが可能になる。

内視鏡装置５４０１は、顕微鏡装置５３０１において、顕微鏡部５３０３の代わりに内視鏡５４０３がアーム部５３０９によって支持されるとともに、顕微鏡制御装置５３１７が内視鏡制御装置５４１７に置換されたものに対応する。ただし、内視鏡制御装置５４１７の機能は、画像処理を行う対象が内視鏡５４０３によって取得された画像信号に代わるだけであり、例えばアーム部５３０９の動作の制御に係る機能等、その他の機能は顕微鏡制御装置５３１７と同様である。このように、アーム部５３０９の構成や、内視鏡制御装置５４１７の機能の多くは、顕微鏡装置５３０１と同様であるため、ここでは重複する事項についてはその説明を省略する。

内視鏡５４０３は、先端から所定の長さの領域が患者の体腔内に挿入される鏡筒５４０５と、鏡筒５４０５の基端に接続されるカメラヘッド５４０７と、から構成される。図示する例では、硬性の鏡筒５４０５を有するいわゆる硬性鏡として構成される内視鏡５４０３を図示しているが、内視鏡５４０３は、軟性の鏡筒５４０５を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５４０５の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５４０３には光源装置（図示せず）が接続されており、当該光源装置によって生成された光が、鏡筒５４０５の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者の体腔内の観察対象である術部２０９に向かって照射される。なお、内視鏡５４０３は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５４０７の内部には光学系及び撮像素子からなる撮像部が設けられており、観察対象からの反射光（観察光）は、鏡筒５４０５内を導光された後、当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとして内視鏡制御装置５４１７に送信される。

なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。撮像部には、その光学系を適宜駆動させることにより、焦点距離を自動で調整する機能（すなわち、ＡＦ機能）が搭載される。また、撮像部には、ＡＥ機能等、一般的に内視鏡に備えられる各種の機能が搭載され得る。

また、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５４０７には撮像素子が複数設けられてもよい。この場合、鏡筒５４０５の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

内視鏡制御装置５４１７は、内視鏡装置５４０１の動作を制御する。具体的には、内視鏡制御装置５４１７は、顕微鏡装置５３０１と同様に、所定の制御方式に従ってアーム部５３０９の駆動を制御する。また、内視鏡制御装置５４１７は、アーム部５３０９の動作モードを変更する。また、内視鏡制御装置５４１７は、内視鏡５４０３のカメラヘッド５４０７の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成する。すなわち、内視鏡制御装置５４１７は、ＣＣＵの機能を有する。当該信号処理では、顕微鏡制御装置５３１７と同様に、各種の公知の信号処理が行われ得る。

内視鏡制御装置５４１７は、生成した表示用の画像データ、すなわち内視鏡５４０３によって撮影された医療画像（以下、内視鏡画像ともいう）についての情報（内視鏡画像情報）を、例えば当該医療画像のフレームレートに対応する所定の間隔で随時制御装置１０９に送信する。また、このとき、内視鏡制御装置５４１７は、内視鏡画像情報とともに、内視鏡装置５４０１の状態（より詳細には内視鏡５４０３の状態）を示す内視鏡装置状態情報をメタデータとして当該内視鏡装置画像情報に紐付けて、制御装置１０９に送信する。第３の実施形態では、内視鏡装置状態情報には、少なくとも、アーム部５３０９の制御のために得られる内視鏡５４０３の現在の位置及び姿勢についての情報、及びＡＦ機能によって調整された内視鏡５４０３の焦点距離についての情報が含まれる。

なお、内視鏡制御装置５４１７は、ＣＰＵ、ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載された制御基板等であり得る。内視鏡制御装置５４１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。内視鏡制御装置５４１７の具体的な装置構成は、顕微鏡制御装置５３１７と同様であってよい。

第１の実施形態と同様に、制御装置１０９は、その機能として、画像決定部１１１を有する。画像決定部１１１は、顕微鏡装置５３０１及び内視鏡装置５４０１によってそれぞれ撮影された医療画像の中から、表示装置１０５に表示する医療画像及び記憶装置１０７に保存する医療画像（すなわち、採用する医療画像）を決定する。

画像決定部１１１は、顕微鏡装置５３０１及び内視鏡装置５４０１からそれぞれ送信される顕微鏡装置状態情報及び内視鏡装置状態情報に基づいて、採用する医療画像を決定する。この際、第３の実施形態においても、第１の実施形態と同様に、画像決定部１１１は、顕微鏡装置５３０１による顕微鏡画像及び内視鏡装置５４０１による内視鏡画像のうちで、観察対象である術部２０９が含まれる医療画像を、採用する医療画像として決定する。

具体的には、システム３では、顕微鏡装置５３０１及び内視鏡装置５４０１の状態について、それぞれ、その撮像画像に術部２０９が含まれるような条件が、画像決定条件として事前に設定されている。画像決定部１１１は、顕微鏡装置状態情報及び内視鏡装置状態情報に基づいて、顕微鏡装置５３０１及び内視鏡装置５４０１の状態について、それぞれ、この画像決定条件が満たされているかどうかを判定する。そして、画像決定部１１１は、顕微鏡画像及び内視鏡画像の中から、顕微鏡装置５３０１の状態及び内視鏡装置５４０１の状態が当該画像決定条件を満たすものに対応する医療画像を、採用する医療画像として決定する。

例えば、顕微鏡装置５３０１の状態についての画像決定条件は、顕微鏡装置５３０１の顕微鏡部５３０３の焦点が術部２０９に合っていることである。手術室内において患者の術部２０９の位置は既知である。制御装置１０９には、顕微鏡制御装置５３１７から、顕微鏡状態情報として、顕微鏡部５３０３の位置及び姿勢についての情報が送信されているため、画像決定部１１１は、当該情報に基づいて、顕微鏡部５３０３と術部２０９との位置関係を算出することができる。また、制御装置１０９には、顕微鏡制御装置５３１７から、顕微鏡状態情報として、顕微鏡部５３０３の焦点距離についての情報が送信されている。従って、画像決定部１１１は、手術室内における術部２０９の位置と、算出した上記位置関係と、焦点距離についての情報から、顕微鏡部５３０３の焦点が術部２０９に合っているかどうかを判定することができる。すなわち、顕微鏡装置５３０１の状態が上記画像決定条件を満たすかどうかを判定することができる。

内視鏡装置５４０１についても同様である。手術室内において患者の術部２０９の位置は既知であり、また、制御装置１０９には、内視鏡制御装置５４１７から、内視鏡状態情報として、内視鏡５４０３の位置及び姿勢についての情報が送信されているため、画像決定部１１１は、当該情報に基づいて、内視鏡５４０３と術部２０９との位置関係を算出することができる。また、制御装置１０９には、内視鏡制御装置５４１７から、内視鏡状態情報として、内視鏡５４０３の焦点距離についての情報が送信されている。従って、画像決定部１１１は、手術室内における術部２０９の位置と、算出した上記位置関係と、焦点距離についての情報から、内視鏡５４０３の焦点が術部２０９に合っているかどうかを判定することができる。すなわち、内視鏡装置５４０１の状態が上記画像決定条件を満たすかどうかを判定することができる。

判定の結果、顕微鏡装置５３０１の状態及び内視鏡装置５４０１の状態の少なくともいずれかが上記画像決定条件を満たす場合には、画像決定部１１１は、顕微鏡装置５３０１の状態及び内視鏡装置５４０１のうちで当該画像決定条件を満たすものによって撮影された医療画像を、採用する医療画像として決定する。

ここで、第１及び第２の実施形態では、複数の撮像装置（第１の実施形態であれば視野カメラ１０１及び術野カメラ１０３、第２の実施形態であれば複数の移動カメラ１２１）によってそれぞれ撮影された医療画像について、その中のいずれか１つの医療画像が、採用する医療画像として決定されていた。しかし、第３の実施形態では、画像決定条件を満たしていれば、複数の医療画像が採用され得る。つまり、第３の実施形態では、画像決定部１１１は、顕微鏡装置５３０１の状態が画像決定条件を満たし、内視鏡装置５４０１の状態が画像決定条件を満たさない場合には、採用する医療画像として、顕微鏡画像を決定する。また、画像決定部１１１は、顕微鏡装置５３０１の状態が画像決定条件を満たさず、内視鏡装置５４０１の状態が画像決定条件を満たす場合には、採用する医療画像として、内視鏡画像を決定する。また、画像決定部１１１は、顕微鏡装置５３０１の状態及び内視鏡装置５４０１の状態がともに画像決定条件を満たす場合には、採用する医療画像として、顕微鏡画像及び内視鏡画像をともに決定する。

なお、顕微鏡装置５３０１の状態についての画像決定条件及び内視鏡装置５４０１の状態についての画像決定条件がともに満たされていない場合には、画像決定部１１１は、顕微鏡画像及び内視鏡画像のいずれの医療画像も採用しなくてよい。この場合には、顕微鏡画像及び内視鏡画像のいずれにも術部２０９が明りょうに映っていないと考えられるため、その医療画像を表示及び保存する意義がほぼないからである。

画像決定部１１１は、採用する医療画像を決定すると、表示装置１０５の動作を制御し、当該表示装置１０５に決定した医療画像を表示させる。また、画像決定部１１１は、記憶装置１０７の動作を制御し、当該記憶装置１０７に決定した医療画像を保存させる。この際、画像決定部１１１は、決定された医療画像に紐付けられているメタデータ（すなわち、決定された医療画像が顕微鏡画像であれば顕微鏡装置状態情報、決定された医療画像が内視鏡画像であれば内視鏡装置状態情報）も、当該医療画像と一緒に保存させる。

両方の医療画像が採用された場合には、表示装置１０５には、顕微鏡画像及び内視鏡画像がともに表示される。例えば、表示装置１０５の表示面が２つの領域に分割され、その２つの領域に顕微鏡画像及び内視鏡画像がそれぞれ表示され得る。あるいは、表示装置１０５が複数設けられてもよく、各表示装置１０５に顕微鏡画像及び内視鏡画像がそれぞれ表示されてもよい。

ここで、システム３のように、顕微鏡装置５３０１及び内視鏡装置５４０１をともに用いる手術においては、例えば顕微鏡画像によって術部２０９の表面を観察し、内視鏡画像によって術部２０９の内部又は裏面等を観察しながら、手術を行う形態が考えられる。このように、顕微鏡画像及び内視鏡画像については、その用途及び目的が異なるため、その両方が表示、保存されることに意義がある。しかし、術部２０９が含まれない医療画像や、術部２０９が不鮮明な医療画像まで表示、保存されても意味がない。従って、第３の実施形態では、いずれか一方のみが画像決定条件を満たす場合にはその画像決定条件を満たす方に対応する医療画像のみを表示、保存し、両方が画像決定条件を満たす場合には両方の医療画像を表示、保存する。これにより、より適切な医療画像の管理が可能になる。

以上、第３の実施形態に係るシステム３の構成について説明した。なお、以上の説明では、顕微鏡装置状態情報は顕微鏡部５３０３の現在の位置及び姿勢についての情報、及び顕微鏡部５３０３の焦点距離についての情報を含んでおり、内視鏡装置状態情報は内視鏡５４０３の現在の位置及び姿勢についての情報、及び内視鏡５４０３の焦点距離についての情報を含んでいたが、第３の実施形態はかかる例に限定されない。顕微鏡装置状態情報及び内視鏡装置状態情報は、焦点が術部２０９に合っているという画像決定条件の判定に寄与し得るものを含んでいればよく、必ずしもこれらの情報を含まなくてもよいし、他の各種の情報を含んでもよい。

（３－２．制御方法）
図１０を参照して、以上説明した第３の実施形態に係るシステム３における制御方法の処理手順について説明する。図１０は、第３の実施形態に係る制御方法の処理手順の一例を示すフロー図である。なお、図１０に示す各処理は、図８及び図９に示す制御装置１０９によって実行される各処理に対応している。制御装置１０９を構成するプロセッサが所定のプログラムに従って動作することにより、図１０に示す各処理が実行される。図１０に示す各処理の詳細については、制御装置１０９の機能について説明する際に既に上述しているため、以下の第３の実施形態に係る制御方法の処理手順についての説明では、各処理の概要を述べるに留め、その詳細な説明は省略する。

図１０を参照すると、第３の実施形態に係る制御方法では、まず、顕微鏡装置５３０１から、顕微鏡画像情報及び顕微鏡装置状態情報が取得される（ステップＳ３０１）。ステップＳ３０１における処理は、図８及び図９に示す顕微鏡装置５３０１から制御装置１０９に対して、顕微鏡画像情報及び顕微鏡装置状態情報が送信される処理に対応している。

次に、内視鏡装置５４０１から、内視鏡画像情報及び内視鏡装置状態情報が取得される（ステップＳ３０３）。ステップＳ３０３における処理は、図８及び図９に示す内視鏡装置５４０１から制御装置１０９に対して、内視鏡画像情報及び内視鏡装置状態情報が送信される処理に対応している。なお、図１０では便宜的にステップＳ３０１における処理及びステップＳ３０３における処理が、この順に行われるように記載しているが、実際には、手術中に、ステップＳ３０１における処理及びステップＳ３０３における処理が、それぞれ所定の間隔（例えば、顕微鏡画像及び内視鏡画像のフレームレートにそれぞれ対応する所定の間隔）で並行して実行され得る。

次に、顕微鏡装置状態情報及び内視鏡装置状態情報に基づいて、顕微鏡画像及び内視鏡画像の中から、採用する医療画像が決定される（ステップＳ３０５）。ステップＳ３０５における処理は、図８及び図９に示す制御装置１０９の画像決定部１１１が実行する処理に対応している。この際、第３の実施形態では、顕微鏡画像及び内視鏡画像のいずれか一方が採用されることもあるし、顕微鏡画像及び内視鏡画像の両方が採用されることもある。

そして、決定された医療画像が、表示装置１０５に表示されるとともに、記憶装置１０７に保存される（ステップＳ３０７）。ステップＳ３０７における処理は、図８及び図９に示す制御装置１０９の画像決定部１１１が表示装置１０５及び記憶装置１０７の動作をそれぞれ制御して実行させる処理に対応している。

以上、第３の実施形態に係る制御方法の処理手順について説明した。

（４．第４の実施形態）
（４－１．システムの構成）
図１１及び図１２を参照して、第４の実施形態に係るシステムの構成について説明する。図１１は、第４の実施形態に係るシステムの概略構成を示す図である。図１２は、第４の実施形態に係るシステムの機能構成を示すブロック図である。図１１では、手術台２０５上の患者２０３に対する手術に際し、第４の実施形態に係るシステム４を用いて当該手術の様子が撮影されている様子を図示している。

図１１及び図１２を参照すると、第４の実施形態に係るシステム４は、手術中に患者２０３のＸ線断層画像を撮影するＸ線画像撮影装置１３１と、患者２０３の血管内の超音波画像を撮影する超音波画像撮影装置１３３と、手術室内に設置され、超音波画像撮影装置１３３によって撮影された血管内画像とともに、Ｘ線画像撮影装置１３１によって撮影された患者２０３の身体の互いに異なる場所を映した複数のＸ線断層画像のうちのいずれか１つを表示する表示装置１０５と、表示装置１０５に表示された医療画像に対応する画像情報を保存する記憶装置１０７と、表示装置１０５に表示するＸ線断層画像及び記憶装置１０７に保存するＸ線断層画像を決定する制御装置１０９と、を備える。このように、システム４は、上述した第１の実施形態に係るシステム１において、視野カメラ１０１及び術野カメラ１０３の代わりにＸ線画像撮影装置１３１及び超音波画像撮影装置１３３が設けられたものに対応する。つまり、システム４は、Ｘ線画像撮影装置１３１及び超音波画像撮影装置１３３を併用する手術に対して好適に適用される。

Ｘ線画像撮影装置１３１は、Ｃアームを備え、当該Ｃアームが手術台２０５の長手方向（すなわち、患者２０３の身長方向）に移動しながら、当該患者２０３のＸ線断層画像を撮影する。このように、Ｘ線画像撮影装置１３１は、その撮像機能を有するＣアームを移動させながら撮影を行うものであり、移動カメラの一種であると言える。図１１では、簡単のため、Ｘ線画像撮影装置１３１としてＣアームのみを図示しているが、Ｘ線画像撮影装置１３１は、一般的なＣアームを有するＸ線画像撮影装置と同様の構成を有し得る。Ｘ線画像撮影装置１３１の具体的な構成は、一般的なＣアームを有するＸ線画像撮影装置と同様であってよいため、ここではその詳細な説明を省略する。

Ｘ線画像撮影装置１３１は、撮影したＸ線断層画像についての情報（Ｘ線断層画像情報）を、例えば当該Ｘ線断層画像のフレームレートに対応する所定の間隔で制御装置１０９に送信する。つまり、Ｘ線画像撮影装置１３１によって、患者２０３の身体の互いに異なる場所を映した複数のＸ線断層画像が撮影され、かかる複数のＸ線断層画像についての情報が随時制御装置１０９に送信される。また、このとき、Ｘ線画像撮影装置１３１は、Ｘ線断層画像情報とともに、Ｘ線画像撮影装置１３１の状態を示すＸ線画像撮影装置状態情報をメタデータとして当該Ｘ線断層画像情報に紐付けて、制御装置１０９に送信する。第４の実施形態では、Ｘ線画像撮影装置状態情報には、少なくとも、患者２０３に対するＣアームの位置についての情報が含まれる。

超音波画像撮影装置１３３は、超音波送受信装置が先端に搭載されたカテーテル１３５を有し、当該超音波送受信装置で超音波の送受信を行いながら、当該カテーテル１３５を患者２０３の血管内で移動させることにより、患者２０３の血管内の超音波画像を撮影する。超音波画像撮影装置１３３は、いわゆるＩＶＵＳ（intravascular ultrasound）画像を得るための装置である。超音波画像撮影装置１３３によれば、血管の断面の超音波画像を得ることができる。図１１では、簡単のため、超音波画像撮影装置１３３を簡略化して図示しているが、超音波画像撮影装置１３３は、一般的なＩＶＵＳ画像を撮影可能な超音波画像撮影装置と同様の構成を有し得る。超音波画像撮影装置１３３の具体的な構成は、一般的なＩＶＵＳ画像を撮影可能な超音波画像撮影装置と同様であってよいため、ここではその詳細な説明を省略する。

超音波画像撮影装置１３３は、撮影した超音波画像についての情報（超音波画像情報）を、例えば当該超音波画像のフレームレートに対応する所定の間隔で制御装置１０９に送信する。つまり、超音波画像撮影装置１３３によって、患者２０３の血管内の互いに異なる場所を映した複数の超音波画像が撮影され、かかる複数の超音波画像についての情報が随時制御装置１０９に送信される。また、このとき、超音波画像撮影装置１３３は、超音波画像情報とともに、超音波画像撮影装置１３３の状態を示す超音波画像撮影装置状態情報をメタデータとして当該超音波画像情報に紐付けて、制御装置１０９に送信する。第４の実施形態では、超音波画像撮影装置状態情報には、少なくとも、患者２０３の血管内におけるカテーテル１３５の先端の位置についての情報が含まれる。かかるカテーテル１３５の先端の位置は、例えば、カテーテル１３５の先端にマーカーを取り付け、各種の公知の位置センサ等によって当該マーカーを体外から検出することによって実現され得る。

第１の実施形態と同様に、制御装置１０９は、その機能として、画像決定部１１１を有する。画像決定部１１１は、Ｘ線画像撮影装置１３１から送信されるＸ線画像撮影装置状態情報及び超音波画像撮影装置１３３から送信される超音波画像撮影装置状態情報に基づいて、表示装置１０５に表示する医療画像及び記憶装置１０７に保存する医療画像（すなわち、採用する医療画像）を決定する。

ここで、以上説明した第１～第３の実施形態では、画像決定部１１１は、複数の撮像装置によってそれぞれ撮影された医療画像の中から、採用する医療画像を決定していた。しかし、第４の実施形態では、画像決定部１１１は、超音波画像撮影装置１３３によって撮影された超音波画像については、その最新のものを常に採用することを決定する。そして、画像決定部１１１は、Ｘ線画像撮影装置１３１によって撮影されたＸ線断層画像については、Ｘ線画像撮影装置状態情報及び超音波画像撮影装置状態情報に基づいて、患者２０３の身体の互いに異なる場所を映した複数のＸ線断層画像のうちのいずれか１つを、採用する医療画像として決定する。この際、画像決定部１１１は、複数のＸ線断層画像の中で、超音波画像撮影装置１３３によって撮影された超音波画像に映し出されている血管の位置に対応するＸ線断層画像を、採用する医療画像として決定する。

具体的には、システム４では、Ｘ線画像撮影装置１３１の状態について、画像決定条件が事前に設定されている。画像決定部１１１は、Ｘ線画像撮影装置状態情報及び超音波画像撮影装置状態情報に基づいて、この画像決定条件が満たされているかどうかを判定する。そして、画像決定部１１１は、複数のＸ線断層画像の中から、当該画像決定条件を満たすものに対応するＸ線断層画像を、採用する医療画像として決定する。

システム４では、画像決定条件は、Ｘ線断層画像に、観察対象である超音波画像撮影装置１３３によって超音波画像が撮影されている部位が含まれることである。上述したように、超音波画像撮影装置１３３では、カテーテル１３５の先端に設けられる超音波送受信装置によって血管内の超音波画像が得られる。つまり、超音波画像撮影装置１３３によって超音波画像が撮影されている部位は、カテーテル１３５の先端が位置している部位である。一方、Ｘ線画像撮影装置１３１では、ＣアームによってＸ線断層画像が得られる。つまり、Ｘ線画像撮影装置１３１によってＸ線断層画像が撮影されている部位は、Ｃアームが位置している部位である。つまり、Ｃアームの位置が、カテーテル１３５の先端の位置に対応している場合に、上記画像決定条件が満たされているとみなすことができる。従って、画像決定部１１１は、Ｘ線画像撮影装置状態情報に含まれるＣアームの位置情報、及び超音波画像撮影装置状態情報に含まれるカテーテル１３５の先端の位置情報に基づいて、Ｘ線画像撮影装置１３１の状態が上記画像決定条件を満たすかどうかを判定することができる。そして、画像決定部１１１は、その判定結果に基づいて、Ｘ線画像撮影装置１３１によって撮影された患者２０３の身体の互いに異なる部位に対応する複数のＸ線断層画像の中から、超音波画像撮影装置１３３によって超音波画像が撮影されている部位を含む断面を撮影しているものを、採用する医療画像として決定することができる。

画像決定部１１１は、採用するＸ線画像を決定すると、表示装置１０５の動作を制御し、当該表示装置１０５に、決定した超音波画像、及び当該超音波画像に対応する決定したＸ線断層画像を表示させる。また、画像決定部１１１は、記憶装置１０７の動作を制御し、当該記憶装置１０７に、決定した超音波画像、及び当該超音波画像に対応する決定したＸ線断層画像を保存させる。この際、画像決定部１１１は、決定された医療画像に紐付けられているメタデータ（すなわち、決定されたＸ線断層画像に紐付けられているＸ線画像撮影装置状態情報、及び決定された超音波画像に紐付けられている超音波画像撮影装置状態情報）も、当該医療画像と一緒に保存させる。

図１３は、第４の実施形態に係るシステム４における表示装置１０５の一表示例を示す図である。図１３に示すように、第４の実施形態では、表示装置１０５の表示画面２１１に、Ｘ線断層画像２１３及び超音波画像２１５がともに表示される。上述した画像決定部１１１による決定処理により、当該Ｘ線断層画像２１３及び当該超音波画像２１５としては、患者２０３の身体の互いに対応する部位を撮影したものが表示されている。このとき、画像決定部１１１は、図示するように、当該Ｘ線断層画像２１３について、超音波画像２１５に対応する部位を示すアイコン２１７を重畳して表示させてよい。これにより、術者２０１は、超音波画像が撮影されている部位を直感的に把握することが可能になる。画像決定部１１１は、上述した決定処理において、Ｘ線画像撮影装置状態情報及び超音波画像撮影装置状態情報に基づいて、Ｘ線断層画像が撮影されている部位、及び超音波画像が撮影されている部位を特定しているため、かかる決定処理の結果に基づいて、当該アイコン２１７を表示させることができる。

ここで、いわゆるＩＶＵＳ画像を得るための超音波画像撮影装置１３３においては、カテーテル１３５の先端の位置を正確に把握するための技術が十分に確立されておらず、撮影されている超音波画像がどの部位の血管を撮影したものであるかをより正確に把握したいという要望があった。かかる要望に対して、第４の実施形態では、上述したように、超音波画像撮影装置１３３に対してＸ線画像撮影装置１３１を組み合わせるとともに、これらの装置によって得られる超音波画像及びＸ線断層画像を対応付け、超音波画像が撮影されている身体の部位をＸ線断層画像上で示すことができる。従って、かかる要望を実現することができ、より円滑な手術の実行が実現され得る。

以上、第４の実施形態に係るシステム４の構成について説明した。なお、以上の説明では、Ｘ線画像撮影装置状態情報は患者２０３に対するＣアームの位置についての情報を含んでおり、超音波画像撮影装置状態情報は患者２０３の血管内におけるカテーテル１３５の先端の位置についての情報を含んでいたが、第４の実施形態はかかる例に限定されない。Ｘ線画像撮影装置状態情報及び超音波画像撮影装置状態情報は、Ｘ線断層画像が、超音波画像撮影装置１３３によって超音波画像が撮影されている部位を撮影したものであるという画像決定条件の判定に寄与し得るものを含んでいればよく、必ずしもこれらの情報を含まなくてもよいし、他の各種の情報を含んでもよい。

（４－２．制御方法）
図１４を参照して、以上説明した第４の実施形態に係るシステム４における制御方法の処理手順について説明する。図１４は、第４の実施形態に係る制御方法の処理手順の一例を示すフロー図である。なお、図１４に示す各処理は、図１１及び図１２に示す制御装置１０９によって実行される各処理に対応している。制御装置１０９を構成するプロセッサが所定のプログラムに従って動作することにより、図１４に示す各処理が実行される。図１４に示す各処理の詳細については、制御装置１０９の機能について説明する際に既に上述しているため、以下の第４の実施形態に係る制御方法の処理手順についての説明では、各処理の概要を述べるに留め、その詳細な説明は省略する。

図１４を参照すると、第４の実施形態に係る制御方法では、まず、Ｘ線画像撮影装置１３１から、Ｘ線断層画像情報及びＸ線画像撮影装置状態情報が取得される（ステップＳ４０１）。ステップＳ４０１における処理は、図１１及び図１２に示すＸ線画像撮影装置１３１から制御装置１０９に対して、Ｘ線断層画像情報及びＸ線画像撮影装置状態情報が送信される処理に対応している。

次に、超音波画像撮影装置１３３から、超音波画像情報及び超音波画像撮影装置状態情報が取得される（ステップＳ４０３）。ステップＳ４０３における処理は、図１１及び図１２に示す超音波画像撮影装置１３３から制御装置１０９に対して、超音波画像情報及び超音波画像撮影装置状態情報が送信される処理に対応している。なお、図１４では便宜的にステップＳ４０１における処理及びステップＳ４０３における処理が、この順に行われるように記載しているが、実際には、手術中に、ステップＳ４０１における処理及びステップＳ４０３における処理が、それぞれ所定の間隔（例えば、Ｘ線断層画像及び超音波画像のフレームレートにそれぞれ対応する所定の間隔）で並行して実行され得る。

次に、超音波画像が採用する医療画像として決定される（ステップＳ４０５）。次いで、Ｘ線画像撮影装置状態情報及び超音波画像撮影装置状態情報に基づいて、患者２０３の身体の互いに異なる部位を映した複数のＸ線断層画像の中から、採用する医療画像が決定される（ステップＳ４０７）。ステップＳ４０５における処理及びステップＳ４０７における処理は、図１１及び図１２に示す制御装置１０９の画像決定部１１１が実行する処理に対応している。このように、第４の実施形態では、超音波画像についてはその最新のものが常に採用する医療画像として決定され、Ｘ線断層画像については、複数のＸ線断層画像の中から一のＸ線断層画像が採用する医療画像として決定される。

そして、決定された医療画像が、表示装置１０５に表示されるとともに、記憶装置１０７に保存される（ステップＳ４０９）。ステップＳ４０９における処理は、図１１及び図１２に示す制御装置１０９の画像決定部１１１が表示装置１０５及び記憶装置１０７の動作をそれぞれ制御して実行させる処理に対応している。

以上、第４の実施形態に係る制御方法の処理手順について説明した。

（５．まとめと補足）
以上説明したように、第２～第４の実施形態によれば、第１の実施形態と同様に、画像解析の結果を用いることなく採用する医療画像が決定されるため、より適切に医療画像の管理を行うことが可能になる。従って、医療画像の編集作業を不要にすることができるとともに、記憶装置１０７に保存されるデータ量の削減を実現することができる。また、第２～第４の実施形態では、複数の移動カメラによって撮影された医療画像を、これら複数の移動カメラの位置情報及び／又は姿勢情報に基づいて、適切に管理することが可能になる。第１の実施形態について説明する際に上述したように、移動カメラの医療画像は、手術の様子を示す医療画像として有意義な画像であり得るため、第２～第４の実施形態によれば、かかるより有意義な医療画像をより適切に管理することが可能になるというメリットを享受することができる。

なお、上述した第１～第４の実施形態に記載した各事項は、可能な範囲において互いに組み合わされてよい。例えば、上述した各種の撮像装置のうちの任意のものが組み合わされて、システムが構成されてもよい。例えば、複数の移動カメラ（視野カメラを含む）と術野カメラと、を備えるようにシステムが構成されてもよい。この場合には、これらの撮像装置の撮像装置状態情報に基づいて、適宜設定される画像決定条件を満たすように、これらの撮像装置によって撮影された医療画像の中から、採用する医療画像が決定されもよい。また、第１～第４の実施形態は、以下のように構成されてもよい。

例えば、以上説明したシステム１～４では、撮影された医療画像の表示及び保存をともに行っていたが、第１～第４の実施形態はかかる例に限定されない。システム１～４には、表示装置１０５及び記憶装置１０７のうちのいずれか一方のみが設けられてもよく、画像決定部１１１は、表示装置１０５に表示する医療画像及び記憶装置１０７に保存する医療画像のいずれか一方のみを決定してもよい。表示装置１０５及び記憶装置１０７のどちらを設けるかは、医療画像を管理する目的に応じて適宜決定されてよい。例えば、手術中における情報の共有が主な目的であれば、システム１～４には表示装置１０５のみが設けられてよい。一方、教育や研究等の目的で手術の様子を記録することが主な目的であれば、システム１～４には記憶装置１０７のみが設けられてよい。

また、以上説明したシステム１～４では、採用する医療画像を決定する際に撮像画像を解析した結果は用いられていなかったが、第１～第４の実施形態はかかる例に限定されない。システム１～４では、制御装置１０９において、複数の撮像装置によって撮影された医療画像に対する画像解析が行われてもよく、その画像解析結果も加味して採用する医療画像を決定する処理が行われてもよい。画像解析結果は有用な情報を多く含むため、画像解析結果も加味することにより、より適切な医療画像を採用することが可能になる。例えば、第１～第３の実施形態であれば、画像解析結果を用いて、撮像画像に観察対象である術部が含まれているかどうかが判定されてもよい。あるいは、画像解析結果に基づいて、撮像装置状態情報が取得されてもよい。例えば、第４の実施形態において、Ｘ線画像撮影装置１３１によって撮影されたＸ線断層画像を解析した結果に基づいて、超音波画像撮影装置１３３のカテーテル１３５の先端のマーカーの位置を特定することにより、超音波画像撮影装置状態情報として当該カテーテル１３５の先端の位置情報を取得してもよい。この場合には、Ｘ線画像撮影装置１３１から、超音波画像撮影装置状態情報として当該カテーテル１３５の先端の位置情報が、制御装置１０９に送信されることとなる。ただし、上述したように、画像解析には多大な演算時間を要することが多く、画像解析結果を用いる場合には、採用する医療画像を決定する処理を迅速に行うことができない恐れがある。従って、第１～第４の実施形態においては、例えば撮像画像状態情報に基づく判定処理では所望の精度が得られないような特殊な状況においてのみ画像解析結果を併用する等、画像解析結果はあくまで補助的に用いられることが好ましい。

また、以上説明したシステム１～４では、手術時に撮影される医療画像を対象としていたが、第１～第４の実施形態はかかる例に限定されない。システム１～４では、例えば検査等、他の医療行為の最中に撮影された医療画像が管理の対象であってもよい。このように、システム１～４が適用される対象は、あらゆる医療行為であってよい。

ここで、上述したように、第１～第４の実施形態において医療画像を撮影する目的は、手術中に術部の様子を医療スタッフによって共有すること、手術の記録を残すこと、及び若手医師の教育用の資料を作成すること等である。一方、他の目的として、撮影し、保存された医療画像を、自律的な手術支援ロボット装置の人工知能（ＡＩ：Artificial Intelligence）を構築するためのデータセットして用いることが挙げられる。例えば、手術時の術者の視野を示す医療画像は、当該手術支援ロボット装置の動きのアルゴリズムを構築する際に有用な情報であり得る。ここで、第１～第４の実施形態では、上述したように、記憶装置１０７に画像情報が保存される際に、メタデータも同時に保存される。当該メタデータは、例えば視野カメラの移動の様子を示す情報、すなわち手術時の術者の視野の移動の様子を示す情報であり得るから、かかるメタデータも、手術支援ロボット装置の動きのアルゴリズムを構築する際に有用な情報となり得る。第１～第４の実施形態に係るシステム１～４を適用することにより、術部の様子が含まれる適切な画像情報が、より安定的に、自動的に随時保存されることとなるため、手術を重ねることにより、膨大な量の適切な画像情報を蓄積することができる。このように、システム１～４を適用することにより、手術支援ロボット装置のＡＩの開発のために有用なデータを、より効率的に得ることが可能になる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本開示に係る技術が適用される対象は、医療分野に限定されず、医療分野以外の他の分野であってもよい。複数の撮影装置によってある観察対象を撮影する際に、これら複数の撮影装置によってそれぞれ撮影された撮像画像を適宜管理する（すなわち、観察対象がより確実に映っている画像を選択する）必要がある状況であれば、本開示に係る技術を適用することにより、それらの撮像画像の管理をより適切に行うことが可能になる。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の撮像装置の少なくともいずれかについての位置又は姿勢についての情報を含む撮像装置状態情報に基づいて、前記複数の撮像装置によって撮影された医療画像の中から、表示又は保存する医療画像として少なくとも１つの医療画像を決定する、
制御装置。
（２）
前記複数の撮像装置は、少なくとも１つの移動カメラを含む、
前記（１）に記載の制御装置。
（３）
前記移動カメラは、医療スタッフに装着される視野カメラである、
前記（２）に記載の制御装置。
（４）
前記移動カメラは、医療行為に用いられる処置具に取り付けられる、
前記（２）又は（３）に記載の制御装置。
（５）
前記移動カメラは、アーム部の先端に取り付けられた顕微鏡部によって観察対象を撮影する顕微鏡装置である、
前記（２）～（４）のいずれか１項に記載の制御装置。
（６）
前記移動カメラは、アーム部の先端に取り付けられた内視鏡によって観察対象を撮影する内視鏡装置である、
前記（２）～（５）のいずれか１項に記載の制御装置。
（７）
前記移動カメラは、撮像部を患者に対して相対的に移動させながら前記患者のＸ線断層画像を撮影するＸ線画像撮影装置である、
前記（２）～（６）のいずれか１項に記載の制御装置。
（８）
前記移動カメラは、先端に撮像部が設けられたカテーテルを患者の血管内において移動させながら前記血管内の超音波画像を撮影する超音波画像撮影装置である、
前記（２）～（７）のいずれか１項に記載の制御装置。
（９）
前記制御装置は、前記撮像装置状態情報に基づいて、前記複数の撮像装置の少なくともいずれかの状態が所定の画像決定条件を満たすかどうかを判定し、前記画像決定条件を満たす前記撮像装置によって撮影された医療画像を表示又は保存する医療画像として決定し、
前記画像決定条件は、観察対象が医療画像内に含まれることである、
前記（１）～（８）のいずれか１項に記載の制御装置。
（１０）
前記複数の撮像装置は、医療スタッフの頭部に取り付けられる移動カメラである視野カメラと、手術室内に固定的に設置される術野カメラと、を含み、
前記視野カメラの前記撮像装置状態情報は、前記視野カメラの姿勢についての情報を含み、
前記術野カメラの前記撮像装置状態情報は、前記術野カメラの焦点距離についての情報を含み、
前記制御装置は、前記視野カメラが所定の角度以上傾いている場合に、前記視野カメラの状態が前記画像決定条件を満たしていると判定するとともに、前記術野カメラの焦点が観察対象に合っている場合に、前記術野カメラの状態が前記画像決定条件を満たしていると判定し、
前記制御装置は、判定結果に基づいて、前記視野カメラによって撮影された医療画像及び前記術野カメラによって撮影された医療画像のいずれか一方を表示又は保存する医療画像として決定する、
前記（９）に記載の制御装置。
（１１）
前記複数の撮像装置は、複数の移動カメラを含み、
前記複数の移動カメラの前記撮像装置状態情報は、いずれも、前記移動カメラの位置についての情報、及び前記移動カメラの焦点距離についての情報を含み、
前記制御装置は、前記移動カメラの焦点が観察対象に合っている場合に、その前記移動カメラの状態が前記画像決定条件を満たしていると判定し、
前記制御装置は、判定結果に基づいて、前記複数の移動カメラによってそれぞれ撮影された医療画像の中のいずれか１つを表示又は保存する医療画像として決定する、
前記（９）に記載の制御装置。
（１２）
前記複数の撮像装置は、アーム部の先端に取り付けられた顕微鏡部によって観察対象を撮影する顕微鏡装置と、アーム部の先端に取り付けられた内視鏡によって観察対象を撮影する内視鏡装置と、を含み、
前記顕微鏡装置の前記撮像装置状態情報は、前記顕微鏡部の位置についての情報及び焦点距離についての情報を含み、
前記内視鏡装置の前記撮像装置状態情報は、前記内視鏡の位置についての情報及び焦点距離についての情報を含み、
前記制御装置は、前記顕微鏡部の焦点が観察対象に合っている場合に、前記顕微鏡装置の状態が前記画像決定条件を満たしていると判定し、前記内視鏡の焦点が観察対象に合っている場合に、前記内視鏡装置の状態が前記画像決定条件を満たしていると判定し、
前記制御装置は、判定結果に基づいて、前記顕微鏡装置によって撮影された医療画像及び前記内視鏡装置によって撮影された医療画像のいずれか一方又は両方を表示又は保存する医療画像として決定する、
前記（９）に記載の制御装置。
（１３）
前記複数の撮像装置は、Ｘ線画像撮影用の撮像部を患者に対して相対的に移動させながら前記患者のＸ線断層画像を撮影するＸ線画像撮影装置と、先端に超音波画像撮影用の撮像部が設けられたカテーテルを患者の血管内において移動させながら前記血管内の超音波画像を撮影する超音波画像撮影装置と、を含み、
前記Ｘ線画像撮影装置の前記撮像装置状態情報は、前記Ｘ線画像撮影用の撮像部の位置についての情報を含み、
前記超音波画像撮影装置の前記撮像装置状態情報は、前記超音波画像撮影用の撮像部の位置についての情報を含み、
前記制御装置は、前記Ｘ線画像撮影用の撮像部の位置が、前記超音波画像撮影用の撮像部の位置に対応している場合に、前記Ｘ線画像撮影装置の状態が前記画像決定条件を満たしていると判定し、
前記制御装置は、前記超音波画像撮影装置によって撮影された前記患者の血管内の超音波画像を表示又は保存する医療画像として決定するとともに、判定結果に基づいて、前記Ｘ線画像撮影装置によって撮影された前記患者の身体の互いに異なる部位を撮影した複数のＸ線断層画像の中から、前記超音波画像が撮影されている部位を含むＸ線断層画像を表示又は保存する医療画像として決定する、
前記（９）に記載の制御装置。
（１４）
前記制御装置は、表示することを決定した前記超音波画像及び前記Ｘ線断層画像を表示装置に表示させる際に、前記Ｘ線断層画像に対して、前記超音波画像が撮影されている部位を示すアイコンを重畳表示させる、
前記（１３）に記載の制御装置。
（１５）
前記制御装置は、表示又は保存することを決定した少なくとも１つの医療画像を、表示部に表示させる又は記憶部に保存させる、
前記（１）～（１４）のいずれか１項に記載の制御装置。
（１６）
前記撮像装置状態情報は、前記複数の撮像装置の少なくともいずれかについての位置及び姿勢についての情報を含む、
前記（１）～（１５）のいずれか１項に記載の制御装置。
（１７）
前記制御装置は、前記複数の撮像装置によって撮影された医療画像の中から、表示及び保存する医療画像として少なくとも１つの医療画像を決定する、
前記（１）～（１６）のいずれか１項に記載の制御装置。
（１８）
複数の撮像装置の少なくともいずれかについての位置又は姿勢についての情報を含む撮像装置状態情報に基づいて、前記複数の撮像装置によって撮影された医療画像の中から、表示又は保存する医療画像として少なくとも１つの医療画像を決定する、
制御方法。
（１９）
複数の撮像装置と、
前記複数の撮像装置の少なくともいずれかについての位置又は姿勢についての情報を含む撮像装置状態情報に基づいて、前記複数の撮像装置によって撮影された医療画像の中から、表示又は保存する医療画像として少なくとも１つの医療画像を決定する、制御装置と、
を備える、医療用システム。

１、２、３、４ システム
１０１ 視野カメラ
１０３ 術野カメラ
１０５ 表示装置
１０７ 記憶装置
１０９ 制御装置
１１１ 画像決定部
１２１ 移動カメラ
１２３ 位置センサ
１３１ Ｘ線画像撮影装置
１３３ 超音波画像撮影装置
５３０１ 顕微鏡装置
５４０１ 内視鏡装置

Claims (16)

1. 複数の撮像装置の少なくともいずれかについての位置又は姿勢についての情報を含む撮像装置状態情報に基づいて、前記複数の撮像装置によって撮影された医療画像の中から、表示又は保存する医療画像として少なくとも１つの医療画像を決定し、
   前記複数の撮像装置は、少なくとも１つの移動カメラを含み、
   前記移動カメラは、医療スタッフに装着される視野カメラであり、
   前記視野カメラの前記撮像装置状態情報は、前記視野カメラの姿勢についての情報を含む、
   制御装置であって、
   前記制御装置は、前記撮像装置状態情報に基づいて、前記複数の撮像装置の少なくともいずれかの状態が所定の画像決定条件を満たすかどうかを判定し、前記画像決定条件を満たす前記撮像装置によって撮影された医療画像を表示又は保存する医療画像として決定し、
   前記制御装置は、前記視野カメラが所定の角度以上傾いている場合に、前記視野カメラの状態が前記画像決定条件を満たしていると判定し、
   前記画像決定条件は、観察対象が医療画像内に含まれることであり、
   前記視野カメラは、手術室内で使用される、
   制御装置。
2. 前記移動カメラは、医療行為に用いられる処置具に取り付けられる、
   請求項１に記載の制御装置。
3. 前記移動カメラは、アーム部の先端に取り付けられた顕微鏡部によって観察対象を撮影する顕微鏡装置である、
   請求項１または請求項２に記載の制御装置。
4. 前記移動カメラは、アーム部の先端に取り付けられた内視鏡によって観察対象を撮影する内視鏡装置である、
   請求項１乃至請求項３の何れか１項に記載の制御装置。
5. 前記移動カメラは、撮像部を患者に対して相対的に移動させながら前記患者のＸ線断層画像を撮影するＸ線画像撮影装置である、
   請求項１乃至請求項４の何れか１項に記載の制御装置。
6. 前記移動カメラは、先端に撮像部が設けられたカテーテルを患者の血管内において移動させながら前記血管内の超音波画像を撮影する超音波画像撮影装置である、
   請求項１乃至請求項５の何れか１項に記載の制御装置。
7. 前記複数の撮像装置は、医療スタッフの頭部に取り付けられる移動カメラである視野カメラと、手術室内に固定的に設置される術野カメラと、を含み、
   前記術野カメラの前記撮像装置状態情報は、前記術野カメラの焦点距離についての情報を含み、
   前記制御装置は、前記視野カメラが所定の角度以上傾いている場合に、前記視野カメラの状態が前記画像決定条件を満たしていると判定するとともに、前記術野カメラの焦点が観察対象に合っている場合に、前記術野カメラの状態が前記画像決定条件を満たしていると判定し、
   前記制御装置は、判定結果に基づいて、前記視野カメラによって撮影された医療画像及び前記術野カメラによって撮影された医療画像のいずれか一方を表示又は保存する医療画像として決定する、
   請求項１に記載の制御装置。
8. 前記複数の撮像装置は、複数の移動カメラを含み、
   前記複数の移動カメラの前記撮像装置状態情報は、いずれも、前記移動カメラの位置についての情報、及び前記移動カメラの焦点距離についての情報を含み、
   前記制御装置は、前記移動カメラの焦点が観察対象に合っている場合に、その前記移動カメラの状態が前記画像決定条件を満たしていると判定し、
   前記制御装置は、判定結果に基づいて、前記複数の移動カメラによってそれぞれ撮影された医療画像の中のいずれか１つを表示又は保存する医療画像として決定する、
   請求項１に記載の制御装置。
9. 前記複数の撮像装置は、アーム部の先端に取り付けられた顕微鏡部によって観察対象を撮影する顕微鏡装置と、アーム部の先端に取り付けられた内視鏡によって観察対象を撮影する内視鏡装置と、を含み、
   前記顕微鏡装置の前記撮像装置状態情報は、前記顕微鏡部の位置についての情報及び焦点距離についての情報を含み、
   前記内視鏡装置の前記撮像装置状態情報は、前記内視鏡の位置についての情報及び焦点距離についての情報を含み、
   前記制御装置は、前記顕微鏡部の焦点が観察対象に合っている場合に、前記顕微鏡装置の状態が前記画像決定条件を満たしていると判定し、前記内視鏡の焦点が観察対象に合っている場合に、前記内視鏡装置の状態が前記画像決定条件を満たしていると判定し、
   前記制御装置は、判定結果に基づいて、前記顕微鏡装置によって撮影された医療画像及び前記内視鏡装置によって撮影された医療画像のいずれか一方又は両方を表示又は保存する医療画像として決定する、
   請求項１に記載の制御装置。
10. 前記複数の撮像装置は、Ｘ線画像撮影用の撮像部を患者に対して相対的に移動させながら前記患者のＸ線断層画像を撮影するＸ線画像撮影装置と、先端に超音波画像撮影用の撮像部が設けられたカテーテルを患者の血管内において移動させながら前記血管内の超音波画像を撮影する超音波画像撮影装置と、を含み、
    前記Ｘ線画像撮影装置の前記撮像装置状態情報は、前記Ｘ線画像撮影用の撮像部の位置についての情報を含み、
    前記超音波画像撮影装置の前記撮像装置状態情報は、前記超音波画像撮影用の撮像部の位置についての情報を含み、
    前記制御装置は、前記Ｘ線画像撮影用の撮像部の位置が、前記超音波画像撮影用の撮像部の位置に対応している場合に、前記Ｘ線画像撮影装置の状態が前記画像決定条件を満たしていると判定し、
    前記制御装置は、前記超音波画像撮影装置によって撮影された前記患者の血管内の超音波画像を表示又は保存する医療画像として決定するとともに、判定結果に基づいて、前記Ｘ線画像撮影装置によって撮影された前記患者の身体の互いに異なる部位を撮影した複数のＸ線断層画像の中から、前記超音波画像が撮影されている部位を含むＸ線断層画像を表示又は保存する医療画像として決定する、
    請求項１に記載の制御装置。
11. 前記制御装置は、表示することを決定した前記超音波画像及び前記Ｘ線断層画像を表示装置に表示させる際に、前記Ｘ線断層画像に対して、前記超音波画像が撮影されている部位を示すアイコンを重畳表示させる、
    請求項１０に記載の制御装置。
12. 前記制御装置は、表示又は保存することを決定した少なくとも１つの医療画像を、表示部に表示させる又は記憶部に保存させる、
    請求項１乃至請求項１１の何れか１項に記載の制御装置。
13. 前記撮像装置状態情報は、前記複数の撮像装置の少なくともいずれかについての位置及び姿勢についての情報を含む、
    請求項１乃至請求項１２の何れか１項に記載の制御装置。
14. 前記制御装置は、前記複数の撮像装置によって撮影された医療画像の中から、表示及び保存する医療画像として少なくとも１つの医療画像を決定する、
    請求項１乃至請求項１３の何れか１項に記載の制御装置。
15. 複数の撮像装置の少なくともいずれかについての位置又は姿勢についての情報を含む撮像装置状態情報に基づいて、前記複数の撮像装置によって撮影された医療画像の中から、表示又は保存する医療画像として少なくとも１つの医療画像を決定する、
    制御方法であって、
    前記複数の撮像装置は、少なくとも１つの移動カメラを含み、
    前記移動カメラは、医療スタッフに装着される視野カメラであり、
    前記視野カメラの前記撮像装置状態情報は、前記視野カメラの姿勢についての情報を含み、
    前記制御方法は、前記撮像装置状態情報に基づいて、前記複数の撮像装置の少なくともいずれかの状態が所定の画像決定条件を満たすかどうかを判定し、前記画像決定条件を満たす前記撮像装置によって撮影された医療画像を表示又は保存する医療画像として決定し、
    前記制御方法は、前記視野カメラが所定の角度以上傾いている場合に、前記視野カメラの状態が前記画像決定条件を満たしていると判定し、
    前記画像決定条件は、観察対象が医療画像内に含まれることであり、
    前記視野カメラは、手術室内で使用される、
    制御方法。
16. 複数の撮像装置と、
    前記複数の撮像装置の少なくともいずれかについての位置又は姿勢についての情報を含む撮像装置状態情報に基づいて、前記複数の撮像装置によって撮影された医療画像の中から、表示又は保存する医療画像として少なくとも１つの医療画像を決定する、制御装置と、
    を備え、
    前記複数の撮像装置は、少なくとも１つの移動カメラを含み、
    前記移動カメラは、医療スタッフに装着される視野カメラであり、
    前記視野カメラの前記撮像装置状態情報は、前記視野カメラの姿勢についての情報を含み、
    前記制御装置は、前記撮像装置状態情報に基づいて、前記複数の撮像装置の少なくともいずれかの状態が所定の画像決定条件を満たすかどうかを判定し、前記画像決定条件を満たす前記撮像装置によって撮影された医療画像を表示又は保存する医療画像として決定し、
    前記制御装置は、前記視野カメラが所定の角度以上傾いている場合に、前記視野カメラの状態が前記画像決定条件を満たしていると判定し、
    前記画像決定条件は、観察対象が医療画像内に含まれることであり、
    前記視野カメラは、手術室内で使用される、
    医療用システム。

Images