JP7163913B2 - 医療用システム及び制御ユニット - Google Patents

Description

本開示は、医療用システム及び制御ユニットに関する。

従来、例えば下記の特許文献１には、プローブ型内視鏡を使用可能な内視鏡装置においては、プローブ先端部の位置およびスコープ先端部の湾曲程度に関係なく、２つの画像を正確にマッチングさせて合成画像を生成することが記載されている。

特開２０１１－５５９３９号公報

医療用撮像装置において、複数のカメラが同時に使用される場合がある。例えば脳外科の手術等では、術野の手前を観察する際にエクソスコープが用いられ、術野の奥まった部分を観察する際に内視鏡が用いられる場合がある。このような場合に、複数のカメラが撮像した画像をそのまま表示すると、２つの画像の見え方が異なるため、観察者に違和感が生じる。また、例えば同じ被写体を撮像して表示していても、見え方が異なると同じ被写体であることの認識が困難になる、２つの画像間の関係の認識が困難になる、等の問題が生じる。

上記特許文献１に記載された技術は、プローブ先端部の突出長さおよびスコープ先端部の湾曲角に基づき、拡大／縮小倍率および位相シフト量を決定し、病変部などの観察対象サイズを通常観察画像の観察対象サイズと一致させるものである。特許文献１に記載された技術は、一方の画像に対する他方の画像の位置関係が予め定まっている場合に画像サイズを一致させるものであり、異なる装置で撮像された画像に応じて、双方の画像の見え方を揃えることは何ら想定していない。

そこで、手術用に複数の撮像装置が使用される場合に、各撮像装置が撮像した画像の見え方を揃えることが望まれていた。

本開示によれば、複数の手術用撮像装置と、前記手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する制御ユニットと、を備える、医療用システムが提供される。

また、本開示によれば、複数の手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を備える、制御ユニットが提供される。

また、本開示によれば、複数の手術用撮像装置と、前記手術用撮像装置のそれぞれが接続された制御ユニットと、複数の前記制御ユニットのそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する統合装置と、を備える、医療用システムが提供される。

以上説明したように本開示によれば、手術用に複数の撮像装置が使用される場合に、各撮像装置が撮像した画像の見え方を揃えることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の各実施形態に係る手術用システムの概略構成を示す模式図である。 図１の構成に対して、カメラ部とＣＣＵとの間を中継する入力モジュールを更に備える構成を示す模式図である。 ＣＣＵ内の信号処理部の構成及び動作を示す模式図である。 エクソスコープと内視鏡を同時に併用して被写体を観察する場合を示す模式図である。 エクソスコープ画像と内視鏡画像の表示方法を示す模式図である。 内視鏡の画像の色味をエクソスコープの画像の色味に合わせて表示するための処理方法を示す模式図である。 エクソスコープ画像と内視鏡画像のブレを合わせる例を説明するための模式図である。 エクソスコープ画像と内視鏡画像のブレを合わせる例を説明するための模式図である。 エクソスコープ画像と内視鏡画像の明るさ（輝度）、コントラストを合わせる例を示す模式図である。 エクソスコープ画像と内視鏡画像の解像感、被写界深度を合わせる例を示す模式図である。 エクソスコープ画像と内視鏡画像のノイズを合わせる例を示す模式図である。 エクソスコープ画像と内視鏡画像の画像の向きを合わせる例を示す模式図である。 ３Ｄで撮影が可能なエクソスコープ画像と３Ｄで撮影が可能な内視鏡画像を併用する場合の例を示す模式図である。 複数のカメラ部が接続されたＣＣＵを複数備え、各ＣＣＵが統合装置６００に接続されたシステムを示す模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システムの構成例
２．信号処理部の構成
３．エクソスコープ画像と内視鏡画像の色の調整
４．エクソスコープ画像と内視鏡画像の振れの調整
５．エクソスコープ画像と内視鏡画像の明るさ、コントラストの調整
６．エクソスコープ画像と内視鏡画像の解像感、被写界深度の調整
７．エクソスコープ画像と内視鏡画像のノイズの調整
８．エクソスコープ画像と内視鏡画像の向き、画角の調整
９．エクソスコープ画像と内視鏡画像の奥行き感の調整
１０．複数のカメラ部が接続されたＣＣＵを複数備える構成例

１．システムの構成例
まず、図１を参照して、本開示の各実施形態に係る手術用システム１０００の概略構成について説明する。図１に示すように、この手術用システム１０００は、複数のカメラ部１００と、複数のカメラを接続可能で複数の出力が可能なＣＣＵ（制御ユニット）２００と、複数のモニタ３００から構成される。手術用システム１０００は、複数のカメラ部１００からの複数の入力信号の情報から、信号処理によって複数の出力画像を生成し、モニタ３００へ出力する。

図２は、図１の構成に対して、カメラ部１００とＣＣＵ２００との間を中継する入力モジュール（カメラヘッド部）４００を更に備え、手術用システム１０００が入力モジュール４００にて前処理を行った上でＣＣＵ２００に画像を入力するシステムの構成例を示す模式図である。入力モジュール４００は、カメラ部１００とＣＣＵ２００との互換性を確保するため等に用いられる。

本実施形態において、複数のカメラ部１００は、手術に用いられる複数のカメラであって、例えば内視鏡（硬性内視鏡、軟性内視鏡）、体外視鏡（エクソスコープ）、顕微鏡、術野カメラ、などが該当する。手術用システム１０００は、カメラ部１００が被写体を撮像する際に被写体を照射する光源装置を含んでいても良い。

複数のカメラ部１００は、手術の際に同時に使用される場合がある。例えば脳外科の手術等では、術野の手前を観察する際にエクソスコープが用いられ、術野の奥まった部分を観察する際に内視鏡が用いられる場合がある。一例として、開頭した脳内の動脈瘤について、患部の表側をエクソスコープで観察し、患部の裏側は内視鏡を挿入して観察する場合などが考えられる。このような場合に、本実施形態では、複数のカメラ部１００のそれぞれの画像の見え方を合わせる処理を行う。換言すれば、本実施形態では、複数のカメラ部１００のそれぞれの画像を連携させる処理を行う。同時に使用される複数のカメラ部１００の組み合わせとして、例えば、内視鏡とエクソスコープ、内視鏡と手術用顕微鏡、硬性内視鏡と軟性内視鏡、内視鏡と術野カメラ、等が挙げられる。なお、内視鏡鏡は被写体の細部を観察する場合に適しているが、より広範囲を撮影しようとして被写体から内視鏡を遠ざけると、画像が歪んでしまう。エクソスコープは、専用の光学系を備えることで、このような場合に画像に歪みを生じることなく撮像が可能であり、被写体とエクソスコープとの間に十分な距離を確保できるため、手術を行い易いといった利点がある。また、術野カメラは、手術状況を全体的に撮影するカメラである。

２．信号処理部の構成
図３は、複数のカメラ部１００としてエクソスコープと内視鏡の２つをＣＣＵ２００に接続したシステムにおいて、ＣＣＵ２００内の信号処理部２１０の構成及び動作を示す模式図である。信号処理部２１０は、複数のカメラ部１００が接続されるＣＣＵ２００に設けられ、一方のカメラ部１００から得た撮像信号に基づいて生成する画像と他方のカメラ部１００から得た撮像信号に基づいて生成する画像の見え方を合わせるように処理を行う。

図３に示すように、信号処理部２１０は、調整パラメータ算出部２１２、調整パラメータ適用部２１４、調整パラメータ適用部２１６を有する。調整パラメータ算出部２１２には、エクソスコープの画像情報（以下、エクソスコープ画像とも称する）１０と内視鏡の画像情報（以下、内視鏡画像とも称する）１２が入力される。

また、調整パラメータ算出部２１２には、調整トリガ１４が入力される。調整トリガ１４は、外部あるいは入力画像から定められる情報であって、調整パラメータによる調整を行うトリガとなる情報である。例えば、エクソスコープ画像１０と内視鏡画像１２がともに同じ被写体であることが検出された場合、調整トリガが発生する。

調整トリガ１４が発生すると、エクソスコープ画像１０と内視鏡画像１２の見え方を合わせる処理が行われる。調整パラメータは、エクソスコープ画像１０と内視鏡画像１２の見え方を合わせる処理を行うためのパラメータである。一方、調整トリガ１４が発生しない場合は、エクソスコープ画像１０と内視鏡画像１２の見え方を合わせる処理は行われず、エクソスコープ画像１０と内視鏡画像１２は独立して処理される。

調整トリガ１４が発生して調整パラメータ算出部２１２に入力されると、調整パラメータ算出部２１２は、エクソスコープ画像１０、内視鏡画像１２、あるいはその両方から、色、輝度、コントラスト、被写界深度、ノイズ、画角、画像向き等に関する調整パラメータを算出する。調整パラメータは、調整パラメータ適用部２１４と調整パラメータ適用部２１６のいずれか一方、または双方に送られる。調整パラメータ適用部２１４は、調整パラメータを受け取ると、調整パラメータをエクソス画像１０に適用する。また、調整パラメータ適用部２１６は、調整パラメータを受け取ると、調整パラメータを内視鏡画像１２に適用する。以上のようにして、信号処理部２１０は、調整パラメータをエクソスコープ画像１０、内視鏡画像１２のいずれか、あるいはその両方に適用し、それぞれの出力画像を生成する。これにより、エクソスコープ画像１０と内視鏡画像１２の見え方を合わせることができ、ユーザが一方のカメラ部１００から得られる画像を観察した後、他方のカメラ部１００から得られる画像を観察した際に、被写体の見え方に相違が生じてしまうことを抑止できる。

調整トリガ１４は、上述したようにエクソスコープ画像１０と内視鏡画像１２が同一被写体である場合の他にも、ユーザ操作、術者の状態（位置）、接続した機器の情報、等々に応じて発生させることができる。ユーザ操作によって発生させる場合、ユーザがＣＣＵ２００の操作入力部を操作すると、調整トリガ１４が発生する。術者の状態に応じて調整トリガ１４を発生させる場合、例えば、手術室に設置される術野カメラの画像から術者の位置を判定し、術者の位置に基づいて、エクソスコープによる観察に加えて内視鏡による観察を術者が行っていると判定される場合に調整トリガ１４を発生させる。また、接続した機器の情報に基づいて調整トリガを発生させる場合、ＣＣＵ２００に接続された複数のカメラ部１００のそれぞれから機器の識別情報を取得し、調整トリガ１４を発生させることが予め定められている複数のカメラ部１００がＣＣＵ２００に接続されている場合に、調整トリガ１４を発生させる。

エクソスコープ画像１０と内視鏡画像１２の見え方を合わせる場合に、エクソスコープ画像１０を基準としてエクソスコープ画像１０に内視鏡画像１２を合わせても良いし、内視鏡画像１２を基準として内視鏡画像１２にエクソスコープ画像１０を合わせても良い。また、見え方を合わせる基準となるターゲット画像に対して、エクソスコープ画像１０と内視鏡画像１２のそれぞれを合わせても良い。

３．エクソスコープ画像と内視鏡画像の色の調整
図４は、エクソスコープ１１０と内視鏡１２０を同時に併用して被写体を観察する場合を示す模式図である。上述のように、例えば脳外科の手術等では、術野の手前を観察する際にエクソスコープ１１０が用いられ、術野の奥まった部分を観察する際に内視鏡１２０が用いられるため、エクソスコープ１１０と内視鏡１２０を同時に併用する場合が考えられる。

このとき、エクソスコープ１１０と内視鏡１２０は、異なる光源による照明を用いて被写体を照射する。図４に示すように、エクソスコープ１１０は光源装置（１）４００による照明で被写体を照射し、内視鏡１２０は光源装置（２）４１０による照明で被写体５００を照射する。

また、エクソスコープ１１０と内視鏡１２０は、異なるレンズを通った光を異なるセンサで受光する。このため、エクソスコープ１１０と内視鏡１２０とでは、同じパラメータで現像処理を行っても互いの色味が異なるのが通常である。

図５は、エクソスコープ画像１０と内視鏡画像１２の表示方法を示す模式図である。図５に示すように、２つの画像を表示する方法として、モニタ３００を２つ並べて２つの画像を表示する方法と、２つの画像を時間的に切り替えて１つのモニタ３００に表示する方法がある。しかし、色味が異なる２つの画像をそのまま表示すると、２つの画像の色味が異なることで観察者に違和感が生じる。また、例えば同じ被写体を撮像して表示していても、色味が異なると同じ被写体であることの認識が難しくなり、２つの画像の対応付けをすることが困難となる。

このため、本実施形態では、内視鏡画像１２の色味とエクソスコープ画像１０の色味を合わせて表示する。この際、調整パラメータをエクソスコープ画像、内視鏡画像、あるいはその両方に適用することで、エクソスコープ１１０の画像と内視鏡１２０の画像の色味を揃える。図６は、内視鏡１２０の画像の色味をエクソスコープ１１０の画像の色味に合わせて表示するための処理方法を示す模式図である。

まず、２つの画像で同じ被写体及び領域が写っているかどうかを判定する。その際、２つの画像のマッチングを取ることにより、同じ被写体かどうかを検出することができ、また共通の領域を検出することができる。図６に示す例では、ブロックマッチングにより、エクソスコープ画像１０の領域Ａと内視鏡画像１２の領域Ｂとが同じ被写体であり、共通の領域であることを検出している。

次に、内視鏡画像１２の色味をエクソスコープ画像１０の色味に合わせる場合の処理方法の例を説明する。互いに同じ被写体の同じ位置であるというマッチングの取れた領域Ａ、領域Ｂについて、それぞれの領域Ａ，Ｂ内の対応する位置（図中に×印で示す）の色の値が、内視鏡画像１２では（Ｒ１,Ｇ１,Ｂ１）、エクソスコープ画像１０では（Ｒ２,Ｇ２,Ｂ２）であった場合、それぞれの画像の色（ＲＧＢ値）の関係は以下の式（１）で示すような線形式で表すことができる。

このとき、複数の点のＲＧＢ値から最小二乗法で上記の方程式を解き、係数ａ～ｉを求めると、式（１）の線形式が内視鏡画像１２からエクソスコープ画像１０へのＲＧＢ値の変換式となる。ここで、変換のための係数（ａ～ｉ）は、調整パラメータに相当する。よって、内視鏡画像１２の色味をエクソスコープ画像１０の色味に合わせることができる。

４．エクソスコープ画像と内視鏡画像の振れの調整
次に、図７及び図８に基づいて、エクソスコープ１１０と内視鏡１２０を同時に併用して観察する場合に、エクソスコープ画像１０と内視鏡画像１２のブレを合わせる処理（手振れ除去処理）について説明する。図７に示すように、通常、エクソスコープ１１０は固定具２０によって固定されているが、内視鏡１２０はスコピストまたは術者が手で持つことになる。従って、内視鏡画像１２にブレが生じる場合がある。

図８は、エクソスコープ画像１０と内視鏡画像１２のブレを合わせるための処理方法を示す模式図である。図６と同様に、図８では、ブロックマッチングにより、エクソスコープ画像１０の領域Ａと内視鏡画像１２の領域Ｂとが同じ被写体であり、共通の領域であることを検出している。固定具２０で固定されたエクソスコープ１１０のエクソスコープ画像１０は、図８の領域Ａに示すように振れが生じていない。一方、内視鏡１２０は人が支えているため、内視鏡画像１２では、図８の領域Ｂに示すように振れが生じている。従って、振れの生じていないエクソスコープ画像１０に対して振れの生じている内視鏡画像１２を合わせる。

ブロックマッチングにより、領域Ａと領域Ｂが同じ被写体および領域であることが判定されると、エクソスコープ画像１０に合わせて内視鏡画像１２のトラッキングを行い、内視鏡画像１２の振れの成分を除去することで、内視鏡画像１２の振れの補正を行う。これにより、静止しているエクソスコープ画像１０に合わせて内視鏡画像１２の振れが除去されるため、ユーザがエクソスコープ画像１０と内視鏡画像１２との間で視線を移した際に、違和感が生じることを抑制できる。

また、ブロックマッチングの結果、エクソスコープ画像１０と内視鏡画像１２とで異なる領域が映っていた場合には、エクソスコープ画像１０を用いずに、内視鏡画像１２の振れの補正を行う。この場合、内視鏡画像１２の並進、拡大、回転成分から内視鏡画像１２の振れを認識し、振れの逆行列を掛け合わせることにより、内視鏡画像１２の振れ補正を行う。

５．エクソスコープ画像と内視鏡画像の明るさ、コントラストの調整
図９は、エクソスコープ画像１０と内視鏡画像１２の明るさ（輝度）、コントラストを合わせる例を示す模式図である。各色の明るさの変換係数の算出方法は、図６で説明した色味を合わせる場合と同様に行うことができる。ＲＧＢ値から変換して得られる輝度Ｙを合わせる際には、以下の式（２）によりエクソスコープ画像１０の輝度Ｙ１から内視鏡画像１２の輝度Ｙ２へ変換を行う。互いに同じ被写体の同じ位置であるというマッチングの取れた領域Ａ、領域Ｂについて、それぞれの領域Ａ，Ｂ内の対応する位置（図中に×印で示す）の輝度の値が、内視鏡画像１２ではＹ２であり、エクソスコープ画像１０ではＹ１であった場合、それぞれの画像のノイズの関係は以下の式（２）で示すような線形式で表すことができる。なお、式（２）において、ａは変換係数である。
Ｙ２＝ａ・Ｙ１ ・・・（２）

Ｒ,Ｇ,ＢもしくはＹの関係を元に、暗い画像にゲインをかけて明るさを調整する。図９では、内視鏡画像１２にエクソスコープ画像１０を合わせた例を示している。変換係数は、画像の主に中心領域から一つの係数を算出して全画面に適用してもよいし、画像内の対応する領域毎それぞれで係数を算出して領域毎に係数を適用してもよい。対応する領域毎それぞれで係数を算出して領域毎に係数を適用することで、エクソスコープ画像１０と内視鏡画像１２のコントラストを一致させることができる。

６．エクソスコープ画像と内視鏡画像の解像感、被写界深度の調整
図１０は、エクソスコープ画像１０と内視鏡画像１２の解像感、被写界深度を合わせる例を示す模式図である。図６及び式（１）におけるＲＧＢ値を、注目画素周辺の所定領域の画素値の最大値と最小値の差分で示される値ＤＲに置き換えて変換係数を算出する。互いに同じ被写体の同じ位置であるというマッチングの取れた領域Ａ、領域Ｂについて、それぞれの領域Ａ，Ｂ内の対応する位置（図中に×印で示す）の差分ＤＲの値が、内視鏡画像１２ではＤＲ_Ｂであり、エクソスコープ画像１０ではＤＲ_Ａであった場合、それぞれの画像の注目画素周辺の最大値と最小値の差分は以下の式（３）で示すような線形式で表すことができる。なお、式（３）において、ａは変換係数である。
ＤＲ_Ｂ＝ａ・ＤＲ_Ａ ・・・（３）

ＤＲの比率を元に、ＤＲが小さい方の強調処理の強度を強める。この場合も、画像の主に中心領域から一つの係数を算出して全画面に適用してもよいし、対応する領域毎それぞれで係数を算出して領域毎に係数を適用してもよい。被写界深度の深い一方の画像に合わせて強調処理を行うことで、他方の画像の被写界深度も深くすることができる。

７．エクソスコープ画像と内視鏡画像のノイズの調整
図１１は、エクソスコープ画像１０と内視鏡画像１２のノイズを合わせる例を示す模式図である。変換係数の算出方法は、図６で説明した色味を合わせる場合と同様である。図６及び式（１）におけるＲＧＢ値を、注目画素周辺の所定領域の画素値の標準偏差σに置き換えたものとして変換係数を算出する。

この場合も、互いに同じ被写体の同じ位置であるというマッチングの取れた領域Ａ、領域Ｂについて、それぞれの領域Ａ，Ｂ内の対応する位置（図中に×印で示す）のノイズ（標準偏差σ）の値が、内視鏡画像１２ではσ_Ｂであり、エクソスコープ画像１０ではσ_Ａであった場合、それぞれの画像のノイズの関係は以下の式（４）で示すような線形式で表すことができる。なお、式（４）において、ａは変換係数である。
σ_Ａ＝ａ・σ_Ｂ ・・・（４）

ノイズσの比率に基づいて、ノイズが多い方の画像のノイズリダクション（ＮＲ）の強度を強める。また、単純にノイズリダクションの強度の強弱を調整するだけでなく、ノイズが多い方の画像にノイズリダクションを適用する際に、ノイズが少ない方の画像のエッジ情報を用いてノイズリダクションを適用するようにして、より高性能なノイズリダクションを行うようにしてもよい。

８．エクソスコープ画像と内視鏡画像の向き、画角の調整
図１２は、エクソスコープ画像１０と内視鏡画像１２の画像の向き、画角を合わせる例を示す模式図である。この場合、エクソスコープ画像１０と内視鏡画像１２のマッチング結果に基づき幾何補正を行い、エクソスコープ画像１０の向きに対して内視鏡画像１２の向きを合わせる補正を行う。

具体的には、例えばブロックマッチングなどでエクソスコープ画像１０と内視鏡画像１との間の位置関係、対応関係を取得し、その結果を元に幾何補正を行う。図１２に示す例では、内視鏡画像１２の画像の向きがエクソスコープ画像１０の画像に向きに適合されている。なお、エクソスコープ画像１０内に映る内視鏡の向きを検出して、その向きに応じて補正のオン／オフを自動で切り替えてもよい。例えば、内視鏡画像１２とエクソスコープ画像１０の天地が逆になる向きに内視鏡が向いていれば、補正をオンにする。

９．エクソスコープ画像と内視鏡画像の奥行き感の調整
図１３は、３Ｄで撮影が可能なエクソスコープ画像１０と３Ｄで撮影が可能な内視鏡画像１２を併用する場合の例を示す模式図である。例えば、エクソスコープ画像１０の３Ｄ画像を表示するモニタ３００から、内視鏡画像１２の３Ｄ画像を表示するモニタ３００へ視点を切り替える際に、エクソスコープ画像１０上での注目点の奥行き感と内視鏡画像１２上で対応する注目点（対応点）との奥行き感が大きく異なっていると、ユーザにおける視線切り換え時の違和感が大きくなる。

このため、エクソスコープ画像１０の左右眼画像からブロックマッチング処理等により注目点の視差ｄを検出し、同様に内視鏡画像１２の左右眼画像からもブロックマッチング処理等により対応点の視差ｄ’を検出する。そして、ｄ’＝ｄとなるように内視鏡画像１２の左右眼画像の視差調整処理を行う。

また、内視鏡画像１２の３Ｄ画像を表示するモニタ３００から、エクソスコープ画像１０の３Ｄ画像を表示するモニタ３００へ視線を切り換える際には、逆にｄ＝ｄ’となるような視差調整をエクソスコープ画像１０側の左右眼画像に対して行う。

以上のような視差調整により、エクソスコープ画像１０上の注目点と内視鏡画像１２上の対応点の奥行き感が同程度に揃うため、ユーザによる視線切り換え時の違和感を軽減することができる。

内視鏡画像１２とエクソスコープ画像１０とで、奥行のレンジが大きく異なっている場合、視差を一方に合わせると、３Ｄ画像上で飛び出し過ぎ、または引っ込み過ぎな被写体が存在してしまう可能性がある。そこで、内視鏡画像１２とエクソスコープ画像１０の各々で左右眼画像から奥行推定を行い、一方の奥行レンジが他方の奥行レンジよりも極端に大きい場合（一方の奥行レンジと他方の奥行レンジとの差分が所定値を超える場合）は、視差調整を行わない、あるいは、視差調整の程度を低減する等の処理を行っても良い。

なお、本実施形態における画像上の注目点は、ポインティングデバイス等のユーザインタフェース（ＵＩ）を用いてユーザが指定してもよいし、視線検出デバイスによる自動での注目点検出を行ってもよい。また、電気メスや鉗子等の術具検出を行い、例えば画像上でユーザである医師が注目しやすい電気メスや鉗子の先端を注目点に設定してもよい。また、一般的に視点が集まりやすい画像の中央部分を注目点に設定してもよい。

１０．複数のカメラ部が接続されたＣＣＵを複数備える構成例
上述の例では、複数のカメラ部１００がＣＣＵ２００に接続された手術用システム１０００について説明したが、複数のカメラ部１００が接続されたＣＣＵ２００を複数備え、各ＣＣＵ２００が統合装置６００に接続されたシステムに適用することもできる。図１４は、複数のカメラ部１００が接続されたＣＣＵ２００を複数備え、各ＣＣＵ２００が統合装置６００に接続されたシステム２０００を示す模式図である。

図１４に示すシステム２０００では、カメラ部１００の画像の情報はＣＣＵ２００を経由して統合装置６００に送られる。図１４に示すシステム２０００では、図３に示した信号処理部２１０は、ＣＣＵ２００ではなく統合装置６００に設けられている。統合装置６００は、信号処理部２１０の機能により、各カメラ部１００から送られた画像の見え方を合わせる処理を行う。従って、図１４に示すシステム２０００によれば、統合装置６００に接続されている各ＣＣＵ２００に接続された、各カメラ部１００の画像の見え方を統一することが可能となる。

なお、上述の説明では、主としてエクソスコープ画像１０と内視鏡画像１２を同時に併用して観察する場合について説明したが、図５で説明したように、エクソスコープ画像１０と内視鏡画像１２切り換えて観察する場合にも適用可能である。その際は、切り換える直前の画像を保持しておき、その画像を用いて、切り換え後の画像の各種補正を行う。また、補正する画像はエクソスコープ画像１０もしくは内視鏡画像１２に限定されるものではなく、状況に応じて変えるようにしてもよい。

以上説明したように本実施形態によれば、異なる２つのカメラ部１００を併用して同じ被写体を撮像した場合に、同じ見え方の画像を生成することができる。従って、２つの出力画像を並べて表示した場合、または、２つの出力画像を切り換えて表示した場合に、共に違和感のない観察が可能であり、２つの画像の互いの関係を把握することが容易になる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 複数の手術用撮像装置と、
前記手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する制御ユニットと、
を備える、医療用システム。
（２） 複数の前記手術用撮像装置は、内視鏡、体外視鏡、顕微鏡、及び術野カメラの少なくとも２つ含む、前記（１）に記載の医療用システム。
（３） 前記信号処理部は、調整トリガの発生に応じて、前記連携を行うか否かを切り換える、前記（１）又は（２）に記載の医療用システム。
（４） 前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
前記調整トリガは、ユーザの操作によって発生する、前記（１）～（３）のいずれかに記載の医療用システム。
（５） 前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
前記調整トリガは、複数の前記手術用撮像装置が同一の被写体を撮像する場合に発生する、前記（１）～（３）のいずれかに記載の医療用システム。
（６） 前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
前記調整トリガは、手術を行う術者の状態に応じて発生する、前記（１）～（３）のいずれかに記載の医療用システム。
（７） 前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
前記調整トリガは、複数の前記手術用撮像装置を識別するための識別情報に応じて発生する、前記（１）～（３）のいずれかに記載の医療用システム。
（８） 前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の色を合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（９） 前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の明るさを合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１０） 前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像のコントラストを合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１１） 前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の解像度を合わせる処理を行う、請求項１に記載の医療用システム。
（１２） 前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像のノイズを合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１３） 前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の被写界深度を合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１４） 前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の振れ量を合わせる処理を行う、請求項１に記載の医療用システム。
（１５） 前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した立体視画像の奥行きを合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１６） 前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の画角を合わせる処理を行う、前記（１）～（７）のいずれかに記載の医療用システム。
（１７） 前記信号処理部は、複数の前記手術用撮像装置の１つが撮像した画像を基準として他の手術用撮像装置が撮像した画像を連携させる、前記（１）～（１６）のいずれかに記載の医療用システム。
（１８） 前記信号処理部は、任意の目標画像を基準として複数の前記手術用撮像装置が撮像した画像を連携させる、前記（１）～（１６）のいずれかに記載の医療用システム。
（１９） 複数の手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を備える、制御ユニット。
（２０） 複数の手術用撮像装置と、
前記手術用撮像装置のそれぞれが接続された制御ユニットと、
複数の前記制御ユニットのそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する統合装置と、
を備える、医療用システム。

１００ カメラ部
２００ ＣＣＵ
２１０ 信号処理部
６００ 統合装置
１０００ 手術用システム

Claims (20)

1. 複数の手術用撮像装置と、
   前記手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する制御ユニットと、
   を備え、
   前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
   前記調整トリガは、手術を行う術者の状態に応じて発生する、医療用システム。
2. 複数の手術用撮像装置と、
   前記手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する制御ユニットと、
   を備え、
   前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
   前記調整トリガは、複数の前記手術用撮像装置を識別するための識別情報に応じて発生する、医療用システム。
3. 複数の手術用撮像装置と、
   前記手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する制御ユニットと、
   を備え、
   前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の振れ量を合わせる処理を行う、医療用システム。
4. 複数の手術用撮像装置と、
   前記手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する制御ユニットと、
   を備え、
   前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した立体視画像の奥行きを合わせる処理を行う、医療用システム。
5. 複数の前記手術用撮像装置は、内視鏡、体外視鏡、顕微鏡、及び術野カメラの少なくとも２つ含む、請求項１から４のいずれか一項に記載の医療用システム。
6. 前記信号処理部は、調整トリガの発生に応じて、前記連携を行うか否かを切り換える、請求項１から５のいずれか一項に記載の医療用システム。
7. 前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
   前記調整トリガは、ユーザの操作によって発生する、請求項３又は４に記載の医療用システム。
8. 前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
   前記調整トリガは、複数の前記手術用撮像装置が同一の被写体を撮像する場合に発生する、請求項３又は４に記載の医療用システム。
9. 前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
   前記調整トリガは、手術を行う術者の状態に応じて発生する、請求項３又は４に記載の医療用システム。
10. 前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
    前記調整トリガは、複数の前記手術用撮像装置を識別するための識別情報に応じて発生する、請求項３又は４に記載の医療用システム。
11. 前記信号処理部は、複数の前記手術用撮像装置の１つが撮像した画像を基準として他の手術用撮像装置が撮像した画像を連携させる、請求項１から１０のいずれか一項に記載の医療用システム。
12. 前記信号処理部は、任意の目標画像を基準として複数の前記手術用撮像装置が撮像した画像を連携させる、請求項１から１０のいずれか一項に記載の医療用システム。
13. 複数の手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を備え、
    前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
    前記調整トリガは、手術を行う術者の状態に応じて発生する、制御ユニット。
14. 複数の手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を備え、
    前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
    前記調整トリガは、複数の前記手術用撮像装置を識別するための識別情報に応じて発生する、制御ユニット。
15. 複数の手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を備え、
    前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の振れ量を合わせる処理を行う、制御ユニット。
16. 複数の手術用撮像装置のそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を備え、
    前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した立体視画像の奥行きを合わせる処理を行う、制御ユニット。
17. 複数の手術用撮像装置と、
    前記手術用撮像装置のそれぞれが接続された制御ユニットと、
    複数の前記制御ユニットのそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する統合装置と、
    を備え、
    前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
    前記調整トリガは、手術を行う術者の状態に応じて発生する、医療用システム。
18. 複数の手術用撮像装置と、
    前記手術用撮像装置のそれぞれが接続された制御ユニットと、
    複数の前記制御ユニットのそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する統合装置と、
    を備え、
    前記信号処理部は、調整トリガの発生に応じて前記連携のための処理を行い、
    前記調整トリガは、複数の前記手術用撮像装置を識別するための識別情報に応じて発生する、医療用システム。
19. 複数の手術用撮像装置と、
    前記手術用撮像装置のそれぞれが接続された制御ユニットと、
    複数の前記制御ユニットのそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する統合装置と、
    を備え、
    前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した画像の振れ量を合わせる処理を行う、医療用システム。
20. 複数の手術用撮像装置と、
    前記手術用撮像装置のそれぞれが接続された制御ユニットと、
    複数の前記制御ユニットのそれぞれが接続され、前記手術用撮像装置のそれぞれが撮像した画像を連携させる信号処理部を有する統合装置と、
    を備え、
    前記信号処理部は、複数の前記手術用撮像装置のそれぞれが撮像した立体視画像の奥行きを合わせる処理を行う、医療用システム。

Images