JP5611441B1 - 顕微鏡用映像処理装置、および医療用顕微鏡システム - Google Patents

Abstract

【課題】手術用顕微鏡から入力される映像を３次元映像に変換すること。【解決手段】顕微鏡用映像処理装置１００は、手術用顕微鏡２００から顕微鏡映像を取得する顕微鏡映像取得手段と、顕微鏡映像取得手段によって取得された顕微鏡映像を３次元映像に変換する映像変換手段と、映像変換手段によって変換された３次元映像内における手術器具の位置を特定する手術器具位置特定手段と、あらかじめ設定された患者の手術対象部位と、手術器具位置特定手段によって特定された手術器具の位置との距離を算出する距離算出手段と、距離算出手段によって算出された距離を表す距離情報を３次元映像内に表示した出力映像を表示装置へ出力する映像出力手段とを備える。【選択図】図１

Description

本発明は、顕微鏡用映像処理装置、および医療用顕微鏡システムに関する。

次のような手術用顕微鏡が知られている。この手術用顕微鏡は、撮像素子を用いた電子画像実体顕微鏡において、自然な立体感が得られるように観察画像を画像処理する（例えば、特許文献１）。

特開２００４−１５１４９０号公報

しかしながら、従来の手術用顕微鏡では、顕微鏡による観察対象を立体的な画像で表示することはできるが、顕微鏡画像を見ながらの手術においては、表示されている画像内において、患者の手術対象部位と、医師が把持している手術器具との距離感が把握し辛いという問題があった。

本発明による顕微鏡用映像処理装置は、手術用顕微鏡から所定のフレームレートで出力される顕微鏡映像を取得する顕微鏡映像取得手段と、顕微鏡映像取得手段によって取得された顕微鏡映像を３次元映像に変換する映像変換手段と、顕微鏡映像取得手段によって取得された顕微鏡映像の中から、持ち手部分に、手術器具の先端側と後端側を判別可能なように色分けがされたマーキングが等間隔に施された手術器具について、最も先端側の位置を判別するために付されたマーキングの位置を手術器具の先端位置として特定し、特定した先端位置の顕微鏡映像における座標値を、３次元映像内における座標値に変換することにより、映像変換手段によって変換された３次元映像内における手術器具の先端位置を特定する手術器具位置特定手段と、あらかじめ設定された患者の手術対象部位と、手術器具位置特定手段によって特定された手術器具の先端位置との距離を算出する距離算出手段と、記距離算出手段によって算出された距離を表す距離情報を３次元映像内に表示した出力映像を表示装置へ出力する映像出力手段とを備えることを特徴とする。
本発明による医療用顕微鏡システムは、上記の顕微鏡用映像処理装置と、顕微鏡用映像処理装置と接続され、顕微鏡用映像処理装置へ所定のフレームレートで顕微鏡映像を入力する手術用顕微鏡とを備えることを特徴とする。

本発明によれば、３次元映像内に患者の手術対象部位と手術器具の位置との距離を表す距離情報を表示するようにしたので、手術を行う医師は、患者の手術対象部位と自身が把持している手術器具との距離を正確に把握することができる。

医療用顕微鏡システム１０の一実施の形態の構成を示すブロック図である。 顕微鏡用映像処理装置１００の一実施の形態の構成を示すブロック図である。 手術用顕微鏡２００と顕微鏡像面との関係を示す図である。 手術器具に施されたマーキングの一例を模式的に示す図である。 顕微鏡像面における手術器具の先端位置の一例を示す図である。 表示される３次元映像の具体例を示す図である。 顕微鏡用映像処理装置１００で実行される処理の流れを示すフローチャート図である。

図１は、本実施の形態における医療用顕微鏡システム１０の一実施の形態の構成を示すブロック図である。医療用顕微鏡システム１０は、顕微鏡用映像処理装置１００と、手術用顕微鏡２００とで構成される。本実施の形態では、顕微鏡用映像処理装置１００と手術用顕微鏡２００とは、例えば接続ケーブルを介して、または無線通信により接続される。なお、無線通信の場合は、例えば無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の公知の通信技術を用いればよい。

手術用顕微鏡２００は、アームを備えた架台部と、アームの先端に取り付けられ、被写体を拡大撮影する顕微鏡部とで構成される。アームは、水平、垂直、回転の各方向に所定の可動範囲を有しており、顕微鏡部の位置を任意に変更することができる構造となっている。顕微鏡部は、撮像素子やレンズ等で構成される撮像部を備え、ズームレンズを駆動させて観察対象像を拡大させるとともに、フォーカスレンズを駆動させて観察対象に合焦させ、観察対象の画像を取得する。本実施の形態では、顕微鏡部は、所定のフレームレートで画像を取得することにより、観察対象を撮影した映像を出力することができる。なお、手術用顕微鏡の構造や手術用顕微鏡が備える機能は公知のため、ここでは詳細な説明を省略する。

顕微鏡用映像処理装置１００は、手術用顕微鏡２００から入力される映像を処理する装置である。この顕微鏡用映像処理装置１００としては、例えば、パソコンやサーバ装置などの情報処理装置が用いられ、これらの情報処理装置に手術用顕微鏡２００から入力される映像を処理するためのソフトウェアがインストールされることにより、後述する処理を実行する。

図２は、本実施の形態における顕微鏡用映像処理装置１００としてパソコンを用いた場合の一実施の形態の構成を示すブロック図である。顕微鏡用映像処理装置１００は、接続ＩＦ（インターフェース）１０１と、制御装置１０２と、記録装置１０３と、表示装置１０４とを備えている。

接続ＩＦ１０１は、顕微鏡用映像処理装置１００を手術用顕微鏡２００と接続するためのインターフェースであり、例えば、手術用顕微鏡２００と有線接続するためのインターフェースや、無線接続するためのインターフェースが用いられる。

制御装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、顕微鏡用映像処理装置１００の全体を制御する。なお、制御装置１０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、接続ＩＦ１０１を介して読み込まれたデータは、バッファメモリに一時的に記録される。

記録装置１０３は、顕微鏡用映像処理装置１００が蓄える種々のデータや、制御装置１０２が実行するためのプログラムのデータ等を記録するための記録装置であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。上述した手術用顕微鏡２００から入力される映像を処理するためのソフトウェアのプログラムデータは、この記録装置１０３に記録される。なお、記録装置１０３に記録されるプログラムデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムデータを記録装置１０３にインストールすることによって、制御装置１０２がプログラムを実行できるようになる。
表示装置１０４は、制御装置１０２から出力された情報が表示される表示装置であって、例えば液晶モニタ等が用いられる。

本実施の形態における医療用顕微鏡システム１０では、顕微鏡用映像処理装置１００の制御装置１０２は、接続ＩＦ１０１を介して手術用顕微鏡２００から入力される映像を対象として、以下に説明する処理を行う。

本実施の形態では、手術用顕微鏡２００を使用して手術を行う場合には、顕微鏡用映像処理装置１００を操作する操作者は、あらかじめ手術前に撮影された患者の手術対象部位のＣＴのスライス画像と、手術前に撮影された患者の手術対象部位のＭＲＩのスライス画像と、手術対象部位の３次元モデル画像とを記録装置１０３に記録しておく。

手術対象部位のＣＴのスライス画像は、患者の手術対象部位周辺を対象として、その断面を所定のスライス厚で撮影した複数のＣＴ画像からなる。手術対象部位のＭＲＩのスライス画像は、患者の手術対象部位周辺を対象として、その断面を所定のスライス厚で撮影した複数のＭＲＩ画像からなる。手術対象部位の３次元モデル画像は、患者の手術対象部位に対応する位置周辺を３次元モデル化した画像であって、該当部位の一般的な３次元モデル画像が公知の作成方法により作成されたものである。

制御装置１０２は、接続ＩＦ１０１を介して手術用顕微鏡２００から顕微鏡映像の入力が開始されると、入力された顕微鏡映像を構成する各コマを画像処理して３次元画像を作成して、顕微鏡映像を３次元映像に変換する。以下、制御装置１０２によって実行される顕微鏡映像を３次元映像に変換するための処理について説明する。

制御装置１０２は、記録装置１０３から、患者の手術対象部位のＣＴのスライス画像を読み出して、ＣＴのスライス画像を重ね合せて、患者の手術対象部位の３次元ＣＴ画像を作成する。また、制御装置１０２は、記録装置１０３から、患者の手術対象部位のＭＲＩのスライス画像を読み出して、ＭＲＩのスライス画像を重ね合せて、患者の手術対象部位の３次元ＭＲＩ画像を作成する。

制御装置１０２は、記録装置１０３から、手術対象部位の３次元モデル画像を読み出して、作成した３次元ＣＴ画像と３次元ＭＲＩ画像と３次元モデル画像とを位置合わせして重畳することにより患者の手術対象部位の３次元画像を作成する。３次元ＣＴ画像と３次元ＭＲＩ画像と３次元モデル画像との位置合わせは、各画像に対して２値化処理やラベリング処理といった公知の画像処理を施して各画像から特徴的な形状を抽出し、この特徴的な形状同士を重ね合せることにより行う。

ここで重ね合せに用いる特徴的な形状としては、各画像内に含まれる血管の形状などとすればよい。具体例を挙げると、脳のシルブウス溝を切り開く手術を行う場合、内頸動脈はＹ字型の特徴的な形状をしているため、あらかじめ一般的な内頸動脈の形状をテンプレート画像として登録しておき、制御装置１０２は、３次元ＣＴ画像と３次元ＭＲＩ画像と３次元モデル画像のそれぞれからテンプレート画像として登録された内頸動脈の形状と近似する形状を抽出する。制御装置１０２は、このように抽出した特徴的な形状である内頸動脈の形状が互いに重なるように位置合わせを行って、３次元ＣＴ画像と３次元ＭＲＩ画像と３次元モデル画像とを重ね合せることにより、ＸＹＺ座標系で表される３次元画像を作成する。なお、これはあくまでも一例であって、大脳縦列裂を切り開く手術を行う場合には、前大脳動脈の形状のような特徴的な形状を抽出する、側頭葉底面を切り開く手術を行う場合には、脳底動脈の形状や後大脳動脈の形状といった特徴的な形状を抽出するといったように、位置合わせに用いる特徴的な形状は、患者の手術対象部位に応じて選択すればよい。

制御装置１０２は、手術用顕微鏡２００からの顕微鏡映像の入力が開始された場合には、所定のフレームレートで入力される顕微鏡映像の各コマと、上述した処理で作成した患者の手術対象部位の３次元画像とを位置合わせして重畳することにより、２次元の顕微鏡映像を３次元映像に変換する。ここでの３次元画像と顕微鏡映像の各コマの位置合わせも、上述した処理と同様に、３次元画像と顕微鏡映像の各コマから血管の形状などの特徴的な形状を抽出し、この特徴的な形状同士を重ね合せることにより行えばよい。

制御装置１０２は、変換した３次元映像を表示装置１０４へ出力して表示させる。これによって、医師等は、手術対象部位を立体的に把握して手術を行うことができる。

本実施の形態における顕微鏡用映像処理装置１００は、手術用顕微鏡２００から入力される顕微鏡映像内に写っている手術器具の３次元映像内における位置を特定し、患者の手術対象部位と手術器具の位置との間の距離を３次元映像内に表示する機能を有している。以下、患者の手術対象部位と手術器具の位置との間の距離を３次元映像内に表示するために、制御装置１０２が実行する処理について説明する。なお、本実施の形態では、手術器具の位置として、手術器具の先端位置を特定する場合について説明する。

まず、制御装置１０２は、３次元映像内における手術器具の先端位置を特定するために、手術用顕微鏡２００から入力される顕微鏡映像における顕微鏡座標系と、表示装置１０４へ出力する３次元映像における表示座標系とを位置合わせするためのキャリブレーション処理を行う。キャリブレーション処理においては、図３に示すように、位置ｔ０における手術用顕微鏡２００の光軸３ｂと垂直な顕微鏡像面３ａにおいて、光軸３ｂと顕微鏡像面３ａとが交わる点Ｐ０を原点として、顕微鏡像面３ａにｘ軸３ｃとｙ軸３ｄをとり、手術用顕微鏡２００の光軸３ｂ方向にｚ軸３ｅをとった３次元座標系を顕微鏡座標系として設定する。

本実施の形態では、表示座標系における原点Ｐ０の座標値ｖＰ０（ｖＸ０，ｖＹ０，ｖＺ０）、表示座標系における原点Ｐ０の方向ベクトルｖＶ０（ｖＶｘ０，ｖＶｙ０，ｖＶｚ０）、表示座標系における原点Ｐ０の表示倍率ｖＭ０と、顕微鏡座標系における原点Ｐ０の座標値ｒＰ０（ｒＸ０，ｒＹ０，ｒＺ０）、顕微鏡座標系における原点Ｐ０の方向ベクトルｒＶ０（ｒＶｘ０，ｒＶｙ０，ｒＶｚ０）、顕微鏡座標系における原点Ｐ０の表示倍率ｒＭ０とに対して、表示座標系における原点Ｐ０の（ｖＰ０，ｖＶ０，ｖＭ０）と、顕微鏡座標系における原点Ｐ０の（ｒＰ０，ｒＶ０，ｒＭ０）とを対応付けることにより、両座標系の位置合わせを行う。具体的には、顕微鏡座標系における原点Ｐ０の（ｒＰ０，ｒＶ０，ｒＭ０）は、表示座標系における原点Ｐ０の（ｖＰ０，ｖＶ０，ｖＭ０）＝（（０，０，０），（０，０，１），１）に対応する。

顕微鏡用映像処理装置１００の操作者は、キャリブレーション処理を行うとともに、観察対象面３ａ上に手術器具を置き、キャリブレーション処理時における顕微鏡映像内での手術器具の長さを特定する。本実施の形態では、図４に示すように、手術器具には複数のマーキング４ａ〜４ｆが施されている。これらのマーキングは、手術器具の持ち手部分に等間隔に施されており、各マーキングは、手術器具の先端側と後端側を判別可能なように色分けがされている。例えば、最も後端側に位置するマーキング４ａを薄い色とし、最も先端側に位置するマーキング４ｆを濃い色として、その間に位置するマーキング４ｂ〜４ｅは、マーキング４ｂからマーキング４ｅに向けて徐々に濃くなるようにし、全体として、マーキング４ａ〜４ｆに向けて色が濃くなるようなグラデーション配色とする。

制御装置１０２は、顕微鏡映像内から観察対象面３ａ上に置かれた手術器具のマーキングを抽出し、色が一番薄いマーキング４ａから色が一番濃いマーキング４ｆまでの長さを手術器具の長さＬとして特定する。制御装置１０２は、特定した手術器具の長さＬをメモリに記録する。これにより、キャリブレーション処理と手術器具の長さ特定処理が完了する。なお、ここで特定する手術器具の長さＬは、持ち手部分に付されたマーキング４ａからマーキング４ｆまでの長さであって、実際の手術器具の全長とは異なるが、本実施の形態では、上記処理で特定した長さＬを手術器具の長さとみなすこととする。

次に、手術時に顕微鏡映像内に写っている手術器具の先端位置を特定するための処理について説明する。ここでは、図３において、手術用顕微鏡２００が位置ｔ１へ移動した場合の処理を例にして説明を行う。なお、ここでは、手術用顕微鏡２００の撮影倍率は、キャリブレーション処理時と同一であるものとして説明するが、撮影倍率が変化した場合には、制御装置１０２は、撮影倍率の変化を加味して処理を行う。

この場合、制御装置１０２は、位置ｔ１における手術用顕微鏡２００の光軸３ｇと垂直な顕微鏡像面３ｆにおいて、光軸３ｇと顕微鏡像面３ｆとが交わる点Ｐ１を原点として、顕微鏡像面３ｆにｘ軸とｙ軸をとり、手術用顕微鏡２００の光軸３ｇ方向にｚ軸をとった座標系において、原点Ｐ１の座標値ｒＰ１（ｒＸ１，ｒＹ１，ｒＺ１）を特定する。また、制御装置１０２は、顕微鏡映像内に写っている手術器具のうち、最も濃い色が付されたマーキングの位置を手術器具の先端位置として特定し、該先端位置ｔＰ´の座標値ｒｔＰ´（ｒｔＸ´，ｒｔＹ´，ｒｔＺ´）を特定する。これにより、図５に示すように、顕微鏡像面３ｆにおけるｒＰ１とｒｔＰ´の位置関係が明らかになる。

なお、この場合、顕微鏡映像内に手術器具の先端部分が映っていれば、制御装置１０２は、最も濃い色が付されたマーキングの位置を特定することができるが、手術器具の一部が医師の手などに隠れている場合等、最も濃い色が付されたマーキングの位置を特定することができず、手術器具の先端位置を特定できない場合もある。この場合は、制御装置１０２は、以下のようにして手術器具の先端位置を推定する。

まず、制御装置１０２は、顕微鏡映像内に写っている手術器具に付されているマーキングの色に基づいて、色の変化方向を特定する。これにより、制御装置１０２は、マーキングの色が薄い色から濃い色に変化している方向が手術器具の先端方向であることを特定することができ、特定した先端方向に手術器具の先端位置が隠れていると判定することができる。

さらに、制御装置１０２は、顕微鏡映像内に写っている手術器具の長さを特定し、特定した長さと、上述した処理でメモリに記録しておいた手術器具の長さＬとに基づいて、顕微鏡映像内における手術器具の先端位置を推定する。すなわち、顕微鏡映像内に写っている手術器具の長さが、上述した処理でメモリに記録しておいた手術器具の長さＬと一致するまで、顕微鏡映像内に写っている手術器具を先端方向へ伸ばした位置が顕微鏡映像内における手術器具の先端位置であると推定することができる。これにより、顕微鏡映像内で手術器具の先端部分が隠れている場合であっても、手術器具の先端位置を特定することができる。

制御装置１０２は、特定した手術器具の先端位置ｔＰ´の座標値ｒｔＰ´（ｒｔＸ´，ｒｔＹ´，ｒｔＺ´）を、上述した顕微鏡座標系における座標値ｒｔＰ（ｒｔＸ，ｒｔＹ，ｒｔＺ）に変換する。その後、制御装置１０２は、上述したキャリブレーション処理による顕微鏡座標系と表示座標系の位置合わせ結果に基づいて、顕微鏡座標系における座標値ｒｔＰ（ｒｔＸ，ｒｔＹ，ｒｔＺ）を表示座標系における座標値ｖｔＰ（ｖｔＸ，ｖｔＹ，ｖｔＺ）に変換する。これによって、表示座標系における手術器具の先端位置を特定することができる。

制御装置１０２は、あらかじめ設定されている表示座標系における手術対象部位の座標値と、上記処理で特定した表示座標系における手術器具の先端位置の座標値ｖｔＰ（ｖｔＸ，ｖｔＹ，ｖｔＺ）との間の距離を算出して、表示装置１０４へ出力する３次元映像上に算出した距離情報を表示する。なお、表示座標系における手術対象部位の座標値は、手術前に決定された患者の手術対象部位の座標値が顕微鏡用映像処理装置１００の操作者によってあらかじめ登録されているものとする。

これによって、３次元映像上には、図６に示すように、手術対象部位６ａと手術器具の先端位置６ｂとの間の距離情報として、両座標間の直線距離６ｃと、深度方向、すなわち表示座標系におけるＺ軸方向の距離６ｄと、左右方向、すなわち表示座標系におけるＸ軸方向の距離６ｅと、上下方向、すなわち表示座標系におけるＹ軸方向の距離６ｆとが表示される。また、図６に示すように、３次元映像上に手術対象部位６ａを明示する。これによって、手術を行う医師は、３次元映像上で手術対象部位、および現在の手術器具の先端位置から手術対象部位までの距離情報を把握することができる。

また、本実施の形態では、手術対象部位の３次元モデル画像に対して、手術時に注意が必要な危険部位の位置を示す情報が登録されている。例えば、手術対象部位が脳内である場合には、危険部位の位置を示す情報として、視神経、聴覚連合野、体性感覚野といった手術対象部位の周囲に存在する損傷リスクが伴う危険部位の位置を特定するための領域情報が登録される。制御装置１０２は、登録されている危険部位の位置を示す情報に基づいて、表示座標系における危険部位領域を特定し、特定した領域を３次元映像に表示する。例えば、図６に示す例では、視神経に対応する領域６ｇと体性感覚野に対応する領域６ｈとが表示されている。これにより、手術を行う医師は、手術対象部位の周囲に存在する危険部位を把握することができるため、手術時のリスクを低減することができる。

図７は、本実施の形態における顕微鏡用映像処理装置１００で実行される処理の流れを示すフローチャートである。図７に示す処理は、手術用顕微鏡２００から顕微鏡映像の入力が開始されると起動するプログラムとして、制御装置１０２によって実行される。なお、本実施の形態では、上述した３次元ＣＴ画像と３次元ＭＲＩ画像の作成処理、および３次元ＣＴ画像、３次元ＭＲＩ画像、３次元モデル画像を用いた患者の手術対象部位の３次元画像の作成処理は既に完了しているものとする。

ステップＳ１０において、制御装置１０２は、上述したように、所定のフレームレートで入力される顕微鏡映像の各コマと、患者の手術対象部位の３次元画像とを位置合わせして重畳することにより、２次元の顕微鏡映像を３次元映像に変換する。その後、ステップＳ２０へ進む。

ステップＳ２０では、制御装置１０２は、ステップＳ１０で変換して得た３次元映像を表示装置１０４へ出力して表示させる。その後、ステップＳ３０へ進む。

ステップＳ３０では、制御装置１０２は、上述したように、３次元映像内における手術器具の先端位置を特定する。その後、ステップＳ４０へ進む。

ステップＳ４０では、制御装置１０２は、図６に示したように、手術対象部位６ａと手術器具の先端位置６ｂとの間の距離情報を３次元映像内に表示する。このとき、制御装置１０２は、手術対象部位６ａと手術対象部位の周囲に存在する危険部位を特定するための情報６ｇ、６ｈも３次元映像内に表示する。その後、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０２は、手術用顕微鏡２００から顕微鏡映像を取得し、取得した顕微鏡映像を３次元映像に変換し、３次元映像内における手術器具の先端位置を特定し、あらかじめ設定された患者の手術対象部位と、特定した手術器具の先端位置との距離を算出し、算出した距離を表す距離情報を３次元映像内に表示した出力映像を表示装置１０４へ出力するようにした。これによって、３次元映像内に患者の手術対象部位と手術器具の位置との距離を表す距離情報を表示するようにしたので、手術を行う医師は、患者の手術対象部位と自身が把持している手術器具との距離を正確に把握することができる。また、医師が患者の手術対象部位と医師が把持している手術器具との距離感をつかめないと、手術対象部位の周辺に位置する他の部位を傷つけてしまうなどの重大なミスにつながる可能性があるが、本発明によれば、このような手術時のリスクを低減することができる。

（２）制御装置１０２は、手術前に撮影された患者の手術対象部位のＣＴのスライス画像を重ね合せた３次元ＣＴ画像を作成するとともに、手術前に撮影された患者の手術対象部位のＭＲＩのスライス画像を重ね合せた３次元ＭＲＩ画像を作成し、３次元ＣＴ画像と、３次元ＭＲＩ画像と、あらかじめ用意された手術対象部位の３次元モデル画像とを位置合わせして重畳することにより患者の手術対象部位の３次元画像を作成し、患者の手術対象部位の３次元画像と、手術用顕微鏡２００から取得した顕微鏡映像の各コマを位置合わせして重畳することにより、顕微鏡映像を３次元映像に変換するようにした。このように、ＣＴのスライス画像、ＭＲＩのスライス画像、および３次元モデル画像を用いることにより精度の高い３次元画像を作成して、顕微鏡映像を３次元映像に変換することができる。

（３）制御装置１０２は、手術器具の先端位置の顕微鏡座標系における座標値を特定し、これを表示座標系における座標値に変換することにより、３次元映像内における手術器具先端位置を特定するようにした。これによって、顕微鏡映像内に写っている手術対象器具の先端位置を３次元映像内においても特定することができる。

（４）制御装置１０２は、３次元映像内におけるあらかじめ設定された手術対象部位の座標値と、特定した手術器具の先端位置の座標値とに基づいて、手術対象部位と手術器具の先端位置との直線距離、深度方向、すなわち奥行き方向の距離と、左右方向、すなわち水平方向の距離と、上下方向、すなわち垂直方向の距離とを算出するようにした。これによって、手術を行う医師は、３次元映像上で現在の手術器具の先端位置から手術対象部位までの距離情報を把握することができる。

（５）制御装置１０２は、３次元映像内に、手術対象部位の位置を示す情報を表示するようにした。これによって、手術を行う医師は、３次元映像上で手術対象部位を把握することができる。

（６）制御装置１０２は、３次元映像内に、手術対象部位の周囲に存在する損傷リスクが伴う危険部位の位置を示す情報を表示するようにした。これによって、手術を行う医師は手術対象部位の周囲に存在する危険部位を把握することができ、手術時のリスクを低減することができる。

―変形例―
なお、上述した実施の形態の医療用顕微鏡システム１０は、以下のように変形することもできる。
（１）上述した実施の形態では、キャリブレーション処理を行うとともに、観察対象面３ａ上に手術器具を置き、キャリブレーション処理時における顕微鏡映像内での手術器具の長さＬを特定するようにし、手術器具の先端位置を特定する際に、手術器具に付された最も濃い色が付されたマーキングの位置を特定することができない場合には、手術器具の長さＬに基づいて、顕微鏡映像内における手術器具の先端位置を推定する例について説明した。上述した実施の形態では、手術器具の長さＬは、キャリブレーション処理時に観察対象面３ａ上に置かれた手術器具を対象として算出したものであるが、手術時には、必ずしも観察対象面に対して水平に手術器具が映るとは限らない。仮に、手術器具が観察対象面に対して傾きを持って顕微鏡映像に映った場合には、顕微鏡映像内の手術器具の長さは、キャリブレーション処理時に計測した手術器具の長さＬとは異なることになる。この場合、手術器具に等間隔に付されたマーキングは、顕微鏡映像内では光軸から離れるに従って狭く映ることになる。また、マーキングの幅、すなわち図４に示したマーキングの縦方向の長さは、顕微鏡映像内では光軸から離れるに従って細く映ることになる。このため、制御装置１０２は、このマーキング間隔の変化とマーキング幅の変化に基づいて、顕微鏡映像内における手術器具の長さを補正するようにすればよい。

具体的には、制御装置１０２は、顕微鏡映像内で連続する３つのマーキングを対象として、隣り合う２つのマーキングの間の間隔を特定し、これらの間隔の比を算出する。例えば、図４に示したマーキング４ｂ、４ｃ、４ｄの連続する３つのマーキングを対象として、マーキング４ｂとマーキング４ｃとの間の間隔Ａと、マーキング４ｃとマーキング４ｄとの間の間隔Ｂを特定し、間隔Ａと間隔Ｂの比を算出する。この比は、顕微鏡座標系におけるＺ軸方向の傾き幅を表すため、顕微鏡映像内の手術器具の長さを、キャリブレーション処理時に計測した手術器具の長さＬと該傾き幅とに基づいて、三角関数により算出して、補正をすることができる。

あるいは、制御装置１０２は、隣り合う２つのマーキングを対象として、マーキング幅の比を算出する。例えば、図４に示したマーキング４ｂと４ｃを対象として、マーキング４ｂのマーキング幅とマーキング４ｃのマーキング幅の比を算出する。この比も顕微鏡座標系におけるＺ軸方向の傾き幅を表すため、顕微鏡映像内の手術器具の長さを、キャリブレーション処理時に計測した手術器具の長さＬと該傾き幅とに基づいて、三角関数により算出して補正するようにしてもよい。

（２）上述した実施の形態では、手術器具には複数のマーキング４ａ〜４ｆが施されており、各マーキングは、手術器具の先端側と後端側を判別可能なように色分けがされている例について説明した。しかしながら、手術器具の先端側と後端側を判別とすれば、手術器具に施すものはマーキングに限定されない。例えば、図４に示したマーキング４ａ〜４ｆの位置に、手術器具の先端側と後端側を判別するために番号を付しても良いし、先端側を示す方向を向く矢印を付すようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１０ 医療用顕微鏡システム
１００ 顕微鏡用映像処理装置
１０１ 接続ＩＦ
１０２ 制御装置
１０３ 記録装置
１０４ 表示装置
２００ 手術用顕微鏡

Claims (7)

1. 手術用顕微鏡から所定のフレームレートで出力される顕微鏡映像を取得する顕微鏡映像取得手段と、
   前記顕微鏡映像取得手段によって取得された前記顕微鏡映像を３次元映像に変換する映像変換手段と、
   前記顕微鏡映像取得手段によって取得された前記顕微鏡映像の中から、持ち手部分に、手術器具の先端側と後端側を判別可能なように色分けがされたマーキングが等間隔に施された前記手術器具について、最も先端側の位置を判別するために付されたマーキングの位置を前記手術器具の先端位置として特定し、特定した先端位置の前記顕微鏡映像における座標値を、前記３次元映像内における座標値に変換することにより、前記映像変換手段によって変換された３次元映像内における手術器具の先端位置を特定する手術器具位置特定手段と、
   あらかじめ設定された患者の手術対象部位と、前記手術器具位置特定手段によって特定された前記手術器具の先端位置との距離を算出する距離算出手段と、
   前記距離算出手段によって算出された距離を表す距離情報を前記３次元映像内に表示した出力映像を表示装置へ出力する映像出力手段とを備えることを特徴とする顕微鏡用映像処理装置。
2. 請求項１に記載の顕微鏡用映像処理装置において、
   前記映像変換手段は、手術前に撮影された患者の手術対象部位のＣＴのスライス画像を重ね合せた３次元ＣＴ画像を作成するとともに、手術前に撮影された患者の手術対象部位のＭＲＩのスライス画像を重ね合せた３次元ＭＲＩ画像を作成し、前記３次元ＣＴ画像と、前記３次元ＭＲＩ画像と、あらかじめ用意された手術対象部位の３次元モデル画像とを位置合わせして重畳することにより患者の手術対象部位の３次元画像を作成し、前記患者の手術対象部位の３次元画像と、前記顕微鏡映像取得手段によって取得された前記顕微鏡映像の各フレームを位置合わせして重畳することにより、前記顕微鏡映像を前記３次元映像に変換することを特徴とする顕微鏡用映像処理装置。
3. 請求項１または２に記載の顕微鏡用映像処理装置において、
   前記手術器具位置特定手段は、前記顕微鏡映像取得手段によって取得された前記顕微鏡映像内に前記手術器具の先端位置が映っていないことにより、前記手術器具の先端位置の座標値が特定できない場合には、前記顕微鏡映像に映っている前記手術器具の一部と、あらかじめ特定した前記手術器具の長さとに基づいて、前記手術器具の先端位置の座標値を推定することを特徴とする顕微鏡用映像処理装置。
4. 請求項１〜３のいずれか一項に記載の顕微鏡用映像処理装置において、
   前記距離算出手段は、前記３次元映像内におけるあらかじめ設定された手術対象部位の座標値と、前記手術器具位置特定手段によって特定された前記手術器具の先端位置の座標値とに基づいて、前記手術対象部位と前記手術器具の先端位置との直線距離、水平方向の距離、垂直方向の距離、および奥行き方向の距離を算出することを特徴とする顕微鏡用映像処理装置。
5. 請求項１〜４のいずれか一項に記載の顕微鏡用映像処理装置において、
   前記３次元映像内に、前記手術対象部位の位置を示す手術対象部位位置情報を表示する手術対象部位位置情報表示手段をさらに備えることを特徴とする顕微鏡用映像処理装置。
6. 請求項１〜５のいずれか一項に記載の顕微鏡用映像処理装置において、
   前記３次元映像内に、前記手術対象部位の周囲に存在する損傷リスクが伴う危険部位の位置を示す危険部位位置情報を表示する危険部位位置情報表示手段をさらに備えることを特徴とする顕微鏡用映像処理装置。
7. 請求項１〜６のいずれかに記載の顕微鏡用映像処理装置と、前記顕微鏡用映像処理装置と接続され、前記顕微鏡用映像処理装置へ所定のフレームレートで顕微鏡映像を入力する手術用顕微鏡とを備えることを特徴とする医療用顕微鏡システム。

Images