JP7239362B2 - 医療用画像処理装置及び医療用観察システム - Google Patents

Description

本開示は、医療用画像処理装置及び医療用観察システムに関する。

従来、撮像デバイスにて観察対象を撮像することにより得られた実画像に対して、ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）等の断層撮影装置にて撮影された複数の断層画像に基づく３次元画像を重畳させて重畳画像を生成する医療用観察システムが知られている（例えば、特許文献１参照）。
特許文献１に記載の医療用観察システムでは、３次元画像から観察対象に対する撮像デバイスの位置や向きに応じた画像を切り出し、実画像に対して当該切り出した画像を重畳させて重畳画像を生成している。

特表平７－５０８４４９号公報

しかしながら、特許文献１に記載の医療用観察システムでは、実画像と３次元画像とを位置及び向きのみを合わせて重畳しているため、当該２つの画像で奥行き方向は一致しない。すなわち、観察に適した重畳画像を生成することができない、という問題がある。

本開示は、上記に鑑みてなされたものであって、観察に適した重畳画像を生成することができる医療用画像処理装置及び医療用観察システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本開示に係る医療用画像処理装置は、観察対象を撮像することにより得られた実画像を取得する画像取得部と、前記観察対象を撮影した複数の断層画像に基づく３次元画像の少なくとも一部を切り出して切出画像を生成する切出処理を実行する切出処理部と、前記実画像の撮像時における前記観察対象の照明条件を示す照明条件情報に基づいて、前記切出画像に陰影を付与する陰影処理を実行する陰影処理部と、前記実画像に対して前記陰影処理後の前記切出画像を重畳させて重畳画像を生成する重畳処理を実行する重畳処理部とを備える。

本開示に係る医療用画像処理装置では、上記開示において、前記照明条件情報は、前記実画像の撮像時に前記観察対象を照明する照明デバイスの位置と、前記照明デバイスから前記観察対象に向かう照明光軸の傾きとを含む情報であり、前記陰影処理部は、前記照明デバイスの位置と前記照明光軸の傾きとに基づいて前記切出画像に陰影を付与する前記陰影処理を実行する。

本開示に係る医療用画像処理装置では、上記開示において、前記照明条件情報は、前記照明デバイスにおける配光特性を含み、前記陰影処理部は、前記陰影処理において、前記配光特性に基づいて前記陰影の濃淡を調整する。

本開示に係る医療用画像処理装置では、上記開示において、前記照明条件情報は、前記実画像の撮像時に前記照明デバイスから前記観察対象に照射された照明光の光量を含み、前記陰影処理部は、前記陰影処理において、前記光量に基づいて前記陰影の濃淡を調整する。

本開示に係る医療用画像処理装置では、上記開示において、前記切出処理部は、前記実画像の撮像時における前記観察対象の撮像条件を示す撮像条件情報に基づいて、前記３次元画像の少なくとも一部を切り出して前記切出画像を生成する前記切出処理を実行し、前記撮像条件情報は、前記観察対象を撮像して前記実画像を出力する撮像デバイスの位置と、前記撮像デバイスから前記観察対象に向かう観察光軸の傾きと、前記撮像デバイスにおける焦点距離と、前記撮像デバイスにおける画角との少なくとも一つを含む。

本開示に係る医療用画像処理装置では、上記開示において、前記切出処理部は、前記撮像条件情報に基づいて前記観察対象における前記撮像デバイスによる撮像位置を認識し、前記３次元画像における前記撮像位置よりも前記撮像デバイスから離間する側にある部分を切り出して前記切出画像を生成する前記切出処理を実行する。

本開示に係る医療用観察システムは、観察対象を撮像して実画像を出力する撮像デバイスを有する医療用観察装置と、上述した医療用画像処理装置と、前記医療用画像処理装置にて生成された重畳画像を表示する表示装置とを備える。

本開示に係る医療用観察装置及び医療用観察システムによれば、観察に適した重畳画像を生成することができる。

図１は、実施の形態に係る医療用観察システムを示すブロック図である。 図２は、医療用観察装置を示す図である。 図３は、左，右目用観察光軸と照明光軸とを説明する図である。 図４は、左，右目用観察光軸と照明光軸とを説明する図である。 図５は、医療用画像処理装置の動作を示すフローチャートである。 図６は、医療用画像処理装置の動作を説明する図である。 図７は、医療用画像処理装置の動作を説明する図である。 図８は、医療用画像処理装置の動作を説明する図である。

以下に、図面を参照して、本開示を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本開示が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

〔医療用観察システムの概略構成〕
図１は、実施の形態に係る医療用観察システム１を示すブロック図である。
医療用観察システム１は、例えば、脳神経外科手術等の微細手術（マイクロサージャリ）をサポートするためや内視鏡手術を行うために、観察対象を撮像した実画像に対してＣＴやＭＲＩ等の断層撮影装置１００（図１）にて撮影された複数の断層画像に基づく３次元画像（以下、ＣＧ（Computer Graphics）画像と記載）を重畳させた重畳画像を表示するシステムである。この医療用観察システム１は、図１に示すように、医療用観察装置２と、ナビゲーション装置３と、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示ディスプレイで構成された表示装置４とを備える。
実施の形態では、表示装置４は、アクティブ方式またはパッシブ方式の３Ｄディスプレイで構成されている。

〔医療用観察装置の構成〕
図２は、医療用観察装置２を示す図である。
医療用観察装置２は、観察対象を撮像して実画像を生成する装置である。この医療用観察装置２は、図１または図２に示すように、撮像部２１と、ベース部２２（図２）と、支持部２３（図２）と、光源部２４と、ライトガイド２５（図２）と、制御装置２６（図１）とを備える。
撮像部２１は、本開示に係る撮像デバイスに相当する。実施の形態では、撮像部２１は、図１に示すように、左目用観察光学系２１１Ｌと、右目用観察光学系２１１Ｒと、駆動部２１２と、レンズ位置検出部２１３と、左目用撮像素子２１４Ｌと、右目用撮像素子２１４Ｒとを備え、所謂、ステレオカメラとして構成されている。

左目用観察光学系２１１Ｌは、観察対象からの被写体像（以下、左目用被写体像と記載）を取り込んで、左目用撮像素子２１４Ｌの撮像面に結像する。この左目用観察光学系２１１Ｌは、図１に示すように、フォーカス光学系２１１ａと、ズーム光学系２１１ｂとを備える。
フォーカス光学系２１１ａは、１または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点を調整する。
ズーム光学系２１１ｂは、１または複数のレンズを用いて構成され、光軸に沿って移動することにより、画角を調整する。

右目用観察光学系２１１Ｒは、観察対象からの被写体像（以下、右目用被写体像と記載）を取り込んで、右目用撮像素子２１４Ｒの撮像面に結像する。この右目用観察光学系２１１Ｒは、図１に示すように、左目用観察光学系２１１Ｌを構成するフォーカス光学系２１１ａ及びズーム光学系２１１ｂと同様のフォーカス光学系２１１ｃ及びズーム光学系２１１ｄを備える。
また、撮像部２１には、フォーカス光学系２１１ａ，２１１ｃを光軸に沿って移動させるフォーカス機構（図示略）やズーム光学系２１１ｂ，２１１ｄを光軸に沿って移動させる光学ズーム機構（図示略）が設けられている。

図３及び図４は、左，右目用観察光軸ＯＡＬ，ＯＡＲと照明光軸ＩＡ１，ＩＡ２とを説明する図である。具体的に、図３は、観察対象ＯＢにおける撮像位置ＯＰから左目用観察光学系２１１Ｌに向かう左目用被写体像の光軸（左目用観察光軸ＯＡＬ）と、当該撮像位置ＯＰから右目用観察光学系２１１Ｒに向かう右目用被写体像の光軸（右目用観察光軸ＯＡＲ）と、当該撮像位置ＯＰに向かう照明光軸ＩＡ１，ＩＡ２とを模式的に示した図である。なお、左，右目用観察光軸ＯＡＬ，ＯＡＲは、本開示に係る観察光軸に相当する。図４は、撮像部２１を図２中、下方側から見た図である。
左，右目用観察光学系２１１Ｌ，２１１Ｒは、図４に示すように、撮像部２１の中心軸Ａｘを中心として１８０°の回転対称位置に設けられている。そして、観察対象ＯＢにおける撮像位置ＯＰから左目用観察光学系２１１Ｌに向かう左目用被写体像の光軸（左目用観察光軸ＯＡＬ）と、当該撮像位置ＯＰから右目用観察光学系２１１Ｒに向かう右目用被写体像の光軸（右目用観察光軸ＯＡＲ）とは、図３に示すように、所定の角度で交差する。すなわち、左目用観察光学系２１１Ｌにて取り込む撮像位置ＯＰの左目用被写体像と、右目用観察光学系２１１Ｒにて取り込む撮像位置ＯＰの右目用被写体像とは、観察対象ＯＢの撮像位置ＯＰを異なる角度から見た被写体像である。

ここで、観察対象ＯＢには、図３に示すように、ナビゲーション装置３にて検出される第１のリファレンスマーカＲＭ１が取り付けられている。実施の形態では、第１のリファレンスマーカＲＭ１は、赤外線を反射する反射マーカで構成されている。なお、図３では、説明の便宜上、第１のリファレンスマーカＲＭ１を１つのみ図示しているが、実際には、複数、設けられている。また、第１のリファレンスマーカＲＭ１としては、赤外線を反射する反射マーカに限らず、赤外線を出射するＬＥＤ（Light Emitting Diode）等を含む器具を観察対象ＯＢに固定した構成を採用しても構わない。
なお、断層撮影装置１００は、第１のリファレンスマーカＲＭ１が取り付けられた観察対象ＯＢを撮影するものである。同様に、医療用観察装置２は、第１のリファレンスマーカＲＭ１が取り付けられた観察対象ＯＢを撮像するものである。

駆動部２１２は、撮像部２１に設けられたフォーカススイッチ２１５（図２）への術者等の操作者による操作に応じて、制御装置２６による制御の下、上述したフォーカス機構を動作させ、左，右目用観察光学系２１１Ｌ，２１１Ｒの焦点を調整する。また、駆動部２１２は、撮像部２１に設けられたズームスイッチ２１６（図２）への操作者による操作に応じて、制御装置２６による制御の下、上述した光学ズーム機構を動作させ、左，右目用観察光学系２１１Ｌ，２１１Ｒの画角を調整する。

レンズ位置検出部２１３は、フォトインタラプタ等の位置センサで構成され、フォーカス光学系２１１ａ，２１１ｃのレンズ位置（以下、フォーカス位置と記載）やズーム光学系２１１ｂ，２１１ｄのレンズ位置（以下、ズーム位置と記載）を検出する。そして、レンズ位置検出部２１３は、検出したフォーカス位置及びズーム位置に応じた信号を制御装置２６に出力する。

左目用撮像素子２１４Ｌは、左目用観察光学系２１１Ｌが結像した左目用被写体像を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）センサ等で構成されている。
右目用撮像素子２１４Ｒは、右目用観察光学系２１１Ｒが結像した右目用被写体像を受光して電気信号に変換するＣＣＤセンサやＣＭＯＳセンサ等で構成されている。
以下では説明の便宜上、左目用撮像素子２１４Ｌにて左目用被写体像が撮像されることにより生成される画像を左目用画像と記載する。また、右目用撮像素子２１４Ｒにて右目用被写体像が撮像されることにより生成される画像を右目用画像と記載する。当該左目用画像及び当該右目用画像は、本開示に係る実画像に相当する。そして、当該実画像は、制御装置２６に出力される。

また、撮像部２１の外面には、図２に示すように、ナビゲーション装置３にて検出される第２のリファレンスマーカＲＭ２が設けられている。実施の形態では、第２のリファレンスマーカＲＭ２は、赤外線を反射する反射マーカで構成されている。なお、図２では、説明の便宜上、第２のリファレンスマーカＲＭ２を１つのみ図示しているが、実際には、複数、設けられている。また、第２のリファレンスマーカＲＭ２としては、赤外線を反射する反射マーカに限らず、赤外線を出射するＬＥＤ等によって構成しても構わない。

ベース部２２は、医療用観察装置２の基台であり、キャスター２２１（図２）を介して床面上を移動可能に構成されている。

支持部２３は、ベース部２２から延在し、先端（ベース部２２から離間した端部）にて撮像部２１を保持する。そして、支持部２３は、操作者から加えられた外力に応じて、撮像部２１を３次元的に移動可能とする。
なお、実施の形態では、支持部２３は、撮像部２１の移動に対して６自由度を有するように構成されているが、これに限らず、その他の異なる数の自由度を有するように構成しても構わない。

この支持部２３は、図２に示すように、第１～第７のアーム部２３１ａ～２３１ｇと、第１～第６の関節部２３２ａ～２３２ｆとを備える。
第１の関節部２３２ａは、支持部２３の先端に位置する。この第１の関節部２３２ａは、第１のアーム部２３１ａにて固定的に支持されつつ、第１の軸Ｏ１（図２）を中心として回転可能に撮像部２１を保持する。
ここで、第１の軸Ｏ１は、撮像部２１の中心軸Ａｘに一致する。すなわち、第１の軸Ｏ１回りに撮像部２１を回転させると、撮像部２１による撮像視野の向きが変更される。

第１のアーム部２３１ａは、第１の軸Ｏ１と直交する方向に延在する略棒状の部材であり、先端にて第１の関節部２３２ａを固定的に支持する。
第２の関節部２３２ｂは、第２のアーム部２３１ｂにて固定的に支持されつつ、第２の軸Ｏ２（図２）を中心として回転可能に第１のアーム部２３１ａを保持する。このため、第２の関節部２３２ｂは、第２の軸Ｏ２回りに撮像部２１を回転可能とする。
ここで、第２の軸Ｏ２は、第１の軸Ｏ１に直交し、第１のアーム部２３１ａの延在方向に平行となる。すなわち、第２の軸Ｏ２回りに撮像部２１を回転させると、観察対象ＯＢに対する撮像部２１の中心軸Ａｘの向きが変更される。言い換えれば、撮像部２１による撮像視野が水平面内で第１，第２の軸Ｏ１，Ｏ２に直交するＸ軸（図２）に沿って移動する。このため、第２の関節部２３２ｂは、撮像部２１による撮像視野をＸ軸に沿って移動させるための関節部である。

第２のアーム部２３１ｂは、第１，第２の軸Ｏ１，Ｏ２に直交する方向に延在したクランク形状を有し、先端にて第２の関節部２３２ｂを固定的に支持する。
第３の関節部２３２ｃは、第３のアーム部２３１ｃにて固定的に支持されつつ、第３の軸Ｏ３（図２）を中心として回転可能に第２のアーム部２３１ｂを保持する。このため、第３の関節部２３２ｃは、第３の軸Ｏ３回りに撮像部２１を回転可能とする。
ここで、第３の軸Ｏ３は、第１，第２の軸Ｏ１，Ｏ２に直交する。すなわち、第３の軸Ｏ３回りに撮像部２１を回転させると、観察対象ＯＢに対する撮像部２１の中心軸Ａｘの向きが変更される。言い換えれば、撮像部２１による撮像視野が水平面内でＸ軸に直交するＹ軸（図２）に沿って移動する。このため、第３の関節部２３２ｃは、撮像部２１による撮像視野をＹ軸に沿って移動させるための関節部である。

第３のアーム部２３１ｃは、第３の軸Ｏ３と略平行な方向に延在する略棒状の部材であり、先端にて第３の関節部２３２ｃを固定的に支持する。
第４の関節部２３２ｄは、第４のアーム部２３１ｄにて固定的に支持されつつ、第４の軸Ｏ４（図２）を中心として回転可能に第３のアーム部２３１ｃを保持する。このため、第４の関節部２３２ｄは、第４の軸Ｏ４回りに撮像部２１を回転可能とする。
ここで、第４の軸Ｏ４は、第３の軸Ｏ３に直交する。すなわち、第４の軸Ｏ４回りに撮像部２１を回転させると、当該撮像部２１の高さが調整される。このため、第４の関節部２３２ｄは、撮像部２１を平行移動させるための関節部である。

第４のアーム部２３１ｄは、第４の軸Ｏ４に直交し、ベース部２２に向けて直線的に延在した略棒状の部材であり、一端側にて第４の関節部２３２ｄを固定的に支持する。
第５のアーム部２３１ｅは、第４のアーム部２３１ｄと同一形状を有する。そして、第５のアーム部２３１ｅは、一端側が第４の軸Ｏ４と平行な軸を中心として回転可能に第３のアーム部２３１ｃに対して接続される。
第６のアーム部２３１ｆは、第３のアーム部２３１ｃと略同一形状を有する。そして、第６のアーム部２３１ｆは、第３～第５のアーム部２３１ｃ～２３１ｅとの間で平行四辺形を形成する姿勢で、第４の軸Ｏ４と平行な軸を中心として回転可能に第４，第５のアーム部２３１ｄ，２３１ｅの各他端側に対して接続される。また、第６のアーム部２３１ｆの端部には、カウンターウェイト２３３（図２）が設けられている。

カウンターウェイト２３３は、当該カウンターウェイト２３３よりも支持部２３の先端側（撮像部２１が設けられる側）に設けられる各構成要素の質量によって、第４の軸Ｏ４回りに発生する回転モーメント及び第５の軸Ｏ５（図２）回りに発生する回転モーメントを相殺可能に、質量及び配置位置が調整される。すなわち、支持部２３は、バランスアーム（カウンターウェイト２３３が設けられた構成）である。なお、支持部２３としては、カウンターウェイト２３３が設けられていない構成としても構わない。

第５の関節部２３２ｅは、第７のアーム部２３１ｇにて固定的に支持されつつ、第５の軸Ｏ５を中心として回転可能に第４のアーム部２３１ｄを保持する。このため、第５の関節部２３２ｅは、第５の軸Ｏ５回りに撮像部２１を回転可能とする。
ここで、第５の軸Ｏ５は、第４の軸Ｏ４に平行となる。すなわち、第５の軸Ｏ５回りに撮像部２１を回転させると、当該撮像部２１の高さが調整される。このため、第５の関節部２３２ｅは、撮像部２１を平行移動させるための関節部である。

第７のアーム部２３１ｇは、鉛直方向に延在する第１の部位と、当該第１の部位に対して略直角に屈曲して延在する第２の部位とで構成された略Ｌ字形状を有し、当該第１の部位にて第５の関節部２３２ｅを固定的に支持する。
第６の関節部２３２ｆは、ベース部２２にて固定的に支持されつつ、第６の軸Ｏ６（図２）を中心として回転可能に第７のアーム部２３１ｇの第２の部位を保持する。このため、第６の関節部２３２ｆは、第６の軸Ｏ６回りに撮像部２１を回転可能とする。
ここで、第６の軸Ｏ６は、鉛直方向に沿う軸である。すなわち、第６の関節部２３２ｆは、撮像部２１を平行移動させるための関節部である。

以上説明した第１の軸Ｏ１は、アクチュエータ等の動力によらず、操作者から加えられた外力に応じて受動的に撮像部２１を当該第１の軸Ｏ１回りに回転可能とする受動軸によって構成されている。なお、第２～第６の軸Ｏ２～Ｏ６も同様に、受動軸によってそれぞれ構成されている。

光源部２４は、ライトガイド２５の一端が接続され、制御装置２６にて指定された光量の照明光を当該ライトガイド２５の一端に供給する。
ライトガイド２５は、一端が光源部２４に接続され、他端側が２つに分岐されているとともに撮像部２１に接続される。そして、ライトガイド２５は、光源部２４から供給された光を一端から他端に伝達し、撮像部２１に供給する。また、撮像部２１には、ライトガイド２５における２つに分岐した各他端に対向させてそれぞれ照明レンズ２１７ａ，２１７ｂ（図４）が配設されている。

照明レンズ２１７ａ，２１７ｂは、図４に示すように、撮像部２１の中心軸Ａｘを中心として１８０°の回転対称位置に設けられている。また、照明レンズ２１７ａ，２１７ｂは、左，右目用観察光学系２１１Ｌ，２１１Ｒに対して撮像部２１の中心軸Ａｘを中心として９０°回転させた位置にそれぞれ設けられている。そして、ライトガイド２５における２つに分岐した一方の他端から出射され、照明レンズ２１７ａを介して撮像位置ＯＰに向かう照明光の光軸（照明光軸ＩＡ１）と、ライトガイド２５における２つに分岐した他方の他端から出射され、照明レンズ２１７ｂを介して撮像位置ＯＰに向かう照明光の光軸（照明光軸ＩＡ２）とは、図３に示すように、所定の角度で交差する。
以上説明した光源部２４、ライトガイド２５、及び照明レンズ２１７ａ，２１７ｂは、本開示に係る照明デバイス２７（図１，図２）に相当する。

制御装置２６は、ベース部２２の内部に設けられている。この制御装置２６は、図１に示すように、通信部２６１と、制御部２６２と、記憶部２６３とを備える。
通信部２６１は、ナビゲーション装置３との間で各種データの通信を所定のプロトコルに従って行うインターフェースである。なお、医療用観察装置２とナビゲーション装置３との間での通信は、無線通信としてもよく、あるいは有線通信としてもよい。

制御部２６２は、ＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field-Programmable Gate Array）等で構成され、記憶部２６３に記憶された制御プログラムにしたがって、医療用観察装置２の動作を統括的に制御する。
具体的に、制御部２６２は、通信部２６１を介して、（１）左，右目用画像（実画像）、（２）撮像部２１における焦点距離、（３）撮像部２１における画角、（４）第１の離間距離Ｄ１、（５）第２の離間距離Ｄ２、（６）照明デバイス２７における配光特性、及び（７）光量をナビゲーション装置３に送信する。
上記（１）の左，右目用画像（実画像）は、左，右目用撮像素子２１４Ｌ，２１４Ｒにてそれぞれ生成された画像である。

上記（２）の撮像部２１における焦点距離は、実画像の撮像時にレンズ位置検出部２１３にて検出されたフォーカス位置に基づいて制御部２６２が算出したものである。
上記（３）の撮像部２１における画角は、実画像の撮像時にレンズ位置検出部２１３にて検出されたズーム位置に基づいて制御部２６２が算出したものである。
上記（４）の第１の離間距離Ｄ１は、撮像部２１の中心軸Ａｘから左，右目用観察光学系２１１Ｌ，２１１Ｒの各中心位置までの離間距離である（図４）。当該第１の離間距離Ｄ１は、設計データとして記憶部２６３に予め記憶されている。
以上説明した上記（２）～（４）の情報は、本開示に係る撮像条件情報を構成する。

上記（５）の第２の離間距離Ｄ２は、撮像部２１の中心軸Ａｘから各照明レンズ２１７ａ，２１７ｂの各中心位置までの離間距離である（図４）。当該第２の離間距離Ｄ２は、設計データとして記憶部２６３に予め記憶されている。
上記（６）の照明デバイス２７における配光特性は、設計データとして記憶部２６３に予め記憶されたものである。
上記（７）の光量は、制御部２６２が光源部２４に指定した光量である。
以上説明した上記（５）～（７）の情報は、本開示に係る照明条件情報を構成する。

記憶部２６３は、制御部２６２が実行する制御プログラムや上記（４）～（６）等の情報を記憶する。

〔ナビゲーション装置の構成〕
ナビゲーション装置３は、図１に示すように、位置検出装置３１と、入力装置３２と、医療用画像処理装置３３とを備える。
位置検出装置３１は、赤外線カメラを含んで構成され、観察対象ＯＢに取り付けられた第１のリファレンスマーカＲＭ１、及び撮像部２１に設けられた第２のリファレンスマーカＲＭ２を検出する。
より具体的に、位置検出装置３１は、三角測量の原理で第１のリファレンスマーカＲＭ１の位置を測定し、当該第１のリファレンスマーカＲＭ１の位置から特定の基準点を原点とする特定の座標系（以下、基準座標系と記載）を設定する。また、位置検出装置３１は、三角測量の原理で第２のリファレンスマーカＲＭ２の位置を測定し、基準座標系での（８）撮像部２１の位置、（９）撮像部２１における中心軸Ａｘを中心とした回転位置、及び（１０）撮像部２１の中心軸Ａｘの傾きを算出する。そして、位置検出装置３１は、上記（８）～（１０）の情報を医療用画像処理装置３３に送信する。
以上説明した上記（８）～（１０）の情報は、本開示に係る撮像条件情報を構成する。また、実施の形態では、照明デバイス２７が撮像部２１に設けられているため、上記（８）の情報は、照明デバイス２７の位置にも相当する。そして、上記（８）～（１０）の情報は、本開示に係る照明条件情報を構成する。

なお、位置検出装置３１による位置検出は、赤外線を用いた位置検出に限らず、赤外線以外の光を用いた光学式の位置検出を採用してもよく、磁界を用いた磁場式の位置検出や、その他の方式の位置検出を採用しても構わない。

入力装置３２は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、操作者によるユーザ操作を受け付ける。そして、入力装置３２は、当該ユーザ操作に応じた操作信号を医療用画像処理装置３３に送信する。

医療用画像処理装置３３は、医療用観察装置２にて撮像された実画像に対して断層撮影装置１００にて撮影された複数の断層画像に基づくＣＧ画像を重畳させて重畳画像を生成する。この医療用画像処理装置３３は、図１に示すように、通信部３３１と、３Ｄモデリング部３３２と、切出処理部３３３と、陰影処理部３３４と、画像処理部３３５と、重畳処理部３３６とを備える。

通信部３３１は、断層撮影装置１００、医療用観察装置２（通信部２６１）、及び位置検出装置３１との間で各種データの通信を所定のプロトコルに従って行うインターフェースである。なお、医療用画像処理装置３３と断層撮影装置１００、医療用観察装置２、及び位置検出装置３１との間での通信は、無線通信としてもよく、あるいは有線通信としてもよい。
そして、通信部３３１は、断層撮影装置１００から当該断層撮影装置１００にて撮影された複数の断層画像を受信し、医療用観察装置２（通信部２６１）から上記（１）～（７）の情報を受信し、位置検出装置３１から上記（８）～（１０）の情報を受信する。すなわち、通信部３３１は、本開示に係る画像取得部に相当する。

３Ｄモデリング部３３２は、通信部３３１にて受信した複数の断層画像から公知の手法（例えばボリュームレンダリング等）を用いてＣＧ画像を生成する。

切出処理部３３３は、ＣＧ画像の少なくとも一部を切り出して切出画像を生成する切出処理を実行する。実施の形態では、切出処理部３３３は、当該切出処理により、ＣＧ画像から左目用画像に対応する左目用切出画像を切り出すとともに、ＣＧ画像から右目用画像に対応する右目用切出画像を切り出す。
具体的に、切出処理部３３３は、ＣＧ画像に含まれる第１のリファレンスマーカＲＭ１の位置から当該ＣＧ画像における基準座標系を特定する。当該基準座標系は、位置検出装置３１にて設定された基準座標系と同一の座標系である。

また、切出処理部３３３は、上記（４）の第１の離間距離Ｄ１、上記（８）の撮像部２１の位置、上記（９）の撮像部２１における中心軸Ａｘを中心とした回転位置、及び上記（１０）の撮像部２１の中心軸Ａｘの傾きに基づいて、基準座標系での（１１）左目用観察光軸ＯＡＬの傾きを特定する。さらに、切出処理部３３３は、上記（２）の撮像部２１における焦点距離、上記（３）の撮像部２１における画角、上記（４）の第１の離間距離Ｄ１、上記（８）の撮像部２１の位置、上記（９）の撮像部２１における中心軸Ａｘを中心とした回転位置、及び上記（１１）の左目用観察光軸ＯＡＬの傾きに基づいて、左目用画像が基準座標系でどの位置をどの方向から見てどの大きさで撮像した画像であるかを判断する。すなわち、切出処理部３３３は、左目用画像が基準座標系で撮像位置ＯＰを第１の方向から見て第１の大きさで撮像した画像であると認識する。そして、切出処理部３３３は、ＣＧ画像において、基準座標系で撮像位置ＯＰよりも撮像部２１の位置から離間する側にある部分（例えば、神経や腫瘍等）を第１の方向から見て第１の大きさで切り出すことによって左目用切出画像を生成する。
なお、上記（１１）の情報は、本開示に係る撮像条件情報を構成する。

同様に、切出処理部３３３は、上記（４）の第１の離間距離Ｄ１、上記（８）の撮像部２１の位置、上記（９）の撮像部２１における中心軸Ａｘを中心とした回転位置、及び上記（１０）の撮像部２１の中心軸Ａｘの傾きに基づいて、基準座標系での（１２）右目用観察光軸ＯＡＲの傾きを特定する。さらに、切出処理部３３３は、上記（２）の撮像部２１における焦点距離、上記（３）の撮像部２１における画角、上記（４）の第１の離間距離Ｄ１、上記（８）の撮像部２１の位置、上記（９）の撮像部２１における中心軸Ａｘを中心とした回転位置、及び上記（１２）の右目用観察光軸ＯＡＲの傾きに基づいて、右目用画像が基準座標系でどの位置をどの方向から見てどの大きさで撮像した画像であるかを判断する。すなわち、切出処理部３３３は、右目用画像が基準座標系で撮像位置ＯＰを第２の方向から見て第１の大きさで撮像した画像であると認識する。そして、切出処理部３３３は、ＣＧ画像において、基準座標系で撮像位置ＯＰよりも撮像部２１の位置から離間する側にある部分（神経や腫瘍等）を第２の方向から見て第１の大きさで切出すことによって右目用切出画像を生成する。
なお、上記（１２）の情報は、本開示に係る撮像条件情報を構成する。

陰影処理部３３４は、切出画像に陰影を付与する陰影処理を実行する。実施の形態では、陰影処理部３３４は、左，右目用切出画像にそれぞれ陰影を付与する。当該陰影処理は、被写体に対して照射される照明光の方向に基づいて、鏡面反射する部分や拡散反射する部分を考慮しつつ、陰影を付与する処理であり、シェーディング処理、ライティング処理、あるいは、シャドーイング処理とも呼ばれる。

具体的に、陰影処理部３３４は、上記（５）の第２の離間距離Ｄ２、上記（８）の撮像部２１の位置、上記（９）の撮像部２１における中心軸Ａｘを中心とした回転位置、及び上記（１０）の撮像部２１の中心軸Ａｘの傾きに基づいて、基準座標系での（１３）照明光軸ＩＡ１，ＩＡ２の傾きを特定する。また、陰影処理部３３４は、上記（５）の第２の離間距離Ｄ２、上記（８）の撮像部２１の位置、上記（９）の撮像部２１における中心軸Ａｘを中心とした回転位置、及び上記（１３）の照明光軸ＩＡ１，ＩＡ２の傾きに基づいて、左，右目用画像の撮像時に基準座標系で撮像位置ＯＰに対してどの方向から照明光が照射されていたかを判断する。すなわち、陰影処理部３３４は、左，右目用画像の撮像時に基準座標系で撮像位置ＯＰに対して第３の方向から照明光が照射されていたと認識する。そして、陰影処理部３３４は、左目用切出画像に対して、基準座標系で第３の方向から照明光が照射された場合に生じる陰影を付与する。同様に、陰影処理部３３４は、右目用切出画像に対して、基準座標系で第３の方向から照明光が照射された場合に生じる陰影を付与する。さらに、陰影処理部３３４は、陰影処理において、上記（６）の照明デバイス２７における配光特性、及び上記（７）の光量に基づいて、付与する陰影の濃淡を調整する。
なお、上記（１３）の情報は、本開示に係る照明条件情報を構成する。

画像処理部３３５は、陰影処理後の左，右目用切出画像にそれぞれ含まれる被写体像（例えば神経や腫瘍等）に色や表面の凹凸形状等を付与する画像処理（以下、色付与処理と記載）を実行する。
ここで、画像処理部３３５にて付与される色や表面の凹凸形状等は、例えば、操作者による入力装置３２への操作に応じて変更可能とする。
なお、画像処理部３３５は、以下に示すように、陰影処理後の左，右目用切出画像にそれぞれ含まれる被写体像に色を付与しても構わない。
例えば、基準座標系での切出処理にて切り出される位置に対して異なる色が予め設定されている。そして、画像処理部３３５は、切出処理にて切り出された位置に応じた色を特定し、当該特定した色を付与する。
また、例えば、陰影処理にて付与される陰影の濃淡の度合いに応じて異なる色が予め設定されている。そして、画像処理部３３５は、陰影処理にて付与された陰影の濃淡の度合いに応じた色を特定し、当該特定した色を付与する。

重畳処理部３３６は、実画像に対して陰影処理後の切出画像を重畳させて重畳画像を生成する重畳処理を実行する。実施の形態では、重畳処理部３３６は、左目用画像に対して色付与処理後の左目用切出画像を重畳させて左目用重畳画像を生成するとともに、右目用画像に対して色付与処理後の右目用切出画像を重畳させて右目用重畳画像を生成する。
そして、重畳処理部３３６は、生成した左，右目用重畳画像から例えばサイドバイサイド方式等の３次元画像信号を生成して表示装置４に出力する。これにより、表示装置４は、当該３次元画像信号に基づく左，右目用重畳画像を３Ｄ表示する。

〔医療用画像処理装置の動作〕
次に、上述した医療用画像処理装置３３の動作について説明する。
図５は、医療用画像処理装置３３の動作を示すフローチャートである。図６ないし図８は、医療用画像処理装置３３の動作を説明する図である。
先ず、医療用画像処理装置３３は、各種の情報を取得する（ステップＳ１）。
具体的に、医療用画像処理装置３３は、ステップＳ１において、通信部３３１を介して、断層撮影装置１００から当該断層撮影装置１００にて撮影された複数の断層画像を受信し、医療用観察装置２から上記（１）～（７）の情報を受信し、位置検出装置３１から上記（８）～（１０）の情報を受信する。

ステップＳ１の後、３Ｄモデリング部３３２は、ステップＳ１で取得した複数の断層画像からＣＧ画像Ｆ０（図６）を生成する（ステップＳ２）。なお、図６では、説明の便宜上、観察対象ＯＢを球体で表現している。
ステップＳ２の後、切出処理部３３３は、切出処理を実行し、ＣＧ画像Ｆ０から左，右目用切出画像を切り出す（ステップＳ３）。なお、図７では、説明の便宜上、切出処理により切り出された左，右目用切出画像のうち、左目用切出画像ＦＬのみを図示している。

ステップＳ３の後、陰影処理部３３４は、陰影処理を実行し、左，右目用切出画像に対して陰影を付与する（ステップＳ４）。なお、図８では、陰影処理後の左目用切出画像ＦＬ´を示している。
ステップＳ４の後、画像処理部３３５は、色付与処理を実行し、陰影処理後の左，右目用切出画像にそれぞれ含まれる被写体像に色や表面の凹凸形状等を付与する（ステップＳ５）。
ステップＳ５の後、重畳処理部３３６は、重畳処理を実行し、左，右目用画像に対して色付与処理後の左，右目用切出画像をそれぞれ重畳させて左，右目用重畳画像を生成する（ステップＳ６）。そして、重畳処理部３３６は、生成した左，右目用重畳画像から３次元画像信号を生成して表示装置４に出力する。これにより、表示装置４は、当該３次元画像信号に基づく左，右目用重畳画像を３Ｄ表示する。

以上説明した実施の形態によれば、以下の効果を奏する。
実施の形態に係る医療用画像処理装置３３は、実画像の撮像時における観察対象ＯＢの撮像条件を示す撮像条件情報に基づいて、ＣＧ画像の一部を切り出して切出画像を生成する。また、医療用画像処理装置３３は、実画像の撮像時における観察対象ＯＢの照明条件を示す照明条件情報に基づいて、切出画像に陰影を付与する陰影処理を実行する。そして、医療用画像処理装置３３は、実画像に対して陰影処理後の切出画像を重畳させて重畳画像を生成する。
このため、実画像と切出画像とは、位置、向き、及び大きさが合致する他、奥行き方向も一致することとなる。したがって、実施の形態に係る医療用画像処理装置３３によれば、観察に適した重畳画像を生成することができる。

特に、照明条件情報は、上記（５）～（１０），（１３）の情報で構成されている。
このため、切出画像に対してより適切かつリアルに陰影を付与することができ、実画像と切出画像とをより一層、奥行き方向に一致した画像とすることができる。

また、医療用画像処理装置３３は、撮像条件情報に基づいて観察対象ＯＢにおける撮像部２１による撮像位置ＯＰを認識し、ＣＧ画像における撮像位置ＯＰよりも撮像部２１から離間する側にある部分を切り出して切出画像を生成する。
このため、医師等は、どのくらい奥側に注目する部分（切り出した部分（例えば神経や腫瘍）が存在するかを重畳画像から把握することができる。したがって、重畳画像をより一層、観察に適した画像とすることができる。

（その他の実施の形態）
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態において、断層撮影装置１００は、ＣＴやＭＲＩの断層撮影装置に限らず、観察対象ＯＢの複数の断層画像を生成することができれば、ＰＥＴ（Positron Emission Tomography）、超音波、共振点レーザ顕微鏡、あるいは、電子顕微鏡トモグラフィー等の他の断層撮影装置を採用しても構わない。
上述した実施の形態では、医療用画像処理装置３３は、ナビゲーション装置３に含まれていたが、これに限らず、ナビゲーション装置３から独立した装置としても構わない。また、医療用画像処理装置３３は、医療用観察装置２を構成する制御装置２６に内蔵された構成としても構わない。

上述した実施の形態では、本開示に係る照明デバイスは、医療用観察装置２に含まれていたが、これに限らない。医療用観察装置２から照明デバイス２７を省略し、当該医療用観察装置２の外部にある無影灯等を本開示に係る照明デバイスとして構成しても構わない。この際、医療用画像処理装置３３は、当該無影灯による観察対象ＯＢの照明条件を示す照明条件情報に基づいて陰影処理を実行する。また、照明デバイス２７と無影灯等の外部の照明デバイスとを併用しても構わない。

上述した実施の形態において、照明デバイス２７からの照明光の色（照明色）を照明条件情報に含めても構わない。
上述した実施の形態において、複数の断層画像からＣＧ画像を生成する３Ｄモデリング部３３２を本開示に係る医療用画像処理装置に含めていたが、これに限らず、当該医療用画像処理装置の外部の装置に当該３Ｄモデリング部３３２を設けても構わない。すなわち、本開示に係る医療用画像処理装置としては、自身でＣＧ画像を生成する構成に限らず、当該ＣＧ画像を外部から取得する構成としても構わない。
上述した実施の形態において、表示装置４として、ヘッドマウントディスプレイを採用しても構わない。

上述した実施の形態における医療用観察装置２では、第１～第６の軸Ｏ１～Ｏ６は、受動軸によってそれぞれ構成されていたが、これに限らない。第１～第６の軸Ｏ１～Ｏ６の少なくともいずれかの軸は、アクチュエータの動力に応じて能動的に撮像部２１を当該軸回りに回転可能とする能動軸によって構成されていても構わない。
上述した実施の形態において、医療用画像処理装置３３の動作を示すフローは、図５に示したフローに限らず、矛盾のない範囲で処理の順序を変更しても構わない。

１ 医療用観察システム
２ 医療用観察装置
３ ナビゲーション装置
４ 表示装置
２１ 撮像部
２２ ベース部
２３ 支持部
２４ 光源部
２５ ライトガイド
２６ 制御装置
２７ 照明デバイス
３１ 位置検出装置
３２ 入力装置
３３ 医療用画像処理装置
１００ 断層撮影装置
２１１Ｌ 左目用観察光学系
２１１Ｒ 右目用観察光学系
２１１ａ，２１１ｃ フォーカス光学系
２１１ｂ，２１１ｄ ズーム光学系
２１２ 駆動部
２１３ レンズ位置検出部
２１４Ｌ 左目用撮像素子
２１４Ｒ 右目用撮像素子
２１５ フォーカススイッチ
２１６ ズームスイッチ
２１７ａ，２１７ｂ 照明レンズ
２２１ キャスター
２３１ａ 第１のアーム部
２３１ｂ 第２のアーム部
２３１ｃ 第３のアーム部
２３１ｄ 第４のアーム部
２３１ｅ 第５のアーム部
２３１ｆ 第６のアーム部
２３１ｇ 第７のアーム部
２３２ａ 第１の関節部
２３２ｂ 第２の関節部
２３２ｃ 第３の関節部
２３２ｄ 第４の関節部
２３２ｅ 第５の関節部
２３２ｆ 第６の関節部
２３３ カウンターウェイト
２６１ 通信部
２６２ 制御部
２６３ 記憶部
３３１ 通信部
３３２ ３Ｄモデリング部
３３３ 切出処理部
３３４ 陰影処理部
３３５ 画像処理部
３３６ 重畳処理部
Ａｘ 中心軸
Ｄ１ 第１の離間距離
Ｄ２ 第２の離間距離
ＩＡ１，ＩＡ２ 照明光軸
Ｆ０ ＣＧ画像
ＦＬ，ＦＬ´ 左目用切出画像
Ｏ１ 第１の軸
Ｏ２ 第２の軸
Ｏ３ 第３の軸
Ｏ４ 第４の軸
Ｏ５ 第５の軸
Ｏ６ 第６の軸
ＯＡＬ 左目用観察光軸
ＯＡＲ 右目用観察光軸
ＯＢ 観察対象
ＯＰ 撮像位置
ＲＭ１ 第１のリファレンスマーカ
ＲＭ２ 第２のリファレンスマーカ

Claims (7)

1. 観察対象を撮像することにより得られた実画像を取得する画像取得部と、
   前記観察対象を撮影した複数の断層画像に基づく３次元画像の少なくとも一部を切り出して切出画像を生成する切出処理を実行する切出処理部と、
   前記実画像の撮像時における前記観察対象の照明条件を示す照明条件情報に基づいて、前記切出画像に陰影を付与する陰影処理を実行する陰影処理部と、
   前記陰影処理後の前記切出画像に含まれる被写体像に対して、前記陰影処理にて付与された陰影の濃淡の度合いに応じた色を付与する色付与処理を実行する画像処理部と、
   前記実画像に対して前記色付与処理後の前記切出画像を重畳させて重畳画像を生成する重畳処理を実行する重畳処理部とを備える医療用画像処理装置。
2. 前記照明条件情報は、
   前記実画像の撮像時に前記観察対象を照明する照明デバイスの位置と、前記照明デバイスから前記観察対象に向かう照明光軸の傾きとを含む情報であり、
   前記陰影処理部は、
   前記照明デバイスの位置と前記照明光軸の傾きとに基づいて前記切出画像に陰影を付与する前記陰影処理を実行する請求項１に記載の医療用画像処理装置。
3. 前記照明条件情報は、
   前記照明デバイスにおける配光特性を含み、
   前記陰影処理部は、
   前記陰影処理において、前記配光特性に基づいて前記陰影の濃淡を調整する請求項２に記載の医療用画像処理装置。
4. 前記照明条件情報は、
   前記実画像の撮像時に前記照明デバイスから前記観察対象に照射された照明光の光量を含み、
   前記陰影処理部は、
   前記陰影処理において、前記光量に基づいて前記陰影の濃淡を調整する請求項２または３に記載の医療用画像処理装置。
5. 前記切出処理部は、
   前記実画像の撮像時における前記観察対象の撮像条件を示す撮像条件情報に基づいて、前記３次元画像の少なくとも一部を切り出して前記切出画像を生成する前記切出処理を実行し、
   前記撮像条件情報は、
   前記観察対象を撮像して前記実画像を出力する撮像デバイスの位置と、前記撮像デバイスから前記観察対象に向かう観察光軸の傾きと、前記撮像デバイスにおける焦点距離と、前記撮像デバイスにおける画角との少なくとも一つを含む請求項１～４のいずれか一つに記載の医療用画像処理装置。
6. 前記切出処理部は、
   前記撮像条件情報に基づいて前記観察対象における前記撮像デバイスによる撮像位置を認識し、前記３次元画像における前記撮像位置よりも前記撮像デバイスから離間する側にある部分を切り出して前記切出画像を生成する前記切出処理を実行する請求項５に記載の医療用画像処理装置。
7. 観察対象を撮像して実画像を出力する撮像デバイスを有する医療用観察装置と、
   請求項１～６のいずれか一つに記載の医療用画像処理装置と、
   前記医療用画像処理装置にて生成された重畳画像を表示する表示装置とを備える医療用観察システム。

Images