JPWO2018012080A1 - 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム - Google Patents

Abstract

【課題】ユーザの利便性をより向上させることを可能にする。
【解決手段】術前の診断画像に基づいて生成される術部を含む生体組織の３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うマッチング部と、前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定するシフト量推定部と、推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新する３Ｄモデル更新部と、を備える、画像処理装置を提供する。
【選択図】図１

Description

本開示は、画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステムに関する。

手術時に患者の術部と処置具との位置関係を術者に対して提示することにより術者を支援する、手術用ナビゲーションシステムが開発されている。例えば、特許文献１に記載の技術では、手術前に取得された患者の術部を含む生体組織の断層画像から当該生体組織の３Ｄモデルを生成する。そして、手術時に、当該生体組織及び処置具の３次元位置を検出するとともに、当該３Ｄモデルに対して当該処置具の位置を示す表示が付されたナビゲーション画像を、例えば手術室内に設置された表示装置に表示させる。当該技術によれば、術者は、ナビゲーション画像によって、術部と処置具との距離や、生体組織内の当該処置具との接触を避けるべき危険部位と当該処置具との距離等を把握しながら手術を行うことができるため、より円滑な手術の実行が可能となり、術者の利便性を向上させることができる。

特開２０１３−２０２３１３号公報

しかしながら、患者の体位の変化や、手術に伴う開腹、開頭等の処置の影響等により、手術時における実際の患者の生体組織の位置及び形状は、手術前とは変化している場合がある。つまり、手術時における患者の生体組織の位置及び形状は、手術前に取得された情報に基づいて生成される３Ｄモデルとは必ずしも一致しない。このような場合には、特許文献１に記載の技術では、ナビゲーション画像に現状に即した正確な生体組織の位置及び形状が反映されず、当該生体組織と処置具との位置関係も正確に表示されないこととなる。従って、適切なナビゲーションが行えず、かえって術者の利便性が低下する恐れがある。

そこで、本開示では、ユーザの利便性をより向上させることが可能な、新規かつ改良された画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステムを提案する。

本開示によれば、術前の診断画像に基づいて生成される術部を含む生体組織の３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うマッチング部と、前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定するシフト量推定部と、推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新する３Ｄモデル更新部と、を備える、画像処理装置が提供される。

また、本開示によれば、プロセッサが、術前の診断画像に基づいて生成される術部を含む生体組織の３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うことと、前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定することと、推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新することと、を含む、画像処理方法が提供される。

また、本開示によれば、コンピュータに、術前の診断画像に基づいて生成される術部を含む生体組織の３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うことと、前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定することと、推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新することと、を含む、画像処理方法を実行させるためのプログラムが提供される。

また、本開示によれば、手術中に患者の術部を含む生体組織を撮影し、深さ情報付きの撮像画像を取得する顕微鏡部と、前記顕微鏡部、前記患者、及び処置具の３次元位置を検出する位置センサと、前記生体組織の３Ｄモデルに対して処置具の位置を示す表示が付されたナビゲーション画像を表示する表示装置と、前記表示装置に前記ナビゲーション画像を表示させる画像処理装置と、を備え、前記画像処理装置は、術前の診断画像に基づいて生成される前記３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うマッチング部と、前記マッチング処理の結果と、前記生体組織の表面のうち前記顕微鏡部によって手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定するシフト量推定部と、推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新する３Ｄモデル更新部と、更新された前記３Ｄモデルを用いた前記ナビゲーション画像を前記表示装置に表示させる表示制御部と、を有し、前記撮影領域の３次元位置についての情報は、前記位置センサによる検出結果、及び前記顕微鏡部による撮像画像の深さ情報に基づいて取得される、手術用ナビゲーションシステムが提供される。

本開示によれば、手術前に取得される情報に基づいて生成される術部を含む生体組織の３Ｄモデルと、実際の手術時の撮像画像とについて、当該３Ｄモデルの表面上のパターンを表す画像と、当該撮像画像に含まれる当該生体組織の表面上のパターンを表す画像と、のマッチング処理が行われる。そして、当該マッチング処理の結果に基づいて、当該生体組織の手術前の状態からの変形量が推定され、その推定結果に基づいて上記３Ｄモデルが更新される。これにより、更新された３Ｄモデルは、手術時の実際の生体組織の位置及び形状が反映されたものとなるため、当該更新された３Ｄモデルを用いてナビゲーション画像を生成すれば、より実態に即した正確なナビゲーション画像が得られることとなる。従って、当該ナビゲーションシステムを用いて手術を行うユーザの利便性をより向上させることができる。

以上説明したように本開示によれば、ユーザの利便性をより向上させることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

本実施形態に係る手術用ナビゲーションシステムの構成の一例を示すブロック図である。 位置センサの機能について説明するための図である。 術前血管パターン画像の一例を示す図である。 術中血管パターン画像の一例を示す図である。 ＦＥＭの計算モデルの一例を示す図である。 脳の腫脹を説明するための図である。 脳の沈下を説明するための図である。 ヒトの頭蓋底の様子を概略的に示す図である。 脳の沈下が生じている場合において、当該脳と脊髄等との関係も考慮して固定点が設定される場合について説明するための図である。 脳外科手術における一般的な既存のナビゲーション画像の一例を概略的に示す図である。 脳外科手術における本実施形態に係るナビゲーション画像の一例を概略的に示す図である。 本実施形態に係る画像処理方法の処理手順の一例を示すフロー図である。 本実施形態に係る手術用ナビゲーションシステムの構成を、観察装置の詳細な構成を含めて示す図である。 図１及び図１３に示す手術用ナビゲーションシステムを用いた手術の様子を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示に想到した背景
２．手術用ナビゲーションシステムの構成
３．画像処理方法
４．観察装置の構成例
５．適用例
６．補足

ここで、以下では、一例として、本開示に係る技術が脳外科手術に対して適用される実施形態について説明する。ただし、本開示はかかる例に限定されない。本開示に係る技術は他の手術に対して適用されてもよい。

また、以下の説明では、後述する手術支援システムを用いるユーザのことを、便宜的に術者と記載することとする。ただし、この記載は、手術支援システムを用いるユーザを限定するものではなく、当該手術支援システムを用いる主体は、助手や看護師等、他の医療スタッフであってもよい。

（１．本開示に想到した背景）
本開示の好適な実施形態について説明するに先立ち、本開示をより明確なものとするために、本発明者らが、本開示に想到した背景について説明する。

脳外科手術では、顕微鏡部によって患者の術部を拡大観察しながら手術が行われる。かかる脳外科手術においても、上記特許文献１に記載されているような手術用ナビゲーションシステムが開発されている。当該手術用ナビゲーションシステムでは、手術前にＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）を用いて患者の脳の診断画像が撮影される。そして、その撮影された診断画像に基づいて脳の３Ｄモデルが生成される。手術時には、顕微鏡部、患者及び処置具の３次元位置が位置センサによって検出され、その検出結果に基づいて、当該３Ｄモデルに対して現在の顕微鏡部の視野に対応する領域を示す表示や現在の処置具の位置を示す表示が付されたナビゲーション画像が、手術室内に設置された表示装置に表示される。かかる手術用ナビゲーションシステムによれば、ナビゲーション画像に、術部（例えば、切除対象である病変部）と処置具との位置関係がリアルタイムで表示され得るため、術者は、当該位置関係を把握しながら手術を行うことができる。

例えば、術部が外観的には他の正常な組織と区別が付き難い場合がある。かかる場合には、事前の検査で得られた術部の位置を３Ｄモデル上に反映しておくことにより、術者は、肉眼では判別し難い術部と処置具との位置関係をナビゲーション画像上で把握することができるため、大変有用である。また、３Ｄモデルには脳の内部の血管の位置も反映され得るため、血管と処置具との位置関係がナビゲーション画像上に表示され得る。従って、例えば術者が術部を露出させるために脳を切開していく際に、当該ナビゲーション画像を参照すれば、誤って血管を傷付ける危険性を低減させることが可能になる。

しかしながら、脳外科手術では、通常は頭蓋骨や髄液により形が保たれている脳が、開頭することによりその支えを一部失い、その形状が変化してしまう、いわゆるブレインシフトと呼ばれる現象が生じることが知られている。ブレインシフトが生じると、手術前に得られた情報に基づいて生成される３Ｄモデルと、実際の手術時における脳の形状とが異なってしまうため、ナビゲーション画像に脳を正確に反映した３Ｄモデルが表示されないこととなる。従って、上述したような術部と処置具との位置関係、及び血管と処置具との位置関係も、ナビゲーション画像に正確に表されないこととなり、適切なナビゲーションを行うことが困難になる。

そこで、ブレインシフトに対する対策の１つとして、手術中にＣＴ撮影又はＭＲＩ撮影（いわゆる、術中ＣＴ撮影又は術中ＭＲＩ撮影）を行い、その得られた診断画像に基づいて、ナビゲーション画像に表示される３Ｄモデルを更新する技術が提案されている。この方法によれば、ブレインシフト後の脳の形状が反映された３Ｄモデルがナビゲーション画像に表示されることとなるため、実態に即したナビゲーションを行うことが可能になる。

しかしながら、術中ＣＴ撮影又は術中ＭＲＩ撮影を行うためには、手術室内に専用のＣＴ装置若しくはＭＲＩ装置を設置する、又は手術室とＣＴ室若しくはＭＲＩ室を並設する必要があるため、導入のためのコストが高い。また、術中ＣＴ撮影又は術中ＭＲＩ撮影を行うためには、一旦手術を中断してこれらの撮影処理を行わなければならないため、作業が煩雑になるとともに、手術時間の増加、及び患者の負担の増加も懸念される。

そこで、本発明者らは、外科手術、特に脳外科手術において、より簡易に適切なナビゲーション画像を得ることにより、術者の利便性をより向上させることが可能な技術について鋭意検討した結果、本開示に想到した。以下、本発明者らが想到した本開示の好適な実施形態について説明する。

（２．手術用ナビゲーションシステムの構成）
図１を参照して、本開示の好適な一実施形態に係る手術用ナビゲーションシステムの構成について説明する。図１は、本実施形態に係る手術用ナビゲーションシステムの構成の一例を示すブロック図である。

図１を参照すると、本実施形態に係る手術用ナビゲーションシステム１０は、顕微鏡部１１０と、表示装置１２０と、位置センサ１３０と、画像処理装置１４０と、を備える。

（顕微鏡部）
顕微鏡部１１０は、術部を拡大観察するための手段である。顕微鏡部１１０は、筐体内に、撮像素子、及び当該撮像素子に観察対象からの光（観察光）を導光するための光学系等が格納されて構成される。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。このように、顕微鏡部１１０は、電子的に画像を撮影する、電子撮像式の顕微鏡部である。また、顕微鏡部１１０は、深さ情報を含む画像を撮影可能に構成される。例えば、顕微鏡部１１０は、ＡＦ（Auto Focus）機能を有しており、顕微鏡部１１０は、画角内で焦点が合っている位置の深さ情報を、焦点距離についての情報に基づいて取得することができる。

脳外科手術では、患者の頭蓋骨の一部が開頭され、その開頭部から露出している脳の表面が、顕微鏡部１１０によって撮影される。顕微鏡部１１０は、取得した撮像画像に係る画像信号、すなわち、撮像画像についての情報を、画像処理装置１４０（具体的には、後述する画像処理装置１４０のマッチング部１４２、ブレインシフト量推定部１４３及び表示制御部１４５）に送信する。

なお、上記の説明では、顕微鏡部１１０は焦点距離に基づいて深さ情報を得ていたが、本実施形態はかかる例に限定されない。顕微鏡部１１０は、深さ情報が付加された撮像画像を撮影可能であればよく、その構成は任意であってよい。例えば、顕微鏡部１１０に、測距センサが設けられてもよい。当該測距センサとしては、例えばタイムオブフライト方式のもの、又はレーザスキャン方式のもの等、各種の公知のセンサが用いられてよい。当該方法によれば、焦点距離を用いる場合に比べて、より正確に脳表血管の３次元位置を測定することができる。あるいは、顕微鏡部１１０がステレオカメラとして構成され、その視差情報に基づいて深さ情報が得られてもよい。ただし、測距センサやステレオカメラを用いる場合には、顕微鏡部１１０の構成が複雑化してしまうため、より簡易に深さ情報を得るためには、上述した焦点距離を利用する方法が好適である。

また、本実施形態では、顕微鏡部１１０はアーム部によって支持され得る。また、当該アーム部の各関節部にはアクチュエータが設けられており、当該アクチュエータが駆動されることにより、アーム部の姿勢が制御され、顕微鏡部１１０の位置及び姿勢が制御され得る。顕微鏡部１１０を支持する支持アーム装置（観察装置）の具体的な構成については、下記（４．観察装置の構成例）で説明する。

（表示装置）
表示装置１２０は、手術室内において術者から視認され得る位置に設置される。表示装置１２０には、画像処理装置１４０からの制御により、顕微鏡部１１０によって撮影された術部の撮像画像が表示される。術者は、表示装置１２０に映し出された撮像画像によって術部を観察しながら、当該術部に対して各種の処置を行う。

また、表示装置１２０には、画像処理装置１４０からの制御により、脳の３Ｄモデルに対して現在の処置具の位置を示す表示が付されたナビゲーション画像が表示される。術者は、表示装置１２０に映し出されたナビゲーション画像によって脳と処置具との位置関係（具体的には、血管と処置具との位置関係、及び術部と処置具との位置関係等）を把握しながら、手術を行う。なお、ナビゲーション画像の詳細については図１０及び図１１を参照して後述する。

表示装置１２０の具体的な構成は限定されず、表示装置１２０としては、例えば液晶ディスプレイ装置又はＥＬ（Electro Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。

なお、図１では、便宜的に表示装置１２０を示すブロックを１つだけ図示しているが、手術用ナビゲーションシステム１０には、複数の表示装置１２０が設けられてもよい。複数の表示装置１２０が用いられる場合には、術部の撮像画像とナビゲーション画像は、それぞれ別々の表示装置１２０に表示され得る。あるいは、１台の表示装置１２０のみが用いられる場合には、当該表示装置１２０の表示画面が２つに分割され、それらの領域に術部画像とナビゲーション画像がそれぞれ表示され得る。

（位置センサ）
位置センサ１３０は、患者の頭部、顕微鏡部１１０、及び処置具の３次元位置を検出する。図２は、位置センサ１３０の機能について説明するための図である。図２では、手術時における患者２０１、顕微鏡部１１０、処置具２０５及び位置センサ１３０の位置関係を概略的に示している。

図２に示すように、顕微鏡部１１０及び処置具２０５には、マーカー２０３、２０７がそれぞれ付されている。また、患者２０１の頭部にも、支持部材２０９を介してマーカー２１１が付されている。位置センサ１３０は、ステレオカメラとして構成されており、その撮像画像に基づいて、マーカー２０３、２０７、２１１の３次元位置、すなわち患者２０１の頭部、顕微鏡部１１０、及び処置具２０５の３次元位置を検出することができる。

位置センサ１３０は、検出した患者２０１の頭部、顕微鏡部１１０、及び処置具２０５の３次元位置についての情報を、画像処理装置１４０（具体的には、後述する画像処理装置１４０のマッチング部１４２、ブレインシフト量推定部１４３及び表示制御部１４５）に送信する。

なお、位置センサ１３０の構成はかかる例に限定されず、位置センサ１３０としては、物体の３次元位置を検出可能な各種の公知のセンサが用いられてよい。例えば、上記マーカー２０３、２０７、２１１は磁石であってもよく、位置センサ１３０として磁気センサが用いられてもよい。

（画像処理装置）
画像処理装置１４０は、手術用ナビゲーションシステム１０における各種の表示の制御を行う。以下、画像処理装置１４０の機能について詳細に説明する。画像処理装置１４０は、その機能として、３Ｄモデル生成部１４１と、マッチング部１４２と、ブレインシフト量推定部１４３と、３Ｄモデル更新部１４４と、表示制御部１４５と、を有する。なお、画像処理装置１４０は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、プロセッサとメモリ等の記憶素子が混載された制御基板、又はプロセッサが搭載されたＰＣ（Personal Computer）等の一般的な情報処理装置等であり得る。画像処理装置１４０を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、上記の各機能が実現され得る。

手術用ナビゲーションシステム１０では、手術前に患者の脳の診断画像が撮影され、それらの診断画像についての情報が、画像処理装置１４０によってアクセス可能に管理されている。３Ｄモデル生成部１４１は、この手術前に取得された診断画像に基づいて、脳の３Ｄモデルを生成する。

３Ｄモデルを生成するための診断画像としては、一般的に診断時に用いられる画像であれば、あらゆるものが適用されてよい。ただし、後述するように、３Ｄモデル生成部１４１が生成した脳の３Ｄモデルは、ナビゲーション画像に用いられる。従って、当該診断画像は、当該３Ｄモデル上に術部の位置を示すことができるように、術部が明瞭に表されている画像（すなわち、疾患強調画像）であることが好ましい。また、後述するように、３Ｄモデル生成部１４１が生成した脳の３Ｄモデルにおいては、その３Ｄモデルから血管のパターンを表す画像（血管パターン画像）が抽出され、血管パターン画像のマッチング処理に用いられる。従って、当該診断画像は、血管の形状が明瞭に表されている画像（すなわち、血管強調画像）であることが好ましい。本実施形態では、これらの点を考慮して、３Ｄモデルの生成には、１つ又は複数の診断画像が用いられ得る。例えば、当該診断画像としては、ＭＲＩ、ＭＲＡ（Magnetic Resonance Angiography）、３Ｄ−ＣＴＡ（CT Angiography）、３Ｄ−ＤＳＡ（Digital Subtraction Angiography）、ＳＰＥＣＴ（Single Photon Emission CT）等によって撮影された画像が用いられ得る。

３Ｄモデル生成部１４１は、上記ＭＲＩ等の各手法によって得られた組成ごとの断層画像を、当該組成ごとに連続性を辿って、例えばボリュームレンダリング（ＶＲ）、サーフェスレンダリング（ＳＲ）等の技術を用いて３Ｄモデル化することにより、３Ｄモデルを生成する。３Ｄモデル生成部１４１による３Ｄモデルの生成処理は、各種の公知の方法を用いて行われてよいため、ここではその詳細な説明を省略する。

３Ｄモデル生成部１４１は、生成した脳の３Ｄモデルについての情報を、マッチング部１４２及び３Ｄモデル更新部１４４に提供する。

マッチング部１４２は、３Ｄモデル生成部１４１によって生成された脳の３Ｄモデルに含まれる脳表の血管パターンを表す画像（以下、術前血管パターン画像ともいう）と、手術中に顕微鏡部１１０によって撮影された脳表の血管パターンを表す画像（以下、術中血管パターン画像ともいう）と、の特徴点をマッチングすることにより、手術中における脳の表面の３次元位置を算出する。

具体的には、マッチング部１４２は、まず、位置センサ１３０から提供される患者２０１の頭部及び顕微鏡部１１０の３次元位置についての情報に基づいて、顕微鏡部１１０の撮影方向及び開頭位置を特定する。次に、マッチング部１４２は、３Ｄモデル生成部１４１によって生成された脳の３Ｄモデルから脳表血管を抽出するとともに、特定した開頭位置における顕微鏡部１１０の撮影方向から当該脳表血管を投影した二次元画像を生成することにより、術前血管パターン画像を生成する。図３は、術前血管パターン画像の一例を示す図である。上述したように、脳の３Ｄモデルを生成するための診断画像として血管強調画像を使用することにより、この術前血管パターン画像を明瞭に生成することが可能になる。

次に、マッチング部１４２は、顕微鏡部１１０から提供される撮像画像についての情報に基づいて、当該撮像画像から開頭部における脳表血管を表す画像、すなわち術中血管パターン画像を抽出する。図４は、術中血管パターン画像の一例を示す図である。

そして、マッチング部１４２は、生成した術前血管パターン画像と術中血管パターン画像との特徴点のマッチング処理を行う。特徴点のマッチング処理には、例えばＦＡＳＴ、ＦＡＳＴＸ、ＳＴＡＲ、ＳＩＦＴ、ＳＵＲＦ、ＯＲＢ、ＢＲＩＳＫ、ＭＳＥＲ、ＧＦＴＴ、ＨＡＲＲＩＳ、Ｄｅｎｓｅ、ＳｉｍｐｌｅＢｌｏｂ、ＳｍａｒｔＡＲ（登録商標）等、各種の公知の方法を用いることができる。これらの方法では、２つの画像から特徴点（例えば、図３及び図４に示すような、血管２１３、２１５の分岐箇所Ｘや、血管の屈曲箇所Ｙ等）を自動的に求め、両者のマッチングの度合いを一致度により評価することができる。この際、ブレインシフトにより、術前血管パターン画像と術中血管パターン画像との間には、距離、角度にぶれがあることが予想されるため、術前血管パターン画像に対して微小な倍率と微小な角度の範囲でアフィン変換を施し、その変化させた範囲で一致度が最も高い場合を求める。これにより、脳の表面のうち実際の手術時に開頭部から露出し顕微鏡部１１０によって撮影されている領域（撮影領域）の脳表血管と、３Ｄモデル生成部１４１によって生成された３Ｄモデルの脳表血管の一部とが対応付けられる。すなわち、３Ｄモデル生成部１４１によって生成された脳の３Ｄモデルの表面の中から、脳の表面のうち実際の手術時の撮影領域に対応する領域が特定される。

ここで、血管のような細長い凸形状の物体を撮影する場合には、その光の反射が細い筋状となるため、顕微鏡部１１０によって撮影される血管パターン画像においては、１本の血管について、その中心が映し出されず、当該１本の血管が２筋に割れたような形で認識されることがある。その場合、上述したような各種の公知のマッチング処理の過程では、通常、画像処理によって、これを１本の血管とみなす合成処理が行われ得る。しかしながら、血管は曲線状の複雑な形状を有しており、その光の反射方向は一様でないので、認識された筋状の部分が必ずしも血管を縁取るような形態にはなっておらず、上記の合成処理により、本来はつながっているはずの血管が途切れて認識されてしまうこともある。従って、この場合には、術中血管パターン画像としては、血管の縁取りがいわば点線状になっている血管パターン画像が得られることとなる。かかる場合には、マッチング部１４２は、点線状の術中血管パターン画像と、実線による術前血管パターン画像とのマッチングを、それぞれのベクトル方向と配置パターンから判断する。

マッチング部１４２は、マッチング結果についての情報（すなわち、特定した、脳の３Ｄモデルの表面のうち実際の手術時の撮影領域に対応する領域についての情報）を、ブレインシフト量推定部１４３に提供する。

なお、以上の説明では、術中血管パターン画像として、顕微鏡部１１０による撮像画像から抽出された画像、すなわち可視光での画像が用いられていたが、本実施形態はかかる例に限定されない。術中血管パターン画像としては、例えば、ＩＣＧ（indocyanine green）蛍光血管撮影等の、血管を強調して撮影した画像が用いられてよい。この場合、顕微鏡部１１０に蛍光撮影を行う機能が備えられ、当該顕微鏡部１１０によって血管のＩＣＧ蛍光画像が取得され得る。このように血管を強調して撮影した画像を用いることにより、術中血管パターン画像における特徴点をより明確にすることができ、マッチング処理の精度を向上させることができる。

ブレインシフト量推定部１４３は、マッチング部１４２によるマッチング処理の結果に基づいて、術前の状態からの、開頭に伴う脳の変形量を推定する。本実施形態では、ブレインシフト量推定部１４３は、有限要素法（ＦＥＭ）を用いて脳の変形量を推定する。具体的には、ブレインシフト量推定部１４３は、まず、３Ｄモデル生成部１４１によって生成された脳の３Ｄモデルのボクセルの各頂点に３次元のメッシュを定義することにより、ＦＥＭの計算モデルを生成する。図５は、ＦＥＭの計算モデルの一例を示す図である。図５に示す例では、脳の３Ｄモデルに対して正四面体形状のメッシュ２１９を設定することにより、ＦＥＭの計算モデル２１７を生成している。

次に、ブレインシフト量推定部１４３は、ＦＥＭ計算のための初期条件及び境界条件を設定する。まず、初期条件について説明する。具体的には、ブレインシフト量推定部１４３は、初期条件として、マッチング部１４２によるマッチング処理の結果に基づいて、開頭部における術前からの脳の変位量を設定する。

当該変位量の設定処理では、ブレインシフト量推定部１４３は、マッチング処理の結果と、位置センサ１３０から提供される患者２０１の頭部の３次元位置についての情報と、に基づいて、脳が変形していないと仮定した場合における、脳の３Ｄモデルの表面のうち撮影領域に対応する領域の、現在の患者２０１の体位に応じた３次元座標を算出する。当該３次元座標は、すなわち、脳が変形していないと仮定した場合における、計算モデル２１７の表面のうち撮影領域に対応する領域の各メッシュの３次元座標である。

一方、ブレインシフト量推定部１４３は、位置センサ１３０から提供される患者２０１の頭部及び顕微鏡部１１０の３次元位置についての情報と、顕微鏡部１１０から提供される撮像画像についての情報に含まれる深さ情報と、に基づいて、撮影領域における実際の脳の表面の３次元座標を算出する。

これらの３次元座標の差分が、撮影領域における脳の変位量、すなわち開頭部における脳の変位量となる。ブレインシフト量推定部１４３は、当該差分を算出することにより、開頭部における脳の変位量を求め、当該変位量の分だけ計算モデル２１７の開頭部に対応する位置のメッシュが移動した状態を、ＦＥＭ計算の初期条件とする。

ここで、一般的に開頭時におけるブレインシフトには２つの種類が存在することが知られている。開頭初期に生じ得る脳の腫脹と、開頭後１０分以上経過後に生じ得る脳の沈下である。図６は、脳の腫脹を説明するための図である。図７は、脳の沈下を説明するための図である。図６及び図７では、脳２２１の正中線での断面を概略的に図示している。

図６に示すように腫脹が生じている場合には、ブレインシフト量推定部１４３は、計算モデル２１７の表面に位置するメッシュのうち開頭部２２３に位置するメッシュの変位を、これらのメッシュにおける各点間の距離を伸長させることによって表現する。一方、図７に示すように沈下が生じている場合には、ブレインシフト量推定部１４３は、計算モデル２１７の表面に位置するメッシュのうち開頭部２２３に位置するメッシュの変位を、これらのメッシュにおける各点間の距離を縮めることによって表現する。

次に、境界条件について説明する。ブレインシフト量推定部１４３は、境界条件として、計算モデル２１７に対して、頭蓋骨や硬膜等と接触している、解剖学的な観点から物理的に移動し得ないメッシュを固定点として設定する。当該境界条件の具体的な内容は、上述したブレインシフトの態様（腫脹又は沈下）によって異なる。

図６に示すように腫脹が生じている場合には、脳２２１のうち、開頭部２２３以外の領域は頭蓋骨と硬膜により固定されており、腫脹による変位が開頭部２２３に集中すると考えられる。従って、この場合には、ブレインシフト量推定部１４３は、境界条件として、計算モデル２１７の表面に位置するメッシュのうち開頭部２２３以外の領域に位置するメッシュを、変形しない固定点として設定する。図６では、模擬的に、脳２２１の表面のうち、固定点として扱われるメッシュに対応する領域を太線で示している。

一方、図７に示すように沈下が生じている場合には、脳２２１の外周面のうち、重力が作用する方向である鉛直方向を示す鉛直面（図７に点線で模擬的に示す）との接点よりも下方の領域は頭蓋骨と硬膜により固定されており、それよりも上方の領域が変位すると考えられる。従って、この場合には、ブレインシフト量推定部１４３は、境界条件として、計算モデル２１７の表面に位置するメッシュのうち、鉛直面との接点よりも下方に位置するメッシュを、変形しない固定点として設定する。図７では、図６と同様に、模擬的に、脳２２１の表面のうち、固定点として扱われるメッシュに対応する領域を太線で示している。

あるいは、沈下が生じている場合には、脳２２１と周囲の生体組織（例えば、脊髄や血管、神経等）との関係も考慮して、更に他の固定点が設定されてもよい。具体的には、図８に示すように、ヒトの頭蓋底には、脊髄や神経、血管等が通る大小の孔が存在している。図８は、ヒトの頭蓋底の様子を概略的に示す図である。図８では、ヒトの頭蓋腔を水平方向に切断し、その頭蓋底を上方から見た様子を概略的に図示している。紙面上方が前方に当たる。

図８に示すように、頭蓋底２２５には、例えば脊髄が通る大後頭孔２２７や、頸動脈が通る破裂孔２２９等が存在する。これら脊髄、頸動脈等と周囲の脳組織とは結合組織でつながっているため、脳２２１のうち、脊髄等と結合している部位は、変形しない固定点とみなすことができる。従って、ブレインシフト量推定部１４３は、境界条件として、鉛直面との接点よりも下方に位置するメッシュに加えて、計算モデル２１７を構成するメッシュのうち、脊髄等が挿通される孔と対向し当該脊髄等が結合されることが想定される場所に位置するメッシュ、及びこれらのメッシュの間に位置するメッシュについては、変形しない固定点として設定してもよい。

図９は、脳２２１の沈下が生じている場合において、当該脳２２１と脊髄等との関係も考慮して固定点が設定される場合について説明するための図である。図９では、図６及び図７と同様に、脳２２１の正中線での断面を概略的に図示している。また、図９では、図６及び図７と同様に、模擬的に、脳２２１の表面のうち、固定点として扱われるメッシュに対応する領域を太線で示している。

図９に示す例では、図７に示す場合と同様に、脳２２１の外周面のうち、鉛直面（図９に点線で模擬的に示す）との接点よりも下方に位置するメッシュを、変形しない固定点として扱っている。図示する例では、更に、上記のような頭蓋底２２５の形状を考慮して、脳２２１の表面のうち脊髄等と接続されることにより固定される点である固定点２３１を追加している。そして、脳２２１の表面のうち、固定点２３１と、上述した脳２２１の外周面と鉛直面との接点との間に位置するメッシュも、固定点として扱っている。このように、頭蓋骨の形状等も考慮して、解剖学的な観点から固定点を設定することにより、より実態に即した境界条件を設定することが可能になる。

上記初期条件及び上記境界条件を設定したら、次に、ブレインシフト量推定部１４３は、計算モデル２１７全体の変形量、すなわちブレインシフト量を、ＦＥＭによって計算する。かかるＦＥＭ計算では、例えば、脳２２１を弾性体として扱い、弾性体についての応力−歪み関係式を用いて、上記初期条件及び上記境界条件の下で、計算モデル２１７の変形量を計算する。ヤング率やポアソン比としては、各種の文献等から得られる脳２２１の物性値を用いればよい。当該ＦＥＭ計算は各種の公知の方法によって行われてよいため、当該ＦＥＭ計算における具体的な処理についての説明は省略する。

ここで、ブレインシフト量推定部１４３は、マッチング部１４２によるマッチング処理の結果と、位置センサ１３０から提供される患者２０１の頭部及び顕微鏡部１１０の３次元位置についての情報に基づいて、開頭部２２３における脳表血管の３次元的な移動量を予め算出する。そして、上記ＦＥＭ計算においては、算出した開頭部２２３における脳表血管の３次元的な移動量と、開頭部２２３に位置するメッシュの移動量との差が最小になるような、変形後の計算モデル２１７の形状を求める。この状態における計算モデル２１７の各メッシュ２１９の変位量が、脳２２１の３Ｄモデルの各ボクセルの移動量、すなわち脳２２１のブレインシフト量となる。

ブレインシフト量推定部１４３は、求めたブレインシフト量についての情報、すなわち脳２２１の３Ｄモデルの各ボクセルの移動量についての情報を、３Ｄモデル更新部１４４に提供する。

３Ｄモデル更新部１４４は、ブレインシフト量推定部１４３によって求められたブレインシフト量についての情報に基づいて、３Ｄモデル生成部１４１によって生成された脳２２１の３Ｄモデルを更新する。具体的には、３Ｄモデル更新部１４４は、ブレインシフト量推定部１４３によって求められたブレインシフト量に対応する量だけ、脳２２１の３Ｄモデルの各ボクセルを移動させることにより、当該３Ｄモデルを変形させる。これにより、ブレインシフトが反映された、現在の患者２０１の実際の脳２２１の状態がより正確に表された３Ｄモデルが生成される。

３Ｄモデル更新部１４４は、更新した脳２２１の３Ｄモデルについての情報を、表示制御部１４５に提供する。

表示制御部１４５は、表示装置１２０の駆動を制御し、当該表示装置１２０に顕微鏡部１１０による術部の撮像画像を表示させる。また、表示制御部１４５は、表示装置１２０の駆動を制御し、当該表示装置１２０に、３Ｄモデル更新部１４４によって更新された脳２２１の３Ｄモデルに対して処置具２０５の位置を示す表示が付されたナビゲーション画像を表示させる。なお、上述したように、当該撮像画像及びナビゲーション画像は、同一の表示装置１２０に表示されてもよいし、互いに異なる表示装置１２０にそれぞれ表示されてもよい。

ここで、「処置具２０５の位置を示す表示」とは、処置具２０５を示すアイコンであってもよいし、顕微鏡部１１０によって撮影される処置具２０５の実画像であってもよい。ナビゲーション画像は、脳２２１の３Ｄモデルに対して処置具２０５を示すアイコンが合成されたものであってもよいし、脳２２１の３Ｄモデルに対して処置具２０５の実画像が重畳されたものであってもよい。また、ナビゲーション画像では、術部となる病変部が強調して表示されたり、処置具との接触が回避されるべき危険部位である血管等が強調して表示されたりしてもよい。当該強調表示は、例えば、術部や危険部位にアノテーション情報（記号、文言及び／又は画像を含む）を重畳表示することによってなされる。当該アノテーション情報は、例えば、手術前に生成された脳２２１の３Ｄモデルに対して予め付与されたものであり、当該強調表示では、当該アノテーション情報が、ブレインシフト量推定部１４３によって求められたブレインシフト量を反映して、３Ｄモデル更新部１４４によって更新された脳２２１の３Ｄモデルの該当部位に対して付与される。ナビゲーション画像の具体的な表示の様態としては、一般的な手術用ナビゲーションシステムにおけるナビゲーション画像に用いられている各種の様態が適用され得る。

ここで、図１０は、脳外科手術における一般的な既存のナビゲーション画像の一例を概略的に示す図である。図１１は、脳外科手術における本実施形態に係るナビゲーション画像の一例を概略的に示す図である。図１０及び図１１では、図中左側に顕微鏡部によって撮影された撮影画像を示し、図中右側にナビゲーション画像を示している。図１０に示すように、既存のナビゲーション画像では、手術前に取得された診断画像に基づいて生成された脳２２１の３Ｄモデルをそのままナビゲーション画像に用いているため、ブレインシフトの分、実際の処置具２０５と脳２２１の血管との位置関係と、ナビゲーション画像における処置具２０５を示すアイコン２３３と脳２２１の３Ｄモデル２３５の血管との位置関係との間にずれが生じてしまう。

これに対して、図１１に示すように、本実施形態に係るナビゲーション画像では、手術前に生成された脳２２１の３Ｄモデルをブレインシフト量に応じて更新し、ナビゲーション画像に用いているため、実際の処置具２０５と脳２２１の血管との位置関係と、ナビゲーション画像における処置具２０５を示すアイコン２３３と脳２２１の３Ｄモデル２３５の血管との位置関係とが、よく一致する。

このように、本実施形態によれば、ブレインシフト量を推定し、推定した当該ブレインシフト量に応じて更新された脳２２１の３Ｄモデルを用いてナビゲーション画像が生成される。当該ナビゲーション画像は、手術時における患者２０１の実際の脳２２１の状態が反映されたものであるため、当該ナビゲーション画像では、脳２２１の各組織（例えば術部や血管等）と処置具２０５との位置関係が、より正確に表示されることとなる。従って、術者に対して、手術の手助けとなるより有益な情報をもたらすことが可能になる。

また、この際、ブレインシフト量の推定は、顕微鏡部１１０によって取得される脳２２１の表面の撮像画像に含まれる深さ情報と、位置センサ１３０によって検出される患者２０１の頭部、処置具２０５及び顕微鏡部１１０の３次元位置についての情報と、に基づいて、行われる。顕微鏡部１１０によって脳２２１を撮影しながら手術を行うことは脳外科手術において一般的に行われていることであり、位置センサ１３０による患者２０１の頭部等の３次元位置の検出も、既存の手術用ナビゲーションシステムにおいて広く用いられているものである。つまり、本実施形態によれば、装置等を新たに追加することなく、既存の設備を用いてブレインシフト量を推定することができる。従って、より簡易に、より適切なナビゲーション画像を得ることが可能になる。

また、本実施形態では、血管パターン画像のマッチング処理を行うことにより、開頭部２２３における脳表の３次元位置の変位量を、ブレインシフト量を算出する際の初期条件とする。ここで、例えば、開頭部２２３における脳表のある１点の変位量を測定しただけでは、ブレインシフト量を精度良く求めることはできない。本実施形態では、血管パターン画像のマッチング処理の結果を用いて、開頭部２２３における脳表の「面」としての変位量を求め、当該変位量を用いてブレインシフト量を推定することにより、当該ブレインシフト量をより精度良く求めることが可能になる。従って、実際の脳２２１の変形がより良く反映された、より正確なナビゲーション画像が得られることとなる。

なお、手術中にブレインシフト量は経時的に変化し得る。従って、本実施形態では、以上説明した血管パターン画像のマッチング処理以降の一連の処理が、手術中に所定の間隔（例えば９０分間等）で繰り返し実行される。これにより、常に現状に即したナビゲーション画像が表示されることとなるため、より正確なナビゲーション画像を得ることができる。

ここで、ブレインシフト量の推定の精度が低くなってしまった場合には、当該ブレインシフト量に応じて更新された脳２２１の３Ｄモデルを用いたナビゲーション画像において、脳２２１の各組織と処置具２０５との位置関係が、正確に反映されないこととなる。このような不正確なナビゲーション画像を用いて手術を行うことは、安全の観点から避けられるべきである。そこで、本実施形態では、手術用ナビゲーションシステム１０に、ブレインシフト量の推定の精度が低く、適切なナビゲーション画像が得られないことが懸念される場合には、警告を発する機能が備えられる。

具体的には、画像処理装置１４０が、その機能として、警告制御部１４６を更に備える。警告制御部１４６は、表示装置１２０、及び／又は図示しない他の出力装置の駆動を制御し、適切なナビゲーション画像が得られない旨の警告を発する。また、現在既に表示装置１２０にナビゲーション画像が表示されている場合には、警告制御部１４６は、警告とともに、ナビゲーション画像の表示を取りやめる（すなわち、ナビゲーション機能を停止させる）。当該警告の具体的な態様は限定されず、当該警告は、例えば、視覚的及び／又は聴覚的な警告であってよい。例えば、警告制御部１４６は、表示装置１２０に文字等を表示させることにより警告を行う。また、例えば、上記出力装置がベル又はスピーカ等であってよく、警告制御部１４６は、当該ベル又はスピーカを介して音声によって警告を行う。

適切なナビゲーション画像が得られるかどうかの判断処理は、マッチング部１４２によって実行され得る。マッチング部１４２は、上述したマッチング処理を行う際に、併せてそのマッチング誤差を算出する。そして、当該マッチング誤差を所定のしきい値と比較することにより、適切なナビゲーション画像が得られるかどうかを判断する。マッチング誤差を所定のしきい値よりも大きければ、マッチング処理が適切に行われておらず、当該マッチング処理の結果に基づいて行われるブレインシフト量の推定精度も低下する可能性が高い。従って、この場合、マッチング部１４２は、適切なナビゲーション画像が得られないと判断する。一方、マッチング誤差を所定のしきい値以下であれば、マッチング処理が適切に行われており、当該マッチング処理の結果に基づいて行われるブレインシフト量の推定精度も信頼できるものである可能性が高い。従って、この場合、マッチング部１４２は、適切なナビゲーション画像が得られると判断する。

具体的には、本実施形態では、当該マッチング誤差として、マッチングに用いた脳表血管の開頭前後における３次元的な移動量（すなわち、開頭部２２３における開頭前後における脳表の移動量）が用いられる。つまり、マッチング部１４２は、マッチング処理を行った後、当該マッチング処理の結果と、位置センサ１３０から提供される患者２０１の頭部及び顕微鏡部１１０の３次元位置についての情報に基づいて、開頭部２２３における脳表血管の３次元的な移動量を算出する。ここで、一般的にブレインシフト量は２〜３ｃｍ程度であると言われている。従って、マッチング部１４２は、この一般的なブレインシフト量をしきい値として用い、開頭部２２３における脳表血管の３次元的な移動量と当該しきい値とを比較することにより、上記の判断処理を行う。

なお、マッチング誤差はかかる例に限定されず、当該マッチング誤差は、一般的な画像のマッチング処理において誤差を示す指標として用いられている各種の評価関数によって算出されてよい。また、マッチング処理が適切に行われているかどうかを判断するためのしきい値も、そのマッチング誤差の種類に応じて適宜設定されてよい。

マッチング部１４２は、判断処理の結果、適切なナビゲーション画像が得られないと判断された場合には、その旨の情報を警告制御部１４６に提供する。当該情報を取得した警告制御部１４６は、上述した警告を出力させる処理を実行する。

ここで、血管パターン画像のマッチング処理が適切に行われない要因としては、以下の２つが考えられる。１つ目の要因は、手術中における血管情報の不足である。欠陥情報が不足すれば、特徴点を抽出することが困難となり、特徴点が類似する他の部位間でマッチング処理を行ってしまうことが懸念される。また、２つ目の要因は、治療の進行に伴う脳２２１の欠損や大幅な変形である。

従って、手術用ナビゲーションシステム１０では、警告が発せられた場合には、当該警告と同時に、血管情報を新たに取得すべき旨のメッセージが発せられてもよい。当該メッセージに応じて、血管情報を補完するために、手術中に患者２０１の診断画像が新たに取得される。そして、この新たに取得された診断画像に基づいて、３Ｄモデル生成部１４１が、再度脳２２１の３Ｄモデルを生成する。この新たに生成された脳２２１の３Ｄモデルを用いて、マッチング部１４２による血管パターン画像のマッチング処理が行われ、上述した適切なナビゲーション画像が得られるかどうかの判断処理が再度行われる。判断結果が良好であれば、ブレインシフト量推定部１４３によるブレインシフト量の推定処理、及び３Ｄモデル更新部１４４による３Ｄモデルの更新処理が行われ、この更新後の３Ｄモデルを用いたナビゲーション画像が表示され得る。このように、適切なナビゲーション画像が得られると判断された場合のみ、当該ナビゲーション画像が表示されることにより、より安全な手術が実現され得る。

なお、手術中における患者２０１の診断画像は、術中ＭＲＡ撮影及び／又は術中ＩＣＧ蛍光血管撮影等によって取得され得る。特に、術中ＩＣＧ蛍光血管撮影が用いられる場合には、患者ベッド上の患者２０１を移動させることなく撮影を行うことができるため、簡便である。あるいは、血管パターン画像のマッチング処理が困難な場合には、血管造影Ｘ線撮影画像を撮像し、術中血管パターン画像と当該血管造影Ｘ線撮影画像とのマッチング処理、及び当該血管造影Ｘ線撮影画像と術前血管パターン画像（例えば、ＭＲＩ、ＣＴ等によって得られたもの）とのマッチング処理をそれぞれ行う、というように、血管造影Ｘ線撮影画像を介して術前血管パターン画像と術中血管パターン画像とのマッチング処理が行われてもよい。ここで、血管造影Ｘ線撮影は、血管、血流の観察のために広く用いられている撮影方法である。血管造影Ｘ線撮影では、まず、造影剤が患者２０１に静脈注射される。このとき、Ｘ線ビデオ観察すると、心臓、動脈、末梢、静脈の順に、徐々に明るく光る様子を観察することができる。血管造影Ｘ線撮影では、ここで、患者２０１の対象部位をＸ線ＣＴ装置で撮影する。これにより、血管の３次元位置や、血管分岐レベル、血流方向、血の滞留等の情報を得ることができる。

以上、本実施形態に係る手術用ナビゲーションシステム１０の構成について説明した。以上説明したように、本実施形態によれば、ブレインシフトに対応して、より正確な疾患位置がナビゲーション画像に表示され得るため、術者による正確な手技の手助けとなる。また、ナビゲーション画像の適切さを評価し、その評価結果に応じてナビゲーション停止や３Ｄモデルの更新を促すことで、手術のミスが防止され、より一層の安全性が確保され得る。

なお、以上の説明では、マッチング部１４２がマッチング処理を行う対象が２次元画像であったが、本実施形態はかかる例に限定されない。例えば、マッチング部１４２は、脳２２１の３Ｄモデルから抽出される脳表血管の３Ｄモデルと、顕微鏡部１１０による撮像画像から深さ情報を用いて抽出される脳表血管の３Ｄモデルと、の間でマッチング処理を行ってもよい。

また、以上の説明では、表示制御部１４５は、１つ又は複数の表示装置１２０に対して、顕微鏡部１１０によって手術中に撮影された術部の撮像画像、及びナビゲーション画像を表示させるとしていたが、この際、当該撮像画像にもアノテーション情報（記号、文言及び／又は画像を含む）を重畳表示させてもよい。例えば、手術前に取得された脳の３Ｄモデルにおいて術部や危険部位等の強調表示したい部位に対して付与されたアノテーション情報が、例えば当該部位を囲む枠等の画像として、手術中に撮影された撮像画像の該当する部位に対して重畳される。この際、ブレインシフト量推定部１４３によって求められたブレインシフト量に基づいて、手術中の撮像画像において強調表示したい部位が移動した場合にはその移動にアノテーション情報の表示を追随させる等、手術前に設定されたアノテーション情報は、そのまま表示されるのではなく、手術中の撮像画像での該当部位の表示形態、状態に応じて適宜表示され得る。また、上記アノテーション情報は音声を含んでもよく、例えばナビゲーション画像内の所定の領域（例えば注意を喚起したい領域等）に処置具２０５が近付いた場合等に、出力装置（図示せず）を介してその旨を注意喚起する音声が発せられてもよい。

また、以上の説明では、マッチング部１４２におけるマッチング処理においてマッチング誤差が大きい場合には、その旨の警告が発せられるとともに血管情報を新たに取得すべき旨のメッセージ（すなわち、診断画像を再度取得すべき旨のメッセージ）が発せられていたが、本実施形態はかかる例に限定されない。例えば、これらの処理に代えて、又はこれらの処理とともに、警告制御部１４６からの制御により、表示装置１２０に、当該マッチング誤差の程度を示す指標となる数値、又は当該マッチング誤差から適宜算出され得るマッチング処理の信頼度を示す指標となる数値等が表示されてもよい。かかる表示がなされることにより、術者は、マッチング誤差の正確性を定量的に把握することができるため、例えば術式等に応じて診断画像を再度取得すべきかどうかを適宜判断することができる。従って、マッチング誤差がそこまで大きくなく、必ずしも診断画像を再度取得しなくても安全に手術を行うことができると術者が判断した場合には、そのまま手術を続行することができるため、より円滑な手術が実現され得る。

あるいは、上記のマッチング誤差が大きい旨の警告を発する処理及び血管情報を新たに取得すべき旨のメッセージを発する処理に代えて、又はこれらの処理とともに、警告制御部１４６からの制御により、マッチング誤差に基づく他の警告が、表示装置１２０に表示されてもよい。例えば、マッチング誤差が生じている領域が画像内の特定の部位に集中している場合には、当該部位において血管破裂や虚血等のリスクを伴う病変が発生している恐れがある。従って、かかる場合には、表示装置１２０上のナビゲーション画像又は顕微鏡部１１０によって撮影された撮像画像において、当該部位を囲うような枠が表示されたり、当該部位においてリスクが増加している可能性がある旨を通知する文言が表示されたりしてもよい。

ここで、画像処理装置１４０の具体的な装置構成は限定されない。画像処理装置１４０は、上述した機能を実現するように構成されればよく、その具体的な装置構成は任意であってよい。例えば、画像処理装置１４０は、１つの装置として構成されなくてもよく、複数の装置によって構成されてもよい。画像処理装置１４０が複数の装置によって構成される場合には、例えば、これら複数の装置に図１にブロックで模擬的に示す機能が分散されて搭載されるとともに、これら複数の装置が互いに通信可能に接続され、互いに協働して動作することにより、画像処理装置１４０と同様の機能が実現され得る。

また、図１に示す画像処理装置１４０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等の処理装置に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

（３．画像処理方法）
図１２を参照して、本実施形態に係る画像処理方法の処理手順について説明する。図１２は、本実施形態に係る画像処理方法の処理手順の一例を示すフロー図である。なお、図１２に示す各処理は、上述した図１に示す手術用ナビゲーションシステム１０の画像処理装置１４０によって実行される処理に対応している。これらの各処理の詳細については、手術用ナビゲーションシステム１０の機能構成について説明する際に既に説明しているため、以下の画像処理方法の処理手順についての説明では、各処理についての詳細な説明は割愛する。

図１２を参照すると、本実施形態に係る画像処理方法では、まず、手術前に取得された診断画像に基づいて、脳の３Ｄモデルが生成される（ステップＳ１０１）。ステップＳ１０１に示す処理は、図１に示す画像処理装置１４０の３Ｄモデル生成部１４１によって実行される処理に対応している。

なお、上記ステップＳ１０１に示す処理は、手術が開始される前に実行され得る。当該ステップＳ１０１に示す処理が行われた後に、手術のセッティングが行われる。手術のセッティングとは、具体的には、患者２０１の手術室内への搬入、術部を露出させるための開頭作業、並びに医療スタッフ及び手術機器の配置等であり得る。そして、以降のステップＳ１０３以降の処理は、当該セッティングの後、手術中に実行される処理である。

手術が開始されると、本実施形態に係る画像処理方法では、次に、３Ｄモデルに含まれる脳の表面の術前血管パターン画像と、顕微鏡部１１０によって撮影された撮像画像に含まれる脳の表面の術中血管パターン画像と、がマッチングされる（ステップＳ１０３）。

次に、マッチング誤差がしきい値以下かどうかが判断される（ステップＳ１０５）。ステップＳ１０３及びステップＳ１０５に示す処理は、図１に示す画像処理装置１４０のマッチング部１４２によって実行される処理に対応している。

ステップＳ１０５でマッチング誤差がしきい値よりも大きいと判断された場合には、術前血管パターン画像と術中血管パターン画像とのマッチングが適切に行われておらず、その結果、ブレインシフト量の推定を精度良く行えず、適切なナビゲーション画像も得られないと考えられる。この場合には、新たに診断画像が取得される。そして、新たに取得された診断画像に基づいて、脳の３Ｄモデルが再度生成される（ステップＳ１０７）。そして、ステップＳ１０３に戻り、血管パターン画像のマッチング処理が再度実行される。なお、ステップＳ１０７に示す処理に先立ち、マッチング誤差の程度を示す指標となる数値、又はマッチング処理の信頼度を示す指標となる数値等を表示する処理が行われてもよい。この場合には、術者が十分な精度でマッチング処理が行われていると判断した場合にはステップＳ１０９に進んでよく、術者による指示があった場合のみステップＳ１０７に進み、新たに取得された診断画像に基づいて脳の３Ｄモデルが再度生成されてもよい。

一方、ステップＳ１０５でマッチング誤差がしきい値以下であると判断された場合には、ステップＳ１０９に進む。ステップＳ１０９では、血管パターン画像のマッチング処理の結果に基づいて、ブレインシフト量が推定される。ステップＳ１０９に示す処理は、図１に示す画像処理装置１４０のブレインシフト量推定部１４３によって実行される処理に対応している。

次に、推定されたブレインシフト量に基づいて、脳の３Ｄモデルが更新される（ステップＳ１１１）。ステップＳ１１１に示す処理は、図１に示す画像処理装置１４０の３Ｄモデル更新部１４４によって実行される処理に対応している。

そして、更新後の３Ｄモデルに対して処置具２０５の位置を示す表示が付されたナビゲーション画像が、表示装置１２０に表示される（ステップＳ１１３）。ステップＳ１１３に示す処理は、図１に示す画像処理装置１４０の表示制御部１４５によって実行される処理に対応している。

以上、本実施形態に係る画像処理方法の処理手順について説明した。

（４．観察装置の構成例）
以上説明した顕微鏡部１１０が備えられる観察装置の具体的な一構成例について説明する。図１３は、本実施形態に係る手術用ナビゲーションシステム１０の構成を、観察装置の詳細な構成を含めて示す図である。

図１３を参照すると、手術用ナビゲーションシステム１０は、観察装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、表示装置５３１９は、上述した図１に示す表示装置１２０に対応するものであるため、その詳細な説明を省略する。

観察装置５３０１は、観察対象（患者２０１の術部）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、観察装置５３０１の動作を統合的に制御する制御装置５３１７と、を有する。顕微鏡部５３０３は、上述した図１に示す顕微鏡部１１０に対応するものである。

顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。

筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light Emitting Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。ＩＣＧ蛍光血管撮影が行われる場合には、当該光源は、ＩＣＧに対応する所定の波長の励起光を発光可能に構成され得る。

撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。

なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有し得る。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto Exposure）機能やＡＦ機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載され得る。

また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように（すなわち、ステレオカメラとして）構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。

操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、術者の操作入力を受け付ける入力手段である。例えば、術者は、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、術者は、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、術者が顕微鏡部５３０３を移動させようとする場合には、当該術者が筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、術者が筒状部５３０５を移動させている間でも操作可能なように、術者が筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。

アーム部５３０９は、複数のリンク（第１リンク５３１３ａ〜第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ〜第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。

第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ_１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ_１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ_１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。

第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ_１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。

第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ_１と直交する回転軸（第２軸Ｏ_２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。

第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ_２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。

第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ_１及び第２軸Ｏ_２と互いに直交する回転軸（第３軸Ｏ_３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ_２及び第３軸Ｏ_３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ_２及び第３軸Ｏ_３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。

第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。

第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ_３と直交する回転軸（第４軸Ｏ_４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。

第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ_４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。

第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ_４と平行な回転軸（第５軸Ｏ_５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ_４及び第５軸Ｏ_５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ_４及び第５軸Ｏ_５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。

第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。

第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ_６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。

第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。

第１関節部５３１１ａ〜第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。

なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。

ここで、第１関節部５３１１ａ〜第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ〜第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、術者からの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。

例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に処置具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属する術者であっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介して術者によって遠隔操作され得る。

また、力制御が適用される場合には、術者からの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ〜第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、術者が、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、術者の利便性を向上させることができる。

また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図１３に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。

また、第１関節部５３１１ａ〜第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。

このようなブレーキの動作は、上述した操作部５３０７を介した術者による操作入力に応じて行われ得る。術者は、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、術者は、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。

制御装置５３１７は、観察装置５３０１及び表示装置５３１９の動作を制御することにより、手術用ナビゲーションシステム１０の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ〜第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ〜第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。

ここで、制御装置５３１７は、上述した図１に示す画像処理装置１４０の機能を備え得る。つまり、制御装置５３１７は、画像処理装置１４０の機能と、以上説明した観察装置５３０１の駆動に係る各機能とを併せ持つものである。具体的には、例えば、画像処理装置１４０は、制御装置５３１７の中に備えられるいわゆるＣＣＵ（Camera Control Unit）に対応し、手術用ナビゲーションシステム１０における画像の表示に関する各種の処理を行う。

当該画像の表示に関する処理では、図１を参照して説明したように、撮像画像を表示装置５３１９に表示させる処理や、ナビゲーション画像を表示装置５３１９に表示させる処理等が行われ得る。例えば、撮像画像を表示装置５３１９に表示させる処理では、当該ＣＣＵは、観察装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。

なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ〜第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。

制御装置５３１７は、ＣＰＵやＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載された制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、観察装置５３０１と別個の装置として設けられているが、制御装置５３１７は、観察装置５３０１のベース部５３１５の内部に設置され、観察装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ〜第６関節部５３１１ｆにそれぞれ制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。

以上、顕微鏡部１１０が備えられる観察装置５３０１の具体的な一構成例について説明した。なお、図示した構成例では、観察装置５３０１は、そのアーム部５３０９の各関節部５３１１ａ〜５３１１ｆにアクチュエータが設けられ、当該アーム部５３０９が駆動可能に構成されていたが、本実施形態はかかる例に限定されない。例えば、顕微鏡部１１０は、駆動機構を有しない、いわゆるバランスアームによって支持されてもよい。

（５．適用例）
図１及び図１３に示す手術用ナビゲーションシステム１０が適用された手術の様子について説明する。図１４は、図１及び図１３に示す手術用ナビゲーションシステム１０を用いた手術の様子を示す図である。図１４では、術者５３２１が、手術用ナビゲーションシステム１０を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図１４では、簡単のため、手術用ナビゲーションシステム１０の構成のうち制御装置５３１７（すなわち、画像処理装置１４０）の図示を省略するとともに、観察装置５３０１を簡略化して図示している。

図１４に示すように、手術時には、観察装置５３０１によって撮影された術部の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。

また、表示装置５３１９又は図示しない他の表示装置に、画像処理装置１４０によって生成されるナビゲーション画像が表示される。術者５３２１は、当該ナビゲーション画像も参照しながら、術部に対して各種の処置を行う。ナビゲーション画像では、例えば肉眼では判別し難い病変部が強調して表示されるとともに、当該病変部を含む生体組織と処置具との位置関係がリアルタイムで表示されるため、当該ナビゲーション画像を参照することにより、手術をより円滑に行うことが可能になる。

（６．補足）
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、マッチング処理を行う対象を脳の表面の血管のパターンを表す画像としていたが、本開示に係る技術はかかる例に限定されない。当該マッチング処理の対象となる画像は、脳の表面上のパターンを示す画像であればよく、血管以外の他のパターンであってもよい。例えば、脳回又は脳溝のパターンを表す画像についてマッチング処理が行われてもよい。

また、上記実施形態では、本開示に係る技術が脳外科手術に適用されていたが、本開示に係る技術はかかる例に限定されない。本開示に係る技術は、一般的にナビゲーションシステムが利用されている各種の外科手術に対して適用可能である。例えば、本開示に係る技術は、開腹手術、又は内視鏡手術等、他の部位を対象とする各種の外科手術に用いられ得る。これらの他の外科手術に対して本開示に係る技術が適用される場合であっても、同様に、術部を含む生体組織の３Ｄモデルが生成され、当該生体組織の手術前からの変形量が推定され、その推定結果に基づいて更新された３Ｄモデルを用いてナビゲーション画像が生成される。そして、この際、生体組織の変形量の推定処理では、生体組織の表面上の所定のパターンをマッチングした結果が用いられ得る。当該所定のパターンとしては、生体組織の表面上に存在する血管のパターンであってもよいし、生体組織自体の表面の凹凸のパターンであってもよい。

また、上記では、本開示に係る技術の医療用途での実施形態について説明したが、本開示に係る技術はかかる例に限定されない。本開示に係る技術は、より汎用的に、他の分野において用いられてもよい。例えば、本開示で利用していたマッチング処理を、既存の地図と新たに撮影された航空写真とのマッチングに応用することができる。例えば、当該マッチング処理の結果から差異点を抽出し、新たに地図を作成する際等に当該差異点を利用することができる。あるいは、例えば、本開示で利用していたマッチング処理を、農業分野での畑や田んぼ等の監視システムに応用することができる。例えば、固定カメラを用いて畑の画像を定期的に（例えば１日ごと等）撮影し、過去（例えば１日前）の画像と最新の画像との間でマッチング処理を行い、差異点を抽出する。当該差異点から作物の成長具合等を解析することにより、適切な収穫時期を自動的に通知するシステムを構築することができる。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
術前の診断画像に基づいて生成される術部を含む生体組織の３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うマッチング部と、
前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定するシフト量推定部と、
推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新する３Ｄモデル更新部と、
を備える、画像処理装置。
（２）
更新された前記３Ｄモデルに対して処置具の位置を示す表示が付されたナビゲーション画像を表示装置に表示させる表示制御部、を更に備える、
前記（１）に記載の画像処理装置。
（３）
前記生体組織は脳であり、
前記所定のパターンは脳表血管のパターンであり、
前記シフト量推定部は、開頭に伴う脳の変形量であるブレインシフト量を推定する、
前記（１）又は（２）に記載の画像処理装置。
（４）
前記マッチング部は、前記マッチング処理を行うことにより、前記３Ｄモデルの表面の中から前記撮影領域に対応する領域を特定し、
前記シフト量推定部は、特定された前記３Ｄモデルの表面上の前記撮影領域に対応する領域についての情報と、前記撮影領域の３次元位置についての情報と、に基づいて、前記変形量を推定する、
前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）
前記シフト量推定部は、前記３Ｄモデルの表面上の前記撮影領域に対応する領域を、前記撮影領域の３次元位置に応じて変位させた状態を初期条件として、前記３Ｄモデルに対応する計算モデルの変形量を有限要素法によって計算することにより、前記変形量を推定する、
前記（４）に記載の画像処理装置。
（６）
前記シフト量推定部は、前記生体組織と、前記生体組織の周囲に存在する他の生体組織との関係に応じて、前記有限要素法による計算における境界条件を設定する、
前記（５）に記載の画像処理装置。
（７）
前記生体組織は脳であり、
前記他の生体組織は頭蓋骨又は硬膜であり、
前記境界条件では、前記計算モデルにおける前記頭蓋骨又は前記硬膜との接触部位に対応する領域が変形しない固定点として設定される、
前記（６）に記載の画像処理装置。
（８）
前記撮影領域の３次元位置についての情報は、前記撮影領域を撮影した撮像画像に付加される深さ情報に基づいて取得される、
前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記深さ情報は、前記撮影領域を撮影する際の焦点距離についての情報に基づいて取得される、
前記（８）に記載の画像処理装置。
（１０）
前記深さ情報は、測距センサの検出値に基づいて取得される、
前記（８）に記載の画像処理装置。
（１１）
前記深さ情報は、ステレオカメラによる視差情報に基づいて取得される、
前記（８）に記載の画像処理装置。
（１２）
前記マッチング部は、前記マッチング処理を行う際に、マッチングの精度を表す指標であるマッチング誤差を算出し、
前記画像処理装置は、前記マッチング誤差が所定のしきい値以上である場合に警告を出力させる警告制御部、を更に備える、
前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
前記３Ｄモデル生成部は、前記警告が出力された場合に、新たに取得された診断画像に基づいて、前記生体組織の３Ｄモデルを再度生成する、
前記（１２）に記載の画像処理装置。
（１４）
プロセッサが、術前の診断画像に基づいて生成される術部を含む生体組織の３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うことと、
前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定することと、
推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新することと、
を含む、画像処理方法。
（１５）
コンピュータに、
術前の診断画像に基づいて生成される術部を含む生体組織の３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うことと、
前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定することと、
推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新することと、
を含む、画像処理方法を実行させるためのプログラム。
（１６）
手術中に患者の術部を含む生体組織を撮影し、深さ情報付きの撮像画像を取得する顕微鏡部と、
前記顕微鏡部、前記患者、及び処置具の３次元位置を検出する位置センサと、
前記生体組織の３Ｄモデルに対して処置具の位置を示す表示が付されたナビゲーション画像を表示する表示装置と、
前記表示装置に前記ナビゲーション画像を表示させる画像処理装置と、
を備え、
前記画像処理装置は、
術前の診断画像に基づいて生成される前記３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うマッチング部と、
前記マッチング処理の結果と、前記生体組織の表面のうち前記顕微鏡部によって手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定するシフト量推定部と、
推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新する３Ｄモデル更新部と、
更新された前記３Ｄモデルを用いた前記ナビゲーション画像を前記表示装置に表示させる表示制御部と、
を有し、
前記撮影領域の３次元位置についての情報は、前記位置センサによる検出結果、及び前記顕微鏡部による撮像画像の深さ情報に基づいて取得される、
手術用ナビゲーションシステム。

１０ 手術用ナビゲーションシステム
１１０ 顕微鏡部
１２０ 表示装置
１３０ 位置センサ
１４０ 画像処理装置
１４１ ３Ｄモデル生成部
１４２ マッチング部
１４３ ブレインシフト量推定部
１４４ ３Ｄモデル更新部
１４５ 表示制御部
１４６ 警告制御部

Claims (16)

1. 術前の診断画像に基づいて生成される術部を含む生体組織の３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うマッチング部と、
   前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定するシフト量推定部と、
   推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新する３Ｄモデル更新部と、
   を備える、画像処理装置。
2. 更新された前記３Ｄモデルに対して処置具の位置を示す表示が付されたナビゲーション画像を表示装置に表示させる表示制御部、を更に備える、
   請求項１に記載の画像処理装置。
3. 前記生体組織は脳であり、
   前記所定のパターンは脳表血管のパターンであり、
   前記シフト量推定部は、開頭に伴う脳の変形量であるブレインシフト量を推定する、
   請求項１に記載の画像処理装置。
4. 前記マッチング部は、前記マッチング処理を行うことにより、前記３Ｄモデルの表面の中から前記撮影領域に対応する領域を特定し、
   前記シフト量推定部は、特定された前記３Ｄモデルの表面上の前記撮影領域に対応する領域についての情報と、前記撮影領域の３次元位置についての情報と、に基づいて、前記変形量を推定する、
   請求項１に記載の画像処理装置。
5. 前記シフト量推定部は、前記３Ｄモデルの表面上の前記撮影領域に対応する領域を、前記撮影領域の３次元位置に応じて変位させた状態を初期条件として、前記３Ｄモデルに対応する計算モデルの変形量を有限要素法によって計算することにより、前記変形量を推定する、
   請求項４に記載の画像処理装置。
6. 前記シフト量推定部は、前記生体組織と、前記生体組織の周囲に存在する他の生体組織との関係に応じて、前記有限要素法による計算における境界条件を設定する、
   請求項５に記載の画像処理装置。
7. 前記生体組織は脳であり、
   前記他の生体組織は頭蓋骨又は硬膜であり、
   前記境界条件では、前記計算モデルにおける前記頭蓋骨又は前記硬膜との接触部位に対応する領域が変形しない固定点として設定される、
   請求項６に記載の画像処理装置。
8. 前記撮影領域の３次元位置についての情報は、前記撮影領域を撮影した撮像画像に付加される深さ情報に基づいて取得される、
   請求項１に記載の画像処理装置。
9. 前記深さ情報は、前記撮影領域を撮影する際の焦点距離についての情報に基づいて取得される、
   請求項８に記載の画像処理装置。
10. 前記深さ情報は、測距センサの検出値に基づいて取得される、
    請求項８に記載の画像処理装置。
11. 前記深さ情報は、ステレオカメラによる視差情報に基づいて取得される、
    請求項８に記載の画像処理装置。
12. 前記マッチング部は、前記マッチング処理を行う際に、マッチングの精度を表す指標であるマッチング誤差を算出し、
    前記画像処理装置は、前記マッチング誤差が所定のしきい値以上である場合に警告を出力させる警告制御部、を更に備える、
    請求項１に記載の画像処理装置。
13. 前記３Ｄモデル生成部は、前記警告が出力された場合に、新たに取得された診断画像に基づいて、前記生体組織の３Ｄモデルを再度生成する、
    請求項１２に記載の画像処理装置。
14. プロセッサが、術前の診断画像に基づいて生成される術部を含む生体組織の３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うことと、
    前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定することと、
    推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新することと、
    を含む、画像処理方法。
15. コンピュータに、
    術前の診断画像に基づいて生成される術部を含む生体組織の３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うことと、
    前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定することと、
    推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新することと、
    を含む、画像処理方法を実行させるためのプログラム。
16. 手術中に患者の術部を含む生体組織を撮影し、深さ情報付きの撮像画像を取得する顕微鏡部と、
    前記顕微鏡部、前記患者、及び処置具の３次元位置を検出する位置センサと、
    前記生体組織の３Ｄモデルに対して処置具の位置を示す表示が付されたナビゲーション画像を表示する表示装置と、
    前記表示装置に前記ナビゲーション画像を表示させる画像処理装置と、
    を備え、
    前記画像処理装置は、
    術前の診断画像に基づいて生成される前記３Ｄモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うマッチング部と、
    前記マッチング処理の結果と、前記生体組織の表面のうち前記顕微鏡部によって手術中に撮影されている領域である撮影領域の３次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定するシフト量推定部と、
    推定された前記生体組織の変形量に基づいて、術前に生成された前記３Ｄモデルを更新する３Ｄモデル更新部と、
    更新された前記３Ｄモデルを用いた前記ナビゲーション画像を前記表示装置に表示させる表示制御部と、
    を有し、
    前記撮影領域の３次元位置についての情報は、前記位置センサによる検出結果、及び前記顕微鏡部による撮像画像の深さ情報に基づいて取得される、
    手術用ナビゲーションシステム。

Images