JP6605212B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、表示装置に物体の断層画像を表示するための画像処理装置、画像処理方法及び画像処理プログラムに関する。

乳房温存手術においては、根治性と整容性を両立させるために、医師には患者の病変位置（患部）の３次元的な広がりを正確に把握し、適切な切除範囲を設定することが要求される。そこで、一般的には、磁気共鳴画像（ＭＲＩ）装置やコンピュータ断層撮影（ＣＴ）装置等の断層画像撮像装置を用いて手術前に患者を撮像し、撮像データを取得しておく。そして、手術中に、撮像データから得られる断層画像を表示装置に表示して、医師がこれを随時確認しながら処置が行われる。その際、医師は、処置を行っている患者の実環境における部位と、表示装置に表示される断層画像との対応関係を経験に応じて推定する必要があり、医師には高度な技量が求められる。

乳房温存手術等の手術時に断層画像を表示する画像処理装置として、距離センサにより患者と人の手との相対位置を特定し、特定された相対位置に対応する断層画像を表示する画像処理装置が知られている（特許文献１参照）。特許文献１に記載の画像処理装置によれば、手術中にジェスチャ操作を行うことにより、ジェスチャ操作に応じた断層画像を即座に表示することができる。

しかしながら、特許文献１に記載の画像処理装置では、患者の実際の部位と断層画像との対応付け（位置合わせ）については十分に検討されておらず、医師が確認したい患者の実際の部位と断層画像とを自動的に適切に対応付けることは困難であった。

特開２０１４−０００３３２号公報

上記問題点を鑑み、本発明は、物体の実際の部位と断層画像とを自動的に適切に対応付けることができ、使用者が確認したい物体の実際の部位に対応した断層画像を適切に表示可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明の第１の態様は、（ａ）複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶する記憶装置と、（ｂ）物体に貼付された複数の検出用マーカを検出する検出装置と、（ｃ）記憶装置に記憶された撮像データに含まれる複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、検出された複数の検出用マーカの実際の位置とを対応点として、画像上の位置と実際の位置とを対応付ける変換行列を算出する変換行列算出部と、（ｄ）算出された変換行列を用いて、物体の指定された実際の部位に応じた断層画像を生成する画像生成部と、（ｅ）生成された断層画像を表示する表示装置とを備える画像処理装置であることを要旨とする。

本発明の第２の態様は、（ａ）複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶装置に記憶するステップと、（ｂ）物体に貼付された複数の検出用マーカを検出するステップと、（ｃ）記憶装置に記憶された撮像データに含まれる複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、検出された複数の検出用マーカの実際の位置とを対応点として、画像上の位置と実際の位置とを対応付ける変換行列を算出するステップと、（ｄ）算出された変換行列を用いて、物体の指定された実際の部位に応じた断層画像を生成するステップと、（ｅ）生成された断層画像を表示装置に表示するステップとを含む画像処理方法であることを要旨とする。

本発明の第３の態様は、（ａ）複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶装置に記憶する手順と、（ｂ）物体に貼付された複数の検出用マーカを検出する手順と、（ｃ）記憶装置に記憶された撮像データに含まれる複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、検出された複数の検出用マーカの実際の位置とを対応点として、画像上の位置と実際の位置とを対応付ける変換行列を算出する手順と、（ｄ）算出された変換行列を用いて、物体の指定された実際の部位に応じた断層画像を生成する手順と、（ｅ）生成された断層画像を表示装置に表示する手順とをコンピュータに実行させる画像処理プログラムであることを要旨とする。

本発明によれば、物体の実際の部位と断層画像とを自動的に適切に対応付けることができ、使用者が確認したい物体の実際の部位に対応した断層画像を適切に表示可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の実施形態に係る画像処理システムの一例を示すブロック図である。 本発明の実施形態に係る撮像用マーカが患者に貼付された様子を示す模式的な斜視図である。 図３（ａ）は、本発明の実施形態に係る複数枚の断層画像の一例を示す概略図であり、図３（ｂ）は、本発明の実施形態に係る断層画像の一例を示す概略図である。 本発明の実施形態に係る検出用マーカが患者に貼付された様子を示す模式的な斜視図である。 本発明の実施形態に係る検出装置、表示装置及び入力装置の一例を示す模式的な概略図である。 図６（ａ）は、本発明の実施形態に係る患者の身体表面にレーザ光を照射する様子を示す模式的な概略図であり、図６（ｂ）は、図６（ａ）に対応する模式的な側面図である。 本発明の実施形態に係る表示装置に表示された断層画像の一例を示す模式的な概略図である。 本発明の実施形態に係る画像処理方法のうちの手術前の断層画像撮像装置を用いた撮像処理の手順の一例を説明するためのフローチャートである。 本発明の実施形態に係る画像処理方法のうちの手術前又は手術時の画像処理の手順の一例を説明するためのフローチャートである。 本発明の実施形態の第１の変形例に係る表示装置、入力装置及びポインティング装置の一例を示す模式的な斜視図である。 本発明の実施形態の第１の変形例に係る表示装置に表示された断層画像の一例を示す模式的な概略図である。 本発明の実施形態の第２の変形例に係る表示装置の一例を示す模式的な概略図である。 本発明の実施形態の第３の変形例に係る表示装置に表示された断層画像の一例を示す模式的な概略図である。

次に、図面を参照して、本発明の実施形態及び第１〜第３の変形例を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を貼付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、厚みの比率等は現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

また、以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

＜画像処理システム＞
本発明の実施形態に係る画像処理システムとして、断層画像撮像装置の撮像対象である物体が患者であり、断層画像撮像装置に得られる医療用の断層画像を患者の実際の部位と位置合わせする場合を一例として説明する。本発明の実施形態に係る画像処理システムは、図１に示すように、画像処理装置１０と、断層画像撮像装置３とを備える。画像処理装置１０は、中央演算処理装置（ＣＰＵ）１、記憶装置２、検出装置４、表示装置５及び入力装置６を備える。ＣＰＵ１と検出装置４及び表示装置５とは有線又は無線で信号を送受信可能である。

断層画像撮像装置３としては、例えばＭＲＩ装置やＣＴ装置が採用可能である。断層画像撮像装置３は、図２に示すように、複数（７つ）の撮像用マーカ（１次マーカ）Ｍ１，Ｍ２，Ｍ３，…，Ｍ７が貼付された患者１００の断層画像を撮像する。図２は例えば患部が乳房温存手術を受ける場合を示しており、患者１００の胸部周辺に撮像用マーカＭ１〜Ｍ７が貼付されている。撮像用マーカＭ１〜Ｍ７の種類や形状は特に限定されず、例えばオイルマーカが使用可能である。撮像用マーカＭ１〜Ｍ７と後述する検出用マーカとの対応付けのため、撮像用マーカＭ１〜Ｍ７の個数は３つ以上であれば特に限定されない。

撮像用マーカＭ１〜Ｍ７は、患者１００の実環境における部位と断層画像とを高精度に対応付けるために、乳首１００ａ周辺等の相対的に変形しやすい部位（以下、「変形部位」という）と、胸骨上や剣状突起上等の相対的に変形しにくい部位（以下、「非変形部位」という）との双方に貼付されることが好ましい。また、撮像用マーカＭ１〜Ｍ７は、非変形部位よりも変形部位に対して相対的に多く付されることが好ましい。

断層画像撮像装置３で撮像する際には、患者１００の体位は、サポート器具等を用いて手術時と同じ体位となるように補正（固定）される。断層画像撮像装置３は、撮像用マーカＭ１〜Ｍ７が貼付された患者１００の身体を、例えば仰臥位（仰向け）で撮像する。断層画像撮像装置３は、図３（ａ）に示すように、複数枚の断層画像Ｉ１，Ｉ２，Ｉ３，…，Ｉｎ（ｎは４以上の整数）を取得する。複数枚の断層画像Ｉ１〜Ｉｎの各画素の位置は、ローカル座標系である撮像画像座標系の位置座標（ｘ_i，ｙ_i，ｚ_i）で表される。複数枚の断層画像Ｉ１〜Ｉｎは撮像データとして図１に示した記憶装置２の撮像データ記憶部２１に記憶される。

図３（ｂ）は、複数枚の断層画像Ｉ１〜Ｉｎのうちの１枚の断層画像Ｉ１を模式的に示している。断層画像Ｉ１には、図２に示した患者１００の身体表面の撮像用マーカＭ２，Ｍ５及び乳首１００ａを含む部位のスライス面の画像である。図３（ｂ）に示すように、断層画像Ｉ１には、乳首１００ａ近傍に撮像用マーカＭ２，Ｍ５が識別可能に写り込まれている。

なお、断層画像撮像装置３は、複数枚の断層画像Ｉ１〜Ｉｎをそのまま撮像データとして撮像データ記憶部２１に記憶させる代わりに、複数枚の断層画像Ｉ１〜Ｉｎからボクセルデータを生成し、生成したボクセルデータを撮像データとして撮像データ記憶部２１に記憶させてもよい。

図１に示した検出装置４としては、光学式、磁気式又は機械式等の種々の３次元位置検出装置が使用可能である。検出装置４は、図４に示すように患者１００に貼付された複数（７つ）の検出用マーカ（２次マーカ）ｍ１，ｍ２，ｍ３，…，ｍ７の３次元位置を検出する。検出用マーカｍ１〜ｍ７の形状や種類は特に限定されない。本発明の実施形態では、検出装置４が光学式の３次元位置検出装置であり、検出用マーカｍ１〜ｍ７が光学式マーカ（再帰性反射マーカ）である場合を一例として説明する。

検出用マーカｍ１〜ｍ７は、患者１００の撮像用マーカＭ１〜Ｍ７が貼付された部位と対応する部位（例えば、同じ部位）に貼付されている。例えば、患者１００の身体に貼付された撮像用マーカＭ１〜Ｍ７を除去するときにペン等でマーキングし、マーキング箇所に検出用マーカｍ１〜ｍ７が貼付される。検出装置４により検出用マーカｍ１〜ｍ７の３次元座標を検出する際に、検出用マーカｍ１〜ｍ７により校正される面を与えるため、検出用マーカｍ１〜ｍ７の個数は３つ以上であればよく適宜設定される。

検出装置４は、図５に示すように、赤外線投光器をそれぞれ内蔵した複数（６つ）の赤外線カメラ４ａ，４ｂ，４ｃ，…，４ｆを有する。赤外線カメラ４ａ〜４ｆは手術室の天井等に設置される。赤外線カメラ４ａ〜４ｆの３次元位置は既知であり、記憶装置２に予め記憶される。赤外線カメラ４ａ〜４ｆにより同じマーカを観測したときに３次元座標を得るために、赤外線カメラ４ａ〜４ｆの個数は２つ以上であれば特に限定されず、適宜設定可能である。検出用マーカｍ１〜ｍ７の位置等の検出装置４により検出される３次元位置は、世界座標系における位置座標（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）で表すことができる。

図１に示した表示装置５は、断層画像撮像装置３により撮像された撮像データに基づく断層画像を表示する。表示装置５としては、タブレット端末や液晶ディスプレイ（ＬＣＤ）等が使用可能である。表示装置５は、図５に示すように、例えばタブレット端末であり、医師や看護師、技師等である使用者１０１により保持されている。

表示装置５としてのタブレット端末には複数（３つ）の光学式マーカ（以下、「端末用マーカ」という。）ｍ１１，ｍ１２，ｍ１３が取り付けられている。端末用マーカｍ１１〜ｍ１３は、検出用マーカｍ１〜ｍ７と同一の種類であってもよく、異なる種類であってもよい。端末用マーカｍ１１〜ｍ１３同士の位置関係及び端末用マーカｍ１１〜ｍ１３と表示装置５との位置関係は、検出装置４により観測される際に、端末用マーカｍ１１〜ｍ１３が遮蔽され難い（観測し易い）ように設定されることが好ましい。上述した検出用マーカｍ１〜ｍ７の個数と同様に、端末用マーカｍ１１〜ｍ１３の個数は３つ以上であれば特に限定されず、適宜設定可能である。表示装置５の端末用マーカｍ１１〜ｍ１３の取り付け位置は既知であり、記憶装置２に予め記憶される。

検出装置４は、端末用マーカｍ１１〜ｍ１３の３次元位置を検出することにより、表示装置５の３次元位置及び姿勢を検出する。検出装置４により検出される端末用マーカｍ１１〜ｍ１３の３次元位置は、世界座標系における位置座標（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）で表すことができる。なお、検出装置４は、検出用マーカｍ１〜ｍ７及び端末用マーカｍ１１〜ｍ１３の相対的な位置関係等に応じて、検出用マーカｍ１〜ｍ７と端末用マーカｍ１１〜ｍ１３の両者の位置を同時に区分けして検出可能である。

図１に示した入力装置６は、使用者１０１が断層画像として確認したい患者１００の実環境の指定された部位を指示情報として受け付ける。入力装置６は、図５に示すように、例えば線形レーザポインタであり、表示装置５としてのタブレット端末に装着されている。表示装置５と入力装置６との相対的な位置関係と、表示装置５の姿勢に対するレーザ光の照射方向は既知であり、記憶装置２に予め記憶される。

入力装置６は、図６（ａ）及び図６（ｂ）に示すように、患者１００の身体表面にレーザ光を照射する。レーザ光は、使用者１０１にとって表示装置５の端面からレーザ光が照射されて見えるように、表示装置５の端面に平行に直線状に所定の長さを有して照射される。この患者１００の身体表面のレーザ光の照射位置及び照射方向が、使用者１０１による指示情報となる。即ち、レーザ光の照射位置を含み、且つレーザ光の照射方向に平行（換言すれば、タブレット端末の表面に平行）なスライス面Ｓ１が、使用者１０１が断層画像として確認したい患者１００の実際の指定された部位となる。スライス面Ｓ１としては、軸位断や矢状断、冠状断等の任意の断面を設定することができる。

なお、入力装置６としての線形レーザポインタが、表示装置５としてのタブレット端末に外付けされる代わりに、タブレット端末がレーザ照射部を内蔵し、タブレット端末の端面からレーザ光を照射してもよい。また、入力装置６としての線形レーザポインタを表示装置５としてのタブレット端末から取り外し、線形レーザポインタ自体に光学式マーカを取り付け、線形レーザポインタをタブレット端末とは個別に操作してもよい。

また、入力装置６としては、線形レーザポインタ以外にも、キーボードやマウス、タブレット端末に表示されるタッチパネル等が使用可能である。そして、使用者１０１による患者１００の実環境における部位を指定する指示情報としては、入力装置６としての線形レーザポインタによるレーザ光の照射位置を用いる代わりに、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を介したスクロール等の操作情報を用いてもよい。

また、入力装置６として距離センサを用いて、使用者１０１の手の位置（ジェスチャ）を指示情報として検出してもよい。また、表示装置５としてのタブレット端末に内蔵された加速度センサを用いて、タブレット端末の姿勢を指示情報として検出してもよい。

図１に示したＣＰＵ１は、マーカ位置抽出部１１、変換行列算出部１２、画像生成部１３及び表示制御部１４を備え、更に、画像処理装置１０全体を制御する制御回路、演算回路、データを一時記憶するレジスタ等を有する。なお、ＣＰＵ１の機能の一部又は全部が、断層画像撮像装置３又は表示装置５等に内蔵されていてもよい。

マーカ位置抽出部１１は、記憶装置２から断層画像撮像装置３により取得された複数枚の断層画像Ｉ１〜Ｉｎ又はそれから得られたボクセルデータである撮像データを読み出して、撮像データに含まれる画素値（輝度値）等に応じて撮像用マーカＭ１〜Ｍ７の画像上の位置を抽出する。抽出された撮像用マーカＭ１〜Ｍ７の画像上の位置は、断層画像撮像装置３のローカル座標系である撮像画像座標系の位置座標（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）で表すことができる。抽出された撮像用マーカＭ１〜Ｍ７の位置は、マーカ位置記憶部２２に記憶される。なお、使用者１０１等が任意の断層画像から目視で撮像用マーカＭ１〜Ｍ７の位置を特定し、その位置情報が入力装置６からＣＰＵ１に入力されることにより、撮像用マーカＭ１〜Ｍ７の位置を抽出してもよい。

変換行列算出部１２は、マーカ位置抽出部１１等により抽出された撮像用マーカＭ１〜Ｍ７の画像上の位置と、検出装置４により検出された検出用マーカｍ１〜ｍ７の実際の位置とに基づいて、患者１００の実環境における部位と画像上の位置とを対応付ける。即ち、変換行列算出部１２は、例えば、撮像用マーカＭ１〜Ｍ７のローカル座標系である撮像画像座標系における位置座標（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）と、検出用マーカｍ１〜ｍ７の世界座標系における３次元位置（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）とを対応点として用いて、実際の位置と画像上の位置とを対応付けるための、世界座標系から撮像画像座標系へ座標変換する、下記式（１）を満たす変換行列Ｔ_ｗ→ｉを算出する。

或いは、変換行列算出部１２は、撮像画像座標系から世界座標系へ座標変換する、下記（２）式を満たす変換行列Ｔ_ｉ→ｗを算出する。

変換行列Ｔ_ｗ→ｉ及び変換行列Ｔ_ｉ→ｗは、例えば撮像用マーカＭ１〜Ｍ７と検出用マーカｍ１〜ｍ７との複数点の対応から最小二乗法を用いて算出可能である。また、断層画像及び表示装置５等の位置が、世界座標系又は撮像画像座標系で統一されていれば、変換行列Ｔ_ｗ→ｉ及び変換行列Ｔ_ｉ→ｗのいずれを算出してもよい。

画像生成部１３は、変換行列算出部１２により算出された変換行列Ｔ_ｗ→ｉ又は変換行列Ｔ_ｉ→ｗを用いて、使用者１０１により指定された患者１００の実際の部位に応じた断層画像を生成する。画像生成部１３は、例えば図６（ａ）及び図６（ｂ）に示した使用者１０１が確認したい実際の部位であるスライス面Ｓ１の位置座標を、変換行列Ｔ_ｉ→ｗを用いて世界座標系上の位置座標に座標変換する。画像生成部１３は更に、撮像データ記憶部２１に記憶された撮像データであるボクセルデータから、座標変換した位置座標の画素値を用いて断層画像を生成する。

なお、画像生成部１３は、撮像データ記憶部２１に記憶された撮像データがボクセルデータではなく複数枚の断層画像の場合、複数枚の断層画像から表示すべき１枚以上の断層画像を選択してもよい。また、画像生成部１３により生成される断層画像は複数枚であってもよく、例えば互いに直交する２方向（２枚）の断層画像を生成してもよい。

表示制御部１４は、図７に示すように、画像生成部１３により生成された断層画像を表示装置５の表示部５ａに表示させる。図７に示す断層画像は、図６（ａ）及び図６（ｂ）に示した検出用マーカｍ２，ｍ５及び乳首１００ａを通るスライス面の画像である。画像生成部１３により生成される断層画像が複数枚である場合には、表示制御部１４は、表示装置５に複数枚の断層画像を交互に、又は縮小して一括に表示してもよく、表示装置５を複数個設けて、当該複数個のそれぞれに各断層画像を表示してもよい。

記憶装置２としては、例えば半導体メモリや磁気ディスク、光ディスク等が使用可能である。記憶装置２は、患者１００の断層画像を記憶する撮像データ記憶部２１と、撮像用マーカＭ１〜Ｍ７の位置を記憶するマーカ位置記憶部２２とを備える。記憶装置２は更に、ＣＰＵ１が実行する画像処理プログラムやプログラムの実行に必要な各種データを記憶する。

＜画像処理方法＞
次に、図８及び図９のフローチャートを参照しながら、本発明の実施形態に係る画像処理方法の一例を説明する。なお、以下に示す画像処理方法はあくまでも一例であり、この手順に限定されるものではない。

まず、図８のフローチャートを参照しながら、本発明の実施形態に係る画像処理方法のうち、手術前（例えば検査日）に断層画像撮像装置３を用いて断層画像を撮像する処理の一例を説明する。

まず、図２に示すように、患者１００の身体表面の患部周辺に複数の撮像用マーカＭ１〜Ｍ７を貼付する。サポート器具等を用いて、患者１００の体位を仰臥位等の手術時と同じ体位に固定（補正）する。その状態で、ステップＳ１１において、断層画像撮像装置３が、患者１００の身体を撮像し、複数枚の断層画像を取得する。複数枚の断層画像又はそれから生成したボクセルデータが撮像データとして記憶装置２に記憶される。その後、患者１００に貼付された撮像用マーカＭ１〜Ｍ７を除去するとともに、撮像用マーカＭ１〜Ｍ７が貼付されていた位置をマーキングする。

ステップＳ１２において、マーカ位置抽出部１１が、記憶装置２に記憶された撮像データを読み出して、撮像データの各画素の画素値（輝度値）等に応じて、撮像用マーカＭ１〜Ｍ７の画像上の位置を抽出する。抽出された撮像用マーカＭ１〜Ｍ７の位置はマーカ位置記憶部２２に記憶される。なお、ステップＳ１２の手順は、図９のフローチャートのうちステップＳ２３の手順の前に行ってもよい。

次に、図９のフローチャートを参照しながら、手術前又は手術中に断層画像を表示する処理の一例を説明する。ステップＳ２１において、患者１００の身体表面のマーキング箇所（換言すれば、撮像用マーカＭ１〜Ｍ７の貼付位置）に複数の検出用マーカｍ１〜ｍ７を貼付する。検出装置４が、患者１００に貼付された検出用マーカｍ１〜ｍ７の３次元位置を継続的に検出（トラッキング）する。ステップＳ２２において、検出装置４が、端末用マーカｍ１１〜ｍ１３の３次元位置を継続的に検出（トラッキング）することにより、表示装置５の世界座標系上の３次元位置及び姿勢を検出する。

ステップＳ２３において、変換行列算出部１２が、記憶装置２のマーカ位置記憶部２２に記憶された撮像用マーカＭ１〜Ｍ７の画像上の位置を読み出して、撮像用マーカＭ１〜Ｍ７の画像上の位置と、検出装置４により検出された検出用マーカｍ１〜ｍ７の実環境における位置とを対応点として、画像上の位置と実環境の位置とを対応付けるための、世界座標系から撮像画像座標系へ座標変換する変換行列Ｔ_ｗ→i又は撮像画像座標系から世界座標系へ座標変換するＴ_i→ｗを算出する。

ステップＳ２４において、入力装置６は、使用者１０１が確認したい患者１００の実際の部位を指定する指示情報を受け付ける。画像生成部１３は、変換行列算出部１２により算出された変換行列Ｔ_ｉ→ｗを用いて、使用者１０１により指定された実際の部位を世界座標系上の位置に座標変換することにより、指定された実際の部位に対応する断層画像を生成する。ステップＳ２５において、表示制御部１４が、画像生成部１３により生成された断層画像を表示装置５に表示させる。使用者１０１は、確認したい部位を指定する指示情報を入力装置６からリアルタイムに入力し、表示装置５に表示された断層画像を確認しながら、処置を行うことができる。

以上説明したように、本発明の実施形態によれば、実環境における患者１００の身体上の位置と断層画像とを適切に対応付けることができ、使用者１０１が確認したい患者１００の実際の部位に対応した断層画像をリアルタイムで適切に表示することができる。したがって、患者１００の実際の部位と断層画像との対応付けを医師が自ら推定する場合と比較して、医師の負担を軽減することができる。

また、表示装置５としてのタブレット端末の位置及び姿勢に追従するように、レーザ光の照射位置及び照射方向に対応する断層画像を表示装置５に表示するので、使用者１０１が確認したい患者１００の実際の部位を動的に指定しやすく、且つ断層画像と実際の部位との対応関係を使用者１０１に対してより直感的に把握させることができる。

＜画像処理プログラム＞
本発明の実施形態に係る画像処理プログラムは、図８及び図９に示した画像処理の手順をＣＰＵ１に実行させる。即ち、本発明の実施形態に係る画像処理プログラムは、（ａ）複数の撮像用マーカＭ１〜Ｍ７が貼付された患者１００を撮像することにより取得された撮像データを記憶装置２に記憶する手順と、（ｂ）患者１００に貼付された複数の検出用マーカｍ１〜ｍ７を検出する手順と、（ｃ）記憶装置２に記憶された撮像データに含まれる複数の撮像用マーカＭ１〜Ｍ７の画像上の位置を読み出して、当該複数の撮像用マーカＭ１〜Ｍ７の画像上の位置と、検出された複数の検出用マーカｍ１〜ｍ７の実際の位置とを対応点として、画像上の位置と実際の位置とを対応付ける変換行列Ｔ_ｗ→i及び変換行列Ｔ_i→ｗの少なくとも一方を算出する手順と、（ｄ）算出された変換行列Ｔ_ｗ→i及び変換行列Ｔ_i→ｗの少なくとも一方を用いて、患者１００の指定された実際の部位に応じた断層画像を生成する手順と、（ｅ）生成された断層画像を表示装置５に表示する手順等をＣＰＵ１等のコンピュータに実行させる。本発明の実施形態に係る画像処理プログラムは、図１に示した記憶装置２等の記憶手段に記憶される。

（第１の変形例）
本発明の実施形態の第１の変形例として、図１０に示すように、患者１００の身体上の位置を指し示すポインティング装置（入力装置）７を更に備える場合を説明する。ポインティング装置７は例えばペン型端末であり、ペン本体７１と、ペン本体７１の先端に着脱可能なキャップ部７２とを備える。キャップ部７２は、ペン本体７１のペン先（患者１００の身体上の位置を指し示す側）とは逆側に装着されている。キャップ部７２には、複数（４つ）の光学式マーカ（以下、「ペン用マーカ」という。）ｍ２１，ｍ２２，ｍ２３，ｍ２４が取り付けられている。ペン用マーカｍ２１〜ｍ２４とペン本体７１のペン先との位置関係は既知であり、記憶装置２に予め記憶される。なお、ペン用マーカｍ２１〜ｍ２４の個数は、上述した検出用マーカｍ１〜ｍ７及び端末用マーカｍ１１〜ｍ１３の個数と同様に、３つ以上であればよく、適宜設定可能である。

図１に示した検出装置４は、患者１００に貼付された検出用マーカｍ１〜ｍ７の位置及び端末用マーカｍ１１〜ｍ１３の位置を検出すると同時に、ペン用マーカｍ２１〜ｍ２４の位置を検出することにより、ポインティング装置７が指し示す位置を検出する。

画像生成部１３は、変換行列算出部１２により算出された変換行列Ｔ_i→ｗを用いて、レーザ光の照射位置で指定される実際の位置を画像上に位置に変換して断層画像を生成する。この際、画像生成部１３は、変換行列算出部１２により算出された変換行列Ｔ_ｗ→iを用いて、ポインティング装置７が指し示す実際の位置を画像上に位置に変換し、ポインティング装置７が指し示す画像上の位置にマークを表示するように断層画像を生成する。

この結果、図１１に示すように、表示装置（タブレット端末）５の表示部５ａに表示される断層画像中に、ポインティング装置７が指し示す位置（ペン先の位置）に対応する画像上の位置にマークｍ０が表示される。ポインティング装置７が指し示す位置をレーザ光の照射位置に沿って移動させると、それに伴い断層画像中のマークｍ０の位置も移動する。マークｍ０の大きさや形状、色等は適宜設定可能であり、ポインティング装置７が指し示す位置の変化に応じてマークｍ０の大きさや形状、色等を変化させてもよい。例えば、ポインティング装置７が指し示す位置がレーザ光の照射位置から離れるにつれてマークｍ０を小さくしてもよい。

第１の変形例に係る画像処理システムの他の構成は、本発明の実施形態に係る構成と同様であるので、重複した説明を省略する。

第１の変形例によれば、ポインティング装置７を更に備え、ポインティング装置７が指し示す位置を断層画像中に表示することにより、実環境における患者１００の身体上の位置と断層画像との対応を使用者１０１等に対してより容易に把握させることができる。ポインティング装置７が実際のマーキング機能を備えるペン型デバイスである場合には、特にマーキングプロセス時に有効である。

なお、ポインティング装置７としては図１０に示したペン型の構造に限定されない。例えば、ポインティング装置７が、図１０に示したペン用マーカｍ２１〜ｍ２４を取り付けた術具であり、術具の先端が指し示す位置を指定位置として断層画像中に表示してもよい。また、ポインティング装置７が、図１０に示したペン用マーカｍ２１〜ｍ２４を取り付けたキャップ部７２のみの構造であり、ペン用マーカｍ２１〜ｍ２４のうちの１つの位置を指し示す位置として断層画像中に表示してもよい。

また、画像生成部１３は、表示装置５の位置及び姿勢に応じた断層画像を生成する代わりに、ポインティング装置７が指し示す位置に応じた断層画像を生成してもよい。例えば、画像生成部１３は、ポインティング装置７が指し示す位置を含む、予め設定された方向の断面画像を生成してもよい。また、画像生成部１３は、ポインティング装置７が指し示す位置をそれぞれ含み、互いに直交する２方向の断層画像を生成してもよい。更に、画像生成部１３は、ポインティング装置７が指し示す位置を含み、且つポインティング装置７の姿勢に応じた方向の断層画像を生成してもよい。

（第２の変形例）
本発明の実施形態の第２の変形例として、図１に示した表示装置５が、図１２に示すように、画像生成部１３により生成された断層画像を投影するプロジェクタである場合を説明する。表示装置５としてのプロジェクタは、例えば手術室の天井等に設置される。表示装置５の３次元位置は既知であり、図１に示した記憶装置２に記憶される。

図１２に示すように、使用者１０１は、ポインティング装置（入力装置）７を用いて患者１００の身体上の位置を指し示す。画像生成部１３は、ポインティング装置７により指定された位置に対応する断層画像を生成する。表示装置５は、画像生成部１３により生成された断層画像を患者１００の身体上に投影する。なお、表示装置５により断層画像を投影する位置は、患者１００の身体上に限定されず、例えば患者１００が載置されている手術台等の患者１００の身体の周辺部に投影してもよい。表示装置５が投影する位置は、ローカル座標系であるプロジェクタ座標系の位置座標（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）で表される。

変換行列算出部１２は、例えば、本発明の実施形態と同様に、撮像画像座標系から世界座標系へ座標変換する上記（２）式を満たす変換行列Ｔ_i→ｗを算出するとともに、表示装置５の３次元位置等に基づいて、世界座標系から表示装置５のローカル座標系であるプロジェクタ座標系へ座標変換する変換行列Ｔ_ｗ→ｐを更に算出する。

画像生成部１３は、変換行列算出部１２により算出された変換行列Ｔ_i→ｗ及び変換行列Ｔ_ｗ→ｐを用いて、下記式（３）のように、患者１００の実際の位置座標をプロジェクタ座標系へ座標変換することにより、プロジェクタ用の断層画像を生成する。

表示制御部１４は、表示装置５に断層画像を投影位置（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）へ投影して表示させる。第２の変形例に係る画像処理システムの他の構成は、本発明の実施形態に係る構成と同様であるので、重複した説明を省略する。

第２の変形例によれば、表示装置５としてのプロジェクタが患者１００の身体上に断層画像を投影して重畳させることにより、使用者１０１は患者１００の身体と断層画像との対応関係をより容易に把握することができる。また、表示装置５としてのプロジェクタが手術台等の患者１００の身体の近傍に断層画像を投影することにより、使用者１０１は患者１００から視線を大きく移動させることなく、断層画像を容易に確認することができる。

（第３の変形例）
本発明の実施形態の第３の変形例として、図１に示した表示装置５が、ハーフミラーデバイスである場合を説明する。表示装置５としてのハーフミラーデバイスは、図１３に示すように、ハーフミラー５ｘと、ハーフミラー５ｘの表面に対して所定の角度θだけ傾けて配置された表示部５ｙとを備える。

画像生成部１３は、ハーフミラー５ｘの裏面に対して所定の角度θだけ傾けた平面Ｓ２で患者１００をスライスした断層画像を生成する。表示部５ｙは、画像生成部１３により生成された断層画像を表示する。ハーフミラー５ｘは、患者１００側からの入射光を透過する一方、表示部５ｙからの入射光を所定の角度αで反射する。このため、使用者１０１は、患者１００の実際の身体に、ハーフミラー５ｘで反射された断層画像が重畳するように視認することができる。

第３の変形例に係る画像処理システムの他の構成は、本発明の実施形態に係る構成と同様であるので、重複した説明を省略する。

第３の変形例によれば、表示装置５としてハーフミラーデバイスを用いることにより、使用者１０１が患者１００の実際の身体に断層画像を重畳して視認することができるので、使用者１０１は患者１００の実際の身体と断層画像との対応関係をより容易に把握することができる。

（その他の実施形態）
上記のように、本発明は実施形態及び第１〜第３の変形例によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

例えば、検出用マーカｍ１〜ｍ７は、撮像用マーカＭ１〜Ｍ７と厳密に同じ位置・形状でなくてもよく、許容される範囲で誤差があってもよい。また、撮像用マーカＭ１〜Ｍ７の位置に対する相対座標が既知であれば、撮像用マーカＭ１〜Ｍ７が貼付された部位とは異なる位置・形状の検出用マーカｍ１〜ｍ７を貼付してもよい。

また、撮像用マーカＭ１〜Ｍ７及び検出用マーカｍ１〜ｍ７を患者１００の身体の変形部位と非変形部位の双方に設けることで、患部の変形を検出して、それに応じた断層画像の変形を行った表示を行ってもよい。この際に、距離画像カメラ等を用いて患部形状を検出して、変形の検出の精度を向上させてもよい。

本発明は、手術の際に患者（被検体）の断層画像を表示する画像処理システムに利用可能であり、乳がん手術の他、全ての臓器に関する手術時にも利用可能である。また、ＭＲＩやＣＴ等で撮像する断層画像は医療用断層画像に限定されず、断層画像の撮像対象も、人体以外の生体や、更には生体以外の物体であってもよい。即ち、本発明は、ＭＲＩやＣＴ等の断層画像を表示することにより物体の内部状態を検査・診断するシステムにおいて、実際の物体の位置と断層画像を対比して検査・診断を行なう場合にも利用可能である。

１…中央演算処理装置（ＣＰＵ）
２…記憶装置
３…断層画像撮像装置
４…検出装置
５…表示装置
５ａ，５ｙ…表示部
５ｘ…ハーフミラー
６…入力装置
７…ポインティング装置
１０…画像処理装置
１１…マーカ位置抽出部
１２…変換行列算出部
１３…画像生成部
１４…表示制御部
２１…撮像データ記憶部
２２…マーカ位置記憶部
７１…ペン本体
７２…キャップ部

Claims (9)

1. 複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶する記憶装置と、
   前記物体に貼付された複数の検出用マーカを検出する検出装置と、
   前記記憶装置に記憶された前記撮像データに含まれる前記複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、前記検出された複数の検出用マーカの実際の位置とを対応点として、前記画像上の位置と前記実際の位置とを対応付ける変換行列を算出する変換行列算出部と、
   前記算出された変換行列を用いて、前記物体の指定された実際の部位に応じた断層画像を生成する画像生成部と、
   前記生成された断層画像を表示する表示装置と、
   前記物体の表面の位置を指し示すポインティング装置
   とを備え、
   前記ポインティング装置は、複数のポインティング装置用マーカを備え、
   前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの一部は、前記物体における相対的に変形しやすい変形部位に貼付され、前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの他の一部は、前記物体における相対的に変形しにくい非変形部位に貼付され、前記非変形部位よりも前記変形部位に、前記複数の撮像用マーカ及び前記複数の検出用マーカがより多く貼付され、
   前記検出装置が、前記複数のポインティング装置用マーカの位置を検出し、
   前記画像生成部が、前記変換行列を用いて、前記ポインティング装置用マーカの位置から前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置を算出し、
   前記表示装置が、前記生成された断層画像を表示するとともに、前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置にマークを表示することを特徴とする画像処理装置。
2. 前記複数の撮像用マーカが貼付された位置と同じ位置に前記複数の検出用マーカが貼付されることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示装置が、複数の端末用マーカが取り付けられたタブレット端末であり、
   前記検出装置が、前記複数の端末用マーカの位置を検出することにより前記タブレット端末の位置及び姿勢を検出し、
   前記画像生成部が、前記検出されたタブレット端末の位置及び姿勢に応じて前記断層画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記物体の表面にレーザ光を照射するレーザ照射部を更に備え、
   前記画像生成部が、前記レーザ光の照射位置を含み、前記レーザの照射方向に平行なスライス面の前記断層画像を生成することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記画像生成部が、前記ポインティング装置により指し示された位置に応じて前記断層画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記表示装置が、前記生成された断層画像を前記物体の表面又は前記物体の周辺部に投影するプロジェクタであることを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記表示装置が、前記物体の表面に、前記生成された断層画像を重畳して視認可能に表示するハーフミラーデバイスであることを特徴とする請求項１又は２に記載の画像処理装置。
8. 複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶装置に記憶するステップと、
   前記物体に貼付された複数の検出用マーカを検出するステップと、
   前記記憶装置に記憶された前記撮像データに含まれる前記複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、前記検出された複数の検出用マーカの実際の位置とを対応点として、前記画像上の位置と前記実際の位置とを対応付ける変換行列を算出するステップと、
   前記算出された変換行列を用いて、前記物体の指定された実際の部位に応じた断層画像を生成するステップと、
   前記生成された断層画像を表示装置に表示するステップ
   とを含み、
   前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの一部は、前記物体における相対的に変形しやすい変形部位に貼付され、前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの他の一部は、前記物体における相対的に変形しにくい非変形部位に貼付され、前記非変形部位よりも前記変形部位に、前記複数の撮像用マーカ及び前記複数の検出用マーカがより多く貼付され、
   前記検出するステップでは、前記物体の表面の位置を指し示すポインティング装置に備えられた複数のポインティング装置用マーカの位置を検出し、
   前記生成するステップでは、前記変換行列を用いて、前記ポインティング装置用マーカの位置から前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置を算出し、
   前記表示するステップでは、前記生成された断層画像を表示するとともに、前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置にマークを表示することを特徴とする画像処理方法。
9. 複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶装置に記憶する手順と、
   前記物体に貼付された複数の検出用マーカを検出する手順と、
   前記記憶装置に記憶された前記撮像データに含まれる前記複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、前記検出された複数の検出用マーカの実際の位置とを対応点として、前記画像上の位置と前記実際の位置とを対応付ける変換行列を算出する手順と、
   前記算出された変換行列を用いて、前記物体の指定された実際の部位に応じた断層画像を生成する手順と、
   前記生成された断層画像を表示装置に表示する手順
   とをコンピュータに実行させ、
   前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの一部は、前記物体における相対的に変形しやすい変形部位に貼付され、前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの他の一部は、前記物体における相対的に変形しにくい非変形部位に貼付され、前記非変形部位よりも前記変形部位に、前記複数の撮像用マーカ及び前記複数の検出用マーカがより多く貼付され、
   前記検出する手順では、前記物体の表面の位置を指し示すポインティング装置に備えられた複数のポインティング装置用マーカの位置を検出し、
   前記生成する手順では、前記変換行列を用いて、前記ポインティング装置用マーカの位置から前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置を算出し、
   前記表示する手順では、前記生成された断層画像を表示するとともに、前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置にマークを表示することを特徴とする画像処理プログラム。
   

Images