JP5998294B2

JP5998294B2 - トラッキングシステム及びこれを用いたトラッキング方法

Info

Publication number: JP5998294B2
Application number: JP2015559174A
Authority: JP
Inventors: ジョン‐キュホン、; ヒョン‐キイ、; ジェ‐ホンチョン、; ミン‐ヨンキム、
Original assignee: Industry Academic Cooperation Foundation of KNU
Current assignee: Industry Academic Cooperation Foundation of KNU
Priority date: 2013-02-21
Filing date: 2014-02-05
Publication date: 2016-09-28
Anticipated expiration: 2034-02-05
Also published as: CN105073056A; KR101446173B1; JP2016507340A; EP2959857A4; US20160228198A1; EP2959857A1; WO2014129760A1; KR20140104688A

Description

本発明は、トラッキングシステム及びこれを用いたトラッキング方法に関し、より具体的には、患者の患部や手術器具のような目的物に取り付けられたマーカーの座標を追跡して目的物の空間位置情報と方向情報を検出する手術用トラッキングシステム及びこれを用いたトラッキング方法に関するものである。

最近では腹腔鏡手術や耳鼻咽喉科の手術を行うとき、患者の苦痛をさらに減らして速やかに患者が回復できるようにするためのロボット手術が研究及び導入されている。

かかるロボット手術の際には手術の危険を最小化してさらに精密な手術が行われるようにするために、患部や手術器具のような目的物の空間位置及び方向を正確に追跡して検出した後、前記手術器具を患者の患部へ正確に操縦（NAVIGATE）できるナビゲーションが用いられる。

上記のような手術用ナビゲーションには、上述したように患部や手術器具のような目的物の空間位置及び方向を正確に追跡して検出することができるトラッキングシステムが含まれる。

上記のようなトラッキングシステムは、通常、患部や手術器具のような目的物に取り付けられるマーカーと、前記マーカーによって放出される光を結像させる第１及び第２結像ユニットと、前記第１及び第２結像ユニットと連結されて前記マーカーの３次元座標を算出した後、既に格納された前記互いに隣り合うマーカーを連結する直線の情報と、互いに隣り合う一対の直線がなす角度情報を前記マーカーの３次元座標と比較して前記目的物の空間位置及び方向を算出するプロセッサを含む。

ここで、前記マーカーの３次元座標をプロセッサを通じて算出するためには、通常、１つのマーカーから放出されて第１結像ユニットに結像された前記マーカーの座標と、前記第２結像ユニットに結像された前記マーカーの座標が同一であるとの仮定して、三角法を通じて検出されるため、必ず２台のディテクターが必要であった。

よって、従来の一般的なトラッキングシステムは、相異する位置でそれぞれのマーカーから放出される光を結像させるための２台の結像ユニットを備えなければならないため、製作費用の上昇とともにシステム全体のサイズが大きくなってしまい、手術空間の制約を大きく受けるという問題点があった。

本発明の目的は、一台の結像ユニットのみでもそれぞれのマーカーの３次元座標を算出できるようにして製作費用の低減とともに装備のコンパクト化を実現し、手術空間の制約を最小化することができるトラッキングシステム及びこれを用いたトラッキング方法を提供することにある。

本発明の一実施例によるトラッキングシステムは、目的物に取り付けられて光を反射させる少なくとも３つのマーカーと、前記マーカーに向かって互いに異なる位置で光を放出する一対の光源と、前記一対の光源から放出されて前記マーカーによって反射された光を通過させるレンズ部と、前記レンズ部を通過した光を受光してマーカー当たり一対のマーカー画像を結像させる結像ユニットと、前記結像ユニットにマーカー当たり結像された一対のマーカー画像を用いて前記マーカーの３次元座標を算出した後、前記マーカーの３次元座標と既に格納された互いに隣り合うマーカー間の幾何学的情報を比較して目的物の空間位置情報及び方向情報を算出するプロセッサを含む。

一方、前記トラッキングシステムは、前記レンズ部と結像ユニットとの間に配置されて、前記一対の光源のうちいずれか１つの光源から放出された光の一部を前記レンズ部を通じて前記マーカーの柱芯方向に放出させるように反射させ、前記マーカーの柱芯方向に放出されて前記マーカーにより再反射されて前記レンズ部を通じて流入される光の一部を前記結像ユニットに通過させるビームスプリッタをさらに含むことができる。

また、前記トラッキングシステムは、前記ビームスプリッタ側に光を放出する光源と前記ビームスプリッタとの間に配置されて前記光源から放出された光を拡散させるディフューザをさらに含むことができる。

一実施例によれば、前記結像ユニットは、前記マーカーから反射して前記レンズ部とビームスプリッタを順次通過した光を受光してマーカー当たり一対の画像を結像させるカメラであり得る。

一実施例によれば、前記マーカー間の幾何学的情報は、前記互いに隣り合うマーカーを連結する直線の長さ情報と、前記互いに隣り合う一対の直線がなす角度情報であり得る。

本発明の一実施例によるトラッキング方法は、互いに異なる位置に配置された一対の光源から少なくとも３つのマーカーに向かって光を放出するステップと、前記一対の光源から放出される光が前記マーカーによってレンズ部側に反射するステップと、前記マーカーによって反射された光が前記レンズ部を通過して結像ユニットにマーカー当たり一対のマーカー画像を結像させるステップと、前記結像ユニットにマーカー当たり一対ずつ結像されたマーカー画像を用いてプロセッサを通じて前記それぞれのマーカーの３次元座標を算出するステップと、前記それぞれのマーカーの３次元座標と前記プロセッサに既に格納された互いに隣り合うマーカー間の幾何学的情報を比較して前記目的物の空間位置及び方向を算出するステップとを含む。

ここで、前記一対の光源のうちいずれか１つの光源は、前記レンズ部と結像ユニットとの間に配置されたビームスプリッタ方向に光を放出した後、前記ビームスプリッタによって光の一部を反射させて前記レンズ部を通じて前記マーカーの柱芯方向に放出し、残りの１つの光源は、前記マーカーに直接的に光を放出することができる。

一方、前記ビームスプリッタ方向に放出される光は、前記ビームスプリッタ間に配置されたディフューザにより拡散されて前記ビームスプリッタ側に放出されることができる。

一実施例によれば、前記マーカーの３次元座標を算出するステップは、前記プロセッサを通じて前記結像ユニットに結像されたマーカー当たり一対のマーカー画像の結像位置情報を用いて前記それぞれのマーカーの２次元中心座標を算出するステップと、前記それぞれのマーカーの２次元中心座標を用いて前記マーカーの３次元座標を算出するステップを含むことができる。

このように本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、互いに異なる位置に配置された一対の光源によってそれぞれのマーカー当たり結像ユニットの互いに異なる位置に一対のマーカー画像を結像させることができるので、一台の結像ユニットだけでも三角法を通じて前記それぞれのマーカーの３次元座標を算出して目的物に取り付けられたマーカーの空間位置情報と方向情報を算出して確認することができる。

また、トラッキングシステムの製作費用の節減とともに小型・軽量化を達成することができ、従来のトラッキングシステムに比べて手術空間の制約を相対的に少なく受けるという効果がある。

本発明の一実施例によるトラッキングシステムの概略図。マーカーが目的物に取り付けられた例示図。本発明の一実施例によるトラッキング方法を説明するためのブロック図。マーカーの３次元座標を算出する過程を説明するためのブロック図。３つのマーカーがレンズと水平に配列された状態で結像ユニットにマーカーの画像が結像される状態を説明するための例示図。マーカーとレンズ部との距離によるマーカー画像の結像位置の変化を説明するための拡大例示図。第１マーカーの２次元中心座標を算出する過程を説明するための例示図。光がマーカーの表面で反射する地点とマーカーの中心との関係を説明するための例示図。マーカーの表面で光が反射する地点の座標を算出する過程を説明するための例示図。

発明の具体的な説明

本発明は、多様な変更を加えることができ、また、様々な形態を有することができるところ、特定の実施例等を図面に例示して本文に詳細に説明する。しかし、これは本発明を特定の開示形態について限定しようとするのではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解されるべきである。

第１、第２等の用語は多様な構成要素を説明するのに用いられるが、前記構成要素は前記用語によって限定されてはならない。前記用語は１つの構成要素を他の構成要素から区別する目的でのみ用いられる。例えば、本発明の権利範囲を逸脱せずに第１の構成要素は第２の構成要素と呼ばれることができ、同様に第２の構成要素は第１の構成要素と呼ばれることができる。

本出願で使用する用語は単に特定の実施例を説明するために使用しており、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なって意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」等の用語は明細書に記載された特徴、数字、ステップ、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定するものであり、１つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品またはこれらを組み合わせたもの等の存在または付加の可能性を予め排除しないものと理解されるべきである。

異なって定義しない限り、技術的であったり科学的である用語を含めてここで使用される全ての用語は、本発明が属する技術分野で通常の知識を有する者によって一般に理解されるものと同一の意味を有する。

一般に使用される辞典に定義されている用語等は関連技術の文脈上の意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的であったり過度に形式的な意味で解釈されない。

以下、図面を参照して、本発明の望ましい実施例をより詳細に説明する。

本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、患部や手術器具のような目的物に少なくとも３つのマーカーを取り付けた後、前記マーカーの３次元座標を算出してプロセッサに既に格納された互いに隣り合うマーカー間の幾何学的情報と、前記マーカーの３次元座標をプロセッサを通じて比較して前記患部や手術器具のような目的物の空間位置及び方向を算出できるようにするものであって、その詳細な構成については図面を参照して説明する。

図１は、本発明の一実施例によるトラッキングシステムの概略図、図２はマーカーが目的物に取り付けられた例示図である。

図１及び図２を参照すると、本発明の一実施例によるトラッキングシステムは、少なくとも３つのマーカー１１０、１１１、１１２、少なくとも２つの第１光源１５０及び第２光源１５１、レンズ部１２０、ビームスプリッタ(beam splitter)１６０、結像ユニット１３０、プロセッサ１４０等を含むことができる。

前記少なくとも３つのマーカー１１０、１１１、１１２は、患者の患部や手術器具のような目的物２００に取り付けられる。ここで、前記少なくとも３つのマーカー１１０、１１１、１１２は、互いに隣り合うマーカー１１０、１１１、１１２間に一定の間隔で離隔され、互いに隣り合うマーカー１１０、１１１、１１２を仮想に連結してそれぞれのマーカー１１０、１１１、１１２当たり隣り合う仮想の一対の直線Ｌ１、Ｌ２、Ｌ３が一定の角度Ａ１、Ａ２、Ａ３をなすように配置されて前記患部や手術器具のような目的物２００に取り付けられる。

ここで、前記互いに隣り合うマーカー１１０、１１１、１１２間の幾何学的情報、すなわち、互いに隣り合うマーカー１１０、１１１、１１２を連結する直線Ｌ１、Ｌ２、Ｌ３の長さ情報と、互いに隣り合うマーカー１１０、１１１、１１２を連結する隣り合う一対の直線がなす角度Ａ１、Ａ２、Ａ３情報は、前記プロセッサ１４０に実装されたメモリ(memory)１４１に予め格納されている。

例えば、前記マーカー１１０、１１１、１１２は、３つが患部や手術器具のような目的物２００に三角形状に取り付けられ得、前記３つのマーカー１１０、１１１、１１２を頂点とする三角形の辺をなすそれぞれの直線Ｌ１、Ｌ２、Ｌ３の長さ情報と、前記マーカー１１０、１１１、１１２を連結する仮想の互いに隣り合う一対の直線がなす角度Ａ１、Ａ２、Ａ３情報は、前記プロセッサ１４０に含まれたメモリ１４１に予め格納され得る。

一方、前記マーカー１１０、１１１、１１２は、少なくとも前記第１光源１５０及び第２光源１５１から放出される光を反射させるパッシブ（passive）マーカーであり得る。

前記第１光源１５０及び第２光源１５１は、前記マーカー１１０、１１１、１１２に向かって互いに異なる位置で光を放出する。例えば、前記第１光源１５０は前記マーカー１１０、１１１、１１２に向かって直接的に光を放出することができ、前記第２光源１５１は前記レンズ部１２０と前記結像ユニット１３０との間に位置するように配置されて前記レンズ部１２０と前記結像ユニット１３０との間に配置されるビームスプリッタ１６０に向かうように光を放出することができる。前記第２光源１５１から放出された光は、ビームスプリッタ１６０によって光の一部が反射して前記レンズ部１２０を通過した後、前記マーカー１１０、１１１、１１２の柱芯方向に光を放出できるようにする。

すなわち、第２光源１５１から放出された光のその一部は、前記ビームスプリッタ１６０により反射されてレンズ部１２０を通じて前記マーカー１１０、１１１、１１２の柱芯方向に放出されて残りは前記ビームスプリッタ１６０を通過する。

これとは異なって、前記第２光源１５１が前記マーカー１１０、１１１、１１２に直接的に放出され得、第１光源１５０がビームスプリッタ１６０に光を放出して前記レンズ部１３０を通じて前記マーカー１１０、１１１、１１２の柱芯方向に光を放出することもできる。

例えば、前記第１光源１５０及び第２光源１５１として、前記マーカー１１０、１１１、１１２の全体表面のうち、１点のみから反射する点照明を用いるのが望ましい。

前記レンズ部１２０は、前記第１光源１５０と第２光源１５１のうち、選択されたいずれか１つの光源から前記マーカー１１０、１１１、１１２に直接的に放出されて反射される光と、残りの１つの光源から放出された後、前記ビームスプリッタ１６０により反射されてレンズ部１２０を通じて前記マーカー１１０、１１１、１１２の柱芯方向に放出されて再反射される光を通過させる。

前記ビームスプリッタ１６０は、前記レンズ部１２０の後方部に配置される。前記ビームスプリッタ１６０は、前記第１光源１５０と第２光源１５１のうち、選択されたいずれか１つの光源から放出される光の一部は通過させ、残りは反射させてレンズ部１２０を通過した後、前記マーカー１１０、１１１、１１２の柱芯方向に放出されるようにする。

前記結像ユニット１３０は、前記ビームスプリッタ１６０の後方部に配置されて、前記レンズ部１２０とビームスプリッタ１６０を順次通過した光を受光し、前記それぞれのマーカー１１０、１１１、１１２当たり一対のマーカー画像を結像させる。

すなわち、前記結像ユニット１３０は、前記ビームスプリッタ１６０の後方部に配置されて、前記第１光源１５０と第２光源１５２のうち、選択されたいずれか１つの光源から前記マーカー１１０、１１１、１１２に直接的に放出されて反射された後、前記レンズ部１２０とビームスプリッタ１６０を順次通過した光と、残りの１つの光源からビームスプリッタ１６０に放出されて反射されてレンズ部１２０を通過した後、前記マーカー１１０、１１１、１１２の柱芯方向に放出されて再反射された後、前記レンズ部１２０とビームスプリッタ１６０を順次通過した光を受光することにより、それぞれのマーカー１１０、１１１、１１２当たり一対のマーカー画像を結像させる。

ここで、前記第１光源１５０及び第２光源１５１から放出された後、前記マーカー１１０、１１１、１１２により反射されてレンズ部１２０を通過して前記ビームスプリッタ１６０に流入される光は、前記ビームスプリッタ１６０により一部は反射され、残りは前記ビームスプリッタ１６０を通過した後、前記結像ユニット１３０に流入されて、それぞれのマーカー１１０、１１１、１１２当たり一対のマーカー画像を結像させる。

例えば、前記結像ユニット１３０は、前記第１光源１５０及び第２光源１５１から放出された後、前記マーカー１１０、１１１、１１２により反射されて前記レンズ部１２０とビームスプリッタ１６０を順次通過した光を受光し、それぞれのマーカー１１０、１１１、１１２当たり一対のマーカー画像を結像させるイメージセンサ１３１が実装されたカメラであり得る。

一方、前記第１光源１５０及び第２光源１５１のうち、前記ビームスプリッタ１６０に光を放出するいずれか１つの光源と前記ビームスプリッタ１６０との間にはディフューザ(diffuser)１７０が配置され、前記ビームスプリッタ１６０側に放出される光を拡散させることもできる。

前記プロセッサ１４０は、第１光源１５０及び第２光源１５１から放出されてそれぞれマーカー１１０、１１１、１１２により反射されて前記結像ユニット１３０に結像されたそれぞれのマーカー１１０、１１１、１１２当たり一対のマーカー画像を用いて前記それぞれのマーカー１１０、１１１、１１２の３次元座標を算出し、前記マーカー１１０、１１１、１１２の３次元座標を既に格納された互いに隣り合うマーカー１１０、１１１、１１２間の幾何学的情報と比較することにより、マーカー１１０、１１１、１１２が取り付けられた患部や手術器具のような前記目的物２００の空間位置情報及び方向情報を算出することができる。

ここで、前記プロセッサ１４０にはメモリ１４１が実装される。一方、前記プロセッサ１４０に実装されたメモリ１４１には、前記互いに隣り合うマーカー１１０、１１１、１１２間の幾何学的情報、すなわち、互いに隣り合うマーカー１１０、１１１、１１２を連結する直線Ｌ１、Ｌ２、Ｌ３の長さ情報と、互いに隣り合うマーカー１１０、１１１、１１２を連結する隣り合う一対の直線がなす角度Ａ１、Ａ２、Ａ３情報が予め格納され得る。

これに加えて、前記プロセッサ１４０に実装されたメモリ１４１には、前記第１光源１５０及び第２光源１５１の空間位置情報及び方向情報が予め格納され得る。

以下では、図１〜図８を参照して、本発明の一実施例によるトラッキングシステムを用いて目的物の空間位置及び方向をトラッキングする過程について説明する。

図３は本発明の一実施例によるトラッキング方法を説明するためのブロック図、図４はマーカーの３次元座標を算出する過程を説明するためのブロック図、図５は３つのマーカーがレンズと水平に配列された状態で結像ユニットにマーカーの画像が結像される状態を説明するための例示図、図６はマーカーとレンズ部との距離によるマーカー画像の結像位置の変化を説明するための拡大例示図、図７は第１マーカーの２次元中心座標を算出する過程を説明するための例示図、図８は光がマーカーの表面で反射する地点とマーカーの中心との関係を説明するための例示図、図９はマーカーの表面で光が反射する地点の座標を算出する過程を説明するための例示図である。

以下、本発明の一実施例では説明の便宜上、第１光源はマーカーに直接的に光を放出するように配置され、第２光源はビームスプリッタを通じて前記マーカーに光を放出するように配置された状態について例を挙げて説明する。

図１〜図９を参照すると、本発明の一実施例によるトラッキングシステムを用いて目的物の空間位置情報及び方向情報をトラッキングするためには、まず互いに異なる位置に配置された第１光源１５０及び第２光源１５１を作動させて、前記第１光源１５０及び第２光源１５１から前記第１乃至第３マーカー１１０、１１１、１１２に向かって光を放出する（Ｓ１１０）。

より詳細に説明すると、前記第１光源１５０が作動されて放出される点照明は、前記第１乃至第３マーカー１１０、１１１、１１２に直接的に照射され、前記第２光源１５１が作動されて放出される点照明はビームスプリッタ１６０に照射されて、一部は前記ビームスプリッタ１６０を通過し、残りは前記ビームスプリッタ１６０により反射されてレンズ部１２０を通過した後、前記第１乃至第３マーカー１１０、１１１、１１２の柱芯方向に向かって放出される。

前記第１光源１５０及び第２光源１５１から点照明の形態で前記マーカー１１０、１１１、１１２に向かって放出された光は、前記第１乃至第３マーカー１１０、１１１、１１２により反射されてレンズ部１２０側に反射される（Ｓ１２０）。

より詳細に説明すると、前記第１光源１５０から放出された光は直接的に前記第１乃至第３マーカー１１０、１１１、１１２の表面のうち、１地点によって反射されて第１乃至第３光経路ＡＸ１、ＡＸ２、ＡＸ３を通じてレンズ部１２０側に反射され、前記第２光源１５１から放出された光は前記ビームスプリッタ１６０に照射されて、一部は前記ビームスプリッタ１６０を通過し、残りは前記ビームスプリッタ１６０により反射されて第４乃至第６光経路ＡＸ４、ＡＸ５、ＡＸ６を通じて前記レンズ部１２０を通過した後、前記第１乃至第３マーカー１１０、１１１、１１２の柱芯方向に向かって放出される。

前記第１乃至第６光経路ＡＸ１、ＡＸ２、ＡＸ３、ＡＸ４、ＡＸ５、ＡＸ６を通じて前記レンズ部１２０を通過した光は、結像ユニット１３０にマーカー１１０、１１１、１１２当たり一対のマーカー画像を結像させる（Ｓ１３０）。

より詳細に説明すると、前記第１光源１５０から放出されて第１光経路ＡＸ１を通じて前記第１マーカー１１０により反射されてレンズ部１２０を通過した光は、前記結像ユニット１３０に第１マーカー１１０の第１マーカー画像を結像させ、前記第２光源１５１から放出されて第４光経路ＡＸ４を通じて前記第１マーカー１１０により反射されてレンズ部１２０を通過した光は、前記結像ユニット１３０に前記第１マーカー１１０の第２マーカー画像を結像させる。また、前記第１光源１５１から放出されて第２光経路ＡＸ２を通じて前記第２マーカー１１１により反射されてレンズ部１２０を通過した光は、前記結像ユニット１３０に第２マーカー１１１の第１マーカー画像を結像させ、前記第２光源１５１から放出されて第５経路ＡＸ５を通じて前記第２マーカー１１１により反射されてレンズ部１２０を通過した光は、前記結像ユニット１３０に前記第２マーカー１１１の第２マーカー画像を結像させる。また、前記第１光源１５０から放出されて第３光経路ＡＸ３を通じて前記第３マーカー１１２により反射されてレンズ部１２０を通過した光は、前記結像ユニット１３０に第３マーカー１１２の第１マーカー画像を結像させ、前記第２光源１５１から放出されて第６光経路ＡＸ６を通じて前記第３マーカー１１２により反射されてレンズ部１２０を通過した光は、前記結像ユニット１３０に前記第３マーカー１１２の第２マーカー画像を結像させる。

前記の通りに第１乃至第３マーカー１１０、１１１、１１２の第１及び第２マーカー画像が前記結像ユニット１３０に結像された後には、前記結像ユニット１３０に結像された前記第１乃至第３マーカー１１０、１１１、１１２の第１及び第２マーカー画像を用いてプロセッサ１４０を通じて前記第１乃至第３マーカー１１０、１１１、１１２の３次元座標を算出する（Ｓ１４０）。

前記第１乃至第３マーカー１１０、１１１、１１２の３次元座標を算出するステップについて、より詳細に説明すると次の通りである。

前記それぞれのマーカー１１０、１１１、１１２の３次元座標を算出するためには、まず前記プロセッサ１４０を通じて前記結像ユニット１３０に結像されたそれぞれのマーカー１１０、１１１、１１２の第１及び第２マーカー画像の結像位置情報を用いて前記それぞれのマーカー１１０、１１１、１１２の２次元中心座標を算出する（Ｓ１４１）。

前記それぞれのマーカー１１０、１１１、１１２の２次元中心座標を算出する過程について、より詳細に説明する。説明の便宜上、図５及び図６においては第１乃至第３マーカーがレンズ部と水平に一列に配置された場合について、一例を挙げて説明する。そして、前記マーカーがレンズ部と水平に一列に配置された状態について説明することにより、図面ではビームスプリッタを省略した。

また、図１に示すように、第２光源１５１からそれぞれのマーカー１１０、１１１、１１２の柱芯方向に放出後、前記それぞれのマーカー１１０、１１１、１１２により反射されて第４乃至第６光経路ＡＸ４、ＡＸ５、ＡＸ６を通じて結像ユニット１３０に流入されて結像された第１乃至第３マーカー１１０、１１１、１１２の第２マーカー画像の結像位置について図５及び図６ではレンズ部１２０のセンターラインＣＬと一致するため省略した。

図５及び図６に示すように、第１光源１５０から放出された光源は、第１乃至第３光経路ＡＸ１、ＡＸ２、ＡＸ３を通じてそれぞれのマーカー１１０、１１１、１１２の互いに異なる地点の表面で反射されて前記結像ユニット１３０に結像される。よって、前記第１光源１５０から放出された後、前記それぞれのマーカー１１０、１１１、１１２により反射されて第１乃至第３光経路ＡＸ１、ＡＸ２、ＡＸ３を通じてレンズ部１２０を通過した後、結像ユニット１３０に流入されて結像された第１乃至第３マーカー１１０、１１１、１１２の第１マーカー画像は前記結像ユニット１３０内で互いに異なる位置に結像される。

従って、前記プロセッサ１４０は、前記それぞれのマーカー１１０、１１１、１１２の第１マーカー画像の結像位置情報、前記第２マーカー画像の結像位置情報、前記プロセッサ１４０に既に格納された前記第１光源１５０及び第２光源１５１の位置情報及び、前記第１乃至第３マーカー１１０、１１１、１１２の半径情報を用いて前記それぞれのマーカー１１０、１１１、１１２の２次元中心座標を算出することができる。

前記プロセッサによってマーカーの２次元中心座標が算出される過程について詳細に説明すると次の通りである。

図７に示すように、マーカー１１０、１１１、１１２の２次元中心座標をｘ、ｙとし、第１光源１５０の座標をＩ_１、Ｊ_１とし、第２光源１５１の座標をＩ_２、Ｊ_２とし、第１光源１５０により放出された後、第１マーカー１１０により反射されて結像ユニット１３０に結像された前記第１マーカー画像の座標をＵ_１、Ｖ_１とし、第２光源１５１により放出された後、前記第１マーカー１１０により反射されて結像ユニット１３０に結像された第２マーカー画像の座標をＵ_２、Ｖ_２とし、前記第１光源１５０から放出された光源が第１マーカー１１０により反射する地点の座標をｘ_１、ｙ_１とし、第２光源１５１から放出された光源が前記第１マーカー１１０により反射される地点の座標をＸ_２、Ｙ_２とすると、Ｕ_１、Ｖ_１でｘ_１、ｙ_１に向かうベクトルであるＵ⁻と、Ｕ_２、Ｖ_２でＸ_２、Ｙ_２に向かうベクトルであるＶ⁻と、Ｉ_１、Ｊ_１でｘ_１、ｙ_１に向かうベクトルであるＩ⁻と、Ｉ_２、Ｊ_２でＸ_２、Ｙ_２に向かうベクトルであるＪ⁻は、数式１のように表現され得る。

一方、Ｕ_１、Ｖ_１とｘ_１、ｙ_１を含む直線ｕ~と、Ｕ_２、Ｖ_２とＸ_２、Ｙ_２を含む直線ｖ~と、点Ｉ_１、Ｊ_１とｘ_１、ｙ_１を含む直線Ｉ~と、Ｉ_２、Ｊ_２とＸ_２、Ｙ_２を含む直線Ｊ~は、数式２のように表現され得る。

ここで、ｔ_１、ｔ_２はその直線の長さを決める値である。

一方、ｕ~、ｖ~、Ｉ~、Ｊ~は数式３のようにも表現され得る。

また、図７及び図８を参照すると、前記第１光源１５０（図７参照）または第２光源１５１（図７参照）から放出されて第１マーカー１１０により反射される地点の座標ｘ_１、ｙ_１はｘ、ｙ中心を有する半径ｒの上に存在する必要があり、前記ｘ_１、ｙ_１に入力されるベクトルの和がｘ_１、ｙ_１と第１マーカー１１０の中心座標ｘ、ｙを連結するベクトルと方向が一致しなければならないことにより、半径ｒの自乗は数式４のように表現され得、ｘ、ｙでｘ_１、ｙ_１に向かうベクトルであるＰ⁻と、ｘ、ｙでｘ_２、ｙ_２に向かうベクトルであるＱ⁻は数式５のように表現され得る。

一方、数式４と数式５に開示された４つの式を用いれば、ｘ、ｙ、ｔ_１、ｔ_２に対する誤差Ｅは数式６のように表現され得る。

前記数式６において、変数はｔ_１、ｔ_２、ｘ、ｙであるので、プロセッサ１４０により第１マーカー１１０の２次元中心座標であるｘ、ｙが算出される。

前記プロセッサ１４０は、上述のような過程を繰り返して第２マーカー１１１と第３マーカー１１２の２次元中心座標も算出する。

一方、前記第１光源１５０または第２光源１５１から放出された光が第１マーカー１１０の表面で反射される地点の座標を算出する過程について説明する。

図９に示すように、第１マーカー１１０の半径を「ｒ」とし、レンズ部１２０の中心座標を（０、０）とし、第１光源１５０の位置を（０、ｄ）とし、第１マーカー１１０の中心を（ｅ、ｆ）とし、第１光源１５０から放出された光が第１マーカー１５０の表面で反射する地点の座標を（ｘ、ｙ）とする。

よって、第１マーカー１５０の半径の自乗は、数式７の（１）のように表現され、数式（１）はまた数式７の（２）〜（４）のように表現され得、数式７の（４）の解を求めると、前記第１光源１５０から放出された光が第１マーカー１１０の表面で反射される地点のｙ軸の座標が算出される。

一方、前記式７の（１）をｘに対してまとめてその解を求めると、前記第１光源１５０から放出された光が第１マーカー１１０の表面で反射される地点のx軸の座標が算出される。

よって、前記プロセッサ１４０は、上述したような過程を繰り返して第１光源１５０と第２光源１５１により放出されて、第１乃至第３マーカー１１０、１１１、１１２の表面で反射される地点の座標を算出することができる。

その後、前記第１乃至第３マーカー１１０、１１１、１１２の２次元座標を用いて前記プロセッサ１４０を通じて前記第１乃至第３マーカー１１０、１１１、１１２の３次元座標を算出する（Ｓ１４２）。

上述のようにプロセッサ１４０により第１乃至第３マーカー１１０、１１１、１１２の３次元座標を算出した後には、前記それぞれのマーカー１１０、１１１、１１２の３次元座標と前記プロセッサ１４０に既に格納された互いに隣り合うマーカー１１０、１１１、１１２間の幾何学的情報をプロセッサ１４０を通じて比較して前記マーカー１１０、１１１、１１２が取り付けられた目的物２００の空間位置と方向を算出する（Ｓ１５０）。

ここで、前記互いに隣り合うマーカー１１０、１１１、１１２間の幾何学的情報は、上述した通り互いに隣り合うマーカー１１０、１１１、１１２を仮想に連結する直線Ｌ１、Ｌ２、Ｌ３の長さ情報と、前記マーカー１１０、１１１、１１２を連結する互いに隣り合う一対の直線がなす角度Ａ１、Ａ２、Ａ３情報であり得る。

すなわち、前記プロセッサ１４０を通じて前記それぞれのマーカー１１０、１１１、１１２の３次元座標と前記プロセッサ１４０に既に格納された互いに隣り合うマーカー１１０、１１１、１１２を仮想に連結する直線Ｌ１、Ｌ２、Ｌ３の長さ情報と、それぞれのマーカー１１０、１１１、１１２を互いに連結する互いに隣り合う一対の直線がなす角度Ａ１、Ａ２、Ａ３情報を比較して前記マーカー１１０、１１１、１１２が取り付けられた目的物２００の空間位置情報と方向情報を算出する。

上述した通り本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、互いに異なる位置に配置された一対の光源１５０、１５１のうちいずれか１つの光源はそれぞれのマーカー１１０、１１１、１１２の表面上のいずれか一地点に直接的に光を放出してレンズ部１２０側に反射させて結像ユニット１３０にそれぞれのマーカー１１０、１１１、１１２の第１マーカー画像が結像されるようにし、残りの１つの光源はレンズ部１２０を通じてそれぞれのマーカー１１０、１１１、１１２の柱芯方向に向かうように光を放出して再度レンズ部１２０側に再反射させて前記結像ユニット１３０にそれぞれのマーカー１１０、１１１、１１２の第２マーカー画像が結像されるようにすることにより、それぞれのマーカー１１０、１１１、１１２当たり一対のマーカー画像が結像ユニットに結像されるようにする。

すなわち、１つのマーカー１１０、１１１、１１２当たり結像ユニット１３０の互いに異なる位置に一対のマーカー画像が結像されることにより、一台の結像ユニット１３０だけでも三角法を通じて前記それぞれのマーカー１１０、１１１、１１２の３次元座標を算出することができる。

よって、本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、一台の結像ユニット１３０のみでも目的物２００に取り付けられたマーカー１１０、１１１、１１２の空間位置情報と方向情報を算出して確認することができる。

そのため、トラッキングシステムの製作費用の節減とともに小型・軽量化を達成することができ、従来のトラッキングシステムに比べて手術空間の制約を相対的に少なく受けるという利点がある。

上述した本発明の詳細な説明では本発明の望ましい実施例を参照して説明したが、該当技術分野の熟練した当業者または該当技術分野に通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を多様に修正及び変更させられることを理解できるであろう。

Claims

目的物に取り付けられて光を反射させる少なくとも３つのマーカーと、
前記マーカーに向かって互いに異なる位置で光を放出する一対の光源と、
前記一対の光源から放出されて前記マーカーによって反射された光を通過させるレンズ部と、
前記レンズ部を通過した光を受光してマーカー当たり一対のマーカー画像を結像させる結像ユニットと、
前記結像ユニットにマーカー当たり結像された一対のマーカー画像を用いて前記マーカーの３次元座標を算出した後、前記マーカーの３次元座標と既に格納された互いに隣り合うマーカー間の幾何学的情報を比較して目的物の空間位置情報及び方向情報を算出するプロセッサと、
を含むトラッキングシステム。
前記レンズ部と結像ユニットとの間に配置されて、前記一対の光源のうちいずれか１つの光源から放出された光の一部を前記レンズ部を通じて前記マーカーの柱芯方向に放出させるように反射させ、前記マーカーの柱芯方向に放出されて前記マーカーにより再反射されて前記レンズ部を通じて流入される光の一部を前記結像ユニットに通過させるビームスプリッタをさらに含む、請求項１に記載のトラッキングシステム。
前記ビームスプリッタ側に光を放出する光源と前記ビームスプリッタとの間に配置されて前記光源から放出された光を拡散させるディフューザをさらに含む、請求項２に記載のトラッキングシステム。
前記結像ユニットは、前記マーカーから反射されて前記レンズ部とビームスプリッタを順次通過した光を受光してマーカー当たり一対の画像を結像させるカメラであることを特徴とする、請求項１に記載のトラッキングシステム。
前記マーカー間の幾何学的情報は、前記互いに隣り合うマーカーを連結する直線の長さ情報と、前記互いに隣り合う一対の直線がなす角度情報であることを特徴とする、請求項１に記載のトラッキングシステム。
互いに異なる位置に配置された一対の光源から少なくとも３つのマーカーに向かって光を放出するステップと、
前記一対の光源から放出される光が前記マーカーによってレンズ部側に反射するステップと、
前記マーカーによって反射された光が前記レンズ部を通過して結像ユニットにマーカー当たり一対のマーカー画像を結像させるステップと、
前記結像ユニットにマーカー当たり一対ずつ結像されたマーカー画像を用いてプロセッサを通じて前記それぞれのマーカーの３次元座標を算出するステップと、
前記それぞれのマーカーの３次元座標と前記プロセッサに既に格納された互いに隣り合うマーカー間の幾何学的情報を比較して目的物の空間位置及び方向を算出するステップと、
を含むトラッキング方法。
前記一対の光源のうちいずれか１つの光源は、前記レンズ部と結像ユニットとの間に配置されたビームスプリッタの方向に光を放出した後、前記ビームスプリッタによって光の一部を反射させて前記レンズ部を通じて前記マーカーの柱芯方向に放出し、残りの１つの光源は、前記マーカーに直接的に光を放出することを特徴とする、請求項６に記載のトラッキング方法。
前記ビームスプリッタ方向に放出される光は、前記ビームスプリッタ間に配置されたディフューザにより拡散されて前記ビームスプリッタ側に放出されることを特徴とする、請求項７に記載のトラッキング方法。
前記マーカー間の幾何学的情報は、前記互いに隣り合うマーカーを連結する直線の長さ情報と、前記互いに隣り合う一対の直線がなす角度情報であることを特徴とする、請求項６に記載のトラッキング方法。
前記マーカーの３次元座標を算出するステップは、
前記プロセッサを通じて前記結像ユニットに結像されたマーカー当たり一対のマーカー画像の結像位置情報を用いて前記それぞれのマーカーの２次元中心座標を算出するステップと、
前記それぞれのマーカーの２次元中心座標を用いて前記マーカーの３次元座標を算出するステップと
をさらに含むことを特徴とする、請求項６に記載のトラッキング方法。