JP6357251B2 - オプティカルトラッキングシステム及びオプティカルトラッキングシステムのマーカー部の姿勢並びに位置算出方法 - Google Patents

オプティカルトラッキングシステム及びオプティカルトラッキングシステムのマーカー部の姿勢並びに位置算出方法 Download PDF

Info

Publication number
JP6357251B2
JP6357251B2 JP2016569681A JP2016569681A JP6357251B2 JP 6357251 B2 JP6357251 B2 JP 6357251B2 JP 2016569681 A JP2016569681 A JP 2016569681A JP 2016569681 A JP2016569681 A JP 2016569681A JP 6357251 B2 JP6357251 B2 JP 6357251B2
Authority
JP
Japan
Prior art keywords
coordinate
matrix
pattern
lens
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016569681A
Other languages
English (en)
Other versions
JP2017525937A (ja
Inventor
ヒョンキ イ
ヒョンキ イ
ユソン チェ
ユソン チェ
ミンヨン キム
ミンヨン キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of KNU
Original Assignee
Industry Academic Cooperation Foundation of KNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of KNU filed Critical Industry Academic Cooperation Foundation of KNU
Publication of JP2017525937A publication Critical patent/JP2017525937A/ja
Application granted granted Critical
Publication of JP6357251B2 publication Critical patent/JP6357251B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、オプティカルトラッキングシステム及びオプティカルトラッキングシステムのマーカー部の姿勢並びに位置算出方法に関し、詳しくは、パターン情報を用いたオプティカルトラッキングシステム及びオプティカルトラッキングシステムのマーカー部の姿勢並びに位置算出方法に関する。
一般に、所定の物体の位置を追跡するために、オプティカルトラッキングシステム(optical tracking system)が用いられる。例えば、前記オプティカルトラッキングシステムは、手術ロボットのような装備で目的物をリアルタイムで追跡するために活用され得る。
前記オプティカルトラッキングシステムは、通常、目的物に取り付けられる複数のマーカーと前記マーカーによって放出される光を結像させる結像ユニットを含み、前記結像ユニットから取得された情報を数学的に計算して位置情報などを取得する。
しかし、従来のオプティカルトラッキングシステムは、複数のマーカーを含むことにより装備の大きさが大きくなる欠点があり、これにより小型の精密性が求められるトラッキングの場合、不適切であり得る。
よって、マーカーを単純化すると共に、正確且つ容易にトラッキングできるオプティカルトラッキングシステムが求められる。
よって、本発明が解決しようとする課題は、マーカーを単純化すると共に、正確且つ容易にトラッキングできるオプティカルトラッキングシステムを提供することにある。
本発明が解決しようとする他の課題は、前記のオプティカルトラッキングシステムに適用可能なオプティカルトラッキングシステムのマーカー部の姿勢及び位置算出方法を提供することにある。
本発明の例示的な一実施例によるオプティカルトラッキングシステムは、特定情報を有するパターン(pattern)、及び前記パターンから離隔されて配置され第１焦点距離を有する第１レンズを含むマーカー(marker)部と、第２焦点距離を有する第２レンズ、及び前記第２レンズから離隔されて配置され前記第１レンズと前記第２レンズによって前記パターンの第１イメージが結像される第１結像ユニットを含む第１結像部と、第３焦点距離を有する第３レンズ及び前記第３レンズから離隔されて配置され前記第１レンズと前記第３レンズによって前記パターンの第２イメージが結像される第２結像ユニットを含む第２結像部と、前記パターンのパターン面上の座標と前記パターンの第１イメージ上の第１ピクセル座標との間の第１座標変換式及び前記第１ピクセル座標と前記パターンの第２イメージ上の第２ピクセル座標との間の回転変換を含む前記パターンのパターン面上の座標と前記パターンの第２イメージ上の第２ピクセル座標との間の第２座標変換式から前記マーカー部の姿勢を決定して、前記マーカー部をトラッキングする処理部とを含む。
一実施例において、前記処理部は、前記パターンのパターン面上の座標に該当する第１座標を前記マーカー部の前記第１レンズに対する３次元的座標に該当する第２座標に変換する第１変換行列、前記第２座標の前記第２レンズに対する３次元的座標に該当する第３座標を前記第１結像部の前記パターンの第１イメージ上の第１ピクセル座標に該当する第４座標に変換する第２変換行列、前記パターンのパターン面上の座標に該当する第５座標を前記マーカー部の前記第１レンズに対する３次元的座標に該当する第６座標に変換する前記第１変換行列と同一の第３変換行列、及び前記第６座標の前記第３レンズに対する３次元的座標に該当する第７座標を前記第２結像部の前記パターンの第２イメージ上の第２ピクセル座標に該当する第８座標に変換する第４変換行列を取得することができ、前記第１座標変換式は前記第１変換行列及び前記第２変換行列を含んで前記第１座標を前記第４座標に変換するように定義され、前記第２座標変換式は前記第３変換行列及び前記第４変換行列を含んで前記第５座標を前記第８座標に変換するように定義され、前記処理部は前記第１及び第２座標変換式から前記第１結像部に対する前記マーカー部の姿勢を定義する第１姿勢定義行列を取得することができる。
例えば、前記第１座標変換式は下記の数式により定義され得、

((lu,lv)は前記第１座標、(lu',lv')は前記第４座標、[C]は前記第１変換行列、[Al]は前記第２変換行列、[RL]は前記第１姿勢定義行列、sは比例定数)
前記第２座標変換式は下記の数式により定義され得る。

((ru,rv)は前記第５座標、(ru',rv')は前記第８座標、[C]は前記第１変換行列と同一の前記第３変換行列、[Ar]は前記第４変換行列、[RR]は前記第２結像部に対する前記マーカー部の姿勢を定義する第２姿勢定義行列、[RLR]は前記第２結像部に対する前記第１結像部の姿勢を定義する第３姿勢定義行列、sは比例定数)
例えば、前記第１変換行列及び前記第３変換行列は下記の数式により定義され得、

((uc,vc)は前記パターンの中心の座標、fbは前記第１焦点距離)
前記第２及び第４変換行列は下記の数式により定義され得る。

((u'c,v'c)は前記パターンの中心に対応する前記パターンのイメージ上のピクセル座標、fcは、前記第２変換行列の場合には前記第２焦点距離であり、前記第４変換行列の場合には前記第３焦点距離、pwは、前記第２変換行列の場合には前記パターンの第１イメージのピクセルの幅であり、前記第４変換行列の場合には前記パターンの第２イメージのピクセルの幅、phは、前記第２変換行列の場合には前記パターンの第１イメージのピクセルの高さであり、前記第４変換行列の場合には前記パターンの第２イメージのピクセルの高さ)
一実施例において、前記処理部は、少なくとも３つ以上の撮影イメージからuc, vc及びfbのキャリブレーション値を取得することにより前記第１変換行列及び前記第３変換行列を取得することができ、前記取得されたデータを用いてfc, pw, phのキャリブレーション値を取得することにより前記第２変換行列及び前記第４変換行列を取得することができる。
一実施例において、前記処理部は、前記第１座標と前記第４座標に対する複数のデータ及び前記第５座標と前記第８座標に対する複数のデータを取得することができ、前記取得された複数のデータが適用された下記の数式によって前記第１姿勢定義行列を取得することができる。

((lu1,lv1), …, (lun,lvn)は前記第１座標のデータ、(lu'1,lv'1), …, (lu'n,lv'n)は前記第４座標のデータ、(lu'c,lv'c)は前記パターンの中心に対応する前記パターンの第１イメージ上のピクセル座標、((ru1,rv1), …, (run,rvn)は前記第５座標のデータ、(ru'1,rv'1), …, (ru'n,rv'n)は前記第８座標のデータ、(ru'c,rv'c)は前記パターンの中心に対応する前記パターンの第２イメージ上のピクセル座標)
一実施例において、前記処理部は、前記第２座標と前記第４座標に関する第３座標変換式及び前記第６座標と前記第８座標に関する第４座標変換式から前記マーカー部の位置を決定し、決定された前記マーカー部の位置を用いて前記マーカー部をトラッキングすることができる。
例えば、前記第３座標変換式は下記の数式により定義され得、

((u'1,v'1)は前記第４座標、(X,Y,Z)は前記第２座標、[AL]は前記第２変換行列、[I]は3x3形態の恒等行列(identity matrix)、[0]は3x1形態の零行列、sは比例定数)
前記第４座標変換式は下記の数式により定義され得る。

((u'2,v'2)は前記第８座標、(X,Y,Z)は前記第６座標、[AR]は前記第４変換行列、[RLR]は3x3形態の前記第３姿勢定義行列、[T]は3x1形態の位置変換行列、sは比例定数)
一実施例において、前記処理部は、前記第１及び第２結像ユニットでそれぞれ撮影された前記パターンの視野範囲の中心である第１中心座標及び第２中心座標を取得することができ、前記取得された中心座標を用いて前記第１結像部及び前記第２結像部の間の位置変換行列をキャリブレーションすることができ、前記キャリブレーションされた位置変換行列を用いて前記マーカー部の位置を取得することができる。
一実施例において、前記処理部は、前記マーカー部を少なくとも２つ以上の位置で測定して換算係数を取得することができ、前記取得された換算係数を前記取得された中心座標と共に用いて前記第１結像部及び前記第２結像部の間の前記位置変換行列をキャリブレーションすることができる。
本発明の例示的な一実施例によるオプティカルトラッキングシステムのマーカー部の姿勢及び位置算出方法は、特定情報を有するパターン(pattern)及び前記パターンから離隔されて配置され第１焦点距離を有する第１レンズを含むマーカー(marker)部と、第２焦点距離を有する第２レンズ及び前記第２レンズから離隔されて配置され前記第１レンズと前記第２レンズによって前記パターンの第１イメージが結像される第１結像ユニットを含む第１結像部と、第３焦点距離を有する第３レンズ及び前記第３レンズから離隔されて配置され前記第１レンズと前記第３レンズによって前記パターンの第２イメージが結像される第２結像ユニットとを含み、前記マーカー部をトラッキングするように前記マーカー部の姿勢を算出するために提供される。前記オプティカルトラッキングシステムのマーカー部の姿勢及び位置算出方法は、前記パターンのパターン面上の座標に該当する第１座標を前記マーカー部の前記第１レンズに対する３次元的座標に該当する第２座標に変換する第１変換行列、前記第２座標の前記第２レンズに対する３次元的座標に該当する第３座標を前記第１結像部の前記パターンの第１イメージ上の第１ピクセル座標に該当する第４座標に変換する第２変換行列、前記パターンの前記パターン面上の座標に該当する第５座標を前記マーカー部の前記第１レンズに対する３次元的座標に該当する第６座標に変換する前記第１変換行列と同一の第３変換行列、及び前記第６座標の前記第３レンズに対する３次元的座標に該当する第７座標を前記第２結像部の前記パターンの第２イメージ上の第２ピクセル座標に該当する第８座標に変換する第４変換行列を取得する段階と、前記第１変換行列及び前記第２変換行列を含み、前記第１座標を前記第４座標に変換する第１座標変換式及び前記第３変換行列及び前記第４変換行列を含み、前記第５座標を前記第８座標に変換する第２座標変換式から前記マーカー部の姿勢を定義する姿勢定義行列を取得する段階とを含む。
一実施例において、前記オプティカルトラッキングシステムのマーカー部の姿勢及び位置算出方法は、前記第１及び第２結像ユニットでそれぞれ撮影された前記パターンの視野範囲の中心である第１中心座標及び第２中心座標を取得する段階と、前記取得された中心座標を用いて前記第１結像部及び前記第２結像部の間の位置変換行列をキャリブレーションする段階と、前記キャリブレーションされた位置変換行列を用いて前記マーカー部の位置を取得する段階とをさらに含むことができる。
一実施例において、前記オプティカルトラッキングシステムのマーカー部の姿勢及び位置算出方法は、前記位置変換行列をキャリブレーションする段階の前に、前記マーカー部を少なくとも２つ以上の位置で測定して換算係数を取得する段階をさらに含むことができ、位置変換行列をキャリブレーションする段階で、前記取得された換算係数を前記取得されたデータと共に用いて前記第１結像部及び前記第２結像部の間の位置変換行列をキャリブレーションすることができる。
本発明によれば、マーカー部をトラッキングするオプティカルトラッキングシステムにおいて、トラッキングが可能なようにマーカー部が特定情報のパターンを含んでマーカー部を小型化することができ、前記マーカー部と前記結像部の光学系を座標変換式でモデリングするが、前記光学系をステレオで構成することによりさらに正確に前記マーカー部の姿勢及び位置を決定することができるため、さらに単純で且つ容易な方法でさらに正確にマーカー部をトラッキングすることができる。
また、特定情報のパターンを含んで小型化されたマーカー部をステレオ方式を適用してモデリングすることにより前記マーカー部の位置をさらに正確に決定することができるため、さらに単純で且つ容易な方法で正確なマーカー部のトラッキングを可能にすることができる。
本発明の一実施例によるオプティカルトラッキングシステムを示す概念図である。 図1のオプティカルトラッキングシステムの処理部がマーカー部の姿勢を決定するために必要な問題解決の過程を概略的に示すフローチャートである。 図２の問題解決の過程のうちシステムモデリングを行う過程を示すフローチャートである。 図３のシステムモデリングを行う過程を説明するための概念図である。 図２の問題解決の過程のうち第２変換行列をキャリブレーションする過程を示すフローチャートである。 図２の問題解決の過程のうち第１変換行列をキャリブレーションする過程を示すフローチャートである。 図２の問題解決の過程のうち姿勢定義行列を取得する過程の一例を示すフローチャートである。 図２の問題解決の過程のうち姿勢定義行列を取得する過程の他の例を示すフローチャートである。 本発明の一実施例によるオプティカルトラッキングシステムのマーカー部の姿勢算出方法を示すフローチャートである。 本発明の他の実施例によるオプティカルトラッキングシステムを示す概念図である。 図１０のオプティカルトラッキングシステムの処理部がマーカー部の姿勢を決定するために必要な問題解決の過程を概略的に示すフローチャートである。 図１１の問題解決の過程のうち変換行列をキャリブレーションする過程を示すフローチャートである。 図１１の問題解決の過程のうち姿勢定義行列を取得する過程の一例を示すフローチャートである。 本発明の他の実施例によるオプティカルトラッキングシステムのマーカー部の姿勢算出方法を示すフローチャートである。 図１０のオプティカルトラッキングシステムの処理部がマーカー部の位置を決定するために必要な問題解決の過程を概略的に示すフローチャートである。 図１５の問題解決の過程のうちシステムモデリングを行う過程を説明するための概念図である。 図１５の問題解決の過程のうち位置変換行列をキャリブレーションする過程を示すフローチャートである。 図１５の問題解決の過程のうちマーカー部の位置を取得する過程の一例を示すフローチャートである。 図１５の問題解決の過程のうちマーカー部の位置を取得する過程の他の例を示すフローチャートである。 本発明の一実施例によるオプティカルトラッキングシステムのマーカー部の位置算出方法を示すフローチャートである。
発明の具体的な説明
本発明は、多様な変更を加えることができ、様々な形態を有することができるところ、特定の実施例を図面に例示して本文に詳細に説明する。しかし、これは本発明を特定の開示形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むものとして理解されるべきである。
第１、第２などの用語は多様な構成要素を説明するのに用いられるが、上記構成要素は上記用語によって限定されてはならない。上記用語は１つの構成要素を他の構成要素から区別する目的でのみ用いられる。例えば、本発明の権利範囲を逸脱しないと共に、第１構成要素は第２構成要素と名づけられ得、同様に第２構成要素も第１構成要素と名づけられ得る。
本出願で用いた用語は、単に特定の実施例を説明するために用いられるものであり、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なる意味ではない限り、複数の表現を含む。本出願で「含む」または「有する」などの用語は、明細書に記載された特徴、数、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定しようとするのであり、１つまたはそれ以上の他の特徴や数、段階、動作、構成要素、部分品またはこれらを組み合わせたもの等の存在または付加の可能性を予め排除しないものと理解されるべきである。
異なって定義されない限り、技術的または科学的な用語を含み、ここで用いられる全ての用語は、本発明の属する技術分野における通常の知識を有する者により一般的に理解されるのと同一の意味を有する。
一般に用いられる予め定義されているような用語は、関連技術の文脈上の意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的であったり過度に形式的な意味として解釈されない。
以下、添付の図面を参照して、本発明の望ましい実施例をさらに詳細に説明する。
図1は、本発明の一実施例によるオプティカルトラッキングシステムを示す概念図である。
図1を参照すると、本発明の例示的な一実施例によるオプティカルトラッキングシステム１００は、マーカー(marker)部１１０、結像部１２０及び処理部１３０を含む。
前記マーカー部１１０は、パターン(pattern)１１２及び第１レンズ１１４を含む。
前記パターン１１２は、特定情報を有する。例えば、前記特定情報は、前記パターンは後述する結像部１２０でトラッキングのために認識できる情報であって、バーコード(bar code)と類似の1次元的パターン、ＱＲコードと類似の２次元的パターンなどを含むことができる。
前記第１レンズ１１４は、前記パターン１１２から離隔されて配置され、第１焦点距離を有する。例えば、前記第１レンズ１１４と前記パターン１１２との間の離隔距離は、後述する結像部１２０が遠距離においても前記パターン１１２を結像してトラッキングできるように、前記第１レンズ１１４の第１焦点距離と同一であり得る。この場合、前記第１レンズ１１４を通過する前記パターン１１２に対する光束(bundle of rays)は平行をなし得る。前記第１レンズ１１４は、例えば、顕微鏡の対物レンズと類似の機能を行うことができる。
前記マーカー部１１０は、光源を含めないことがあり、この場合、前記マーカー部１１０は外部に位置する照明を用いるパッシブマーカー(passive marker)として活用され得る。これとは異なって、前記マーカー部１１０は、光源を含むこともでき、この場合、前記マーカー部１１０は自らの照明を用いるアクティブマーカー(active marker)として活用され得る。
前記結像部１２０は、第２レンズ１２２及び結像ユニット１２４を含む。
前記第２レンズ１２２は、第２焦点距離を有する。前記第２レンズ１１４は、例えば、顕微鏡の接眼レンズと類似の機能を行うことができる。
前記結像ユニット１２４は、前記第２レンズ１２２から離隔されて配置され、前記第１レンズ１１４と前記第２レンズ１２２によって前記パターン１１２のイメージが結像される。例えば、前記結像ユニット１２４と前記第２レンズ１２２との間の離隔距離は、前記第１レンズ１１４を通過して平行をなす前記パターン１１２に対する光束を結像することができるように、前記第２レンズ１２２の第２焦点距離と同一であり得る。例えば、前記結像ユニット１２４は、ＣＣＤ(charge coupled device)、ＣＭＯＳ(complementary metal-oxide semiconductor)などのようなイメージセンサを含むことができる。
前記処理部１３０は、前記パターン１１２のパターン面上の座標と前記パターン１１２のイメージ上のピクセル座標のと間の座標変換式から前記マーカー部１１０の姿勢を決定する。前記処理部１３０は、決定された前記マーカー部１１０の姿勢を用いて前記マーカー部１１０をトラッキングする。前記処理部１３０は、例えば、コンピュータまたはさらに具体的に中央処理装置(CPU)を含むことができる。
以下、前記処理部１３０の機能の根拠になるシステムモデリングの過程及びこれにより前記マーカー部１１０の姿勢を決定する過程を図面を参照してさらに詳細に説明する。
図２は、図1のオプティカルトラッキングシステムの処理部がマーカー部の姿勢を決定するために必要な問題解決の過程を概略的に示すフローチャートである。
図２を参照すると、まずは上述した構成を有する前記オプティカルトラッキングシステム１００に対してシステムモデリングを行う(S100)。
図1に示すようなオプティカルトラッキングシステム１００において、前記パターン１１２のパターン面上の座標と前記パターン１１２のイメージ上のピクセル座標との間の座標変換は、前記オプティカルトラッキングシステム１００の光学系により行われるため、前記オプティカルトラッキングシステム１００の光学系による座標変換をモデリングすることにより前記座標変換式を設定することができる。このとき、前記オプティカルトラッキングシステム１００の光学系による座標変換は、前記マーカー部１１０及び前記結像部１２０のそれぞれの光学系、及びこれらの間の関係によってモデリングされ得る。
続いて、システムモデリングの結果として取得された座標変換式のうち後述する第１及び第２変換行列をキャリブレーション(calibration)する(S200)。
図1に示す前記パターン１１２のパターン面上の座標を第１座標、前記第１座標の前記第１レンズ１１４に対する３次元的ローカル座標を第２座標、前記第２座標の前記第２レンズ１２２に対する３次元的ローカル座標を第３座標、そして前記結像部１２０の前記パターン１１２のイメージ上のピクセル座標を第４座標とそれぞれ定義するとき、前記第１変換行列は、前記第１座標を前記第２座標に変換する行列であり、前記第２変換行列は、前記第３座標を前記第４座標に変換する行列である。
前記システムモデリングの結果として取得された座標変換式は、図1に示す前記マーカー部１１０及び前記結像部１２０の光学系の各種のパラメータに対する式で定められるが、前記パラメータを正確に取得できなかったり機構的な配置状態などによって値が変わることがあるため、前記第１及び第２変換行列をキャリブレーションすることにより正確なシステムモデリングを可能にすることができる。
次に、キャリブレーションの結果を用いて姿勢定義行列を取得する(S300)。
ここで、姿勢は、前記マーカー部１１０が向かっている方向を意味し、前記姿勢定義行列は、前記マーカー部１１０の姿勢に関する情報を提供する行列であって、前記姿勢定義行列から前記マーカー部１１０のロール(roll)、ピッチ(pitch)、ヨー(yaw)などを把握することができる。
以下、図２に示す各段階について図面を参照してさらに具体的に説明する。
図３は、図２の問題解決の過程のうちシステムモデリングを行う過程を示すフローチャートであり、図４は、図３のシステムモデリングを行う過程を説明するための概念図である。
図３及び図４を参照すると、まず前記マーカー部１１０と前記結像部１２０との間の光経路による３つの直線の方程式を取得する(S110)。
具体的には、前記第１レンズ１１４の中心点を第１中心点A、前記第２レンズ１２２の中心点を第２中心点Oとし、前記パターン１１２上の任意の点をBとする。前記任意の点Bに対する光が前記第１レンズ１１４の第１中心点Aを通過する光は直進し、前記第１中心点Aを通過した光が前記第２レンズ１２２と会う点をDとし、前記D点で前記第２レンズ１２２により屈折されて前記結像ユニット１２４に結像される点をEとする。また、前記第１レンズ１１４の第１中心点Aを経て前記第２レンズ１２２の第２中心点Oを通過する光は直進し、この光が線分DEの延長線と会う点をCとする。
このとき、線分AO（または線分AC）に対する直線の方程式、線分ADに対する直線の方程式、及び線分DCに対する直線の方程式を図４に示すようにそれぞれL1、L2及びL3と定義する。
ワールド座標系(world coordinate system)において、前記第１中心点Aの座標は(X,Y,Z)、前記第２中心点Oの座標は原点である(0,0,0)と設定する。前記第２レンズ１２２の第２中心点Oの座標を原点と設定するため、前記第２レンズ１２２に対する３次元的ローカル座標系は、前記ワールド座標系と同一である。
また、前記パターン１１２上の任意の点(B点に対応)の座標を(u,v)、前記パターン１１２の中心点の座標を(uc,vc)、前記結像ユニット１２４に結像される前記パターン１１２のイメージのピクセル(E点に対応)の座標を(u',v')と定める。前記座標(u,v)、(uc,vc)は、一例として前記パターン１１２の左上側を基準に設定され得、前記座標(u',v')は一例として前記パターン１１２のイメージの左上側を基準に設定され得る。
一方、前記結像ユニット１２４を前記第２レンズ１２２の焦点距離fcに位置させると、前記結像ユニット１２４のz軸座標は-fcになる。
以上の情報を用いて前記３つの直線の方程式を順に取得する。
直線L1の方程式は線分AOから求め、ここでC点の位置を取得する。直線L2の方程式は線分ABから求め、ここでD点の位置を取得する。直線L3の方程式は、線分DCから求める。このとき、A点とO点のワールド座標が分かるので、B点のワールド座標のみ分かれば、前記３つの直線の方程式が分かる。
前記マーカー部１１０の姿勢を定義する姿勢定義行列を3*3行列[R]と定義し、行列[R]の各成分をそれぞれr11、r12、r13、r21、r22、r23、r31、r32、r33と定義すれば、B点のワールド座標はB点のパータン上座標(u,v)を行列[R]と前記第１レンズ１１４の焦点距離fbに基づいて変換した(r11u+r12v+r13fb+X, r21u+r22v+r23fb+Y, r31u+r32v+r33fb+Z)と定めることができる。
よって、A点、O点及びB点のワールド座標から３つの直線の方程式を取得することができる。
続いて、前記取得された３つの直線の方程式から前記パターン１１２及びパターンのイメージの間の関係式を誘導する(S120)。
先に求めた直線L3の方程式でE点の位置(E点のワールド座標)を取得することができるため、これからE点のピクセル座標(u',v')が分かる。
これにより、E点のピクセル座標(u',v')をB点のパータン上座標(u,v)で示すことができるため、B点に対応する前記パターン１１２及びE点に対応するパターンのイメージの間の関係式を定めることができる。
次に、前記関係式を行列方程式で表して前記座標変換式として設定する(S130)。
前記関係式は、下記の数式１のような行列方程式で表すことができ、このような座標変換に関する行列方程式を前記座標変換式に設定することができる。

ここで、(u,v)は前記第１座標、(u',v')は前記第４座標、[C]は前記第１変換行列、[A]は前記第２変換行列、そして[R]は前記姿勢定義行列を意味する。また、(uc,vc)は前記パターンの中心のパターン面上の座標、fbは前記第１焦点距離、fcは前記第２焦点距離、pwは前記パターンのイメージのピクセルの幅、phは前記パターンのイメージのピクセルの高さである。また、(ui,vi)、(u'i,v'i)においてiは所定のi番目のパターンであることを意味する。
前記座標変換式は、図1で説明した前記第１及び第２変換行列及び前記姿勢定義行列の積でなされていることが分かる。
具体的には、前記座標変換式を概念的に詳察すると、図1で説明した通り、前記パターン１１２のパターン面上の座標を第１座標((u,v))、前記第１座標の前記第１レンズ１１４に対する３次元的ローカル座標を第２座標、前記第２座標の前記第２レンズ１２２に対する３次元的ローカル座標(ワールド座標と同一)を第３座標、そして前記結像部１２０の前記パターン１１２のイメージ上のピクセル座標を第４座標((u',v'))とそれぞれ定義するとき、前記座標変換式は、前記第１座標を前記第２座標に変換する第１変換行列[C]、前記第２座標を前記第３座標に変換する姿勢定義行列[R]、及び前記第３座標を前記第４座標に変換する第２変換行列[A]の積である[A][R][C]で示されることが分かる。
次に、前記システムモデリングの結果として取得された座標変換式のうち、前記第１及び第２変換行列をキャリブレーションする過程(S200)を図面を参照してさらに詳細に説明する。
前記キャリブレーションは、前記第２変換行列に対してまず行って、続いて前記第１変換行列に対して行う。
図５は、図２の問題解決の過程のうち第２変換行列をキャリブレーションする過程を示すフローチャートである。
図５を参照すると、まずキャリブレーションのための数学的な解析が容易であるように、行列[B]と行列[H]を定義する(S210)。
具体的には、前記第２変換行列[A]を用いて行列[B]を定義すれば、数式２の通りであり、前記第１変換行列[C]、前記第２変換行列[A]及び前記姿勢定義行列[R]を用いて行列[H]を定義すれば、数式３の通りである。

ここで、各行列[A]、[B]、[C]、[H]、[R]は全て3*3形態を有し、[H]=[h1, h2, h3]、[R]=[r1, r2, r3]で示すことができる。
数式３の両辺にA-1を乗じれば、数式４が取得される。
続いて、行列[R]の正規直交性(orthonormality)を用いて[H]と[B]の成分からなる方程式を設定する(S220)。
具体的には、回転行列(rotation matrix)に該当する姿勢定義行列[R]の正規直交性を用いれば、行列[B]を数式５のように定義することができる。

ここで、α=-fc/pw、β=-fc/phであり、fcは前記結像部１２０の第２レンズ１２２の焦点距離、pwとphはそれぞれピクセルの幅と高さを意味する。
行列[B]の0でない成分を用いて、列ベクトルbとvijを数式６のように定義する。
数式６に行列[R]の正規直交性を用いれば、数式７を得ることができる。
次に、３枚以上の映像データを[H]に適用して[B]の解を求める(S230)。
具体的には、少なくとも３枚以上の映像を数式７に適用した後、一例として特異値分解(singular value decomposition、SVD)のような方法を用いて列ベクトルbを求めることができる。列ベクトルbを求めれば、行列[B]の全ての成分が分かる。
続いて、最終的にキャリブレーションされた[A]を取得する(S240)。
具体的には、行列[B]の全ての成分が分かれば、下記の数式８を通じてv'c、α、β、u'cを求めることができる(λ、γをパラメータで表す)。
よって、数式９から行列[A]の全ての成分が分かる。
次に、先にキャリブレーションした第２変換行列[A]を用いて第１変換行列[C]をキャリブレーションする。
図６は、図２の問題解決の過程のうち第１変換行列をキャリブレーションする過程を示すフローチャートである。
図６を参照すると、まずキャリブレーションされた行列[A]を行列[H]に代入し、整理して行列[R]を取得する(S250)。
具体的には、数式９の前記第２変換行列[A]を数式３に代入し、数式1の[R][C]を整理して数式１０を取得する。
数式１０において、行列[R]を[R]=[r1 r2 r3]と置けば、[R]は数式１１で列ベクトル成分別に取得することができる。
続いて、行列[HK]を[HK]=[A][R]と定義して前記座標変換式に代入して整理する(S260)。
具体的には、行列[A]と行列[R]の積を行列[HK]として定義して数式1の座標変換式に代入して行列[HK]と行列[C]の成分からなるように整理する。
このとき、数式９で求めた行列[A]と数式１１で求めた行列[R]を用いて行列[HK]を求めることができ、これを数式1の座標変換式に適用すれば、行列[HK]と行列[C]の成分からなる数式１２が得られる。
次に、整理された式を[AA][CC]=[BB]の形態に変形する(S270)。
具体的には、整理された式で行列[C]の成分のみからなる行列を[CC]と定義して分離した後、整理された式を[AA][CC]=[BB]の形態に変形する。このとき、行列[HK]を知っているため、行列[HK]を用いて行列[AA]、行列[BB]及び行列[CC]を数式１３のように定義することができる。
続いて、[CC]=[AA]-1[BB]から[CC]を求めてキャリブレーションされた行列[C]を取得する(S280)。
具体的には、式[AA][CC]=[BB]を変形した[CC]=[AA]-1[BB]から[CC]の成分を取得して最終的にキャリブレーションされた前記第１変換行列[C]を取得する。
次に、前記キャリブレーションされた第１及び第２変換行列を用いて前記姿勢定義行列を取得する過程(S300)を図面を参照してさらに詳細に説明する。
図７は、図２の問題解決の過程のうち姿勢定義行列を取得する過程の一例を示すフローチャートである。
図７を参照すると、前記姿勢定義行列[R]を取得する一例として、まず両辺に自らを外積した方程式を設定する(S310)。
具体的には、前記数式1の両辺に自らを外積すれば0になるので、これを方程式に設定すると、数式１４を得ることができる。
続いて、行列[H]を、一例として特異値分解(SVD)のような方法を用いて取得する(S320a)。
具体的には、数式１４に数式３の[H]=[A][R][C]を適用した後、行列[H]の各成分(H1, H2,…, H9)に関する方程式で整理して数式１５を取得する。
数式１５の2n個の式を一例として特異値分解(SVD)のような方法を用いて取得する。
次に、[R]=[A]-1[H][C]-1から[R]を取得する(S330a)。
具体的には、数式３の[H]=[A][R][C]を変形した[R]=[A]-1[H][C]-1から[R]を取得する。
前記姿勢定義行列は、他の方法で取得されることもできる。
図８は、図２の問題解決の過程のうち姿勢定義行列を取得する過程の他の例を示すフローチャートである。
図８を参照すると、前記姿勢定義行列[R]を取得する他の例として、まず両辺に自らを外積した方程式を設定する(S310)。本過程は図７の過程と同一であるため、重複する説明は省略する。
続いて、r11〜r33に対する方程式で整理する(S320b)。
具体的には、数式１４から前記姿勢定義行列[R]の各成分r11、r12、r13、r21、r22、r23、r31、r32、r33に対する方程式で整理して数式１６を取得する。
次に、行列[R]を、一例として特異値分解(SVD)のような方法を用いて取得する(S330b)。
具体的には、数式１６の2n個の式を特異値分解(SVD)のような方法を用いて取得する。
このように最終的に前記姿勢定義行列[R]を取得することができる。
前記のようなシステムモデリングの過程及び姿勢定義行列[R]の取得方法を図1に示す前記オプティカルトラッキングシステム１００に適用して前記マーカー部１１０の姿勢を算出することができる。
以下、前記処理部１３０で前記マーカー部１１０の姿勢を算出する方法を図面を参照してさらに詳細に説明する。
図９は、本発明の一実施例によるオプティカルトラッキングシステムのマーカー部の姿勢算出方法を示すフローチャートである。
図９を参照すると、まず前記処理部１３０で少なくとも３つの映像から第１及び第２変換行列をキャリブレーションする(S510)。
前記キャリブレーションは、図２で説明された段階S200と、図５及び図６で具体的に説明された段階S210ないし段階S280の過程と実質的に同一であり、前記処理部１３０では前記過程のうち段階S230と段階S280のようにキャリブレーションのための最終方程式のみを用いて前記第１及び第２変換行列をキャリブレーションすることができる。
次に、前記第１及び第２変換行列を含む座標変換式から姿勢定義行列を取得する(S520)。
前記姿勢定義行列の取得は、図２で説明された段階S300と、図７及び図８で具体的に説明された段階S310ないし段階S330a、及び段階S310ないし段階S330bの過程と実質的に同一であり、前記処理部１３０では前記過程のうち段階S320aとS320a、または、段階S320bのように前記姿勢定義行列の取得のための最終方程式のみを用いて前記姿勢定義行列を取得することができる。
よって、前記処理部１３０は、前記第１座標を前記第２座標に変換する第１変換行列及び前記第３座標を前記第４座標に変換する第２変換行列を予めキャリブレーションして予め取得した後、前記座標変換式から前記マーカー部１１０の姿勢を定義する姿勢定義行列を取得することができる。
前記姿勢定義行列を取得すれば、前記マーカー部１１０の姿勢が分かる。例えば、前記姿勢定義行列から前記マーカー部１１０のロール(roll)、ピッチ(pitch)、ヨー(yaw)などを把握することができる。
前記のようなオプティカルトラッキングシステムによれば、トラッキングが可能なようにマーカー部が特定情報のパターンを含んでマーカー部を小型化することができ、前記マーカー部と前記結像部の光学系を座標変換式でモデリングすることにより前記マーカー部の姿勢を決定することができるため、さらに単純で且つ容易な方法で正確なマーカー部のトラッキングを可能にすることができる。
図１０は、本発明の他の実施例によるオプティカルトラッキングシステムを示す概念図である。
図１０を参照すると、本発明の他の実施例によるオプティカルトラッキングシステム１０００は、マーカー部１１１０、第１結像部１１２０ａ、第２結像部１１２０ｂ及び処理部１１３０を含む。
図１０に示すオプティカルトラッキングシステム１０００は、結像部を２つ含むステレオ方式を適用する点、及び処理部１１４０が２つの結像部を用いて姿勢を決定するという点を除けば、図１に示すオプティカルトラッキングシステム１００と実質的に同一であるため、重複する詳細な説明は省略する。
前記マーカー部１１１０は、パターン(pattern)１１１２及び第１レンズ１１１４を含み、図１に示すマーカー部１１０と実質的に同一である。
前記第１結像部１１２０ａは、第２焦点距離を有する第２レンズ及び前記第２レンズから離隔されて配置され、前記第１レンズと前記第２レンズによって前記パターンの第１イメージが結像される第１結像ユニットを含む。
前記第２結像部１１２０ｂは、第３焦点距離を有する第３レンズ及び前記第３レンズから離隔されて配置され、前記第１レンズと前記第３レンズによって前記パターンの第２イメージが結像される第２結像ユニットを含む。
前記第１結像部１１２０ａ及び前記第２結像部１１２０ｂのそれぞれは、図１に示す結像部１２０と実質的に同一である。
前記処理部１１３０は、前記パターン１１１２のパターン面上の座標と前記パターン１１１２の第１イメージ上の第１ピクセル座標との間の第１座標変換式及び前記パターン１１１２のパターン面上の座標と前記パターン１１１２の第２イメージ上の第２ピクセル座標との間の第２座標変換式から前記マーカー部１１１０の姿勢を決定する。このとき、前記第２座標変換式は、前記第１ピクセル座標と前記第２イメージ上の第２ピクセル座標との間の回転変換を含む。前記処理部１１３０は、決定された前記マーカー部１１１０の姿勢を用いて前記マーカー部１１１０をトラッキングする。
以下、前記処理部１１３０の機能の根拠になるシステムモデリングの過程及びこれにより前記マーカー部１１１０の姿勢を決定する過程を図面を参照してさらに詳細に説明する。
図１１は、図１０のオプティカルトラッキングシステムの処理部がマーカー部の姿勢を決定するために必要な問題解決の過程を概略的に示すフローチャートである。
図１１を参照すると、まず上述した構成を有する前記オプティカルトラッキングシステム１０００についてシステムモデリングを行う(S1100)。
図１０に示すようなオプティカルトラッキングシステム１０００において、前記パターン１１１２のパターン面上の座標と前記パターン１１１２のイメージ上のピクセル座標との間の座標変換は、前記オプティカルトラッキングシステム１１００の光学系によって行われるため、前記オプティカルトラッキングシステム１０００の光学系による座標変換をモデリングすることにより前記座標変換式を設定することができる。このとき、前記オプティカルトラッキングシステム１００の光学系による座標変換は、前記マーカー部１１１０、及び前記第１及び第２結像部１１２０ａ、１１２０ｂのそれぞれの光学系及びこれらの間の関係によってモデリングされ得る。
続いて、システムモデリングの結果として取得された座標変換式のうち後述する第１、第２、第３及び第４変換行列をキャリブレーションする(S1200)。
図１０に示す前記パターン１１１２のパターン面上の座標を第１座標、前記第１座標の前記第１レンズ１１１４に対する３次元的ローカル座標を第２座標、前記第２座標の前記第２レンズ１１２２ａに対する３次元的ローカル座標を第３座標、そして前記第１結像部１１２０ａの前記パターン１１１２の第１イメージ上のピクセル座標を第４座標とそれぞれ定義するとき、前記第１変換行列は、前記第１座標を前記第２座標に変換する行列であり、前記第２変換行列は、前記第３座標を前記第４座標に変換する行列である。
また、図１０に示す前記パターン１１１２のパターン面上の座標を第５座標、前記第５座標の前記第１レンズ１１１４に対する３次元的ローカル座標を第６座標、前記第６座標の前記第３レンズ１１２２ｂに対する３次元的ローカル座標を第７座標、そして前記第２結像部１１２０ｂの前記パターン１１１２の第２イメージ上のピクセル座標を第８座標とそれぞれ定義するとき、前記第３変換行列は、前記第５座標を前記第６座標に変換する行列であり、前記第４変換行列は、前記第７座標を前記第８座標に変換する行列である。
前記システムモデリングの結果として取得された座標変換式は、図１０に示す前記マーカー部１１１０及び前記結像部１１２０の光学系の各種のパラメータに対する式で定められるものの、前記パラメータを正確に取得できなかったり機構的な配置状態などにより値が変わることがあるため、前記第１及び第２変換行列をキャリブレーションすることによりさらに正確なシステムモデリングを可能にすることができる。
次に、キャリブレーションの結果を用いて姿勢定義行列を取得する(S1300)。
前記姿勢定義行列は、前記マーカー部１１１０の姿勢に関する情報を提供する行列であって、前記姿勢定義行列から前記マーカー部１１１０のロール(roll)、ピッチ(pitch)、ヨー(yaw)などを把握することができる。
以下、図１１に示す各段階についてさらに具体的に説明する。
まず、システムモデリングを行うにおいて(S1100)、図３で説明された方式及び結果が同一に適用される。よって、前記第１結像部１１２０ａと前記第２結像部１１２０ｂに対して独立的に数式１が適用され得る。これにより、システムモデリングの結果、下記の数式１７を得ることができる。便宜上、数式１７においては、第１結像部１１２０ａに対する変数にL, lが適用されており、第２結像部１１２０ｂに対する変数にR, rが適用されている。

ここで、(lu,lv)は前記第１座標、(lu',lv')は前記第４座標、[C]は前記第１変換行列、[Al]は前記第２変換行列、[RL]は前記第１姿勢定義行列を意味し、(ru,rv)は前記第５座標、(ru',rv')は前記第６座標、[C]は前記第１変換行列と同一の前記第３変換行列、[Ar]は前記第４変換行列、[RR]は前記第２姿勢定義行列を意味する。また、図１０を参照すると、行列[RR]は行列[RLR][RL]で表すことができる。ここで、[RLR]は、前記第１結像部１１２０ａに対する３次元的ローカル座標を前記第２結像部１１２０ｂに対する３次元的ローカル座標に変換する行列を意味し、前記第２結像部１１２０ｂに対する前記第１結像部１１２０ａの姿勢を定義する行列と見ることができる。
次に、前記システムモデリングの結果として取得された座標変換式のうち、前記第１、第２、第３及び第４変換行列をキャリブレーションする過程(S1200)を図面を参照してさらに詳細に説明する。
図１２は、図１１の問題解決の過程のうち、変換行列をキャリブレーションする過程を示すフローチャートである。
前記変換行列をキャリブレーションする過程は、先に図５及び図６で説明した過程と基本的には同一である。
図１２を参照すると、まず段階S210〜段階S240の過程を前記第１結像部１１２０ａに適用して[Al]をキャリブレーションする(S1210a)。続いて、段階S250を前記第１結像部１１２０ａに適用して[RL]を取得する(S1220a)。
また、これと並列的に、段階S210〜段階S240の過程を前記第２結像部１１２０ｂに適用して[Ar]をキャリブレーションする(S1210b)。続いて、段階S250を前記第２結像部１１２０ｂに適用して[RR]を取得する(S1220b)。
このように図５及び図６で説明された方式によって独立的に取得された[Al], [RL], [Ar]及び[RR]を図５及び図６で説明された方式と類似の方式で[C]をキャリブレーションする。
具体的には、まず行列[HKl]を[HKl]=[Al][RL]と定義し、行列[HKr]を[HKr]=[Ar][RR]と定義してそれぞれの座標変換式に代入して整理する(S1260)。この過程は、図６で説明された段階S260に対応し、これにより行列[HKl]及び[HKr]と行列[C]の成分からなる数式１８が得られる。
続いて、整理された式を[AA2][CC2]=[BB2]の形に変形する(S1270)。この過程は、図６で説明された段階S270に対応し、このとき、行列[AA2]、行列[BB2]及び行列[CC2]を数式１９のように定義することができる。
次に、[CC2]=[AA2]-1[BB2]から[CC2]を求めてキャリブレーションされた[C]を取得する(S1280)。この過程は、図６で説明された段階S280に対応し、[AA2][CC2]=[BB2]を変形した[CC2]=[AA2]-1[BB2]から[CC2]の成分を取得して最終的にキャリブレーションされた前記第１変換行列及び第３変換行列に該当する[C]を取得する。
次に、前記キャリブレーションされた第１、第２、第３及び第４変換行列を用いて前記姿勢定義行列を取得する過程(S1300)を、図面を参照してさらに詳細に説明する。
図１３は、図１１の問題解決の過程のうち、姿勢定義行列を取得する過程の一例を示すフローチャートである。
前記姿勢定義行列を取得する過程は、先に図８で説明した過程と基本的には同一であるが、ステレオ方式であってさらに多くのデータを用いる点で相異する。
図１３を参照すると、まず前記第１座標変換式で段階S310及び段階S320bの過程を[RL]に適用して成分r11〜r33に対する第１方程式として整理する(S1310)。この過程は図８で説明された段階S310及び段階S320bの過程に対応し、下記の数式21に前記第１方程式が示されている。
続いて、前記第２座標変換式で[RLR]の成分をr'11〜r'33と置いて段階S310及び段階S320bの過程を[RL]に適用して成分r11〜r33に対する第２方程式として整理する(S1320)。この過程は、図８で説明された段階S310及び段階S320bの過程を応用したもので、下記の数式２１に前記第２方程式が示されている。
次に、整理されたr11〜r33に対する前記第１及び第２方程式を統合方程式として整理する(S1330)。これにより、数式２２が得られる。
続いて、行列[RL]を一例として特異値分解(SVD)のような方法を用いて取得する(S1340)。
具体的には、数式２２において行列[LWi]及び[RWi]はそれぞれ２つの式を含むため、r11〜r33に対して計4n個の式が得られるので、これを特異値分解(SVD)のような方法を用いて取得する。
数式２２は4n個の式を含んで図１ないし図９で説明された方法に比べてさらに多くの式を含むため、行列[RL]に対するさらに正確な結果を得ることができ、これにより前記マーカー部１１１０のさらに正確な姿勢測定を可能にすることができる。
以下、前記処理部１１３０で前記マーカー部１１１０の姿勢を算出する方法を図面を参照してさらに詳細に説明する。
図１４は、本発明の他の実施例によるオプティカルトラッキングシステムのマーカー部の姿勢算出方法を示すフローチャートである。
図１４を参照すると、まず前記処理部１１３０で少なくとも３つの映像から第１、第２、第３及び第４変換行列をキャリブレーションする(S1510)。
前記キャリブレーションは、図１１で説明された段階S1200と、図１２で具体的に説明された段階S1210a及びS1210b〜段階S1280の過程と実質的に同一であり、前記処理部１１３０では前記過程のうち段階S1210a、S1220a、S1210b、S1220b及び段階S1280などのようにキャリブレーションのための最終方程式のみを用いて前記第１及び第２変換行列をキャリブレーションすることができる。
次に、前記第１、第２、第３及び第４変換行列を含む第１及び第２座標変換式から姿勢定義行列を取得する(S1520)。
前記姿勢定義行列の取得は、図１１で説明された段階S1300と、図１３で具体的に説明された段階S1310〜段階S1340の過程と実質的に同一であり、前記処理部１１３０では前記過程のうち段階S1330及び段階S1340のように前記姿勢定義行列を取得するための最終方程式のみを用いて前記姿勢定義行列を取得することができる。
よって、前記処理部１１３０は、前記第１座標を前記第２座標に変換する第１変換行列、前記第３座標を前記第４座標に変換する第２変換行列、前記第５座標を前記第６座標に変換する第３変換行列、及び前記第７座標を前記第８座標に変換する第４変換行列を予めキャリブレーションして予め取得した後、前記第１及び第２座標変換式から前記マーカー部１１１０の姿勢を定義する姿勢定義行列を取得することができる。
前記姿勢定義行列を取得すれば、前記マーカー部１１１０の姿勢が分かる。例えば、前記姿勢定義行列から前記マーカー部１１１０のロール(roll)、ピッチ(pitch)、ヨー(yaw)などを把握することができる。
前記のようなオプティカルトラッキングシステムによれば、マーカー部をトラッキングするオプティカルトラッキングシステムにおいて、トラッキングが可能なようにマーカー部が特定情報のパターンを含んでマーカー部を小型化することができ、前記マーカー部と前記結像部の光学系を座標変換式でモデリングするが、ステレオ方式を適用することにより、前記マーカー部の姿勢をさらに正確に決定することができるため、さらに単純で且つ容易な方法で正確なマーカー部のトラッキングを可能にすることができる。
一方、上記のようなオプティカルトラッキングシステム１０００は、前記マーカー部１１１０の姿勢に加えて、前記マーカー部１１１０の位置を決定することができる。
以下、前記マーカー部１１１０の位置を決定するためのシステムモデリングの過程及びこれにより前記マーカー部１１１０の位置を決定する過程を図面を参照してさらに詳細に説明する。
図１５は、図１０のオプティカルトラッキングシステムの処理部がマーカー部の位置を決定するために必要な問題解決の過程を概略的に示すフローチャートである。
図１５を参照すると、まず上述した構成を有する前記オプティカルトラッキングシステム１０００に対してシステムモデリングを行う(S2100)。
前記システムモデリングは、前記マーカー部１１１０(図１０参照)の位置を取得するために、先に説明した座標変換式とは異なって、前記マーカー部１１１０の第１レンズ１１１４(図１０参照)の中心の座標に対応する前記第２座標(前記第６座標と同一)が含まれるように行われる。
続いて、前記システムモデリングの結果から位置変換行列[T]をキャリブレーションする(S2200)。
前記位置変換行列[T]は、前記第１結像部１１２０ａ(図１０参照)と前記第２結像部１１２０ｂ(図１０参照)の離隔により、前記第１結像部１１２０ａの位置を前記第２結像部１１２０ｂの位置に変換する行列を意味する。
次に、前記マーカー部１１１０の位置を取得する(S2300)。
具体的には、前記マーカー部１１１０の前記第１レンズ１１１４の中心の３次元座標を取得する。
図１６は、図１５の問題解決の過程のうち、システムモデリングを行う過程を説明するための概念図である。
図１６を参照すると、前記マーカー部１１１０の第１レンズ１１１４の中心の座標に対応する前記第２座標P2及び前記第１結像部１１２０ａの前記パターン１１１２の第１イメージ上の第１ピクセル座標に該当する前記第４座標P4の間に関して第３座標変換式を設定する。前記第３座標変換式は、下記の数式２３のように行列方程式で表すことができる。

ここで、(u',v')は前記第４座標P4、(X,Y,Z)は前記第２座標P2、[AL]は前記第２変換行列、[I]は3x3形態の恒等行列(identity matrix)、[0]は3x1形態の零行列である。図１６に示すように、前記第１結像部１１２０ａの第２レンズ１１２２ａが原点であるため、これを基準とする前記第４座標P4の場合、回転変換の部分は恒等行列、そして位置変換の部分は零行列と示されて、[I|0]のように示され得る。
次に、前記マーカー部１１１０の第１レンズ１１１４の中心の座標に対応する前記第６座標P6(前記第２座標P2と同一)及び前記第２結像部１１２０ｂの前記パターン1112１１１２の第２イメージ上の第２ピクセル座標に該当する前記第８座標P8の間に関して第４座標変換式を設定する。前記第４座標変換式を設定するとき、前記第１結像部１１２０ａ及び前記第２結像部１１２０ｂの間の位置変換行列[T]が含まれるように設定する。これにより、前記第４座標変換式は下記の数式２４のように行列方程式で示され得る。

ここで、(u'2,v'2)は前記第８座標P8、(X,Y,Z)は第６座標P6(前記第２座標P2と同一)、ARは前記第４変換行列、[RLR]は3x3形態を有し、図１１などで説明された前記第２結像部１１２０ｂに対する前記第１結像部１１２０ａの姿勢を定義する行列、[T]は3x1形態を有し前記第１結像部１１２０ａの位置を前記第２結像部１１２０ｂの位置に変換する位置変換行列を意味する。図１６に示すように、前記第１結像部１１２０ａの第１レンズ１１２２ａが原点であるため、これを基準として前記第２結像部１１２０ｂの前記第８座標P8の場合、回転変換の部分は行列[RLR]、そして位置変換の部分は[T]と示されて、[RLR|T]のように示され得る。
前記システムモデリングに示された因子は、位置変換行列[T]を除けば、いずれも先に図１１ないし図１４で取得された因子である。よって、位置変換行列[T]を取得すれば、前記第２座標P2(前記第６座標P6と同一)、すなわち、前記マーカー部１１１０の位置を取得することができる。
次に、前記システムモデリングの結果として取得された第３及び第４座標変換式のうち、前記位置変換行列[T]をキャリブレーションする過程(S2200)を図面を参照してさらに詳細に説明する。
図１７は、図１５の問題解決の過程のうち、位置変換行列をキャリブレーションする過程を示すフローチャートである。
図１７を参照すると、まず前記第１及び第２結像ユニット１１２４ａ、１１２４ｂでそれぞれ撮影された第１中心座標及び第２中心座標を取得する(S2210)。
ここで、前記第１及び第２中心座標はそれぞれ前記第１及び第２結像ユニット１１２４ａ、１１２４ｂで前記パターン１１１２を撮影するときに示される視野範囲(filed of view)の中心を意味し、複数の中心座標を取得することができる。
次に、取得された前記第１及び第２中心座標を用いて基礎行列(fundamental matrix)[F]を算出する(S2220)。
前記基礎行列は、数式２５のように示され得る。
数式２５において、下付き添字jは複数の中心座標を取得するときに取得された複数のデータの順番を表す。
数式２５を前記基礎行列[F]の成分として整理すると、数式２６を取得することができ、数式２６を、例えば、少なくとも８つの点に対して一例として特異値分解(SVD)のような方法を適用して前記基礎行列[F]を取得することができる。
続いて、取得された基礎行列[F]を用いて基本行列(essential matrix)[E]を算出する(S2230)。
前記基本行列[E]は、数式２７のように示される。
数式２７から算出した基本行列[E]は位置変換及び回転変換の積で示されるため、数式２８のように整理すると、位置変換成分に対応する行列[t]Xを求めることができる。
前記行列[t]Xは、前記位置変換行列と同一であり得るが、必要な場合、換算係数(scale factor)を乗じて位置変換行列を算出することができる。
よって、次に、換算係数を取得する(S2240)。
前記換算係数は、マーカーを少なくとも２つの位置で測定することにより取得することができる。例えば、隔離距離を知っている少なくとも２つのマーカーステージにマーカーを移動し、配置させて測定することにより算出することができる。
続いて、取得された前記基本行列[E]と前記換算係数を用いて位置変換行列[T]を取得する(S2250)。
具体的には、前記位置変換行列[T]は、取得された前記行列[t]Xの成分のうちtx, ty, tzを成分とする3x1形態の行列(tx, ty, tz)Tに換算係数を乗じて算出することができる。
次に、前記キャリブレーションされた位置変換行列[T]を用いて前記マーカー部１１１０の位置を取得する過程(S2300)を図面を参照してさらに詳細に説明する。
図１８は、図１５の問題解決の過程のうち、マーカー部の位置を取得する過程の一例を示すフローチャートである。
図１８を参照すると、まず前記第１結像ユニット１１２０ａに対する第１位置変換式から第１方程式を取得する(S2310)。
具体的には、前記第１位置変換式である数式２３を数式２９のように定義する。
数式２９の両辺に自らを外積して0と置いて、これを整理すると、前記第１方程式に対応する数式３０を得ることができる。
続いて、前記第２結像ユニット１１２０ｂに対する第２位置変換式から第２方程式を取得する(S2320)。
具体的には、前記第２位置変換式である数式２４を数式３１のように定義する。
数式３１を前記第１方程式を取得する過程(S2310)と同一の過程を適用すれば、前記第２方程式を得ることができる。
前記第１方程式に対応する数式３０は２つの方程式を含み、同一の方式で前記第２方程式も２つの方程式を含むため、２つの結像ユニットに対応して合計４つの方程式を得ることができる。
次に、前記第１及び第２方程式と位置変換行列[T]から前記マーカー部１１１０の位置を取得する(S2330)。
具体的には、前記第１及び第２方程式にキャリブレーションされた前記位置変換行列[T]を適用して前記マーカー部１１１０の前記第１レンズ１１１４の中心の３次元座標を取得することができる。
図１９は、図１５の問題解決の過程のうち、マーカー部の位置を取得する過程の他の例を示すフローチャートである。
図１９を参照すると、まず前記第１結像ユニット１１２０ａに対する第１パターン座標変換式から第３方程式を取得する(S2350)。
具体的には、数式３２のように前記第１位置変換式を変形した第１パターン座標変換式を設定して整理する。
数式３２を方程式で整理すると、数式３３を得ることができる。
続いて、前記第２結像ユニット１１２０ｂに対する第２パターン座標変換式から第４方程式を取得する(S2360)。
本段階は、対象が前記第１結像ユニット１１２０ａではなく、前記第２結像ユニット１１２０ｂであるという点を除けば、前記第３方程式を取得する段階(S2350)と実質的に同一である。
前記第３方程式に対応する数式３３は２つの方程式を含み、同一の方式で前記第４方程式も２つの方程式を含むため、２つの結像ユニットに対応して合計４つの方程式を得ることができる。
次に、前記第３及び第４方程式と位置変換行列[T]から前記マーカー部１１１０の位置を取得する(S2370)。
具体的には、前記第１及び第２方程式にキャリブレーションされた前記位置変換行列[T]を適用して前記マーカー部１１１０の前記第１レンズ１１１４の中心の３次元座標を取得することができる。
以下、前記処理部１１３０で前記マーカー部１１１０の位置を算出する方法を図面を参照してさらに詳細に説明する。
図２０は、本発明の一実施例によるオプティカルトラッキングシステムのマーカー部の位置算出方法を示すフローチャートである。
図２０を参照すると、まず前記第１及び第２結像ユニット１１２４ａ、１１２４ｂの撮影によって複数の座標値を取得する(S2510)。
前記座標値の取得は、図１７で説明された前記第１中心座標及び前記第２中心座標を取得する過程(S2210)と実質的に同一であり、一例として少なくとも８つの座標値を取得する。
続いて、換算係数を取得する(S2520)。
前記換算係数の取得は、図１７で説明された段階S2240と実質的に同一である。
次に、取得された座標値と換算係数を用いて位置変換行列をキャリブレーションする(S2530)。
前記キャリブレーションは、図１５で説明された段階S2200と、図１７で具体的に説明された段階S2250の過程と実質的に同一であり、前記処理部１１３０ではキャリブレーションのための最終方程式のみを用いて前記位置変換行列をキャリブレーションすることができる。
続いて、キャリブレーションされた位置変換行列を用いてマーカー部１１１０の位置を取得する(S2540)。
前記マーカー部１１１０の位置の取得は、図１５で説明された段階S2300と、図１８で具体的に説明された段階S2310〜段階S2330の過程または図１９で具体的に説明された段階S2350〜段階S2370の過程と実質的に同一であり、前記処理部１１３０では前記過程のうち段階S2330または段階S2370のように前記位置取得のための最終方程式のみを用いることができる。
上記のようなオプティカルトラッキングシステムによれば、特定情報のパターンを含んで小型化されたマーカー部を、ステレオ方式を適用してモデリングすることにより、前記マーカー部の位置をさらに正確に決定することができるため、さらに単純で且つ容易な方法で正確なマーカー部のトラッキングを可能にすることができる。
上述した本発明の詳細な説明では、本発明の望ましい実施例を参照して説明したが、該当技術分野の熟練した当業者または該当技術分野における通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を多様に修正及び変更させられるであろう。よって、上述した説明及び下の図面は本発明の技術思想を限定するのではなく、本発明を例示するものと解釈されなければならない。
100、1000：オプティカルトラッキングシステム 110、1110：マーカー部
112、1112：パターン 114、1114：第１レンズ
120、1120：結像部 122、1122：第２レンズ
124、1124：結像ユニット 130、1130：処理部

Claims (13)

  1. 特定情報を有するパターン(pattern)及び前記パターンから離隔されて配置され、第１焦点距離を有する第１レンズを含むマーカー(marker)部と、
    第２焦点距離を有する第２レンズ及び前記第２レンズから離隔されて配置され、前記第１レンズと前記第２レンズによって前記パターンの第１イメージが結像される第１結像ユニットを含む第１結像部と、
    第３焦点距離を有する第３レンズ及び前記第３レンズから離隔されて配置され、前記第１レンズと前記第３レンズによって前記パターンの第２イメージが結像される第２結像ユニットを含む第２結像部と、
    前記パターンのパターン面上の座標と前記パターンの第１イメージ上の第１ピクセル座標との間の第１座標変換式及び前記第１ピクセル座標と前記パターンの第２イメージ上の第２ピクセル座標との間の回転変換を含む前記パターンのパターン面上の座標と前記パターンの第２イメージ上の第２ピクセル座標との間の第２座標変換式からマーカー部の姿勢を決定し、前記マーカー部をトラッキングする処理部と
    を含むオプティカルトラッキングシステム。
  2. 前記処理部は、前記パターンのパターン面上の座標に該当する第１座標を前記マーカー部の前記第１レンズに対する３次元的座標に該当する第２座標に変換する第１変換行列、前記第２座標の前記第２レンズに対する３次元的座標に該当する第３座標を前記第１結像部の前記パターンの第１イメージ上の第１ピクセル座標に該当する第４座標に変換する第２変換行列、前記パターンのパターン面上の座標に該当する第５座標を前記マーカー部の前記第１レンズに対する３次元的座標に該当する第６座標に変換する前記第１変換行列と同一の第３変換行列、及び前記第６座標の前記第３レンズに対する３次元的座標に該当する第７座標を前記第２結像部の前記パターンの第２イメージ上の第２ピクセル座標に該当する第８座標に変換する第４変換行列を取得し、
    前記第１座標変換式は、前記第１変換行列及び前記第２変換行列を含んで前記第１座標を前記第４座標に変換するように定義され、前記第２座標変換式は、前記第３変換行列及び前記第４変換行列を含んで前記第５座標を前記第８座標に変換するように定義され、
    前記処理部は、前記第１及び第２座標変換式から前記第１結像部に対する前記マーカー部の姿勢を定義する第１姿勢定義行列を取得することを特徴とする、請求項１に記載のオプティカルトラッキングシステム。
  3. 前記第１座標変換式は下記の数式により定義され、

    ((lu,lv)は前記第１座標、(lu',lv')は前記第４座標、[C]は前記第１変換行列、[Al]は前記第２変換行列、[RL]は前記第１姿勢定義行列、sは比例定数)
    前記第２座標変換式は、下記の数式により定義されることを特徴とする、請求項２に記載のオプティカルトラッキングシステム。

    ((ru,rv)は前記第５座標、(ru',rv')は前記第８座標、[C]は前記第１変換行列と同一の前記第３変換行列、[Ar]は前記第４変換行列、[RR]は前記第２結像部に対する前記マーカー部の姿勢を定義する第２姿勢定義行列、[RLR]は前記第２結像部に対する前記第１結像部の姿勢を定義する第３姿勢定義行列、sは比例定数)
  4. 前記第１変換行列及び前記第３変換行列は下記の数式により定義され、

    ((uc,vc)は前記パターンの中心の座標、fbは前記第１焦点距離)
    前記第２及び第４変換行列は下記の数式により定義されることを特徴とする、請求項３に記載のオプティカルトラッキングシステム。

    ((u'c,v'c)は前記パターンの中心に対応する前記パターンのイメージ上のピクセル座標、fcは、前記第２変換行列の場合には前記第２焦点距離であり、前記第４変換行列の場合には前記第３焦点距離、pwは、前記第２変換行列の場合には前記パターンの第１イメージのピクセルの幅であり、前記第４変換行列の場合には前記パターンの第２イメージのピクセルの幅、phは、前記第２変換行列の場合には前記パターンの第１イメージのピクセルの高さ、前記第４変換行列の場合には前記パターンの第２イメージのピクセルの高さ)
  5. 前記処理部は、少なくとも３つ以上の撮影イメージからuc, vc及びfbのキャリブレーション値を取得することにより前記第１変換行列及び前記第３変換行列を取得し、前記取得されたデータを用いてfc, pw, phのキャリブレーション値を取得することにより前記第２変換行列及び前記第４変換行列を取得することを特徴とする、請求項４に記載のオプティカルトラッキングシステム。
  6. 前記処理部は、前記第１座標と前記第４座標に対する複数のデータ及び前記第５座標と前記第８座標に対する複数のデータを取得し、前記取得された複数のデータが適用された下記の数式によって前記第１姿勢定義行列を取得することを特徴とする、請求項３に記載のオプティカルトラッキングシステム。

    ((lu1,lv1), …, (lun,lvn)は前記第１座標のデータ、(lu'1,lv'1), …, (lu',lv')は前記第４座標のデータ、(lu'c,lv'c)は前記パターンの中心に対応する前記パターンの第１イメージ上のピクセル座標、((ru1,rv1), …, (run,rvn)は前記第５座標のデータ、(ru'1,rv'1), …, (ru'n,rv'n)は前記第８座標のデータ、(ru'c,rv'c)は前記パターンの中心に対応する前記パターンの第２イメージ上のピクセル座標)
  7. 前記処理部は、前記第２座標と前記第４座標に関する第３座標変換式及び前記第６座標と前記第８座標に関する第４座標変換式から前記マーカー部の位置を決定し、決定された前記マーカー部の位置を用いて前記マーカー部をトラッキングすることを特徴とする、請求項３に記載のオプティカルトラッキングシステム。
  8. 前記第３座標変換式は下記の数式により定義され、

    ((u'1,v'1)は前記第４座標、(X,Y,Z)は前記第２座標、[AL]は前記第２変換行列、[I]は3x3形態の恒等行列(identity matrix)、[0]は3x1形態の零行列、sは比例定数)
    前記第４座標変換式は下記の数式により定義されることを特徴とする、請求項７に記載のオプティカルトラッキングシステム。

    ((u'2,v'2)は前記第８座標、(X,Y,Z)は前記第６座標、[AR]は前記第４変換行列、[RLR]は3x3形態の前記第３姿勢定義行列、[T]は3x1形態の位置変換行列、sは比例定数)
  9. 前記処理部は、前記第１及び第２結像ユニットでそれぞれ撮影された前記パターンの視野範囲の中心である第１中心座標及び第２中心座標を取得し、前記取得された中心座標を用いて前記第１結像部及び前記第２結像部の間の位置変換行列をキャリブレーションし、前記キャリブレーションされた位置変換行列を用いて前記マーカー部の位置を取得することを特徴とする、請求項８に記載のオプティカルトラッキングシステム。
  10. 前記処理部は、前記マーカー部を少なくとも２つ以上の位置で測定して換算係数を取得し、前記取得された換算係数を前記取得された中心座標と共に用いて前記第１結像部及び前記第２結像部の間の前記位置変換行列をキャリブレーションすることを特徴とする、請求項９に記載のオプティカルトラッキングシステム。
  11. 特定情報を有するパターン(pattern)及び前記パターンから離隔されて配置され第１焦点距離を有する第１レンズを含むマーカー(marker)部と、第２焦点距離を有する第２レンズ及び前記第２レンズから離隔されて配置され前記第１レンズと前記第２レンズによって前記パターンの第１イメージが結像される第１結像ユニットを含む第１結像部と、第３焦点距離を有する第３レンズ及び前記第３レンズから離隔されて配置され前記第１レンズと前記第３レンズによって前記パターンの第２イメージが結像される第２結像ユニットとを含み、マーカー部をトラッキングするように前記マーカー部の姿勢を算出するためのオプティカルトラッキングシステムのマーカー部の姿勢及び位置算出方法において、
    前記パターンのパターン面上の座標に該当する第１座標を前記マーカー部の前記第１レンズに対する３次元的座標に該当する第２座標に変換する第１変換行列、前記第２座標の前記第２レンズに対する３次元的座標に該当する第３座標を前記第１結像部の前記パターンの第１イメージ上の第１ピクセル座標に該当する第４座標に変換する第２変換行列、前記パターンの前記パターン面上の座標に該当する第５座標を前記マーカー部の前記第１レンズに対する３次元的座標に該当する第６座標に変換する前記第１変換行列と同一の第３変換行列、及び前記第６座標の前記第３レンズに対する３次元的座標に該当する第７座標を第２結像部の前記パターンの第２イメージ上の第２ピクセル座標に該当する第８座標に変換する第４変換行列を取得する段階と、
    前記第１変換行列及び前記第２変換行列を含み、前記第１座標を前記第４座標に変換する第１座標変換式、及び前記第３変換行列及び前記第４変換行列を含み、前記第５座標を前記第８座標に変換する第２座標変換式から前記マーカー部の姿勢を定義する姿勢定義行列を取得する段階と
    を含むオプティカルトラッキングシステムのマーカー部の姿勢及び位置算出方法。
  12. 前記第１及び第２結像ユニットでそれぞれ撮影された前記パターンの視野範囲の中心である第１中心座標及び第２中心座標を取得する段階と、
    前記取得された中心座標を用いて前記第１結像部及び前記第２結像部の間の位置変換行列をキャリブレーションする段階と、
    前記キャリブレーションされた位置変換行列を用いて前記マーカー部の位置を取得する段階と
    をさらに含むことを特徴とする、請求項１１に記載のオプティカルトラッキングシステムのマーカー部の姿勢及び位置算出方法。
  13. 前記位置変換行列をキャリブレーションする段階の前に、前記マーカー部を少なくとも２つ以上の位置で測定して換算係数を取得する段階をさらに含み、
    位置変換行列をキャリブレーションする段階で、前記取得された換算係数を前記取得された中心座標と共に用いて前記第１結像部及び前記第２結像部の間の前記位置変換行列をキャリブレーションすることを特徴とする、請求項１２に記載のオプティカルトラッキングシステムのマーカー部姿勢及び位置算出方法。
JP2016569681A 2014-05-29 2015-05-29 オプティカルトラッキングシステム及びオプティカルトラッキングシステムのマーカー部の姿勢並びに位置算出方法 Active JP6357251B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2014-0065178 2014-05-29
KR1020140065178A KR101613418B1 (ko) 2014-05-29 2014-05-29 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
PCT/KR2015/005444 WO2015183050A1 (ko) 2014-05-29 2015-05-29 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법

Publications (2)

Publication Number Publication Date
JP2017525937A JP2017525937A (ja) 2017-09-07
JP6357251B2 true JP6357251B2 (ja) 2018-07-11

Family

ID=54699308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016569681A Active JP6357251B2 (ja) 2014-05-29 2015-05-29 オプティカルトラッキングシステム及びオプティカルトラッキングシステムのマーカー部の姿勢並びに位置算出方法

Country Status (6)

Country Link
US (1) US10109066B2 (ja)
EP (2) EP3576051B1 (ja)
JP (1) JP6357251B2 (ja)
KR (1) KR101613418B1 (ja)
CN (2) CN106415663B (ja)
WO (1) WO2015183050A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101820682B1 (ko) 2016-08-09 2018-01-23 주식회사 고영테크놀러지 옵티컬 트래킹용 마커, 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
CN107194968B (zh) * 2017-05-18 2024-01-16 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
KR102102291B1 (ko) 2017-12-20 2020-04-21 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
KR102166372B1 (ko) * 2017-12-20 2020-10-15 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
US11673567B2 (en) 2020-04-14 2023-06-13 Plusai, Inc. Integrated fiducial marker for simultaneously calibrating sensors of different types
US11635313B2 (en) * 2020-04-14 2023-04-25 Plusai, Inc. System and method for simultaneously multiple sensor calibration and transformation matrix computation
US11366233B2 (en) 2020-04-14 2022-06-21 Plusai, Inc. System and method for GPS based automatic initiation of sensor calibration
CN114486292B (zh) * 2022-04-18 2022-07-12 中国汽车技术研究中心有限公司 碰撞测试中假人运动响应的测量方法、设备和存储介质
CN115631362A (zh) * 2022-09-26 2023-01-20 北京霍里思特科技有限公司 一种铁器的识别方法及装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3144400B2 (ja) * 1998-11-13 2001-03-12 日本電気株式会社 ジェスチャ認識装置及び方法
KR100374346B1 (ko) * 2000-12-06 2003-03-04 한국과학기술원 영상을 이용한 머리의 위치 및 방향을 추적하는 방법
EP1349114A3 (en) * 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
US7632004B2 (en) * 2004-07-06 2009-12-15 Tseng-Lu Chien LED night light with more than 1 optics means
KR20070122271A (ko) * 2006-06-26 2007-12-31 한국산업기술대학교산학협력단 로봇 자세 제어 시스템 및 로봇 자세 제어 방법
US7643893B2 (en) * 2006-07-24 2010-01-05 The Boeing Company Closed-loop feedback control using motion capture systems
CN101308012B (zh) * 2008-05-29 2010-06-23 上海交通大学 双单目白光三维测量系统标定方法
US7671318B1 (en) * 2008-11-14 2010-03-02 Lockheed Martin Corporation Sensor apparatus and method for low-frequency scene suppression and fixed pattern noise suppression
CN101766476B (zh) * 2009-07-08 2011-05-11 中国科学院自动化研究所 自发荧光分子影像系统
US8366003B2 (en) * 2009-07-23 2013-02-05 Massachusetts Institute Of Technology Methods and apparatus for bokeh codes
DE102009049849B4 (de) * 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US8848977B2 (en) * 2010-01-04 2014-09-30 The Board Of Trustees Of The Leland Stanford Junior University Method for optical pose detection
KR101262181B1 (ko) 2010-05-03 2013-05-14 한국과학기술원 수족관 내의 로봇 물고기 위치 탐지 방법 및 장치
US9832441B2 (en) * 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8441626B2 (en) * 2010-12-17 2013-05-14 Teledyne Scientific & Imaging, Llc Optical angle-of-arrival measurement system and method for multiple light sources
WO2012083982A1 (en) * 2010-12-21 2012-06-28 Metaio Gmbh Method for determining a parameter set designed for determining the pose of a camera and/or for determining a three-dimensional structure of the at least one real object
US9393641B2 (en) * 2010-12-29 2016-07-19 Orthodyne Electronics Corporation Methods and systems for aligning tooling elements of ultrasonic bonding systems
US9235894B2 (en) * 2011-01-27 2016-01-12 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
CN102890785A (zh) * 2011-07-19 2013-01-23 上海上大海润信息系统有限公司 一种服务机器人目标识别与定位的方法
US20130063558A1 (en) * 2011-09-14 2013-03-14 Motion Analysis Corporation Systems and Methods for Incorporating Two Dimensional Images Captured by a Moving Studio Camera with Actively Controlled Optics into a Virtual Three Dimensional Coordinate System
JP5602702B2 (ja) * 2011-10-13 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
CN103236054B (zh) * 2013-04-10 2015-07-15 博奥生物集团有限公司 一种拍照装置的定位方法及定位系统
CN103315739B (zh) * 2013-05-22 2015-08-19 华东师范大学 基于动态跟踪技术免除运动伪影的磁共振影像方法和系统
US9478030B1 (en) * 2014-03-19 2016-10-25 Amazon Technologies, Inc. Automatic visual fact extraction

Also Published As

Publication number Publication date
EP3151196B1 (en) 2019-08-14
EP3576051A1 (en) 2019-12-04
EP3151196A4 (en) 2017-11-22
CN113240732B (zh) 2024-04-19
KR20150138501A (ko) 2015-12-10
EP3151196A1 (en) 2017-04-05
WO2015183050A1 (ko) 2015-12-03
US20170200278A1 (en) 2017-07-13
CN113240732A (zh) 2021-08-10
EP3576051B1 (en) 2021-03-24
CN106415663A (zh) 2017-02-15
JP2017525937A (ja) 2017-09-07
KR101613418B1 (ko) 2016-04-21
US10109066B2 (en) 2018-10-23
CN106415663B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
JP6357251B2 (ja) オプティカルトラッキングシステム及びオプティカルトラッキングシステムのマーカー部の姿勢並びに位置算出方法
JP6370478B2 (ja) オプティカルトラッキングシステム及びオプティカルトラッキングシステムのマーカー部の姿勢算出方法
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP5378374B2 (ja) リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム
JP6415066B2 (ja) 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
WO2014100950A1 (en) Three-dimensional imaging system and handheld scanning device for three-dimensional imaging
JP2015090298A (ja) 情報処理装置、情報処理方法
Xu et al. 3-D reconstruction of binocular vision using distance objective generated from two pairs of skew projection lines
CN113658270A (zh) 基于工件孔心的多目视觉标定的方法、装置、介质及系统
JP5764189B2 (ja) 精密角度位置決め装置
JP2009014501A (ja) 製品の３次元形状モデルデータ作成方法
KR101438514B1 (ko) 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법
JP2016066995A (ja) 像ズレ量算出装置、撮像装置、および像ズレ量算出方法
CN118119972A (zh) 生成用于相机校准的相机模型的方法和系统
JP7344283B2 (ja) モーションエンコーダ
JP3849030B2 (ja) カメラキャリブレーション装置及び方法
Zeng et al. A novel reconstruction model of multi-camera positioning system based on neural network
JP2015137897A (ja) 距離計測装置及び距離計測方法
Kalvodova et al. Accuracy Evaluation Method of Multispectral Data Fusion for Robotic Systems
JP2007299219A (ja) 撮影画像におけるゆがみの較正方法
Horikawa et al. Stereo Camera System with Digital Image Correlation Method for Accurate Measurement of Position and Orientation of Positioning Stage
Müller et al. Determination of steering wheel angles during car alignment by image analysis methods
Kalvodova et al. Medical Optical Scanning System-Data Fusion Evaluation Method
Tilneac et al. Extrinsic Camera Calibration and Camera-Matching for Plant Phenotyping Using CAD (Computer-Aided Design) Models

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180615

R150 Certificate of patent or registration of utility model

Ref document number: 6357251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250