JP4663966B2 - 映像信号から対象物を追跡する方法及びその装置 - Google Patents
映像信号から対象物を追跡する方法及びその装置 Download PDFInfo
- Publication number
- JP4663966B2 JP4663966B2 JP2003061009A JP2003061009A JP4663966B2 JP 4663966 B2 JP4663966 B2 JP 4663966B2 JP 2003061009 A JP2003061009 A JP 2003061009A JP 2003061009 A JP2003061009 A JP 2003061009A JP 4663966 B2 JP4663966 B2 JP 4663966B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- camera
- unit
- video signal
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
- G01S5/163—Determination of attitude
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はカメラで撮影された映像信号を分析して所定の対象物の位置、姿勢及び動く方向を推定する方法及び装置に係り、特にヘッドマウントディスプレー（Head Mounted Display：ＨＭＤ）装置の位置、姿勢及び方向を追跡してユーザが眺める方向に対応する映像を出力する装置に関する。
【０００２】
【従来の技術】
ＨＭＤは、ユーザの頭に装着してユーザの目の近くで映像をディスプレーする装置である。ＨＭＤを仮想現実（ＶＲ）のようなユーザの動きとの相互作用（interaction）が必要な分野で使用するためには、ユーザの頭の位置、姿勢及び方向に関する情報を検出する装置が必要となる。
【０００３】
ユーザに関する情報を検出するレベルはその目的に応じて多様であるが（例えば、マウスやジョイスティックのようにユーザのボタン操作を入力として受取るレベルから、ユーザの全身の関節角を検出し、これを用いるレベルまで）、ＨＭＤと関連した最低レベルのユーザ検出装置はユーザの頭の位置及び姿勢を検出してＨＭＤにディスプレーする映像を決定するのに用いられる装置である。
【０００４】
現在、一般に使われているユーザの頭を追跡する装置はジャイロスコープを用いた装置である（特許文献１参照）。これはジャイロスコープをＨＭＤに取付けてユーザの頭を追跡する装置であるが、ジャイロスコープの特性上ユーザの姿勢を検出するだけで、位置は検出できないという限界があり、またＨＭＤに取付けなければならないためにＨＭＤが重くなり、ユーザの動きを検出する速度が遅いという短所がある。
【０００５】
ユーザの頭を追跡する装置としては、他に、磁気センサーを用いた装置がある（特許文献２参照）。磁気センサーは、ユーザの頭の動きを精度よく測定できるが、ジャイロスコープの場合と同様に磁気センサーをＨＭＤに装着するためにＨＭＤが重くなり、かつ周りに金属性の物があると測定に歪曲が生じてしまうのが難点である。
【０００６】
さらに他のユーザの頭を追跡する装置としては、コンピュータビジョン技術を用いた方法がある。例えば、特許文献３、特許文献４に開示する方法では、ＨＭＤにカメラを装着するとともにカメラが撮影する壁にマーカーを取り付けてこれを認識することによって、ユーザの位置及び姿勢を検出できるしくみを構築している。しかし、この方法も同様に（場合によってはカメラとともに光源も必要となるため）ＨＭＤを重くし、室内にマーカーを取り付けなければならないので、特別に設計した専用空間以外の場所では使えず、一般家庭での使用には向かないという問題がある。
【０００７】
【特許文献１】
米国特許第６１６２１９１号明細書
【特許文献２】
米国特許第３９８３４７４号明細書
【特許文献３】
米国特許第５７４２２６３号明細書
【特許文献４】
米国特許第５８５６８４４号明細書
【０００８】
【発明が解決しようとする課題】
本発明が解決しようとする技術的な課題は、特徴点が表示されたＨＭＤなどの対象物を撮影した映像信号を通じて前記対象物の動きを追跡する装置及び方法を提供することである。
【０００９】
本発明が解決しようとする他の技術的課題は、本発明に係る映像信号を通じた対象物の動き追跡装置を用いた画面出力装置を提供することである。
【００１０】
【課題を解決するための手段】
前記問題点を解決するための本発明に係るカメラ映像を通じた対象物の動き追跡装置は、カメラの特性を示し、特徴点の座標、焦点距離から計算された内部パラメータＡを求めるカメラキャリブレーション部と、前記カメラから少なくとも３つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力され、前記入力された映像信号の歪曲を前記カメラの内部パラメータ値Ａを用いて除去するカメラ歪曲補償部と、前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて前記対象物の特徴点の前記映像における２次元座標を抽出し、抽出された２次元座標からカラー対象追跡方法を用いて前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率を算出し、算出された確率を用いて動きを予測する特徴点座標抽出部と、前記特徴点座標抽出部から入力された前記２次元座標値ｍ、前記カメラキャリブレーション部から入力された前記カメラの内部パラメータ値Ａ及び前記対象物に表示されている特徴点の３次元座標値Ｍに基づいて前記対象物の位置、姿勢及び方向Ｒｔをｍ≡Ａ［Ｒｔ］Ｍ、Ｒ：ローテーションマトリックス、ｔ：トランスレーションベクトル、の式により推定して外部に出力する対象物の位置、姿勢及び方向推定部と、を含むことを特徴とする。
【００１１】
また、前記カメラ映像を通じた対象物の動き追跡装置の前記特徴点座標抽出部は、前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて特徴点に該当する画素の各色相値に基づいてそれぞれの色に異なるラベルを割当てて主要特徴点と付加特徴点とを区分する特徴点ラベリング部と、前記特徴点ラベリング部から前記主要特徴点及び付加特徴点情報を提供され、前記特徴点領域に存在するノイズを除去するノイズ除去部と、前記ノイズ除去部からノイズの除去された主要特徴点及び付加特徴点情報を提供され、前記映像における前記特徴点の２次元座標値を求める特徴点決定部と、を含むことを特徴とする。
【００１２】
また、前記カメラ映像を通じた対象物の動き追跡装置の前記特徴点座標抽出部は、前記特徴点決定部から前記映像信号の特徴点の２次元座標情報を提供され、前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率として動きを予測する動き予測部をさらに含むことを特徴とし、前記特徴点決定部は、前記ノイズ除去部からノイズの除去されたラベリングされた映像信号を入力され、前記映像に存在する各特徴点の領域に該当する画素の連結情報に基づいて特徴点領域を前記映像から区分する連結情報分析部と、前記連結情報分析部から前記特徴点領域情報を入力され、前記対象物に表示された特徴点の輝度情報または各特徴点間の関係情報に基づいて前記特徴点領域のうち実際に特徴点でない領域を除去して特徴点領域を抽出する特徴点抽出部と、前記抽出された特徴点領域情報を提供され、前記特徴点画素の座標値の平均を求めて前記特徴点の座標値を求める１次モーメント計算部と、を含むことを特徴とする。
【００１３】
また、前記カメラ映像を通じた対象物の動き追跡装置の前記対象物の位置、姿勢及び方向推定部は、前記カメラのキャリブレーション部から提供された前記カメラの内部パラメータ値、前記特徴点決定部から提供された前記特徴点の座標値、及び前記対象物に表示された特徴点の３次元座標値に基づいて前記対象物の位置、姿勢情報を推定する姿勢及び位置推定部と、前記特徴点決定部から提供された前記特徴点の座標値のうち主要特徴点の座標値に基づいて、前記主要特徴点が付着された前記対象物の部位を判断して前記対象物が撮影された方向情報を推定する方向推定部と、を含むことを特徴とする。
【００１４】
前記問題点を解決するための本発明に係る画面出力装置は、１つ以上の特徴点が表示されている所定の対象物を撮影して第１映像信号を発する映像入力部と、カメラの特性を示し、特徴点の座標、焦点距離から計算された内部パラメータＡを求めるカメラキャリブレーション部と、前記カメラから少なくとも３つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力され、前記入力された映像信号の歪曲を前記カメラの内部パラメータ値Ａを用いて除去するカメラ歪曲補償部と、前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて前記対象物の特徴点の前記映像における２次元座標を抽出し、抽出された２次元座標からカラー対象追跡方法を用いて前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率を算出し、算出された確率を用いて動きを予測する特徴点座標抽出部と、前記特徴点座標抽出部から入力された前記２次元座標値ｍ、前記カメラキャリブレーション部から入力された前記カメラの内部パラメータ値Ａ及び前記対象物に表示されている特徴点の３次元座標値Ｍに基づいて前記対象物の位置、姿勢及び方向Ｒｔをｍ≡Ａ［Ｒｔ］Ｍ、Ｒ：ローテーションマトリックス、ｔ：トランスレーションベクトル、の式により推定して外部に出力する対象物の位置、姿勢及び方向推定部と、前記制御信号によって前記第２映像信号をユーザに提供する画面出力部と、を含み、前記特徴点座標抽出部は、前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて特徴点に該当する画素の各色相値に基づいてそれぞれの色に異なるラベルを割当てて主要特徴点と付加特徴点とを区分する特徴点ラベリング部と、前記特徴点ラベリング部から前記主要特徴点及び付加特徴点情報を提供され、前記特徴点領域に存在するノイズを除去するノイズ除去部と、前記ノイズ除去部からノイズの除去された主要特徴点及び付加特徴点情報を提供され、前記映像における前記特徴点の２次元座標値を求める特徴点決定部と、前記特徴点決定部から前記映像信号の特徴点の２次元座標情報を提供され、前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率として動きを予測する動き予測部を含むことを特徴とする。
【００１６】
前記問題点を解決するための本発明に係るカメラ映像を通じた対象物の動き追跡方法は、（ａ）カメラの特性を示し、特徴点の座標、焦点距離から計算された内部パラメータ値Ａを求める段階と、（ｂ）前記カメラから少なくとも３つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力される段階と、（ｃ）前記入力された映像における特徴点の２次元座標値を計算し、計算された２次元座標からカラー対象追跡方法を用いて前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率を算出し、算出された確率を用いて動きを予測する段階と、（ｄ）前記内部パラメータ値Ａ、前記特徴点の座標値ｍ及び前記対象物に表示されている特徴点の３次元座標値Ｍに基づいて前記対象物の方向、位置及び姿勢Ｒｔを、ｍ≡Ａ［Ｒｔ］Ｍ、Ｒ：ローテーションマトリックス、ｔ：トランスレーションベクトル、の式により推定して出力する段階と、を含むことを特徴とする。
【００１７】
また、前記カメラ映像を通じた対象物の動き追跡方法の前記（ｃ）段階は、（ｃ１）前記映像信号に含まれている対象物に表示された特徴点の領域を抽出する段階と、（ｃ２）前記特徴点領域のノイズを除去する段階と、（ｃ３）前記入力された映像における特徴点の２次元座標値を計算する段階と、（ｃ４）前記特徴点の現フレームにおける位置が次のフレームおける位置になる確率として前記特徴点の動きを予測する段階と、
を含むことを特徴とする。
【００１９】
前記カメラ映像を通じた動き追跡方法は、コンピュータを手段として機能させることによって実行可能なコンピュータプログラムとして実現可能であり、そのようなプログラムを記録したコンピュータで読取可能な記録媒体に格納して提供可能である。
【００２０】
【発明の実施の形態】
以下、添付した図面に基づき、本発明の望ましい実施例を詳細に説明する。本実施例では動き追跡対象物としてＨＭＤの動きを追跡する。
【００２１】
本発明によって動きが追跡される対象物であるＨＭＤには特徴点が表示されている。前記ＨＭＤの特徴点はＨＭＤの全域に付着されているので、ある一方向から前記ＨＭＤを撮影する場合、前記特徴点のうち裏側に隠れて撮影されない特徴点が有り得る。したがって、撮影された映像が概略的にどのような姿勢を取っているかを調べるためには、撮影された特徴点が前記ＨＭＤのどの部位に表示された特徴点であるかを判別できなければならない。後述する実施例のＨＭＤでは、このために一定間隔に色と形状異なる特徴点（重要特徴点）を付着し、正確な姿勢と位置とを推定するために付加的な特徴点（付加特徴点）を付着した。重要特徴点は、前記ＨＭＤを如何なる方向から撮影しても少なくとも１つ以上は撮影されるよう配置され、かつそれぞれが特徴点の相互関係や色相、形状などによって識別できるようになっている必要がある。付加特徴点は重要特徴点から推定されたＨＭＤの方向情報に基づいて重要特徴点と共にＨＭＤの正確な姿勢及び位置を計算するために付着される。
【００２２】
図１は、本発明に係る映像信号を通じた対象物の動きを追跡する装置の望ましい実施例の機能的ブロック図である。本発明に係る映像信号を通じた対象物の動きを追跡する装置は、カメラキャリブレーション部１０１、カメラ歪曲補償部１０２、特徴点座標抽出部１０３、対象物の位置、姿勢及び方向推定部１０４を含む。前記特徴点座標抽出部１０３は、特徴点ラベリング部１０３１、ノイズ除去部１０３２、特徴点決定部１０３３、動き予測部１０３４を含む。また、前記対象物の位置、姿勢及び方向推定部１０４は、姿勢及び位置予測部１０４１、方向推定部１０４２を含む。
【００２３】
前記カメラキャリブレーション部１０１は、外部から入力したテスト映像信号を用いてキャリブレーションを行い、動き推定対象物を撮影するカメラの内部パラメータを求める。図１０は、カメラの内部パラメータを求めるためのテスト映像（キャリブレーション映像）の望ましい例を示しており、図７はカメラのキャリブレーションの原理を示している。以下、図７に基づいてキャリブレーションを通じてカメラのパラメータを求める方法を説明する。
【００２４】
まず、カメラの内部パラメータＡは、数式１により求めることができる。
【００２５】
【数１】
【００２６】
ここで、（ｃx，ｃy）は、図７の特徴点の座標を、（ｆx，ｆy）は焦点距離を各々意味する。
【００２７】
そして、カメラの外部パラメータ［Ｒｔ］は、次の数式２により求めることができる。
【００２８】
【数２】
【００２９】
ここで、Ｒはローテーションマトリックスであり、ｔはトランスレーションベクトルであって、それぞれ
の値を有する。
【００３０】
また、カメラで撮影された対象物に表示された所定点の３次元座標値と前記カメラで前記対象物を撮影した映像に表れた前記点の２次元座標値との関係式は、次の数式３によって求められる。
【００３１】
【数３】
【００３２】
ここで、Ｍは実際の対象物に表示された所定の点（位置）の３次元座標値を、ｍは投影された２次元座標値を各々意味する。
【００３３】
カメラは、カメラの特性を示す内部パラメータと、位置及び姿勢を示す外部パラメータとを使用してモデリングでき、そのパラメータの形は前述した通りであり。図１１はカメラの内部パラメータを求めた望ましい例を示している。
【００３４】
前記カメラ歪曲補償部１０２には、外部から動き追跡対象物を撮影した２次元デジタル映像信号が入力されるとともに、前記カメラキャリブレーション部１０１から前記カメラの内部パラメータ値が入力される。そして、前記カメラ歪曲補償部１０２は、前記内部パラメータ値に基づいて前記入力した映像信号に存在する歪曲を除去する。カメラの歪曲は主にレンズで生じ、これは４つの歪曲係数を求めて補正できるが、一般的なレンズの歪曲はレンズの曲面による放射方向歪曲収差（radial distortion）であり、これは２つの歪曲係数ｋ1、ｋ2だけで補正可能である。
【００３５】
歪曲係数
は、次の数式４及び数式５を満たす。
【００３６】
【数４】
【００３７】
ここで、（ｘ，ｙ）は、ideal normalized image coordinatesであり、
は、real normalized image coordinatesである。
【００３８】
【数５】
【００３９】
ここで、（ｕ，ｖ）は、ideal (distortion-free) pixel image coordinates、
は、real (distorted) observed image coordinates、（ｘ，ｙ）は、ideal normalized image coordinates、
は、real normalized image coordinates、
は、カメラの内部パラメータである。
【００４０】
ユーザがすでにカメラの内部パラメータ値を知っている場合には、数式５から導かれる数式６によって、歪曲係数Ｋを求める。
【００４１】
【数６】
【００４２】
前記式を用いてｋ1，ｋ2を求めると、ｍ歪曲の補正された映像が得られる。図９Ａは、歪曲除去前のカメラから入力された映像（すなわち、レンズによる歪曲を有する映像）を示しており、図９Ｂは前記映像から歪曲の除去された映像（すなわち、レンズによる歪曲を補正した映像）を示している。
【００４３】
前記カメラ歪曲補償部１０２から、歪曲の補償された特徴点が表示されたＨＭＤを撮影した映像信号が、前記特徴点ラベリング部１０３１に、入力される。そこで、前記ＨＭＤ映像から各色相に対する２進化を通じて特徴点に該当する画素が得られる。この際、それぞれの色に対して異なるラベルを割当てて重要特徴点のそれぞれと付加特徴点とを区分できる。このようにして得られた映像をラベリング映像と称する。
【００４４】
このようなラベリング過程は、次の数式７を通じて行われる。
【００４５】
【数７】
【００４６】
ここで、ｌ（ｘ，ｙ）はポイント（ｘ，ｙ）のラベルを、ｐc（ｘ，ｙ）はカラーチャンネルｃとポイント（ｘ，ｙ）の強度値を、Ｌはラベル番号を、
は、チャンネルｃとラベルｎとの最大値及び最小値を、
は、条件｛・｝を満たす集合を、各々意味する。
【００４７】
前記数式７を通じて強度値が０からＬまでのグレー映像、すなわちラベリング映像を得る。
【００４８】
前記ノイズ除去部１０３２は、前記特徴点ラベリング部１０３１からラベリングされた映像信号が入力されると、そのノイズを除去する。前記ラベリング映像は、通常、背景やノイズにより影響を受けるが、このようなノイズはオープニング技法のような形態学的な映像処理方法を通じて除去される。図８は、形態学的な映像処理技法で特徴点領域からノイズを除去した望ましい実施例を示す。
【００４９】
前記特徴点決定部１０３３は、前記ノイズの除去された映像から特徴点の２次元座標を求め、動き予測部１０３４から予測された特徴点の２次元座標値を対象物の位置、姿勢及び方向推定部１０４に提供する。この段階で、前記ノイズの除去された映像から求めた特徴点の２次元座標と前記動き予測部１０３４から提供された特徴点の２次元座標のうち何れの座標値を出力するかは、ユーザの選択により決定される。前記ノイズの除去された映像から求めた特徴点の２次元座標値は非常に正確である。一方、前記動き予測部１０３４から提供された特徴点の２次元座標値を利用すれば特徴点の位置追跡を迅速に行える点で有利である。
【００５０】
図２は、図１の特徴点決定部の細部構成を示す機能的ブロック図である。まず、連結情報分析部２０１は、ノイズの除去されたラベリング映像信号の入力を受ける。このようなラベリング映像はそれぞれのラベル値を輝度と仮定すれば、一種のグレー映像と類似しており、このような映像に対して同色の特徴点領域を区分するために各特徴点領域に対する画素の連結情報を得て全ての特徴点領域を区分する。
【００５１】
特徴点抽出部２０２は、前記連結情報分析部２０１から連結情報を通じて得られた特徴点領域に関する情報の提供を受け、前記特徴点領域であると判別された領域のうち一部の極端に小さな領域や特徴点間の関係に対する定義を通じて特徴点でない領域を除去する。このような過程を通じて最終的にラベリングされたそれぞれの領域は２次元映像において特徴点に該当する領域となる。
【００５２】
１次モーメント計算部２０３は、前記特徴点抽出部２０２から特徴点領域にラベリングされた２次元映像が入力されると、前記特徴点領域の中心点座標を求める。前記座標を求める方法は１次モーメント、すなわち、各特徴点領域の中心に対する平均を求めることで得られる。
【００５３】
前記動き予測部１０３４は、前記特徴点決定部１０３３から特徴点の２次元座標値の提供を受ける。そしてカラーヒストグラムとカルマンフィルター（Kalman filter）とを使用したカラー対象追跡方法を通じて前記映像の後続フレームで前記特徴点の動きを予測してその位置を追跡する。以下、特徴点の動きを予測してその位置を追跡する方法を説明する。
【００５４】
Ｎ番目のフレームからｉ番目の特徴点ｆi N，ｉ＝１，２，・・・，Ｉ領域のカラーヒストグラムｈj，ｊ＝１，２，・・・，Ｊを求める。そして、Ｎ＋１番目のフレームでｆi Nを中心とする検索領域に対してカラーヒストグラムＨjを求める。ここで、Ｉ及びＪは検出された特徴点の数を、ヒストグラムのビン数を各々意味する。その後、検索領域でヒストグラム確率
を求める。
【００５５】
検索領域で各画素における該当特徴点である確率は画素のビン数に該当するヒストグラム確率となり、これをヒストグラム確率マップと称する。前記求められたヒストグラム確率マップとここに重み付け可能なカーネルであるカルマンフィルターとを乗算する。この結果に関して座標値に対する平均を求めれば、これがＮ＋１番目のフレームにおけるｉ番目の特徴点ｆi N+1の座標値となる。これを繰返して特徴点を追跡することになる。
【００５６】
前記姿勢及び位置予測部１０４１は、前記カメラキャリブレーション部１０１からカメラの内部パラメータ値の入力を得るとともに、前記特徴点決定部から特徴点の２次元座標値の入力を得る。そして、前記カメラの内部パラメータ値、特徴点の２次元座標値及び前記ＨＭＤに表示された特徴点の３次元座標値に基づいて、前記数式２を用いて前記ＨＭＤの姿勢及び位置情報を含むカメラの外部パラメータ［Ｒｔ］の値を求めて外部に出力する。カメラの外部パラメータを用いて位置及び姿勢を推定した例である図１２は、図１０のテスト映像においてチェックパネルの位置及び姿勢を推定した結果を示すものである。
【００５７】
前記方向追跡部１０４２は、前記特徴点決定部１０３３からＨＭＤを撮影した映像に現れた特徴点の２次元座標値が入力されると、前記特徴点のうち重要特徴点が前記ＨＭＤのどの部位に表示されたかを判断し、カメラのＨＭＤに対する概略的な時点を判定して外部に出力する。図６は、本発明を適用してＨＭＤの方向を推定した望ましい実施例を示している。図６においてＨＭＤは、左からそれぞれフロントビュードミナントモード（front View dominant mode）、レフトビュードミナントモード（Left View dominant mode）、ライトビュードミナントモード（Right View dominant mode）、バックビュードミナントモード（Back View dominant mode）を示している。
【００５８】
図３は、本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する装置を適用した個人用ディスプレー装置の望ましい実施例の機能的ブロック図である。まず、映像入力部３０１は、ユーザの頭に付着されているＨＭＤを外部カメラで撮影した映像が入力されると、それを位置、姿勢及び方向推定部３０２に提供する。
【００５９】
前記位置、姿勢及び方向推定部３０２は、前記ＨＭＤを撮影した映像信号から前記ＨＭＤの位置及び姿勢情報とＨＭＤとを撮影した時点情報、すなわちＨＭＤの方向情報を抽出して、前記位置、姿勢及び方向情報を画面出力制御部３０３に出力する。
【００６０】
前記画面出力制御部３０３は、前記位置、姿勢及び方向情報が入力されると、画面出力部を制御する制御信号を発する。
【００６１】
画面出力部３０４は、画面出力制御部から制御信号が入力されると、その制御信号に応じてＨＭＤの位置、姿勢及び方向情報に対応する映像信号を画面に出力する。
【００６２】
図４は、本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する方法の望ましい実施例を示すフローチャートである。まず、カメラの内部パラメータを求め（４０１段階）、次いで前記カメラから位置、姿勢及び方向情報を推定する対象物の撮影された映像信号が入力される（４０２段階）。引き続き、前記入力された映像信号で前記対象物に表示された特徴点の２次元座標値を計算する（４０３段階）。そして、前記内部パラメータ値、前記特徴点の２次元座標値及び前記対象物に表示された特徴点の３次元座標値に基づいて前記対象物の位置、姿勢及び方向情報を抽出して外部に出力する（４０４段階）。
【００６３】
図５は、図４の４０３段階の細部的な方法を示すフローチャートである。まず、前記映像信号に含まれた対象物の映像で特徴点領域を抽出し（５０１段階）、前記特徴点領域のノイズを除去した後（５０２段階）、前記特徴点の２次元座標値を計算する（５０３段階）。
【００６４】
一方、前述した本発明の実施例はコンピュータで実行可能なプログラムで作成可能であり、コンピュータで読取り可能な媒体を通じて前記プログラムを動作させる汎用デジタルコンピュータで具現されうる。
【００６５】
前記コンピュータにて読取り可能な記録媒体は、磁気記憶媒体（例えば、ＲＯＭ、フレキシブルディスク、ハードディスクなど）、光学的な判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）を含む。
【００６６】
以上、本発明についてその望ましい実施例を中心に説明した。本発明が属する技術分野で当業者ならば本発明が本発明の本質的な特性から外れない範囲で変形された形に具現可能であることを理解しうる。よって、開示された実施例は限定的な観点でなく、説明的な観点で考慮すべきである。本発明の範囲は前記実施例ではなく、特許請求の範囲に示されており、それを同等な範囲内にある全ての違いは本発明に含まれているものと解釈すべきである。
【００６７】
【発明の効果】
本発明によれば、所定の対象物に特徴点を表示し、これを撮影した映像信号を処理して前記対象物の位置、姿勢及び方向情報を推定できるので、前記対象物（例えば、ＨＭＤ）にカメラあるいはセンサー（磁気センサーあるいはジャイロスコープなど）を取付けなくても良い。したがって、前記対象物が軽量化してユーザが前記対象物を身体に着用しやすくなる。
【００６８】
また、磁気センサーを用いた場合のように周辺に金属性物体による歪曲がなく、ジャイロスコープを用いた場合のような対象物の位置を測定できない短所を克服でき、かつ対象物を追跡するセンサーにカメラを用いることによって運搬性に優れる。
【図面の簡単な説明】
【図１】本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する装置の望ましい実施例の機能的ブロック図である。
【図２】図１の特徴点決定部の細部的な機能的ブロック図である。
【図３】本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する装置を適用した個人用ディスプレー装置の望ましい実施例の機能的ブロック図である。
【図４】本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する方法の望ましい実施例を示すフローチャートである。
【図５】図４の４０３段階の細部ステップを示すフローチャートである。
【図６】本発明を適用してＨＭＤの方向を推定した望ましい実施例を示す。
【図７】カメラのキャリブレーションの原理を示す。
【図８】形態学的映像処理技法により、特徴点領域でノイズを除去した望ましい実施例を示す。
【図９Ａ】歪曲除去前のカメラから入力された映像を示す。
【図９Ｂ】図９Ａに示す映像から歪曲を除去した後の映像を示す。
【図１０】カメラの内部パラメータを求めるためのテスト映像の望ましい例を示す。
【図１１】カメラの内部パラメータを求めた望ましい例を示す。
【図１２】図１０のテスト映像でチェックパネルの位置及び姿勢を推定した結果を示す。
【符号の説明】
１０１ カメラキャリブレーション部
１０２ カメラ歪曲補償部
１０３ 特徴点座標抽出部
１０４ 対象物の位置、姿勢及び方向推定部
１０３１ 特徴点ラベリング部
１０３２ ノイズ除去部
１０３３ 特徴点決定部
１０３４ 動き予測部
１０４１ 姿勢及び位置予測部
１０４２ 方向推定部
【発明の属する技術分野】
本発明はカメラで撮影された映像信号を分析して所定の対象物の位置、姿勢及び動く方向を推定する方法及び装置に係り、特にヘッドマウントディスプレー（Head Mounted Display：ＨＭＤ）装置の位置、姿勢及び方向を追跡してユーザが眺める方向に対応する映像を出力する装置に関する。
【０００２】
【従来の技術】
ＨＭＤは、ユーザの頭に装着してユーザの目の近くで映像をディスプレーする装置である。ＨＭＤを仮想現実（ＶＲ）のようなユーザの動きとの相互作用（interaction）が必要な分野で使用するためには、ユーザの頭の位置、姿勢及び方向に関する情報を検出する装置が必要となる。
【０００３】
ユーザに関する情報を検出するレベルはその目的に応じて多様であるが（例えば、マウスやジョイスティックのようにユーザのボタン操作を入力として受取るレベルから、ユーザの全身の関節角を検出し、これを用いるレベルまで）、ＨＭＤと関連した最低レベルのユーザ検出装置はユーザの頭の位置及び姿勢を検出してＨＭＤにディスプレーする映像を決定するのに用いられる装置である。
【０００４】
現在、一般に使われているユーザの頭を追跡する装置はジャイロスコープを用いた装置である（特許文献１参照）。これはジャイロスコープをＨＭＤに取付けてユーザの頭を追跡する装置であるが、ジャイロスコープの特性上ユーザの姿勢を検出するだけで、位置は検出できないという限界があり、またＨＭＤに取付けなければならないためにＨＭＤが重くなり、ユーザの動きを検出する速度が遅いという短所がある。
【０００５】
ユーザの頭を追跡する装置としては、他に、磁気センサーを用いた装置がある（特許文献２参照）。磁気センサーは、ユーザの頭の動きを精度よく測定できるが、ジャイロスコープの場合と同様に磁気センサーをＨＭＤに装着するためにＨＭＤが重くなり、かつ周りに金属性の物があると測定に歪曲が生じてしまうのが難点である。
【０００６】
さらに他のユーザの頭を追跡する装置としては、コンピュータビジョン技術を用いた方法がある。例えば、特許文献３、特許文献４に開示する方法では、ＨＭＤにカメラを装着するとともにカメラが撮影する壁にマーカーを取り付けてこれを認識することによって、ユーザの位置及び姿勢を検出できるしくみを構築している。しかし、この方法も同様に（場合によってはカメラとともに光源も必要となるため）ＨＭＤを重くし、室内にマーカーを取り付けなければならないので、特別に設計した専用空間以外の場所では使えず、一般家庭での使用には向かないという問題がある。
【０００７】
【特許文献１】
米国特許第６１６２１９１号明細書
【特許文献２】
米国特許第３９８３４７４号明細書
【特許文献３】
米国特許第５７４２２６３号明細書
【特許文献４】
米国特許第５８５６８４４号明細書
【０００８】
【発明が解決しようとする課題】
本発明が解決しようとする技術的な課題は、特徴点が表示されたＨＭＤなどの対象物を撮影した映像信号を通じて前記対象物の動きを追跡する装置及び方法を提供することである。
【０００９】
本発明が解決しようとする他の技術的課題は、本発明に係る映像信号を通じた対象物の動き追跡装置を用いた画面出力装置を提供することである。
【００１０】
【課題を解決するための手段】
前記問題点を解決するための本発明に係るカメラ映像を通じた対象物の動き追跡装置は、カメラの特性を示し、特徴点の座標、焦点距離から計算された内部パラメータＡを求めるカメラキャリブレーション部と、前記カメラから少なくとも３つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力され、前記入力された映像信号の歪曲を前記カメラの内部パラメータ値Ａを用いて除去するカメラ歪曲補償部と、前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて前記対象物の特徴点の前記映像における２次元座標を抽出し、抽出された２次元座標からカラー対象追跡方法を用いて前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率を算出し、算出された確率を用いて動きを予測する特徴点座標抽出部と、前記特徴点座標抽出部から入力された前記２次元座標値ｍ、前記カメラキャリブレーション部から入力された前記カメラの内部パラメータ値Ａ及び前記対象物に表示されている特徴点の３次元座標値Ｍに基づいて前記対象物の位置、姿勢及び方向Ｒｔをｍ≡Ａ［Ｒｔ］Ｍ、Ｒ：ローテーションマトリックス、ｔ：トランスレーションベクトル、の式により推定して外部に出力する対象物の位置、姿勢及び方向推定部と、を含むことを特徴とする。
【００１１】
また、前記カメラ映像を通じた対象物の動き追跡装置の前記特徴点座標抽出部は、前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて特徴点に該当する画素の各色相値に基づいてそれぞれの色に異なるラベルを割当てて主要特徴点と付加特徴点とを区分する特徴点ラベリング部と、前記特徴点ラベリング部から前記主要特徴点及び付加特徴点情報を提供され、前記特徴点領域に存在するノイズを除去するノイズ除去部と、前記ノイズ除去部からノイズの除去された主要特徴点及び付加特徴点情報を提供され、前記映像における前記特徴点の２次元座標値を求める特徴点決定部と、を含むことを特徴とする。
【００１２】
また、前記カメラ映像を通じた対象物の動き追跡装置の前記特徴点座標抽出部は、前記特徴点決定部から前記映像信号の特徴点の２次元座標情報を提供され、前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率として動きを予測する動き予測部をさらに含むことを特徴とし、前記特徴点決定部は、前記ノイズ除去部からノイズの除去されたラベリングされた映像信号を入力され、前記映像に存在する各特徴点の領域に該当する画素の連結情報に基づいて特徴点領域を前記映像から区分する連結情報分析部と、前記連結情報分析部から前記特徴点領域情報を入力され、前記対象物に表示された特徴点の輝度情報または各特徴点間の関係情報に基づいて前記特徴点領域のうち実際に特徴点でない領域を除去して特徴点領域を抽出する特徴点抽出部と、前記抽出された特徴点領域情報を提供され、前記特徴点画素の座標値の平均を求めて前記特徴点の座標値を求める１次モーメント計算部と、を含むことを特徴とする。
【００１３】
また、前記カメラ映像を通じた対象物の動き追跡装置の前記対象物の位置、姿勢及び方向推定部は、前記カメラのキャリブレーション部から提供された前記カメラの内部パラメータ値、前記特徴点決定部から提供された前記特徴点の座標値、及び前記対象物に表示された特徴点の３次元座標値に基づいて前記対象物の位置、姿勢情報を推定する姿勢及び位置推定部と、前記特徴点決定部から提供された前記特徴点の座標値のうち主要特徴点の座標値に基づいて、前記主要特徴点が付着された前記対象物の部位を判断して前記対象物が撮影された方向情報を推定する方向推定部と、を含むことを特徴とする。
【００１４】
前記問題点を解決するための本発明に係る画面出力装置は、１つ以上の特徴点が表示されている所定の対象物を撮影して第１映像信号を発する映像入力部と、カメラの特性を示し、特徴点の座標、焦点距離から計算された内部パラメータＡを求めるカメラキャリブレーション部と、前記カメラから少なくとも３つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力され、前記入力された映像信号の歪曲を前記カメラの内部パラメータ値Ａを用いて除去するカメラ歪曲補償部と、前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて前記対象物の特徴点の前記映像における２次元座標を抽出し、抽出された２次元座標からカラー対象追跡方法を用いて前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率を算出し、算出された確率を用いて動きを予測する特徴点座標抽出部と、前記特徴点座標抽出部から入力された前記２次元座標値ｍ、前記カメラキャリブレーション部から入力された前記カメラの内部パラメータ値Ａ及び前記対象物に表示されている特徴点の３次元座標値Ｍに基づいて前記対象物の位置、姿勢及び方向Ｒｔをｍ≡Ａ［Ｒｔ］Ｍ、Ｒ：ローテーションマトリックス、ｔ：トランスレーションベクトル、の式により推定して外部に出力する対象物の位置、姿勢及び方向推定部と、前記制御信号によって前記第２映像信号をユーザに提供する画面出力部と、を含み、前記特徴点座標抽出部は、前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて特徴点に該当する画素の各色相値に基づいてそれぞれの色に異なるラベルを割当てて主要特徴点と付加特徴点とを区分する特徴点ラベリング部と、前記特徴点ラベリング部から前記主要特徴点及び付加特徴点情報を提供され、前記特徴点領域に存在するノイズを除去するノイズ除去部と、前記ノイズ除去部からノイズの除去された主要特徴点及び付加特徴点情報を提供され、前記映像における前記特徴点の２次元座標値を求める特徴点決定部と、前記特徴点決定部から前記映像信号の特徴点の２次元座標情報を提供され、前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率として動きを予測する動き予測部を含むことを特徴とする。
【００１６】
前記問題点を解決するための本発明に係るカメラ映像を通じた対象物の動き追跡方法は、（ａ）カメラの特性を示し、特徴点の座標、焦点距離から計算された内部パラメータ値Ａを求める段階と、（ｂ）前記カメラから少なくとも３つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力される段階と、（ｃ）前記入力された映像における特徴点の２次元座標値を計算し、計算された２次元座標からカラー対象追跡方法を用いて前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率を算出し、算出された確率を用いて動きを予測する段階と、（ｄ）前記内部パラメータ値Ａ、前記特徴点の座標値ｍ及び前記対象物に表示されている特徴点の３次元座標値Ｍに基づいて前記対象物の方向、位置及び姿勢Ｒｔを、ｍ≡Ａ［Ｒｔ］Ｍ、Ｒ：ローテーションマトリックス、ｔ：トランスレーションベクトル、の式により推定して出力する段階と、を含むことを特徴とする。
【００１７】
また、前記カメラ映像を通じた対象物の動き追跡方法の前記（ｃ）段階は、（ｃ１）前記映像信号に含まれている対象物に表示された特徴点の領域を抽出する段階と、（ｃ２）前記特徴点領域のノイズを除去する段階と、（ｃ３）前記入力された映像における特徴点の２次元座標値を計算する段階と、（ｃ４）前記特徴点の現フレームにおける位置が次のフレームおける位置になる確率として前記特徴点の動きを予測する段階と、
を含むことを特徴とする。
【００１９】
前記カメラ映像を通じた動き追跡方法は、コンピュータを手段として機能させることによって実行可能なコンピュータプログラムとして実現可能であり、そのようなプログラムを記録したコンピュータで読取可能な記録媒体に格納して提供可能である。
【００２０】
【発明の実施の形態】
以下、添付した図面に基づき、本発明の望ましい実施例を詳細に説明する。本実施例では動き追跡対象物としてＨＭＤの動きを追跡する。
【００２１】
本発明によって動きが追跡される対象物であるＨＭＤには特徴点が表示されている。前記ＨＭＤの特徴点はＨＭＤの全域に付着されているので、ある一方向から前記ＨＭＤを撮影する場合、前記特徴点のうち裏側に隠れて撮影されない特徴点が有り得る。したがって、撮影された映像が概略的にどのような姿勢を取っているかを調べるためには、撮影された特徴点が前記ＨＭＤのどの部位に表示された特徴点であるかを判別できなければならない。後述する実施例のＨＭＤでは、このために一定間隔に色と形状異なる特徴点（重要特徴点）を付着し、正確な姿勢と位置とを推定するために付加的な特徴点（付加特徴点）を付着した。重要特徴点は、前記ＨＭＤを如何なる方向から撮影しても少なくとも１つ以上は撮影されるよう配置され、かつそれぞれが特徴点の相互関係や色相、形状などによって識別できるようになっている必要がある。付加特徴点は重要特徴点から推定されたＨＭＤの方向情報に基づいて重要特徴点と共にＨＭＤの正確な姿勢及び位置を計算するために付着される。
【００２２】
図１は、本発明に係る映像信号を通じた対象物の動きを追跡する装置の望ましい実施例の機能的ブロック図である。本発明に係る映像信号を通じた対象物の動きを追跡する装置は、カメラキャリブレーション部１０１、カメラ歪曲補償部１０２、特徴点座標抽出部１０３、対象物の位置、姿勢及び方向推定部１０４を含む。前記特徴点座標抽出部１０３は、特徴点ラベリング部１０３１、ノイズ除去部１０３２、特徴点決定部１０３３、動き予測部１０３４を含む。また、前記対象物の位置、姿勢及び方向推定部１０４は、姿勢及び位置予測部１０４１、方向推定部１０４２を含む。
【００２３】
前記カメラキャリブレーション部１０１は、外部から入力したテスト映像信号を用いてキャリブレーションを行い、動き推定対象物を撮影するカメラの内部パラメータを求める。図１０は、カメラの内部パラメータを求めるためのテスト映像（キャリブレーション映像）の望ましい例を示しており、図７はカメラのキャリブレーションの原理を示している。以下、図７に基づいてキャリブレーションを通じてカメラのパラメータを求める方法を説明する。
【００２４】
まず、カメラの内部パラメータＡは、数式１により求めることができる。
【００２５】
【数１】
ここで、（ｃx，ｃy）は、図７の特徴点の座標を、（ｆx，ｆy）は焦点距離を各々意味する。
【００２７】
そして、カメラの外部パラメータ［Ｒｔ］は、次の数式２により求めることができる。
【００２８】
【数２】
ここで、Ｒはローテーションマトリックスであり、ｔはトランスレーションベクトルであって、それぞれ
【００３０】
また、カメラで撮影された対象物に表示された所定点の３次元座標値と前記カメラで前記対象物を撮影した映像に表れた前記点の２次元座標値との関係式は、次の数式３によって求められる。
【００３１】
【数３】
ここで、Ｍは実際の対象物に表示された所定の点（位置）の３次元座標値を、ｍは投影された２次元座標値を各々意味する。
【００３３】
カメラは、カメラの特性を示す内部パラメータと、位置及び姿勢を示す外部パラメータとを使用してモデリングでき、そのパラメータの形は前述した通りであり。図１１はカメラの内部パラメータを求めた望ましい例を示している。
【００３４】
前記カメラ歪曲補償部１０２には、外部から動き追跡対象物を撮影した２次元デジタル映像信号が入力されるとともに、前記カメラキャリブレーション部１０１から前記カメラの内部パラメータ値が入力される。そして、前記カメラ歪曲補償部１０２は、前記内部パラメータ値に基づいて前記入力した映像信号に存在する歪曲を除去する。カメラの歪曲は主にレンズで生じ、これは４つの歪曲係数を求めて補正できるが、一般的なレンズの歪曲はレンズの曲面による放射方向歪曲収差（radial distortion）であり、これは２つの歪曲係数ｋ1、ｋ2だけで補正可能である。
【００３５】
歪曲係数
【００３６】
【数４】
ここで、（ｘ，ｙ）は、ideal normalized image coordinatesであり、
【００３８】
【数５】
ここで、（ｕ，ｖ）は、ideal (distortion-free) pixel image coordinates、
【００４０】
ユーザがすでにカメラの内部パラメータ値を知っている場合には、数式５から導かれる数式６によって、歪曲係数Ｋを求める。
【００４１】
【数６】
前記式を用いてｋ1，ｋ2を求めると、ｍ歪曲の補正された映像が得られる。図９Ａは、歪曲除去前のカメラから入力された映像（すなわち、レンズによる歪曲を有する映像）を示しており、図９Ｂは前記映像から歪曲の除去された映像（すなわち、レンズによる歪曲を補正した映像）を示している。
【００４３】
前記カメラ歪曲補償部１０２から、歪曲の補償された特徴点が表示されたＨＭＤを撮影した映像信号が、前記特徴点ラベリング部１０３１に、入力される。そこで、前記ＨＭＤ映像から各色相に対する２進化を通じて特徴点に該当する画素が得られる。この際、それぞれの色に対して異なるラベルを割当てて重要特徴点のそれぞれと付加特徴点とを区分できる。このようにして得られた映像をラベリング映像と称する。
【００４４】
このようなラベリング過程は、次の数式７を通じて行われる。
【００４５】
【数７】
ここで、ｌ（ｘ，ｙ）はポイント（ｘ，ｙ）のラベルを、ｐc（ｘ，ｙ）はカラーチャンネルｃとポイント（ｘ，ｙ）の強度値を、Ｌはラベル番号を、
【００４７】
前記数式７を通じて強度値が０からＬまでのグレー映像、すなわちラベリング映像を得る。
【００４８】
前記ノイズ除去部１０３２は、前記特徴点ラベリング部１０３１からラベリングされた映像信号が入力されると、そのノイズを除去する。前記ラベリング映像は、通常、背景やノイズにより影響を受けるが、このようなノイズはオープニング技法のような形態学的な映像処理方法を通じて除去される。図８は、形態学的な映像処理技法で特徴点領域からノイズを除去した望ましい実施例を示す。
【００４９】
前記特徴点決定部１０３３は、前記ノイズの除去された映像から特徴点の２次元座標を求め、動き予測部１０３４から予測された特徴点の２次元座標値を対象物の位置、姿勢及び方向推定部１０４に提供する。この段階で、前記ノイズの除去された映像から求めた特徴点の２次元座標と前記動き予測部１０３４から提供された特徴点の２次元座標のうち何れの座標値を出力するかは、ユーザの選択により決定される。前記ノイズの除去された映像から求めた特徴点の２次元座標値は非常に正確である。一方、前記動き予測部１０３４から提供された特徴点の２次元座標値を利用すれば特徴点の位置追跡を迅速に行える点で有利である。
【００５０】
図２は、図１の特徴点決定部の細部構成を示す機能的ブロック図である。まず、連結情報分析部２０１は、ノイズの除去されたラベリング映像信号の入力を受ける。このようなラベリング映像はそれぞれのラベル値を輝度と仮定すれば、一種のグレー映像と類似しており、このような映像に対して同色の特徴点領域を区分するために各特徴点領域に対する画素の連結情報を得て全ての特徴点領域を区分する。
【００５１】
特徴点抽出部２０２は、前記連結情報分析部２０１から連結情報を通じて得られた特徴点領域に関する情報の提供を受け、前記特徴点領域であると判別された領域のうち一部の極端に小さな領域や特徴点間の関係に対する定義を通じて特徴点でない領域を除去する。このような過程を通じて最終的にラベリングされたそれぞれの領域は２次元映像において特徴点に該当する領域となる。
【００５２】
１次モーメント計算部２０３は、前記特徴点抽出部２０２から特徴点領域にラベリングされた２次元映像が入力されると、前記特徴点領域の中心点座標を求める。前記座標を求める方法は１次モーメント、すなわち、各特徴点領域の中心に対する平均を求めることで得られる。
【００５３】
前記動き予測部１０３４は、前記特徴点決定部１０３３から特徴点の２次元座標値の提供を受ける。そしてカラーヒストグラムとカルマンフィルター（Kalman filter）とを使用したカラー対象追跡方法を通じて前記映像の後続フレームで前記特徴点の動きを予測してその位置を追跡する。以下、特徴点の動きを予測してその位置を追跡する方法を説明する。
【００５４】
Ｎ番目のフレームからｉ番目の特徴点ｆi N，ｉ＝１，２，・・・，Ｉ領域のカラーヒストグラムｈj，ｊ＝１，２，・・・，Ｊを求める。そして、Ｎ＋１番目のフレームでｆi Nを中心とする検索領域に対してカラーヒストグラムＨjを求める。ここで、Ｉ及びＪは検出された特徴点の数を、ヒストグラムのビン数を各々意味する。その後、検索領域でヒストグラム確率
【００５５】
検索領域で各画素における該当特徴点である確率は画素のビン数に該当するヒストグラム確率となり、これをヒストグラム確率マップと称する。前記求められたヒストグラム確率マップとここに重み付け可能なカーネルであるカルマンフィルターとを乗算する。この結果に関して座標値に対する平均を求めれば、これがＮ＋１番目のフレームにおけるｉ番目の特徴点ｆi N+1の座標値となる。これを繰返して特徴点を追跡することになる。
【００５６】
前記姿勢及び位置予測部１０４１は、前記カメラキャリブレーション部１０１からカメラの内部パラメータ値の入力を得るとともに、前記特徴点決定部から特徴点の２次元座標値の入力を得る。そして、前記カメラの内部パラメータ値、特徴点の２次元座標値及び前記ＨＭＤに表示された特徴点の３次元座標値に基づいて、前記数式２を用いて前記ＨＭＤの姿勢及び位置情報を含むカメラの外部パラメータ［Ｒｔ］の値を求めて外部に出力する。カメラの外部パラメータを用いて位置及び姿勢を推定した例である図１２は、図１０のテスト映像においてチェックパネルの位置及び姿勢を推定した結果を示すものである。
【００５７】
前記方向追跡部１０４２は、前記特徴点決定部１０３３からＨＭＤを撮影した映像に現れた特徴点の２次元座標値が入力されると、前記特徴点のうち重要特徴点が前記ＨＭＤのどの部位に表示されたかを判断し、カメラのＨＭＤに対する概略的な時点を判定して外部に出力する。図６は、本発明を適用してＨＭＤの方向を推定した望ましい実施例を示している。図６においてＨＭＤは、左からそれぞれフロントビュードミナントモード（front View dominant mode）、レフトビュードミナントモード（Left View dominant mode）、ライトビュードミナントモード（Right View dominant mode）、バックビュードミナントモード（Back View dominant mode）を示している。
【００５８】
図３は、本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する装置を適用した個人用ディスプレー装置の望ましい実施例の機能的ブロック図である。まず、映像入力部３０１は、ユーザの頭に付着されているＨＭＤを外部カメラで撮影した映像が入力されると、それを位置、姿勢及び方向推定部３０２に提供する。
【００５９】
前記位置、姿勢及び方向推定部３０２は、前記ＨＭＤを撮影した映像信号から前記ＨＭＤの位置及び姿勢情報とＨＭＤとを撮影した時点情報、すなわちＨＭＤの方向情報を抽出して、前記位置、姿勢及び方向情報を画面出力制御部３０３に出力する。
【００６０】
前記画面出力制御部３０３は、前記位置、姿勢及び方向情報が入力されると、画面出力部を制御する制御信号を発する。
【００６１】
画面出力部３０４は、画面出力制御部から制御信号が入力されると、その制御信号に応じてＨＭＤの位置、姿勢及び方向情報に対応する映像信号を画面に出力する。
【００６２】
図４は、本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する方法の望ましい実施例を示すフローチャートである。まず、カメラの内部パラメータを求め（４０１段階）、次いで前記カメラから位置、姿勢及び方向情報を推定する対象物の撮影された映像信号が入力される（４０２段階）。引き続き、前記入力された映像信号で前記対象物に表示された特徴点の２次元座標値を計算する（４０３段階）。そして、前記内部パラメータ値、前記特徴点の２次元座標値及び前記対象物に表示された特徴点の３次元座標値に基づいて前記対象物の位置、姿勢及び方向情報を抽出して外部に出力する（４０４段階）。
【００６３】
図５は、図４の４０３段階の細部的な方法を示すフローチャートである。まず、前記映像信号に含まれた対象物の映像で特徴点領域を抽出し（５０１段階）、前記特徴点領域のノイズを除去した後（５０２段階）、前記特徴点の２次元座標値を計算する（５０３段階）。
【００６４】
一方、前述した本発明の実施例はコンピュータで実行可能なプログラムで作成可能であり、コンピュータで読取り可能な媒体を通じて前記プログラムを動作させる汎用デジタルコンピュータで具現されうる。
【００６５】
前記コンピュータにて読取り可能な記録媒体は、磁気記憶媒体（例えば、ＲＯＭ、フレキシブルディスク、ハードディスクなど）、光学的な判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）を含む。
【００６６】
以上、本発明についてその望ましい実施例を中心に説明した。本発明が属する技術分野で当業者ならば本発明が本発明の本質的な特性から外れない範囲で変形された形に具現可能であることを理解しうる。よって、開示された実施例は限定的な観点でなく、説明的な観点で考慮すべきである。本発明の範囲は前記実施例ではなく、特許請求の範囲に示されており、それを同等な範囲内にある全ての違いは本発明に含まれているものと解釈すべきである。
【００６７】
【発明の効果】
本発明によれば、所定の対象物に特徴点を表示し、これを撮影した映像信号を処理して前記対象物の位置、姿勢及び方向情報を推定できるので、前記対象物（例えば、ＨＭＤ）にカメラあるいはセンサー（磁気センサーあるいはジャイロスコープなど）を取付けなくても良い。したがって、前記対象物が軽量化してユーザが前記対象物を身体に着用しやすくなる。
【００６８】
また、磁気センサーを用いた場合のように周辺に金属性物体による歪曲がなく、ジャイロスコープを用いた場合のような対象物の位置を測定できない短所を克服でき、かつ対象物を追跡するセンサーにカメラを用いることによって運搬性に優れる。
【図面の簡単な説明】
【図１】本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する装置の望ましい実施例の機能的ブロック図である。
【図２】図１の特徴点決定部の細部的な機能的ブロック図である。
【図３】本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する装置を適用した個人用ディスプレー装置の望ましい実施例の機能的ブロック図である。
【図４】本発明に係るカメラ映像信号を通じた対象物の位置、姿勢及び方向を追跡する方法の望ましい実施例を示すフローチャートである。
【図５】図４の４０３段階の細部ステップを示すフローチャートである。
【図６】本発明を適用してＨＭＤの方向を推定した望ましい実施例を示す。
【図７】カメラのキャリブレーションの原理を示す。
【図８】形態学的映像処理技法により、特徴点領域でノイズを除去した望ましい実施例を示す。
【図９Ａ】歪曲除去前のカメラから入力された映像を示す。
【図９Ｂ】図９Ａに示す映像から歪曲を除去した後の映像を示す。
【図１０】カメラの内部パラメータを求めるためのテスト映像の望ましい例を示す。
【図１１】カメラの内部パラメータを求めた望ましい例を示す。
【図１２】図１０のテスト映像でチェックパネルの位置及び姿勢を推定した結果を示す。
【符号の説明】
１０１ カメラキャリブレーション部
１０２ カメラ歪曲補償部
１０３ 特徴点座標抽出部
１０４ 対象物の位置、姿勢及び方向推定部
１０３１ 特徴点ラベリング部
１０３２ ノイズ除去部
１０３３ 特徴点決定部
１０３４ 動き予測部
１０４１ 姿勢及び位置予測部
１０４２ 方向推定部
Claims (8)
- カメラの特性を示し、特徴点の座標、焦点距離から計算された内部パラメータＡを求めるカメラキャリブレーション部と、
前記カメラから少なくとも３つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力され、前記入力された映像信号の歪曲を前記カメラの内部パラメータ値Ａを用いて除去するカメラ歪曲補償部と、
前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて前記対象物の特徴点の前記映像における２次元座標を抽出し、抽出された２次元座標からカラー対象追跡方法を用いて前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率を算出し、算出された確率を用いて動きを予測する特徴点座標抽出部と、
前記特徴点座標抽出部から入力された前記２次元座標値ｍ、前記カメラキャリブレーション部から入力された前記カメラの内部パラメータ値Ａ及び前記対象物に表示されている特徴点の３次元座標値Ｍに基づいて前記対象物の位置、姿勢及び方向Ｒｔを
ｍ≡Ａ［Ｒｔ］Ｍ
Ｒ：ローテーションマトリックス
ｔ：トランスレーションベクトル
の式により推定して外部に出力する対象物の位置、姿勢及び方向推定部と、を含むことを特徴とするカメラ映像を通じた対象物の動き追跡装置。 - 前記特徴点座標抽出部は、
前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて特徴点に該当する画素の各色相値に基づいてそれぞれの色に異なるラベルを割当てて主要特徴点と付加特徴点とを区分する特徴点ラベリング部と、
前記特徴点ラベリング部から前記主要特徴点及び付加特徴点情報を提供され、前記特徴点領域に存在するノイズを除去するノイズ除去部と、
前記ノイズ除去部からノイズの除去された主要特徴点及び付加特徴点情報を提供され、前記映像における前記特徴点の２次元座標値を求める特徴点決定部と、
前記特徴点決定部から前記映像信号の特徴点の2次元座標値を提供されて、前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率として動きを予測する動き予測部を含むことを特徴とする請求項１に記載のカメラ映像を通じた対象物の動き追跡装置。 - 前記特徴点決定部は、
前記ノイズ除去部からノイズの除去されたラベリングされた映像信号を入力され、前記映像に存在する各特徴点の領域に該当する画素の連結情報に基づいて特徴点領域を前記映像から区分する連結情報分析部と、
前記連結情報分析部から前記特徴点領域情報を入力され、前記対象物に表示された特徴点の輝度情報または各特徴点間の関係情報に基づいて前記特徴点領域のうち実際に特徴点でない領域を除去して特徴点領域を抽出する特徴点抽出部と、
前記抽出された特徴点領域情報を提供され、前記特徴点画素の座標値の平均を求めて前記特徴点の座標値を求める１次モーメント計算部と、を含むことを特徴とする請求項２に記載のカメラ映像を通じた対象物の動き追跡装置。 - 前記対象物の位置、姿勢及び方向推定部は、
前記カメラのキャリブレーション部から提供された前記カメラの内部パラメータ値、前記特徴点決定部から提供された前記特徴点の座標値、及び前記対象物に表示された特徴点の３次元座標値に基づいて、前記主要特徴点が付着された前記対象物の部位を判断して前記対象物の位置、姿勢情報を推定する姿勢及び位置推定部と、
前記特徴点決定部から提供された前記特徴点の座標値のうち主要特徴点の座標値に基づいて前記対象物が撮影された方向情報を推定する方向推定部と、を含むことを特徴とする請求項１に記載のカメラ映像を通じた対象物の動き追跡装置。 - １つ以上の特徴点が表示されている所定の対象物を撮影して第１映像信号を発する映像入力部と、
カメラの特性を示し、特徴点の座標、焦点距離から計算された内部パラメータＡを求めるカメラキャリブレーション部と、
前記カメラから少なくとも３つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力され、前記入力された映像信号の歪曲を前記カメラの内部パラメータ値Ａを用いて除去するカメラ歪曲補償部と、
前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて前記対象物の特徴点の前記映像における２次元座標を抽出し、抽出された２次元座標からカラー対象追跡方法を用いて前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率を算出し、算出された確率を用いて動きを予測する特徴点座標抽出部と、
前記特徴点座標抽出部から入力された前記２次元座標値ｍ、前記カメラキャリブレーション部から入力された前記カメラの内部パラメータ値Ａ及び前記対象物に表示されている特徴点の３次元座標値Ｍに基づいて前記対象物の位置、姿勢及び方向Ｒｔを
ｍ≡Ａ［Ｒｔ］Ｍ
Ｒ：ローテーションマトリックス
ｔ：トランスレーションベクトル
の式により推定して外部に出力する対象物の位置、姿勢及び方向推定部と、
前記制御信号によって前記第２映像信号をユーザに提供する画面出力部と、を含み、
前記特徴点座標抽出部は、
前記カメラ歪曲補償部から歪曲の除去された前記映像信号を入力されて特徴点に該当する画素の各色相値に基づいてそれぞれの色に異なるラベルを割当てて主要特徴点と付加特徴点とを区分する特徴点ラベリング部と、
前記特徴点ラベリング部から前記主要特徴点及び付加特徴点情報を提供され、前記特徴点領域に存在するノイズを除去するノイズ除去部と、
前記ノイズ除去部からノイズの除去された主要特徴点及び付加特徴点情報を提供され、前記映像における前記特徴点の２次元座標値を求める特徴点決定部と、
前記特徴点決定部から前記映像信号の特徴点の２次元座標情報を提供され、前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率として動きを予測する動き予測部を含むことを特徴とする画面出力装置。 - （ａ）カメラの特性を示し、特徴点の座標、焦点距離から計算された内部パラメータ値Ａを求める段階と、
（ｂ）前記カメラから少なくとも３つ以上の特徴点が表示された所定の対象物が撮影された映像信号を入力される段階と、
（ｃ）前記入力された映像における特徴点の２次元座標値を計算し、計算された２次元座標からカラー対象追跡方法を用いて前記特徴点の現フレームにおける位置が次のフレームにおける位置になる確率を算出し、算出された確率を用いて動きを予測する段階と、
（ｄ）前記内部パラメータ値Ａ、前記特徴点の座標値ｍ及び前記対象物に表示されている特徴点の３次元座標値Ｍに基づいて前記対象物の方向、位置及び姿勢Ｒｔを
ｍ≡Ａ［Ｒｔ］Ｍ
Ｒ：ローテーションマトリックス
ｔ：トランスレーションベクトル
の式により推定して出力する段階と、を含むことを特徴とするカメラ映像を通じた対象物の動き追跡方法。 - 前記（ｃ）段階は、
（ｃ１）前記映像信号に含まれている対象物に表示された特徴点の領域を抽出する段階と、
（ｃ２）前記特徴点領域のノイズを除去する段階と、
（ｃ３）前記入力された映像における特徴点の２次元座標値を計算する段階と、
（ｃ４）前記特徴点の現フレームにおける位置が次のフレームおける位置になる確率として前記特徴点の動きを予測する段階と、を含むことを特徴とする請求項６に記載のカメラ映像を通じた対象物の動き追跡方法。 - 請求項６または７に記載の方法をコンピュータにて実行させるためのプログラムを記録したコンピュータにて読取れる記録媒体。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0012155A KR100480780B1 (ko) | 2002-03-07 | 2002-03-07 | 영상신호로부터 대상물체를 추적하는 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004005462A JP2004005462A (ja) | 2004-01-08 |
| JP4663966B2 true JP4663966B2 (ja) | 2011-04-06 |
Family
ID=36686709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003061009A Expired - Fee Related JP4663966B2 (ja) | 2002-03-07 | 2003-03-07 | 映像信号から対象物を追跡する方法及びその装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7263207B2 (ja) |
| EP (1) | EP1343067B1 (ja) |
| JP (1) | JP4663966B2 (ja) |
| KR (1) | KR100480780B1 (ja) |
| DE (1) | DE60301987T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220152453A1 (en) * | 2019-03-18 | 2022-05-19 | Nippon Telegraph And Telephone Corporation | Rotation state estimation device, method and program |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100544677B1 (ko) * | 2003-12-26 | 2006-01-23 | 한국전자통신연구원 | 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 |
| US7447331B2 (en) * | 2004-02-24 | 2008-11-04 | International Business Machines Corporation | System and method for generating a viewable video index for low bandwidth applications |
| US8913074B2 (en) * | 2004-05-05 | 2014-12-16 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Colorization method and apparatus |
| KR100647321B1 (ko) * | 2005-02-07 | 2006-11-23 | 삼성전자주식회사 | 사용자 위치 추적 방법 및 장치 |
| JP4644022B2 (ja) * | 2005-04-04 | 2011-03-02 | 日本放送協会 | 映像解析装置および映像解析プログラム |
| US20070146484A1 (en) * | 2005-11-16 | 2007-06-28 | Joshua Horton | Automated video system for context-appropriate object tracking |
| FR2897680B1 (fr) * | 2006-02-17 | 2008-12-05 | Commissariat Energie Atomique | Dispositif de capture de mouvement et procede associe |
| GB2455313B (en) * | 2007-12-04 | 2012-06-13 | Sony Corp | Apparatus and method for estimating orientation |
| KR100915525B1 (ko) * | 2007-12-18 | 2009-09-04 | 한국전자통신연구원 | 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치 |
| KR100956747B1 (ko) * | 2008-02-11 | 2010-05-12 | 한국과학기술원 | 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및그를 이용한 처리방법 |
| JP5116605B2 (ja) * | 2008-08-07 | 2013-01-09 | 国立大学法人 千葉大学 | 自動追尾装置 |
| KR101221449B1 (ko) | 2009-03-27 | 2013-01-11 | 한국전자통신연구원 | 카메라간 영상 보정 장치 및 방법 |
| KR101013751B1 (ko) * | 2009-07-09 | 2011-02-14 | 주식회사 인스프리트 | 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템 |
| MY151478A (en) * | 2009-08-10 | 2014-05-30 | Mimos Berhad | Object tracking system and method |
| CN102483849A (zh) * | 2009-08-12 | 2012-05-30 | 汤姆森许可贸易公司 | 基于感兴趣区域来减少图像序列中的伪像的系统和方法 |
| JP5643549B2 (ja) * | 2010-06-11 | 2014-12-17 | 任天堂株式会社 | 画像処理システム、画像処理プログラム、画像処理装置および画像処理方法 |
| US8193909B1 (en) * | 2010-11-15 | 2012-06-05 | Intergraph Technologies Company | System and method for camera control in a surveillance system |
| AU2010257454B2 (en) * | 2010-12-24 | 2014-03-06 | Canon Kabushiki Kaisha | Summary view of video objects sharing common attributes |
| WO2012138828A2 (en) | 2011-04-08 | 2012-10-11 | The Trustees Of Columbia University In The City Of New York | Kalman filter approach to augment object tracking |
| US9288468B2 (en) | 2011-06-29 | 2016-03-15 | Microsoft Technology Licensing, Llc | Viewing windows for video streams |
| US8948447B2 (en) * | 2011-07-12 | 2015-02-03 | Lucasfilm Entertainment Companyy, Ltd. | Scale independent tracking pattern |
| WO2013108075A1 (en) * | 2012-01-17 | 2013-07-25 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | System and method for measuring tracker system accuracy |
| KR101330567B1 (ko) | 2012-02-08 | 2013-11-18 | (주)제이브이엠 | 약품 적재함 내의 알약 영상 검출방법. |
| CN103458181B (zh) * | 2013-06-29 | 2016-12-28 | 华为技术有限公司 | 镜头畸变参数调节方法、装置及摄像设备 |
| US10064687B2 (en) | 2014-01-13 | 2018-09-04 | Brainlab Ag | Estimation and compensation of tracking inaccuracies |
| CN110308561A (zh) * | 2014-03-14 | 2019-10-08 | 索尼互动娱乐股份有限公司 | 用于头戴式显示器(hmd)的方法和系统 |
| DE102014106718B4 (de) | 2014-05-13 | 2022-04-07 | Immersight Gmbh | System, welches eine Blickfelddarstellung in einer gegenständlichen Lage in einem veränderbaren Raumwinkelbereich darbietet |
| DE202014011540U1 (de) | 2014-05-13 | 2022-02-28 | Immersight Gmbh | System insbesondere zur Darbietung einer Blickfelddarstellung und Videobrille |
| US20150348322A1 (en) * | 2014-06-02 | 2015-12-03 | Dell Products L.P. | Dynamically Composited Information Handling System Augmented Reality at a Primary Display |
| WO2016126672A1 (en) * | 2015-02-02 | 2016-08-11 | Brian Mullins | Head mounted display calibration |
| US11301685B2 (en) * | 2015-04-02 | 2022-04-12 | Sportsmedia Technology Corporation | Automatic determination and monitoring of vehicles on a racetrack with corresponding imagery data for broadcast |
| CN105139393B (zh) * | 2015-08-19 | 2018-03-02 | 中国航空工业集团公司北京长城航空测控技术研究所 | 线阵相机内参数的标定方法 |
| US9697867B2 (en) * | 2015-09-25 | 2017-07-04 | Intel Corporation | Interactive adaptive narrative presentation |
| US11004213B2 (en) | 2016-01-25 | 2021-05-11 | KoreoGRFX, Inc. | Methods and systems for determining motion of a device |
| CN109981928A (zh) * | 2017-12-27 | 2019-07-05 | 杭州百航信息技术有限公司 | 一种智能风控录音录像系统及其工作原理 |
| CN108845669B (zh) * | 2018-06-17 | 2021-10-15 | 刘玲 | 一种ar/mr交互方法和装置 |
| GB201818357D0 (en) * | 2018-11-12 | 2018-12-26 | Forsberg Services Ltd | Locating system |
| KR102289536B1 (ko) * | 2018-12-24 | 2021-08-13 | 한국전자기술연구원 | 객체 추적 장치를 위한 영상 필터 |
| KR102063845B1 (ko) | 2019-06-21 | 2020-01-08 | 국방과학연구소 | 영상 기반 계측 장치 및 그 방법 |
| EP3760150A1 (en) * | 2019-07-04 | 2021-01-06 | Scopis GmbH | Tracker for a head-mounted display |
| KR102265081B1 (ko) * | 2019-07-16 | 2021-06-14 | 남서울대학교 산학협력단 | 벡터내적과 3차원 좌표변환을 이용한 카메라의 위치 및 자세를 결정하는 시스템 |
| CN113628281B (zh) * | 2021-08-06 | 2022-07-26 | 南京航空航天大学 | 一种基于二维指向角的星对星观测像点定位误差补偿方法 |
| US11750943B2 (en) * | 2021-10-20 | 2023-09-05 | Aac Optics Solutions Pte. Ltd. | Method and device for correcting varying lateral chromatic aberration, storage medium, and computer equipment |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3983474A (en) | 1975-02-21 | 1976-09-28 | Polhemus Navigation Sciences, Inc. | Tracking and determining orientation of object using coordinate transformation means, system and process |
| US5585813A (en) * | 1992-10-05 | 1996-12-17 | Rockwell International Corporation | All aspect head aiming display |
| US5615132A (en) * | 1994-01-21 | 1997-03-25 | Crossbow Technology, Inc. | Method and apparatus for determining position and orientation of a moveable object using accelerometers |
| US5645077A (en) | 1994-06-16 | 1997-07-08 | Massachusetts Institute Of Technology | Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body |
| JPH11513483A (ja) | 1995-09-21 | 1999-11-16 | オムニプラナー，インコーポレーテッド | 位置及び方位を決定する方法及び装置 |
| US5742263A (en) | 1995-12-18 | 1998-04-21 | Telxon Corporation | Head tracking system for a head mounted display system |
| US5889505A (en) | 1996-04-04 | 1999-03-30 | Yale University | Vision-based six-degree-of-freedom computer input device |
| SE9700066L (sv) | 1997-01-13 | 1998-07-06 | Qualisys Ab | Metod och anordning för att bestämma positionen av ett objekt |
| JP3724157B2 (ja) * | 1997-10-30 | 2005-12-07 | コニカミノルタホールディングス株式会社 | 映像観察装置 |
| US6061644A (en) * | 1997-12-05 | 2000-05-09 | Northern Digital Incorporated | System for determining the spatial position and orientation of a body |
| JPH11313250A (ja) * | 1998-04-28 | 1999-11-09 | Yasufumi Yamagata | 交換レンズ対応カメラ |
| US6801637B2 (en) * | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
| US6973202B2 (en) * | 1998-10-23 | 2005-12-06 | Varian Medical Systems Technologies, Inc. | Single-camera tracking of an object |
| JP2000152067A (ja) * | 1998-11-06 | 2000-05-30 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置及び記録媒体 |
| JP4794708B2 (ja) * | 1999-02-04 | 2011-10-19 | オリンパス株式会社 | ３次元位置姿勢センシング装置 |
| AU2001249517A1 (en) * | 2000-03-27 | 2001-10-08 | Massachusetts General Hospital | Method and system for viewing kinematic and kinetic information |
| JP2002024807A (ja) * | 2000-07-07 | 2002-01-25 | National Institute Of Advanced Industrial & Technology | 物体運動追跡手法及び記録媒体 |
| KR100374346B1 (ko) * | 2000-12-06 | 2003-03-04 | 한국과학기술원 | 영상을 이용한 머리의 위치 및 방향을 추적하는 방법 |
-
2002
- 2002-03-07 KR KR10-2002-0012155A patent/KR100480780B1/ko not_active IP Right Cessation
-
2003
- 2003-03-07 DE DE60301987T patent/DE60301987T2/de not_active Expired - Lifetime
- 2003-03-07 JP JP2003061009A patent/JP4663966B2/ja not_active Expired - Fee Related
- 2003-03-07 EP EP03251412A patent/EP1343067B1/en not_active Expired - Lifetime
- 2003-03-07 US US10/382,619 patent/US7263207B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220152453A1 (en) * | 2019-03-18 | 2022-05-19 | Nippon Telegraph And Telephone Corporation | Rotation state estimation device, method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| DE60301987T2 (de) | 2006-08-03 |
| JP2004005462A (ja) | 2004-01-08 |
| EP1343067A3 (en) | 2003-12-03 |
| KR20030072880A (ko) | 2003-09-19 |
| EP1343067A2 (en) | 2003-09-10 |
| DE60301987D1 (de) | 2005-12-01 |
| US20030185434A1 (en) | 2003-10-02 |
| EP1343067B1 (en) | 2005-10-26 |
| US7263207B2 (en) | 2007-08-28 |
| KR100480780B1 (ko) | 2005-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4663966B2 (ja) | 映像信号から対象物を追跡する方法及びその装置 | |
| KR100519782B1 (ko) | 스테레오 카메라를 이용한 사람 검출 방법 및 장치 | |
| JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
| TWI536318B (zh) | 深度測量之品質提升 | |
| KR101681538B1 (ko) | 영상 처리 장치 및 방법 | |
| US20040119716A1 (en) | Apparatus and method for high-speed marker-free motion capture | |
| JP6744747B2 (ja) | 情報処理装置およびその制御方法 | |
| JP6850751B2 (ja) | 物体追跡装置、物体追跡方法、及びコンピュータプログラム | |
| JP2010176380A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
| KR20120138627A (ko) | 안면 추적 장치 및 방법 | |
| JP2021060868A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| KR100939294B1 (ko) | 3차원 공간에서의 사람 움직임 추적 방법 및 장치 | |
| JP2018113021A (ja) | 情報処理装置およびその制御方法、プログラム | |
| JP2010057105A (ja) | オブジェクトの３次元追跡方法およびシステム | |
| JP2011513876A (ja) | 物体の動作を特徴づけるための方法およびシステム | |
| JP2007011490A (ja) | 道路パラメータ検出装置および道路パラメータ検出方法 | |
| JP6950644B2 (ja) | 注意対象推定装置及び注意対象推定方法 | |
| JP6659095B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2002366958A (ja) | 画像認識方法および画像認識装置 | |
| JP6583923B2 (ja) | カメラのキャリブレーション装置、方法及びプログラム | |
| JP6810442B2 (ja) | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 | |
| JP4268497B2 (ja) | 距離情報付加装置、付加映像生成装置、付加映像生成方法及び距離情報付加プログラム | |
| JP4559375B2 (ja) | 対象物位置追跡方法、装置、およびプログラム | |
| CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
| KR100994366B1 (ko) | 영상 추적 장치의 이동표적 움직임 추적 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051012 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061101 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080903 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081021 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090116 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090223 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090410 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101108 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110106 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |