WO2004042548A1

WO2004042548A1 - 運動検出装置

Info

Publication number: WO2004042548A1
Application number: PCT/JP2003/014070
Authority: WO
Inventors: Koh Mohri; Akio Kosaka
Original assignee: Olympus Corporation
Priority date: 2002-11-07
Filing date: 2003-11-04
Publication date: 2004-05-21
Also published as: KR100948704B1; JP2004157850A; EP1594039A1; US7489806B2; CN1711516A; JP4007899B2; EP1594039A4; US20050232467A1; KR20050072473A

Abstract

加速度センサ（２０）又は角速度センサ（１０）の少なくとも一方を用いて測定対象物の慣性運動を検出する慣性運動検出部（３０）と、測定対象物の周囲の画像を撮像する撮像部（４０）と、この撮像部（４０）により異なる時点で撮像された画像を比較する画像比較部（５０）と、この画像比較部（５０）により画像を比較した結果を用いて前記測定対象物の位置及び姿勢を検出するカメラ位置姿勢獲得部（６０）と、慣性運動検出部（３０）及びカメラ位置姿勢獲得部（６０）によって得られた情報をもとに、測定対象物の空間上での位置及び姿勢を検出する空間位置姿勢獲得部（７０）とから構成する。

Description

運動検出装置

技術分野

本発明は物体の位、姿勢及び動きを検出する運動検出装置に関するちのである

技術明

操作者の手にセンサを ¾¾ ¾"糸し、手の形状や動きを検出しての検出結果に基づいて信号を発生させる技術は従来から知られていた

例えば、米国特許第 5 0 9 2 5 2 号公報では、光源と光センサとを光ファィ等の導光路で接続してなるセンサを手の関節に複数取り付けて当該関節の曲がりを検出する技術が提案されている

また、特開平 9 ― 6 2 4 3 7号公報では、手袋を嵌めた手の甲に 2つの加速度センサを配置して手の 2次元方向の移動を検出し、また、手の人差し指の関節部分に 1 つのストレインゲージを配置して当該人差し指の屈伸運動を検出する、マウス代用のコンピュータ入力装置が提案されている。

さらに、本出願人による特開 2 0 0 0 - 1 3 2 3 0 5号公報では、手の甲に位置及び姿勢を検出する 3軸角速度センサと 3軸加速度センサとを配置し、人差し指の端部、中指の端部、親指の端部及び中央部に指の折り曲げを検出する 1軸角速度センサを配置して手の甲の位置 · 姿勢と指の姿勢とから手の形状を推定して、この手の形状や動きなどのジエスチヤに基づいてコマンド信号を生成する操作入力装置が提案されている。

前記特開 2 0 0 0 — 1 3 2 3 0 5号公報で提案されている技術、即ち、操作者の手の甲の位置及び姿勢を 3軸の角速度センサと 3軸の加速度センサを含む慣性センサで検出し、指の姿勢を端部の 1軸の角速度で検出してこれらの丁一夕に基づいて手の形状を推定し、この手の形状に基づいてマンド、信号を発生させる技術は、刖記米国特許第 5 0 9 2 5 2号公報や前記特開平 9 一 6 2 4 3 7号公報のような関節部にセンサを配置する技術と比較して、個人の手の大きさを考慮してセンサ位置を決定する必要がないので、汎用性がめ Ό 、誰でも簡単に利用できる。しかし、操作者の手の甲の速又、 1 rfなとの並進動の検出に加速度センサの時間積分を利用して、手の甲の位置 • 姿勢を正しく求めようとする技術では、手が停止している場と定速移動をしている場合の区別が困難であるフま Ό 、前述の技術では、手が停止している状態でのジェスチャと、手をほぼ一定の速度で動かすようなジエスチヤとを別するとが困難であった。そで、ィメ一ジセンサによて像される画像の中の自然特徴点の二軸方向の動きを検出する画像ヽ

I Cセンサと組合せ、周辺の自然画像の動きと慣性セノサとの対比をとることにより、手の甲の姿勢を正しく求めよ Ό とする方式が考えられている。

しかしながら、この画像 I Cセンサを用いる場 σ も、限られた画像 I Cセンサ数の士 ¾

には、予めどの方向の画像を取り込むようにしておくかか、な問題となるよたゝ多 <の方向の画像を同時に入力しようとすると、その画 ί象 I Cセンサ数を増やさなければならないのため、構成要表が増てしまい、また処理も重たくなつてしまう

発明の開示

本発明はのような課題に着巨してなされたものでありその目的は被装着物の空間位 βと姿勢及び動きを正確にき識できる運動検出装置及びこのような運動検出装置を直接あるいは間接的に身体に装着することで、体の部分の動きやジェスチヤなどを認識できる運動検出装置を提供するとにあまた、のような運動検出装置を装着した物体を把持あるいは持ちながら操作することで操作する装置の位 g 姿などの動ぎを検出する運検出装を提供するとにめる刖記の目的を達成するために、第 1 の発明にる動検出衣は、測定対象物の

置及び姿勢を検出する運動検出装置であて、加速度センサ又は角速度センサの少なくとも方を用いて刖記測定対象物の慣性運動を検出する慣性運動検出手段と、刖記慣性運動検出手段と固定され前記測定対象物の周囲の画像を撮像する撮像手段と刖記撮像手段に Ό異なる時点乙、像された画像を比較する画像比較手段と記画像比較手段により画像を比較した結果を用いて前記測定対象物の位置及び姿勢を検出する力メラ位置姿勢獲得手段と刖記慣性運動検出手段及び前力メラ位姿勢獲得手段によて得られた情報をもとに、記測対象物の空間上での位置及び姿勢を検出する空間位置姿勢獲手段とを具備するとを特徴とするの第 1 の明による検出では、角速度センサ又は加速度センサの信号が慣性動検出手段により取り込まれ、これらのセンサの姿勢情報が求められるま严

た像手段により周辺の画像が撮影され、連続して取り込まれた画像から特徴点が抽出される。画像比較手段は異なる時占での特徵点の位置を比較することにより特徴占の動さが求められるさらに慣性運動検出手段によて求められた測定対象物の慣性運動と、力メラ置姿勢検出手段により検出された間内での測定対象物の \ 置姿勢の情報をとにして測定対象物の空間上での位置及び姿勢が決定される

また、刖 SCの目的を達成するために、第 2 の発明による運動検出衣置は、第 1 の発明において、記撮像手段は画像を射影する光学手段をさらに旦備し、前記光学手段は、少な < とも 4枚の平面鏡を含み、れら少な < とも 4枚の平面鏡によりゝ刖記測対象物の周囲の画像を刖記撮像手段に射影する光学系を備えることを特徴とする

の第 2 の発明による運検出装置では、少なくとも 4面のミラ ―を用いて周辺画像を撮像手段に射影するとによ Ό 、レンズ光軸と直交する 4 の画像と、レンズ光軸方向の a計

5 つの領域に分割された中心射影像となる

また、刖目己の目的を達成するために、第 3 の発明による動検出衣置はゝ第 1 の発明にねいて、前記撮像手段は画像を射影する光学手段をさらに目.備し、刖記光学手段は曲面ラによ Ό 、刖記測定対象物の周囲の画像を刖 Ρし 3¾像手段に射影する光学系を備えるとを特徴とするこの第 3 の発明による議検出装置では、結像レンズ系の光軸と直交する全方向の画像と光軸方向の画像と ·* さらに中央を透過した画像とじ方向の画像が射影される

また刖記の目的を達成するために、第 4 の発明による動出置は、第 1 の発明において、前 5LJコ像手段は画像を射影する光学手段をさらに具備し、刖記光学手段は魚眼レンズにより前記測定対象物の周囲の画像を刖記撮像手段に射影する光学系を備えることを特徵とする

この第 4 の発明による運動検出装置では、眼レンズにより全天周の画像が撮像手段上に射影される

また刖記の目的を達成するために、第 5 の発明による動検出装置は、第 2 乃至第 4 の発明において身体の部に装着してその装着した部位の位置及び姿勢を検出するとを特徴とする

また刖記の目的を達成するために、第 6 の発明にる運動検出装置は 2 乃至第 4 の発明において手の甲に着して、手の位置及び姿勢を検出すを特徴とする

また刖記の目的を達成するために、第 Ί の発明による運動検出装置は乃主第 4 の発明において部に装着して、頭部の位置及び姿勢を検出することを特徴とする

これら第 5 〜第 7 の発明による運動検出装では動検出装置を装着した身体の位置及び姿勢が検出される

また記の目的を達成するために、第 8 の発明による運動検出 ft置は、第 1 の発明において、前記画像比較手は登録時の姿勢情報に対して、 W1記慣性運動検出手段によつて検出しの位及び姿と刖記ィ象手段の射影変換の関係とから特徴点の移動位置及び探索範囲を推定する特徴占移動推定手段を有し特徴占移動推疋手段は、追跡中の特徵点を現在のフレムから探索する画像マッチング処理を行

Ό とを特徴とする

の第 8 の発明による堪動検出装置では、画像処理手段に含まれる特徴点移動推定手段によて追跡中の特徴点が現在のフレ ―ムから探索される

また刖の目的を達成するために 9 の発明による運動検出装は、第 8 の発明において前記特徵点移動推定手段は登録時の前記特徴占の置座と m記特徴点の周辺画像における各画素の情報との各画素の情報を追跡するための各画素の移動推定画素位置情報と前記慣性運動検出手段によつて検出された現在の位置姿勢情報と、刖し像手段の射影変換の閧係とから各画素の移動 1 置を推定し特徴占移動後の画像を探索範囲内で走査して画像マ Vチング処理を行うことを特徴とする

の第 9 の発明による運動検出装置では、移動推定画像位置情報を画素毎に求めて特徴占周辺の各画素の情報が追跡されるまた、画像マッチング処理において、基画像の 1 画素毎に光学系 · 画像入力系を含めた射影変換を推定した画像位置の座標が対応付けられる

また刖己の目的を達成するために第 1 0 の発明による動検出装置は、第 8 の発明において前記特徴占移動推定手段は登録時にいて刖記特徴占を含む特徴点画像占における各画素の情報と、各画素の位置座標と、刖位座 feを追跡するための各画素の移動推定画素置情報と、前記慣性運動検出手段によつて検出された現在の位置姿勢情報と、刖記撮像手段の射影変換の関係とから、各画素の移動位置を推定し、特徵ハ占、、移動後の画像を探索範囲内で走查して画像マツチング処理を行うことを特徴とする

この第 1 0 の発明による動検出装置では、登録時の特徴点画像の各画素について、画素の位置を推定して位置座標が追跡されるこの追跡された位置座と慣性 ^動検出手段からの現在の位置姿勢情報と、撮像手段からの情報とから推定された各画素の移動位置に基づいて採索範囲が決定され、その範囲内において走查が行われることによりマッチング処理がなされる

また、記の目的を達成するために、第 1 1 の明による運動検出装置は、第 1 の発明において、刖記力メラ位置姿勢獲得手段は、各特徴点の運動ラメ一夕と特徴占、ヽに対して推定された奥行き情報から求められた力メラ位置姿勢情報より、各特徴点を含む画像から計測した運動ラメ一夕とカメラ位置姿勢情報から求めた運動べクトルとの誤差を求め、この誤差がある閾値を超える特徴点は無効な特徵ハ占、、判する無効特徴点判定手段をさらに有することを特徴とする

この第 1 1 の発明による： ιί動検出装置では、力メラ位置姿勢獲得手によって、各特徴ハ占、ヽの運動ラメ一夕と特徵点に基づいて推疋された奥行き情報とから力メラ位置姿勢情報が推定されるまた、各特徵点の画像から運動パラメ —夕が計測され、各特徴点の画像から計測された運動パラメ一夕と力メラ置情報から推定された運動パラメ一夕とが比較される。そして、比較された誤差がある閾値を超えるものについては無効な特徴点と判定される

,ヽ

また、刖記の目的を達成するために、第 1 2 の発明による運動検出装置は、第 1 1 の発明において、前記ハ、、効特徴点判定手段は、刖記無効な特徴点と判定した特徴点に関する情報を、その情報が消滅するまで、刖記無効な特徴ハ占、、の位置情報を追跡するハ、、効特徴点追跡手段さらにすることを特徴とす

•3 。この第 1 2 の発明による運動検出装置では、ハ、、効特徴点判定手段によつてハ、、効特徴点が消滅するまで無効特徴点の位置情報を追跡することで、無効特徵点の位置が常に把握される。

また、 f 記の目的を達成するために、第 1 3 の発明による運動検出装 βは、第 1 の発明におレて、 m gd力メラ位置姿勢獲得手段は、特徴点の新規登録において、特徴 ■m占ヽ情報としてフレーム画像から見た 3次元情報と現在のカメラフレームとを登録し、前記特徴点が現れてから消えるまでの間の特徴点を追跡し、それに ['ΐ して刖 §己フレーム画像から見た 3次元情報を更新し、さらに、別の特徴占が現れたときには、現在のカメラフレ ―ムから求められる刖記別の特徵点の 3次元情報を登録する (― とにより、連続する画像の中に現れては消えてゆく複数の特徴点画像の位置を追跡し、前記複数の特徴の動さよりヮ一ルド座標空間に対する現在のカメラフレームを獲得することを特徴とする。の第 1 3 の発明による運動検出装では、特徴占が現れてから消えるまでの間、特徴点の 3 次元情報が追跡され更新されるた新たに特徵点が現れた場合には現在の特徴点情報の 3次 7C情報が引き継がれる。

また m記の目的を達成するために第 1 4 の発明による運動検出装置は、第 1 の発明において刖己撮像手段は、画像を射影する光学手段をさらに具備し刖記画像比較手段は、 m記光学手段の入力光線軸を識別し、区分する画像射影区分マスク手段をさらに有することを特徴とする

の第 1 4 の発明による運動検出装置では、 ½像手段に画像を射影する光学系の入力光線軸を識別し区分するマスクが設けられている

また m記の目的を達成するために第 1 5 の発明による運動検出装置は l の発明において刖記画像比較手段は、特徴占画像の奥行き情報を解析し、その解析した奥行さ情報に応じて登録時の特徴点画像の大きさと特徴点探索範囲又は特徴占の登録数を切り替える適応型特徴点画像設定手段とをさらに有するとを特徴とする。

の第 1 5 の発明による運動検出装置では、適応型特徴点

5 Ah手段によつて特徴点画像の奥行き報が解析されその解析された値に応じて登録時の特徴点画像の大きさと特徴点の探索範囲又は特徴点登録数が切り替えられる

また、刖記の目的を達成するために第 1 6 の発明による運動検出装置は、第 5 の発明において既知の大きさ又は間隔の特徵点口心用識別マークの画像を初期化の時に取り込み、の取込んだ特徴占、 wt 用識別クの画像の大ささ又は間より奥行き情報を求めて登録する初期化手段をさらに有するとを特徴とする。

の第 1 6 の発明による運動検出装置では、既知の大ぎさ、又は間隔の特徴点 6^別用マクの画像が初期化時に取り込まれれら取り込まれた特徴点の大ささ又は間隔情報から奥行ぎ情報が求められ、登録される

また刖記の目的を達成するために、第 1 7 の発明による動検出置は 5 の発明において、予め定められた位置にけられた特徴点 i、口戴用 5 別マクの画像をこの特徵占。心識用識別マクから既知の距離だけ離れた位置から取り込みそのとぎの特徴点の奥行き情報を初期登録する初期化手段をさらに有するとを特徵とする

の第 1 7 の発明による動検出装置では、予め定められた位 βにけられた特徴占 B哉別マクの画像がこの特徴占識別マクから既知の距離だけ離れた距離から取り込まれ

の取 Ό込まれた画像に基づいて奥行き情報が登録されるまた刖記の目的を達成するために、第 1 8 の発明による動検出装置は笛 yw 5 の発明において、初期化の時に身体の部又は全体の画像を取り込み、その取り込んだ画像と予め移録しておいた身体の部又は全体の形状や大きさから求められる特徴点の奥行き情報を初期登録する初期化手段をさらに具備することを特徴とする

の第 1 8 の発明による動検出装置では、初期化時に身体の部あるいは全体の形状ゃ大ささカゝら特徴点の奥行さ情報が求められ、登録される

また前記の目的を達成するために第 1 9 の明による埋検出装置は、第 5 の発明において初期化の時に、身体の特徴部の画像を既知の距離から取り込みの取り込んだ画像から特徵点の奥行さ情報を初期登録する初期化手段をさらに具備することを特徵とする

この第 1 9 の発明にる動検出置では、第 5 の発明において初期化時に、運動検出装置の装着部からの入力画像に既知の距離の身体の特徴画像が取り込まれ、の取り込まれた画像に基づいて特徵占の奥行き情報が登録される

また前記の目的を達成するために第 2 0 の発明による運動検出装置は、第 5 の発明において初期化の時に、衣 ¾ 部から予め定められた方向及び距離の画像を取り込み、この取り込んだ画像中の特徴占の奥行き情報を初期登録する初期化手段をさらに具備するとを特徴とする

この第 2 0 の発明による動検出装置では、初期化時に、予め定められた方向及び距離の画像が取 Ό込まれこの取り込まれた画像に基づレて特徴占の奥行き情報が登録される。

また前記の目的を達成するために第 2 1 の発明による運動検出装は、第 5 の発明において初期化の時に、装着部位を規定の距離を移動させる動作を行いのとき取り込まれた画像によりの画像中の特徴占の奥行き情報を初期登録する初期化手段をさらに具備するとを特徴とする

この第 2 1 の発明による運動検出装置では、初期化時に、運動検出装置を装着した部位を規疋の距離を移動させる動作を行い、このとき取り込まれた画像に基づいて特徴点の奥行き情報が登録される。

また、前記の目的を達成するために、第 2 2 の発明に運動検出装置は、第 2 乃至第 4の発明において、手に把持あるいは持って操作する物体に固定あるいは装着して、その物体の位置及び姿勢を検出することを特徴とする。

この第 2 2 の発明による運動検出装置は、物体に運動検出装置を装着することで、その物体の慣性運動の情報と周囲の画像から求めたカメラ位置姿勢情報をもとにその物体の空間上での位置及び姿勢が検出される。

図面の簡単な説明

図 1 は、本発明の実施例に係る運動検出装置の機能動作の概要を説明するためのブロック図である。

図 2 は、撮像部等を含む操作入力装置の外観図である。図 3 は、ワールド座標空間における空間センサフレームと力メラセンサフレームの関係図である。

図 4 Aは、等立体射影レンズに入射する光線とその射影像との関係を示す図である。

図 4 Bは、特徴点探索開始位置と画像射影区分マスクデ夕のとの関係を示す図である。

図 5 Aは、運動検出装置における光学系の構成図である図 5 Bは、図 5 Aの光学系による撮像画像を示す図である図 6 Aは、 4面ミラー方式による光学系の構成図である図 6 Bは、ミラ一方式の光学系による撮像画像を示す図である。図 7 Aは、放物面へラ一を使用した光学系の構成図でる図 7 Bは、放物面、ラ一を使用した光卞系による撮像画像を示す図である。

図 8 は、本発明の実施例に係る動検出装置の中の画像処理に関する機能動作を明するためのブ Dック図でめる

図 9 Aは、光学系を通して取り込まれたフレ一ム画像とその抽出された特徴点画像の様子を示す図である

図 9 Bは、空間センサが回転移動した後に取 Ό込まれたフレ一ム画像上における探索特徵ハ占、ヽ画像の様子を示 "5 図である。図 1 0 Aは、登録特徴点画像情報をメモに登録したときのつタの概念図である

図 1 0 Bは、移動後の特徴ハ占、、画像フ夕の様子を示す図である

図 1 1 A及び図 1 1 Bは、本発明の実施例における録特徴点画像の例である

図 1 2 A及び図 1 2 Bは、本発明の別の実施例における登録特徴ハ占、ヽ画像の例である

図 1 3 は、連続するフレ一ム画像上での特徴ハ占、、の振るまいに関するイメージ図である

図 1 4 は、画像センサによ得られる特徴ハ占、、画像の力メラフレームの画像位 βと奥行き情報及びその不確定要素に関するィメ一ジ図である

図 1 5 は、特徴ハ占、ヽのッチング処理を繰り返すしとで、特徴点情報に関連付けられている姿勢情報と奥行さ情報の差が徐々に小さくなる様子 ·≥:示したィメ一ン図でめる図 1 6 は、 m動べクルの不確定要素が徐々に小さくなる様子のィメ一ン図でめる

図 1 7 は、ある特徵点の録時の空間姿勢情報 k と一つ前の姿勢情報 ( n一 1 ) と次に求めようとする姿勢情報 nの間の関係図でめる

図 1 8 は、動べク卜ルの不確定要素の関係を示した図でめ。

発明を実施するための最良の形態

以下、図面を参照して本発明の実施例を羊細に説明する。まず、本実施例に係る動検出装を適用した空間センサシステムの概略構成を図 1 に示す

空間センサフレ一ム { H } 上での X Y Z軸方向にそれぞれ配置された角度センサ 1 0 と加速度センサ 2 0 からの出力信号は慣性運動検出部 3 0 により慣性位置姿勢情報として取り込まれるまた、撮像部 4 0 にり連続的に取り込まれる O 周辺画像情報は、画像比較部 5 0 に入力される。画像比較部

5 0 は、入力された周辺画像情報から特徴点を抽出し、抽出した特徴点の動さを求めるこの画像比較部 5 0 からの比較情報と慣性動検出部 3 0 からの報とから、力メラ位置姿勢獲得部 6 0 によつて、力メラセンサフレ ―ム { C } が求められる。そして、慣性動検出部 3 0 と力メラ 1 置姿勢獲得部 6 0 力、らのそれぞれの姿勢情報から、ヮールド座標空間 {

W } における空間センサフレ一ムが空間位置姿勢獲

によって求められるな、画像比較部 5 0 では計算処理コストを下げるために、慣性動検出部 3 0 からの情報を利用している。

次に本実施例の運動検出装置の適用例の概略を説明する図 2 は従来案の手形状及ぴ姿勢位置検出用の慣性センサ群

2 と前述の撮像部 4 0等を含む空間センサ 1 を手に配置した様子を示したものである。

なお慣性センサ群 2 は、操作者の手の位置と姿勢、及びその動さを検出するために、前述の 3軸の角速度センサ 1

0 X 1 0 Υ 1 0 Ζ (以下、角速度センサ 1 0 と称する）及び 3軸の加速度センサ 2 0 X 2 0 Υ 2 0 Ζ (以下、加速度センサ 2 0 と称する）を含むセンサ群である

したがつて、手の甲の回転運動と並進運動は加速度センサ 2 0 と角速度センサ 1 0 から得られる情報により求めることがでさる。しかし、加速度センサ 2 0 には重力による重力加速度と慣性運動による慣性加速度が合成されているので、この重力加速度である傾き成分のフィル夕リングや、角速度センサ 1 0 の角速度を時間積分して得られる角度情報などにより、慣性加速度情報と重力加速度情報とを分離する。

このようにして求められた加速度センサ 2 0 から出力される慣性動による慣性加速度情報は、物体が定速移動又は停止している場にはゼロとなるので、その運動状態の区別がつかな < なる

さらに角：¾度センサ 1 0 による空間上の回転姿勢情報にはド U フなどによる誤差が発生するのため角速度センサ 1 0 による回転姿勢情報には加速度センサ 2 0 の重力加速度を基とするうに補正処理が行われるしかし、この補正では重軸周 Ό の回車 sに対する補正はできない

そこで本実施例では手の甲の位置と姿勢を検出するための刖述の慣性センサ群 2 に加えて周囲の画像を射影する光学系とその画像よ Ό空間 6軸方向の連動情報を検出する撮像部 4 0 としての画像センサ 4 0 a を備えるの画像センサ

4 0 a は、光軸方向が手の甲 Ζ座キ尔軸方向、つまり、手の甲面垂直方向と致するうに配置されるまた画像センサ

4 0 a のレンズは 1 8 0 1又の画角を有した魚眼レンズとなつている。ただし光軸方向や画角はの限りではない

したがつて衣着者の手の甲の側の全天周の画像を同時に像し、それらの画像の動さより画像センサ 4 0 a と周辺物体の相対的な運動を知るとがでぎるまた画像センサ

4 0 a と慣性センサ群 2 とをセンサ融合するとで、手の甲の空間上での姿勢と位置をより高精度に測定することが可能となる

で、動検出装置として見る場 α には、空間センサ 1 の中の加速度センサ 2 0 と角速度センサ 1 0 により構成される慣性センサ群 2 と周辺画像より姿勢を獲得する画像センサ

4 0 a による構成に注し指先のセンサ群 7 は考えなくてい

ヮルド座間における各センサの姿勢フレムの関係を図 3 に示す Ό ルド座標空間 { W } に対する及ぴ姿勢 (ポーズ ) を検出するセノサを空間 (姿勢）センサ 1 とし、その求めよとする位置及び姿勢をめらわすフレ ―ムを空間センサフレム { Η } とする慣性センサ群 2 は空間センサ 1 上に構成されている。ここでは、取扱いを簡単にするため慣性センサ群 2 の姿勢検出の軸（慣性センサフレム ) は空間センサ 1 のフレームと一致しているものとするまた、画像センサ 4 0 a により求められるカメラ位置姿勢 \ 報はヮ― ルド座標空間 { W } に対するカメラセンサフレーム { C } の位置姿勢（ポーズ ) 情報である。しかし、空間センサフレ一ム上に構築されているので、常に一定のフレーム変換マ卜 U ックスにより一致させることができる。

図 4 Aの上部に本実施例の光学系の入射光線と射出光線の概略をす

この光学系は入射角（ 0 ) に対して結像面での像高 ( y

) が y ： 2 f - S i n ( Θ . / 2 ) と：なる等立体角射影レンズの例で構成されており、物体の見かけの面積、つまり、物体の立体角に比例した像となるしかし像の形状は入射角が大きくなるに従つて変化し、 m平になるの光学系は超

ヽ

広角の魚眼レンズ等であれば、距離射影レノズやその他の形式でも構成することが可能でめる画角も 1 8 0度の光学系となっており、天頂方向に光軸を向けた場、全天周の画像が画像センサ 4 0 a上に射影される

入射光線は光学系の射影関係式より、天頂からの角度、つまり光軸中心に対する角度 ( Θ ) に対して、図 4 Αの下部に示す射影画 ί象の I ] 、円の円周上に射影され、角度が大きくなる（水平方向に傾く ) につれて、同心円の半径が大きくなる位置に射影位置が変わる。入射角が 9 0 度の光線は水平線からの光線で、円周の顺に射影されるととなる。また方位角方向からの光線は、射影画像の円の中心線の方位角と一致する線上に射影さる。

したがつて、射影画像上の円の中心置と半径がわかつているので、画像センサ 4 0 a上での 2 次元座標位置が与えられれば、入射光線の入射角と r 1丄、角 •ar求めることができる

図 4 Aの下部は入射光線角に対する像高の関係と力角の関係を、射影画像上で表した図であるまたの光学系による撮像系と慣性センサ群 2 を組み込んだ動検出装置のその他の実装形態の例を図 5 Aに示す。円筒形の筐体 4 6上部に超広角光学系のレンズ 4 1 0 を設置し、その下に撮像素子

4 2 0 を前述の射影条件となるように配置する。まんこ、 —の光学系はピンホールカメラのような結像系となり近点から遠点まで焦点の合った画像が結像されるさらにその下部の角速度センサと加速度センサを含む慣性センサ群 2 は、直交する空間 3軸方向を検出するように配置されるその他に、これらの信号を処理する処理系が組み込まれており、この装置単独で空間上の姿勢及び位置を検出するとが可能な構成となっている。 /よ、のような光学系の像画像を図 5 B に示す。また、図 6 A、図 6 B及び図 7 A 図 7 Βにはその他の光学系の変形例と、その光学系による像画像を示す

図 6 Aは 4枚の平面ミラ 6 a 、 6 b 、 6 c 、 6 dを四角錐 4 1 1 の側面に貼り付けた構成の例であるの四角錐 4

1 1 は頂点側がカツ卜された形状で、それを逆さまに配置し、平面ミラ — 6 a 、 6 b 、 6 c 、 6 d に反射された像が結像レンズ系 4 7 を通して撮像素子 4 2 0 に射影されるまた、四角錐 4 1 1 の底面 6 f と上面 6 e は共に明あるいは過であり結像レンズ 4 7 系の光軸方向の周辺像が透過して撮像素子 4 2 0 に射影されるしたがつて図 6 Bのようにレンズ光軸と直交する 4方向の画像 6 A 6 B 6 C 6 D と光軸方向 6 E の計 5 軸方向の画像が同時に撮像される。また

5 ラ ―枚数をもっと増やすことでさらに多 < の方向の画像をすることも可能であるの光学系による射影像は 5つの領域に分割された中心射影のため、画像情報の一次変換式によ特徵点の空間位置方向を容易に求めるとができる次の図 7 Aは放物面ラ―を利用した変形例でめる放物面形状 4 1 2 の外側をラ一としたものを配置する。放物面ミラ ― 7 a に反射された周辺像が結像レンズ系 4 7 を通して撮像素子 4 2 0 に射影されるこの図 7 Aの放射面形状 4 1

2 も前述したのと同様に、頂占は力ッ卜されている。上面 7 c と底面 7 b も共に透明、あるいは透過でめ Ό 結像レンズ系 4 7 の光軸方向の周辺像が透過して撮像素子 4 2 0 に射影されるしたがって、図 7 Βのように光軸と直交する全方向の画像 7 Aと光軸方向の画像 7 Bが同時に一

像されるさらに放物面ミラー 7 aでの反射像の画像は円形となるが、の外側には中央の透過した画像と同じ方向の画像 7 Dが射影されるよつて前述の平面 5 ラ一のタイプよりもより多 < の画像を時に撮像するとが可能となる

図 8 は、前述した図 1 の画像比較部 5 0 と力メラ位置姿勢部 6 0 の内部で行われる処理を機能的に示しているの図をもとに、本実施例における画像処理の流れを説明する射影光学系 4 1 0 を通して、撮像部 4 0 で光学像から信号に変換されさらには画像データとして記憶される。次にこの画像デー夕が画像比較部 5 0 に入力されるが严

像部

4 0 に射影される周辺像ィメージは円形となるのでの円形の外側の部分には画像テ一夕は存在しないこのため、後の画像処理などでの高速化を図るために、予め無効領域としての識別を可能とするマスクデ一夕を準備する。図 4 Bは、そのマスクデー夕 —を示したものであるでは、 2 0 0 X

2 0 0 画素の画像センサのつ夕と同じサィズにするこのとき、画像デー夕が無く後の画像処理を略したいところは「 0」のデー夕 •ar ぎ込み、それ以外の部分は「 0 J 以外のデータを書き込む。こでは、光軸中心が射影される座標位置を中心とする有効入射半径の円の外側が Γ 0 」の丁夕となっている。

このデータをもとに画像比較部 5 0 において、まずマスクデータ処理 5 1 がなされる。そして、マスクつ夕処理 5

1 がなされた後連続するフレーム画像として取り込まれた周辺画像は、前のフレーム 5 0 0 の画像との間での処理が行われ、さらに、この処理された画像に対してェ Vジ抽出処理が行われるこのェッジ抽出処理 5 2 では、入力画像のエッジ部を求めるために X方向及び Y方向の微分才ぺレタ（例えば S o b e 1 ォぺレ --夕）にるェジ抽出を行い

X Y両方向において、ェッジが存在する ¾所を探すれは後述する特徵点画像のマッチング処理 5 3 での誤りを減らすためである。ェッジ抽出処理 5 2 において、エツンが抽出された後、その画像データから周辺画像の相対的な動きを求めるために特徴占画像抽出処理 5 4が行われる。こでは特徵点となる画像を探すために予め決められた座標位置周りの入力画像のェッジを検知しその点を評価するとにより特徴点を探索して特徴点を抽出する。なお図 4 Aにおいては、探索開始座標位置を黒点とし、その周 Ό の矩形領域を探索範囲として特徴点初期探索位置情報が定義されている。れは、特徴点情報を多くの方向からのデー夕で登録できるようにするためであり、それは、空間センサ 1 の前後左右上の周辺方向からの特徴点の相対的な動きを比較することで、手の甲部の空間内での動きをより正しく推できるようにするためである。なお、この特徴点初期探索位置情報などの特徴点抽出に用いる情報は、新規特徴点探索テーブル 5 9 に記憶される。

特徴点が抽出されると、後に詳述する無効特徴点追跡処理

5 5 の後、特徴点登録処理 5 6 が行われる。特徴点登録処理

5 6 では新規の特徴点情報として、登録特徴点座標（ U k

V k ) と、さらに特徴点を中心位置とするある一定の矩形領域の特徵点画像と、この登録時に既に求められているワール座標空間 { W } に対する姿勢情報である空間センサフレームへの変換 { _Q H _k } あるいはその逆変換 { _k H。 } とが登録されさらに登録済みフラグもセッ卜される

さらに特徴点登録処理 5 6 では、図 4 Aにおける初期探索位置周りで抽出することができた全ての特徵点に対しての登録作業が行われる。これら登録した特徴点情報は、次に入力されるフレーム画象におけるマッチング処理 5 3 などで利用される

なお最初のフレーム処理つまり初期化のステップでは、次のッチング処理 5 3 は行われず、この画像比較部 5 0 の処理は終了する。さらにカメラ位置姿勢獲得部 6 0 では初期化処理 6 4が行われ、位置 · 姿勢情報の初期化処理が行われそして、次に入力されるフレーム画像に対して、前述と同様のマスクデ一夕処理 5 1 やフレーム間処理及びエッジ抽出処理 5 2 が行われる

て 2 フレーム目の処理以降からは、特徴点情報の登録済みフラグが調ベられ、ここで登録されている特徴点、すなわち登録済みフラグがセットされている場合には、現在のフレム内での登録特徴点座標（ U k , V k ) 付近で、登録画像と最も相関の高い部分を探索する。ここで、正しい位置が見つかると現在の特徴点座標として記憶し、特徴点探索フラグをセッ卜するまた見つからなかった場合は、登録情報の登録済みフラグと特徴点採索フラグをリセッ卜する。

での特徴点画像の探索処理において、通常のマツチング処理 5 3 として登録特徴点位置に対してある一定の範囲内において、特徴占画像を走査しながら、マッチング処理を行うそして、マ Vチング処理 5 3 の結果、相関値の最も高い場所をマツチング位置とし、この点を特徴点マッチング座標（ U V 一）とする。さらにある基準値を超える相関値の判定があった場合、正しく特徴点を探索できたと判定する本実施例による射影光学系 4 1 0 を通して取り込まれたフレム画象とその抽出された特徴占画像の様子を図 9 A、空間センサ 1 が回転移動した後、取 Ό込まれたフレム画像上における探索特徴点画像の様子を図 9 Bに；^:す。また図 1

0 Aはの登録特徴占画像情報をメモ V に登録したとぎのデ

―夕の概令図であるここで登録特徴占画像は 1 5 X 1 5画素の 8 ビ V 卜の階調ァ一夕とするの画像デー夕の中央画素 ( 7 7 ) 座標値が特徴点座標 ( U k V k ) 位置のつタとなるメモリ上では左上の画素を開始ァドレスとする連したテ一夕列として通常は管理される

そして、入力されたフレム画像に対して図 1 0 Bのように移動した特徴占画像デー夕をマッチング処理 5 3 で利用する □ の画素情報の佳

果八《しある登録特徴点画像の画像データをね合わせ、各画素の差分の絶対値の積分値が最も小さなとろを探す。そのために相関処理では、開始アドレスである特徴点座標（ U k V k ) に探索領域の大きさの平行移動分のァドレスとさらにァフィン変換による回転操作を加える必要があり、の平行移動と回転移動を組み合わせた走査をひとつの特徴点画像を探举するためにしなければならず、非常に多くの計算処理が必要となる。さらに、これを登録されている全ての特徴点に対して行わなければならず、非常に多 < の計算処理ス卜力かつてしまう

そこで、本実施例は、この時点で更新されている現在の空間センサフレーム n の位置姿勢（ワールド座標系からみた現在のセンサフレーム nへの座標変換を意味する） { _Q H _n } を算出するのに、各特徴点が登録された時点でのセンサフレーム kである {。 H _k } の逆変換 { _k H。 } と、各特徴点が登録されてから現在の空間センサフレ一ム n までの座標変換を表す相対運動パラメ一夕 { _k H _n } あるいはその逆変換である { _n H _k } を利用して推定する。数学的には、このパラメ一夕は、例えば、フレーム kでの座標値（ x _k， y _k , z _k ) が、センサフレーム nでの座標値（ x _n， y _n , ζ _η ) に対応するとすれば、

あるいは

で表される座標変換で表されるものとなる。ここで、 _n R _k は回転行列であり、 r _{5 j} ( i = 1 , 2 ， 3 ； j = 1 , 2 ， 3 ) を要素とする 3 X 3行列を表す。この行列は、 3個の独立なパラメ一夕（ Φ _χ， Φ _y , φ _ζ ) により表現できる。 ― 方、 _n T _kは並進ベクトルを表し、独立な 3個のパラメータ

( t _x， t _y , t _z ) で表現することができる。すなわち、各フレーム間の位置姿勢関係は計 6個のパラメ一夕、つまり、 ( φ Φ , t t . t _z ) で表すことが可能である

このとさ H _r ： H k ] めるいは η Η = n H k it H の関係式を利用しながら現時占のセンサフレム nのヮールド座キ示系における位置姿勢関係を推するわけである。

次にの運動パラメタと射影光学系の関係式より登録特徴占座 ( U k V k ) の現在のフレム画像内での座標値を推定するの特徴占移動推定処理 5 7 により得られた特徴点移動推定座 ( U P r d V Ρ r d ) 付近を探索することで探索領域を狭めるとがでぎ計算処理コストを下げるとができる

実際の特徵点画像丁夕の管理において、図 1 0 Aのような画素情報だけの管理とするとマッチング処理 5 3 の際の画像ァ夕走査の度に画素とに平行移動 ML置や回転等にる移動位置を射影変に Ό推定しなければならず、処理が複雑になつてしまう

したがて実際には図 1 1 Aのように、登録時の画素デ

―夕とに対応する X座標と Y座のための X Y移動推定画素座 n:領域を確保する次に特徵点探索のためのマツチング処理 5 3 の前に相対動ラメ夕 ] H _k } による各特徴占画像の画奉との移動推定位置を計算し、その計算した移動推定位置のデ夕を対応する画素の X Y移動推定画素座標領域に記録する予めの処理を既に登録されているすベての特徴点画像におけるすぺての画素つ夕に対して行つてお < そしての後のマッチング処理 5 3 にいてはの特微ハ占、、画像テ夕の X Y座標デ夕に画像デ夕の走查のための平行移動を加える操作だけで処理が可能とな全体の処理が簡単化される o

図 1 1 Bは録時の特徴点画像の位置と領域をの予め推定された X Υ移動推定画素座標よ位置に移動した状態を T iした図である o このよに座標変換された特徵占画像はもとの矩形画像形状ではな < 射影変換によ変形される

± ·¾县 A口ちある o しかしこのような形状の画像 T ―夕においてもマッナング処理 5 3 においては単純にァドヽレスの移動や相関値の計算などの加減演算のみの処理を行うだけでよい。

次にマッチング処理 5 3 における他の変形例について説明する o

特徵点の追跡において、対象となる物のそのままの形を追跡したい合がある例えば景が大き <移動する物体の前にあるォブン Xク卜や、ォブンェク卜の中に変動する領域が存在するなどが考えられる特徴点から得られた特徴点画像の中にのような変動する画像成分がある場 a 従来の方法で行とマッチングがでぎなくな Όてしまう場合がある o

そこで図 1 2 Aのように刖述した X Y移動推定画素座標 ¾域の他に録 X Y画素座標領域を設ける刖述の例においては、登録特徴ハ占、ヽ座標（ U k V k ) より各画素の録時の座標値を求めるために、登録特徵点画像の画素ァ夕を、特徴点を中心とする縦横固定の矩形領域のァ夕としていた。したがて、画素ごとの座標値を矩形領域の縦横の値より求め、それからその座標値に対して射影変換の変換式より、探索のための推定座標値を求めていた。しかし、この変形例においては、アドレス変換においてもこの登録画素座標デー夕に対して、直接射影変換を行い、その結果を移動推定画素座標に登録するだけでよい。

さらに、この登録画素位置の座標値を登録することができるので、その形状を矩形に限定する必要がなくなり、どのような形の特徵点画像も登録することができるようになる。一見複雑な形状の複雑そうな処理でも、単純な処理の繰り返しで実行することが可能となる。

したがて、例えば、映像の映し出されたモニ二夕に対してモ二夕の枠だけを特徴点画像領域として登録することもでき、映像の内容に左右されずにマッチング処理 5 3 をすることがでさる o

図 1 2 Bは、以上の変形例における登録時の特徴点画像と探索のための特徴点画像の移動位置と回転を推定した様子を示したものである。このように登録特徴点画像も矩形である必要もハ、ヽ < 、さらに推定される探索特徴点画像ももとの形状が変化しても、マッチング処理では単純な計算のみで行うことがでさる。以上までの移動位置を推定するために使用される現在の空間センサフレーム { _n H。 } 情報は、その時点までにおいては、慣性センサ群 2 によるフレーム情報の更新が i7¾間位置姿勢獲得部 7 0 で処理されているものである {。 H _n } の逆変換 { _n H。 } により算出されるが、撮像素子 4 2 0 による新はひとつ前の画像処理で求められた結果が反映している情報でめる。したがつて、慣性センサのドリフトなどによる誤差が蓄積されている可能性があるが、撮像素子 4

2 0 による更新レ ― 卜の間に発生する誤差は非常に小さな値である

までの処理で得られた特徴点情報より、カメラ位置姿勢獲得部 6 0 により現在の力メラ姿勢情報 { _n C 。 } を求めでの力メラ位置姿勢獲得部 6 0 では、カメラ座を中心としたヮルド座標系の動き（相対的な運動）を追跡するのとして定式化される。いったんカメラ座標系に対するヮルド、座標系の位置姿勢 { _n H _Q } を算出すれば、ヮルド、座標系に対する力メラ座標系（すなわち空間センサ系）の位置姿勢 { H , J は、その逆行列（逆変換）として容易に求めるとがでさるわけである。

で図 3 のように、力メラフレームは空間センサフレームでめる空間センサ 1 上に構築されているので、空間センサフレム { H } に定の変換マトリックス { _c R _H } を加えるとで常に力メラフレム { C } に変換することができる。したがつてこでは、明を簡単にするためにカメラフレム { C } と間センサフレーム { H } がー致しているものとして明するこで nは求めるフレームの番号、 0 は最初のフレム kは特徴点が登録された時のフレーム番号である先にも説明した通り、この最初のフレーム 0 では初期化処 a 6 4が行われるまた、このときの空間センサフレムは n = 0 となる。つまり、 { H } と { H _w } とが致、つまり、空間センサフレ一ム { H } とヮ一ルド座標空間 { W} とが一致した状態となるまた、この初期化のとさ撮像素子 4 2 0 から得られる特徴占は、奥行き情報 z が既知である特徴点位置を登録する。なでこの奥行き情報は、センサフレーム系に対する奥行き情報を示す。またの初期化処理 6 4 については後でさらに述べる。これより

{ _n C } と { _n H } は等価なものとして以下の説明を行う複数の画像イメージ · ス卜リームに特徴点が現れてから消えるまでの様子を図 1 3 に示す。

特徴点 i は最初にフレーム画像 kで現れ、また、特徴占はフレーム画像（ n — 2 ) で消えている。これらのフレム画像ごとに前述したマッチング処理 5 3 や特徴点登録処理 5

6 が行われる。特徴点が最初に登録された時点から、この特徵点の関連パラメ一夕として、特徴点座標 ( U , V) と奥行さ情報 z が使われる。このとき、奥行き情報 z に対する不確定要素 σ _zに最大値を割り当てるこの特徴点座標（ U V

) と奥行き情報 z を図 1 4 に示す

そして、特徵点が新しいフレーム画像において正しくマッチングが取れたとき、この特徴点が最初に登録されたときのカメラフレーム { _k C 。 } (つまり、 { _k H _D } と等価である ) からの回転と並進情報の推定値を利用し、現在の空間センサフレーム { _n H _Q } を更新する。フレーム kからフレーム nへの変換、すなわち、

{_nH_k}_:P = (" ，" ) と、それに関連する不確定要素 σ _ζを最初に更新し、それからフレーム 0 、フレーム k及びフレーム η の間の関係式 _η Η 。 = _n H _{k k} H。を使用して、フレーム 0 から n までの変換と、それに関連する不確定要素び _zを更新する。ここで、 p は運動べクトルを示す。図 1 5及び図 1 6 にその様子のイメージ図を示す。なお、 { _k H _Q } は、ここまでの処理で変換 · 更新されているので既知の値である。

次に、 { _n H。 } と関連する不確定要素 σ _ζ を順に更新することによって、特徴点画像の奥行き情報 ζ も更新することができる。これは、 { _n H _k } = _n H。。 H _kを計算することにより得られる特徴点 i の画像のための最初の { _n H _k } の再計算によるものと、それからフレーム k とフレーム n との対応関係である（ u， V ) と（ u '， V ' ) を基準とした奥行き情報 z を更新することによって行われる。この新しく求められた z が、次のフレーム変換の推定にも使われる。なお、各特徴点情報の内容は以下のように表される。

1 ) 特徴点が最初に現れて登録されたときのフレ一ム番号 k

2 ) フレーム kの中の標準化された特徴点座標（ u ,

V )

3 ) フレーム kにおいて定義される奥行き情報 z ( ( u， V ) と関連する形状ベクトル構成要素）

H₀ H。 R。,J。: H。( ^ 。, ， , ）（運動パラメ一夕）（すでに、登録時のフレームにおいて計算済み） 5 ) ひとつ前の空間センサフレ一ム { _n - i H _D } (すでに、前のフレームにおいて計算済み）

6 ) ひとつ前のフレーム（ n — 1 ) の中の標準化された特徴点座標 U p r e v ^v p r e v ^

7 ) ひとつ前のフレーム（ n — 1 ) での共分散マトリックス c o V

新たなフレーム画像において、各特徴点を目印として、前述のパラメ ―夕を各特徴点と関連させる。

さてで、前述の奥行き情報 z { _n H _k } や、その他の値を求めるために以下の処理を行う。また、各フレームの関係を図 1 7 に示す。

なおの時点で、前のフレームまでの運動パラメ一夕は評価し終わっていると仮定する。さらに、 { _k H。 } 及び { _n _！ H _k } はすでに平均値と共分散マ卜リックスで評価されているものとする。また、

を不確定要素を考慮しながら推定する。これにより、推定値 { _n H _n _ _x } が与えられるので { _n H。 } も推定することができる。

次に、フレーム（ n — 1 ) の中の特徴点リストにすでに登録されている特徴点のマッチングを行う。なお、図 1 7 において、 kはこの特徴点が最初に画像に現れたフレーム番号で、 ( u ' , V ' ) はフレーム nの中の特徴点の座標値である。そして、 c o v ( u ' , v ' ) はフレーム nでの共分散マ卜リックスである。

1 ) 以下のように、 Ά^Φ'^Φ ^Φ ^ ^) を予測する

, r.ein,} (式 1 )

2 ) { _n H _k } を更新するために、以下の制約を持たせる

z r_nu + r_nv + r_n ⁿt

u =

(式 2 )

Z\r₂₁u + r₂₂v + r₂₃]^ⁿt_y ^k

z\r u + r₃₂v + r_3i ⁱt_z ^k ここで、（ u '， v ' ) がフレーム n の中の測定値であり、そして平均値と共分散マトリックスに関して小さな不確定要素を持っている。

また、運動ベクトル P = ( ," H , )の初期算定値、特徴点座標（ u ' , V " ) と奥行き情報 z が得られる。

それから、 K a l m a n フィル夕を使用することによって運動べクトル Ρ = {"Φ",^ηΦ ^η _ζ" ,"ή )

及び奥行き情報 ζ を更新することができる。ここで、

5^ ₌ (>¾ ," ,"07, ）と fを、更新された平均値と共分散とする。

これで { _n H _k } が更新される。

次に { _n H _Q } の更新を行う。これらの処理において { _n H _k } の更新が得られたならば、再び K a 1 m a nフィルタを使用することによって { _n H。 } を更新することができる。

さらに _n H ₀ = _n H _{k k} H 0は、 { _n H _k } と { _k H o } の測定と、そして、 K a l m a nフィル夕によって算定されるパラメータ { _n H。 } によって考慮される。よって、 ( ,^ηΦ ,^ηΦ ,^η 、

P = ( d" ) となり、そのとき c o v ( a ) と c o v ( b ) は非常に小さな値である。さらに、 3次元式としては、以下の（式 3 ) をもつ。

f ( a , b , ρ ) = 0 (式 3

)

ここで、（式 3 ) における a、 b、 p、及び 0 はベクトル量である。 ρ を更新するためには、 K a l m a n フィルタを使用する。更新後の pの様子を図 1 8 に示す。

したがって、各特徴点画像と K a 1 m a n フィルタによって、

P = (K " " { ₀} を更新することができる。また、 K a l m a nフィル夕を順に p に適用することができるならば、 pの不確定要素を非常に大きく減らすことができる。

次に、フレーム kにおいて定義される奥行き情報 z を推定する。これ以降、 K a l m a nフィルタを順に運動ベクトル Pだけに適用する。そして、 p を更新したあと、再び K a 1 m a n フィルタを適用することによって z の不確定要素 σ _ζを減らすことができる。これは、以下の方法によってなされる。？ ^ ^/^，，，！^が算定された後、以下の（式 ⁴ ) を用いて再び H_t}を定式化する。

(式 4 )

最初に以下の式を使用して不確定要素を伝播させる。

，" ， „H。}

測定：

( , ;, _Z ， )_e{_fcH。}

両方とも、 { _n H _k } に対応する非常に小さい不確定要素を個々の特徴点によって運んでもらわなければならない。そこで、前述の（式 4 ) を考慮する。

そして、

とその共分散の評価値を得る。ここで、フレーム nの奥行き情報 z に適合させるフレーム k を持つ（ u '， V ' ) は、前述の（式 2 ) で定義される。

( U 一， V ' ) 及び c = ) e {„H₄}は、全ての測定値（または、すでに評価された値）と非相関となる。なお、奥行き情報 zはもちろん算定される。

フレーム nにおいて全ての値が算定された後、

c = ( , _z , , ) Ε{„Η_¾}や奥行き情報 z、及びその他の値が更新される。

以上のようにして、現在の状態を示すフレーム ηを基準とした初期フレーム 0 の位置姿勢の関係 ' { _η Η。 } が推定（更新 ) されると、ワールド座標系を基準とした現在フレームの位置姿勢 {。 Η _η } は、その逆行列（逆変換）として算出される。すなわち、

0 Η ο )

このようにしてカメラ座標系に対するワールド座標系の位置姿勢 { _n H _Q } (つまり { _n C 。 } である。）を算出すれば、ワールド座標系に対するカメラ座標系（すなわち空間センサ系）の位置姿勢 {。 H _n } は、その逆行列（逆変換）として容易に求めることができる。

ここで、前述のカメラ位置姿勢獲得部 6 0 において、初期フレーム 0 における初期化処理 6 4 について説明する。

カメラ位置姿勢獲得部 6 0 は、特徴点が現れてから消えるまでの間の特徴点情報を追いつづけ、この特徴点の 3次元情報を更新し続ける。さらに、別の特徴点が現れたときに、現在の特徴点情報の 3 次元情報を引き継ぐことで、カメラフレーム情報を更新し続けることができる。しかし、最初の空間センサが起動した時点では、どの特徴点も 3 次元情報を持つていないので、各特徴点は相対的な奥行き情報しか獲得するとができない。したがって、この初期化処理 6 4ではひとつ以上の既知の特徴点に、奥行き情報を与える処理を行うまず、この初期化処理の第 1 の方式について説明する。

なお、身体運動の検出手段として、本実施例の運動検出装置を利用する場合には、手や頭などに取り付けた運動検出装置から、装着者自身の体の少なくとも一部が見える部分に既知の大きさの識別マークを取り付ける。この識別マクは例えばある既知の間隔だけ離れた特徴点マークとしたりあるいは、ある既知の大きさの形をした識別クとしたりすることもできる。

例えば、電源が入力された後のパワーオンリセッ卜処理やセットスイッチによる強制リセット処理等の状態のとさに初期化処理 6 4が行われる。装着者はこの識別マクが画像センサ 4 0 a に入力される位置で、この初期化処理 6 4 を行うようにする。

また、図 2 に示したような、手の形状などの p cが可能なンエスチヤ操作入力装置を利用する場合には、手のリセッンヱスチヤ動作（例えばグー · パーと手の形状を変化させたときの動作をリセット操作と定義しておく）によりその処理を行うこともできる。画像センサ 4 0 a は初期化処理 6 4 のときに、まずこれらの識別マークを検出し、その既知の大ささから、識別マークより抽出される特徴点の奥行き情報 z を初期登録する。この初期化処理 6 4以降、カメラ位置姿勢獲得部 6 0 では、この登録した奥行き情報 Z を他の特徴点情報に対応付けしながら、力メラフレムを更新し続けることができ ο

したがって、初期化時に特別なマ ―クがある特定の場所などで行う必要がなく、いつでもどこでも簡単に初期化処理を行とができる。

また、初期化処理の第 2 の方式としし刖述した初期化処理の第 1 の方式と同様に、装着者自身の体の部に識別マクを取り付けるが、特に大きさや、間隔などの情報は必要としない方式もある。この方式は、身体のポ一ズ (例えば、手の位置 • 姿勢や頭の位置 · 姿勢など ) を、予め決められた状能にして初期化処理を行うものである。例えば、胸に識別マクとなるペンダント等を取り付ける。次に述のンエスチャ操作入力装置を利用して、このぺンダンの位置でリセ

、つ卜ジエスチヤ動作を行うようにする。この初期化処理では手の甲の画像センサ 4 0 aは予め決められた画像入力領域の特徴占を認識し、その奥行き情報 z を既知の値で登録する。したがつて、初期化のポーズとそのときの画像センサ 4 0 a から既知の特徵点までの距離は装着者自身が予め測定し、その値を初期値として入力しておく必要があるこのような方式であれば、特徴点の位置が認識できればよいので、特徴点の大ささや距離や形状などを認識する必要がなく、識別マークを小さくすることができる。

さらに初期化処理の第 3 の方式は身体に特別な識別マークを壮着することなく、身体自身の寸法や位置関係を既知の特徴点として利用する方式である。これは、前述の方式と同様に 2種類の方式がある。

一つめの方式は、装着者自身の身体の初期特徴占となる部分の寸法を予め測定し、初期録する方式である例えば顔の中の目を特徴点とするとぎには眼幅の距離を既知の距離として利用する。よ ¾Kの幅や肩幅などを既知の距離として利用してもよい。

さらにもう一つの方式は、初期化処理を予め決められた身体のポーズで行い、常に一定の距離から身体の一部の特徴占位置を抽出し、その特徵点位置が画像センサ 4 0 a に入力されるようにするものである。例えば、手を身体の前に出したときの初期化動作において、頭の距離を既知の距離として容、録したり、両手を一定間隔で開ぎ、片方の手からもう片方の手の位置までの距離を測定するためのジェスチャを初期化ポ一ズとしたりすることで、既知の距離を登録でさるうにする

れを刖 ¾bのンェスチヤ操作入力装 βで行た場八口には体の前の決められた位置でリセッ卜ンェスチャ動作を行うよにる。れにより、手の甲の画像センサ 4 0 a は常にめる一定範囲の方位と入射角の領域内にある顔の画像を抽出し、その特徴点を既知の特徴点情報として録するとがでさるこの方式では、初期化処理のときの既知の特徴点の探索範囲を限定することもできる

また、両方式をあわせた方法とすることも当然可能で、特徴占の既知の間隔と既知の距離情報を初期登録することで、精度を上げることができる

の第 3 の方式によれば身体に特徴占となる特別な別マクを装着するとなく初期化処理が行え、さらにその操作性を向上させるとが可能となる

初期化処理の第 4 の方式は初期化時の周りの環境と姿勢の関係とを利用する方式であるを前述のン工スチャ操作入力装置で行う場合には Uセットジエスチャ動作時の姿勢を例えば、起立した状 tlでさらに手の甲を下に向けた状能、あるいは画像センサ 4 0 a に足元の情報が見えるうな手の姿勢で行うと予め決めておく。さらに、この姿勢における、手の甲から床までの距離を予め測定し、初期登録しておぐ。のとき足元方向の画像より抽出される特徴占は、ほぼこの既知の距離情報の特徴占として登録することができる

また、頭部などに取り付けた運動検出装置の、例えば、起立状態の身長一夕を距離情報として利用でさるが、さらに首などの曲げによる周辺画像の変化に対しても足兀方向の画像を、空間センサ内の加速度センサ 2 0 の情報により検出できているので、常に足兀の画像情報となる特徵占を識別することがでさ -るよつて重力軸に対する頭から足元の特徴占の角度情報と空間セノサと足元までの距離により、特徴点までの距離を推定するとができる。したがつて、初期化処理のときだけでなく、常に奥行き情報がわかる特徴占して利用するともできるなお、の場合にはめ程度足元が開けた、限定された環境で利用することが条件となる。

次に初期化処理の第 5 の方式は、初期化動作として、予め既知の運を行うジ Xスチヤなどの動作を行うことで、初期化処理を行う方式である

例えば刖述のジスチゃ操作入力装置で行う場合には、初期化処理として、まず初期化開始ジェスチャ動作（例えばグー動作を開始動作とする。）により初期化処理を開始する。そして、予め設定していた初期位置から終了位 iiまで手を動かしで初期化終了ジ工スチャ動作（例えば、パ • グ動作を終了動作とする。）を行うことにより初期化情報の入力を終了させる。この動作としては、最初と最後の動作をふ直線距離が常に一定で既知の距離となることが重要である例えば手をいつぱいに前に伸ばした状態から身体に着ぐまでの連の動作により動く距離は、ほぼ定の距離情報として利用できる。

以上のの初期化ジエスチヤ動作の開始と終了の間で処理された周辺画像からの特徴点情報の運動パラメ一夕と奥行き推定情報に対して既知の移動距離情報を加えることで、各特徴 ώ-の奥行き情報を登録することができる。この方式は身体の寸法や位置関係情報を直接利用する方式ではなく、身体の操作部の動作範囲の情報を利用するものである。

以上のうに初期化処理 6 4 ではさまざまな方式で初期特徵点に対する奥行き情報 z の初期登録が可能で、める。れらは、単独で使用するとも可能であるが、それぞれを組み合わせて同時に行うことも可能である。また初期化時点でのンェスチャ動作により、使用する初期化方式を変えることもできる。次に特徴点探索のための新規開始位 «の探索方法について説明するマッチング処理 5 3 において録特徴点画像が探索できな < なるとその情報は廃棄されるしかし特徴点の数が少な < なると力メラ姿勢パラメ夕を求めるための情報量が減てしまい演算精度が落ちてしまう。また、肓 υ述したように、特徴占の入力画像の方向はなるべく全方向から入力されるよにすることが、姿勢情報の精度を上げるとになるしたがつて、特徴点のマツチングが取れないとして廃棄された場には、新たに特徵点を探し出して登録する必要があり、さらには、その特徵点の画像の入力方向が現在登録及び追跡されている特徴占画像の入力方向とは別の方向である必要がある

そこでこれより特徴点探索のためのテブル構築手法について図 4 B を参照しながら兑明する図 4 Bは、前述したマスクデ夕処理 5 1 のために使われるマスクデ一夕を拡張した画像射影区分マスク 7 夕である周辺の画像処理等を省略したい部分に関しては、 Γ 0」のァタとしているが射影ィメ ―ジの円形内部に関しては、厂 0 J 以外の数値情報が埋め込まれているさらにある区分領域とに数値デ一夕が埋め込まれておりこのデ夕をもとに現在探索中の特徵点の入力画像方向を別する

ここでは円形内 ^:部に 2つの同心円と、それぞれの同心円を方位方向で区分するいくつかの領域で分けられている。外側の同心円は 6つの領域であり、中間の同心円も 6つの領域であるが、外側とは異なる方向で区分けしている。これらの領域にはそれぞれの領域を識別するための号となる区分テ夕が埋め込まれているノこ、の識別番号には新規に特徴点を探索するための開始位置でめる探索開始座値がンクされている。この探索開始座標値は図 4 Bの各画像射区分マスクデータ領域のほぼ中央に描かれている黒丸の位置でめるなあ、の区分データは、図 8 の画像射影区分スクデータ 5 8 に対応するものである

つまり現在の特徵点位置のマツチングがマ Vチング処理

5 3 において正しく探索できたならば、その追跡座標値に相当するの画像射影区分マスクデ一夕 5 8 の区分テタをみ取るとで、その大体の入射方向を知ることがでさるようになるしかしこの入射方向の角度などを特に知る必要はいすでに登録されているすべての特徵点の探索座値に対しての処理を行い、現在探索中の特徵点が存在しない区分番号を求め、その区分番号の探索開始座標値を採索のための新規特徴点探索テーブルに登録するよにしてもよいのようにするとにより、新規探索特徴点座値でめる画像の入射方向を分散することができる

実際にれらの処理を計算で求めることも可能であるがそのとぎには現在の特徴点画像座標から射影変換の変式によ Ό 各特徴点における入射光線角 ( 0 ) と方位角を求めすベての特徴点の入射方向を分析しそれから次に探索する方向を決めることになる。この変換処理ゃ入射方向の分祈などにはより多 < の複雑な処理が必要となる。それに対し本実施例では、探索領域の数や方向は、この画像射影区分マスクつ夕 5 8 の内容を変えるだけで容易に変更することがでさる。

本実施例の特徴点情報の管理において、特徴点である対象物の有効性を判定 · 管理する機能を利用することができる。刖述の力メラ位置姿勢獲得部 6 0 における位置 · 姿勢演算処理 6 2 において、すベての特徴点の相対的な動きより求められる力メラフレ一ム { _n 0 } し、そのひとつ前の姿勢情報とにより画像処理サイクル間の相対的な姿勢の α } が求められる。その後、それぞれの特徴点のひとつ前のマッチング座標値に、の相対運動パラメ一夕 Η _η一！ } を利用して各特徴点の現在の動きを推定したときにの推定した座標値と、実際のマッチング座標値との差を評価し、その評価値がある閾値よりも大きい場合には、その特徴占を無効な特徵点と判定する。このような無効特徴点判定処理 6 3 で無効と判定された特徵点は、特徴点採索フラグをセッ卜したまま、特徴点登録フラグをリセッ卜する。

したがつて、自然特徴点の画像移動べクトルと空間センサ

1 からの姿勢情報とを比較することにより、周辺画像の特徴占なる対象物が、被計測物体にとて基準となる有用な物体か、それとも無効な移動物体か判定することが出来る。これにより空間センサの周りのヮールド座標空間内で固定された物体あるいは停止した物体のみを、姿勢を求めるための基準情報とすることで、より精確な姿勢を求めることが可能となる

なね、の無効と判定された特徵占は、画像比較部 5 0 の無効特徴点追跡処理 5 5 において、無効と判定された特徴占が存在する領域が登録されなレゝように処理される。つまり新規特徴点探索情報に再度追加されないように無効特徴占情報として管理される o

したがつて ant効特徵点は特徵点登録フラグがリセッ h状態であって、特徴占探索フラグがセッ卜された状態である o で、特徵点登録フラグ又は特徴点探索フラグが'セッ卜されている特徴点はマツチング処理 5 3 で通常の探索処理が行わる。したがつて、ここで再び正しくマチングが行われた特徵点に関しては、追跡フラグが再度セッ卜される o またマツチングが正し行われなかった場合には、特徴点登録フラグと特徴点探索フラグの両方がリセッ卜され、有効 • 挺効にかカゝわらず特徴点情報が廃棄される。次に特徵点登録フラグ力セッ卜されていない無効な特徵点に関しては、以降の力メラ位置姿勢獲得部 6 0 における姿勢情報を求める計算には利用されない。

以上のよう \ 効な特徵点はカメラ姿勢 0 における 3呉因となるので、単純に廃棄すると、また次の画像処理サイクルで特徴点として抽出されてしまう可能性が高再度姿勢計算処理等に利用されてしまう o よって、それらの 1 置を追跡して効な特徽点を管理する 1— とにより計算処理を少なくでさまた、精確な姿勢を求めることち可能とな o 刖述の画像比較部 5 0 において、特徴点を e哉別するための登録画像の大きさと探索範囲は、図 4 Aのように固定とした % 的に被測定物の並進移に対して 3S万の対象物の各特徴点では動きは小さいが、近占の対象物の各特徴点では遠占に比ベて動きが大きくなるまり近の特徴点よ推定される奥行き情報は測定度に大さ <影響する。

したがつて前述の力メラ位置姿勢獲得部 6 0 における特徵占推処理 6 1 において、特徴占の奥行さ情報 Z が推定された場 Q その特徴点が遠方の特徴点でめる ¾口にはその録画像のサイズを大き <再構築し探索範囲を小さくする。一方近占の特徴点である場合には逆に登録画像のサイズを小さ <変更し、探索範囲を大きぐするなおの処理が m求の範囲に記載の「適応型特徴画像定手段」の処理に対応するちのである。

で対象となるォブジェクの大ささや対象までの距離によりその射影光学系 4 1 0 の立体角が変わるので、距離情報に応じて最適な登録画像の大ささや探索範囲を変えないと近占の特徵点の画像ほど姿勢変化に対して登録画像の変形や移動範囲が大きくなつてしまい特徴占探索において正し < マ Vチングができなくなつてしま Ό o

そで登録特徴点情報の奥行き情報 Z をもとに、マッチング処理 5 3 のための画像サイズや探索範囲を m適な値に変更するとにより、姿勢検出精度の向上と処理速度の最適化が図られる o

本実施例の空間センサは、手や頭に装着するだけではなく身体の測定したい部分に装着するとでその部分の 6 自由度の空間姿を計測するとが可能な身体運動検出装置に利用することができる光や磁気などを利用したセンサのように近 <や周りに基準となる信号源を設置する必要がなく、どこでで利用することができる。また複数を同時に取り付けても相互の干渉や、データ更新レ ―卜の低下などもなく利用するとができる。まに、本実施例にお.ける図 5

Aのような空間センサを、仮想的なあるいは実際の筆記用具の末端部分に取 Ό付けることで、筆記状態のぺン先の動きを計測することがでさ、ペン入力型の操作入力装置などに利用することができる

また、本実施例の空間センサをデジタル力メラなどに取り付ければ、画像を連続して撮影する際に、空間姿勢情報も同時に記録するとができる。これらの撮影情報と空間姿勢情報とをもとに影した対象物の 3 次元情報を再構築する情報に使用するともでき、 3 次元画像データ構築力メラとしても利用するとがでさる。

以上のように身体に直接装着して利用するだけでなく、身体に着けたり手に持って利用したりする具などに取り付けて、その道目一自身の運動を計測すること可能である。

以上実施例に基づいて本発明を説明したが本発明は前述した実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である

産業上の利用可能性

以上詳述したように . 、本発明 ί 'こよれば、被装着物の空間位置と姿勢及び動きを正確に認識できる運動検出装置及びこのような運動検出装置を直接あるいは間接的に身体に装着することで、体の部分の動きゃジエスチヤなどを認識できる運動検出装置を提供することができる。また、このような運動検出装置を装着した物体を把持あるいは持ちながら操作することで、操作する装置の位置、姿勢などの動きを検出する運動検出装置を提供することができる。

特に、第 1 の発明では、加速度センサ又は角速度センサの信号から求めた慣性運動の情報に加えて像手段からの周辺画像の情報を用いて空間上での位置及び姿勢を求めることで、測定対象物の位置及び姿勢をより正確に測定でさ。

また、第 2 の発明では、射^像が 5つの領域に分割された中心射影なので画像情報の一次変換式により特徴点の空間位置及び方向を容易に求めることができる

また、第 3 の発明では、平面ミラ一夕ィプよ Ό も、より多

< の画像を時に取り込むことがでさる

また、第 4 の発明では、全天周からの画像を同時に取り込むことがでさる

また、第 5 乃至第 7 の発明では光や磁などを利用したセンサのよ Ό に近 <や周りに基準となる信号源を設置する必要が無くどでも利用することができるまた、複数を同時に取り付けても相互の干渉ゃデタ更新レ卜の低下などもない。

また、第 8 の発明では、現在の特徵点の位置やその周辺画像の回転処理などの予測を慣性センサからの姿勢情報をもとに予測するとで非常に高速に処理するとがでさる。また、慣性センサの移動量が少ないときには探索範囲を狭めたり、移動虽が大きな場合には探索範囲を広げたりして処理速度の向上と分析精度の向上の 2 つの目的を切り替えることができる。

また、第 9 の発明では、画素と座標値とを対応した情報としておくとで、不連続あるいは重累した画像情報に変換されても比較処理が容易にできる □ したがつて画素が点在した状態でマッチング処理を行うとが可能となりより正確かつ高速に処理を行うことができる

また、第 1 0 の発明では、登録画像の各画素を占在した画像データとして管理するのでフレーム画像内の局所ごと対応で見たり画像全体にしている特徵画素の対応として見ることが可能となる。つまり撮像れる画像の複雑さに対応して特徴領域を広げたり狭めたりでぎ、口果として、処理精度及び処理時間を制御するとができる

また、第 1 1 の発明では、閾値を超える fcのを効な特徵点と判定することで、周辺の画像の中で固定めるいは停止した物体のみを基準情報とするとで、より正確な勢を求めることが可能となる

また、第 1 2 の発明では、効な特徵点の位置を追跡してそれらの画像置を管理するとにより、計処理が少な < 算

正確な姿勢を求めることが可能となる。

また、第 1 3 の発明では、常に既知の奥行さ情報 •a:もつた特徴点などの基準マクを視野に入れなくとも特徴点の検出処理をしけることで差の少ない姿執情報を求めつづけることができる。また、 1 4 の発明では現在の特徴点位置からの射影画像方向と分類を簡単に知るとができるとともに、計算処理を高速に行うことができる

また、第 1 5 の発明では登録特徵点情報の奥行き情報をもとに、マッチングのための画像サイズや探索範囲を最適な値に変更して、姿勢検出の精度の向上と処理速度の最適化が図られる

また、第 1 6 の発明では別マークがあれば、いつでもどこでも簡単に初期化処理を行ことができる。

また、第 1 7 の発明では別マークがあれば、いつでもどこでも簡単に初期化処理を行ことができ、さらに、識別マクの形状が変化しても対応できる

また、第 1 8 第 1 9及び第 2 1 の発明では、初期化時に特別 /よ別 Ύ クを装着する必要がない

また、第 2 0 の発明では初期化時に特別な識別マークを装着する必要がなく、さらに初期化後の計測中においても特徴占夕を補正するとができる

また、第 2 2 の発明では手に把持めるいは持つて操作する物体に動検出装置を装着することにより、操作する装置の位 m 姿勢などの動きを検出することができる

Claims

1 • 測定対象物の位

及び勢を検出する検出装置でめつて

加速度センサ又は角速度センサの少なくとも方を用いて記測定対象物の慣性動を検出する慣性運動検出手段と刖 B慣性運動検出手段と固定され前記測定対象物の周囲の画像を撮像する撮像手段との

刖 BH撮像手段により異なる時占で撮像された画像を比較する画像比較手段と

囲

刖記画像比較手段により画像を比車父した ?Ρ口果を用いて刖記測定対象物の位置及び姿勢を検出するカメラ位姿勢獲得手段と、

刖（3己慣性運動検出手段及び刖記力メラ位置姿勢獲得手段につて得られた情報をもとに前記測定対象物の空間上での位置及び姿勢を検出する空間位置姿勢獲得手段と

を具備するとを特徴とする運動検出装置 o

2 - 刖記撮像手段は画像を射影する光学手段をさらに備レ

m 己光学手段は、少な < と 4枚の平面鏡を含みこれら少なくとも 4枚の平面鏡により、刖記測定対物の周囲の画像 ill記撮像手段に射する光子- 玄

？を備えることを特徴とする請求項 1 に記載の運 m検出装 m

3 - 刖記撮像手段は画像を射影する光学手段をさらに巨備

7

レ

刖 S己光学手段は、曲面ラにより、前測定対象物の周囲の ¾ 1冢を刖記像手段に射影する光学系を備えることを特徴とする請求項 1 に記載の運動検出装置

4 • 刖記撮像手段は画を射影する光チ手段をさらに具備

1

レ刖記光学手段は魚眼レンズにより、刖記測定対象物の周の画を刖記撮像手段に射影する光学系を備 ό しとを特徴とする請求項 1 に記載の運動検出装置

5 • 身体の部に装着してその装着した部位の位置及び姿勢を検出するとを特徴とする請求項 2 乃至 4 のいずれかつに記載の動検出装置

6 • 手の甲に装着して手の位置及び姿勢を検出することを特徴とする冃求項 2 乃至 4 のいずれか ―つに記載の運動検出装置。

7 • 頭部に着して、部の位置及び姿勢を検出することを特徴とする求項 2 乃至 4 のいずれかつに記載の運動検出装置。

8 • iu記画像比手段は登録時の姿勢情報に対して、刖記慣性運動検出手段によつて検出した現在の位置及び姿勢と刖記撮像手段の射影変換の関係とから特徴点の移動位置及び探索範囲を推定する特徴占移動推定手段を有し

f?tj記特徴点移動推定手段は追跡中の特徵点を現在のフレムから探索する画像マソチング処理を行うことを特徴とする m求項 1 に記載の運動検出装 ίΑ

9 • 前記特徵点移動推定手段は、登録時の前記特徴点の位置座標と、前記特徵 ώの周辺画像における各画素の情報と、この各画素の情報を追跡するための各画虫の移推定画素位置情報と、前記慣性運動検出手段によつて検出された現在の位置姿勢情報と、前記撮像手段の射影変換の闋係とから、各画素の移動位置を推定し、特徵点移動後の画像を探索範囲内で走査して画像マツチング処理を行うことを特徴とする請求項 8 に記載の運動検出装置

1 0 . 前記特徴点移動推定手段は、登録時にいて前記特徴点を含む特徴点画像占おける各画素の情報と各画素の位置座標と、刖記位置座標を追跡するための各画素の移動推定画素位置情報と、刖記慣性運動検出手段によて検出された現在の位置姿勢情報と、前記撮像手段の射影変換の関係とから、各画素の移動位置を推定し、特徴占移動後の画像を探索範囲内で走査して画像マツチング処理を行うとを特徴とする請求項 8 に記載の運動検出装置。

1 1 . 而己カメラ位置姿勢獲得手段は各特徴占の運動パラメ一夕と特徴点に対して推定された奥行さ情報から求められたカメラ位置姿勢情報より、各特徴点を含む画像から計測した運動パラメータと力メラ位置姿勢情報から求めた運動べクトルとの誤差を求めの誤差がある閾値をえる特徴点は無効な特徵点と判疋する無効特徴点判定手段をさらに有することを特徵とする m求項 1 に記載の運動検出装置

1 2 . 前記無効特徴点判定手段は、前記効な特徵点と判定した特徴点に関する情報を、その情報が消滅するまで、前記無効な特徴点の位置情報を追跡する無効特徴占追跡手段をさらに有することを特徴とする請求項 1 1 に記載の運動検出

1 3 . HU 己力メラ得手段は、

特徵点の新規登録においてゝ特徴点情報としてフレ一ム画像から見た 3 次元情報と現在のカメラフレームとを登録し、前記特徴点が現れてから消えるまでの間の特徴点を追跡しそれに応じて刖記フレーム画像から見た 3 次元情報を更新しさらに、別の特徴点が現れたときには、現在のカメラフレ

—ムカゝら求められる前記別の特徴点の 3 次元情報を登録することにより、

連続する画像の中に現れては消えてゆく複数の特徴ハ占、ヽ画像の位置を追跡し、刖記複数の特徴の動きよりヮールド座標空間に対する現在の力メラフレ ―ムを獲得することを特徵とする請求項 1 に記載の運動検出装 Λ

1 4 . 前記撮像手段は、画像を射影する光学手段をさらに具備し、

前記画像比手段光学手段の入射光線軸を識別し区分する画像射影区分マスク手段をさらに有することを特徴とする請求項 1 に記載の運動検出装服。

1 5 . 刖記画像比較手段は、特徴点画像の奥行き情報を解祈し、その解析した奥行き情報に応じて登録時の特徴ハ占、ヽ画像の大きさと特徴点探索範囲又は特徴点の登録数を切り替える適応型特徴点画像設定手段とをさらに有することを特徵とする請求項 1 に記載の運動検出衣

1 6 . 既知の大ささ又は間隔の特徴点認識用識別マ一クの画像を初期化の時に取り込み、この取り込んだ特徵点口心用識別マクの画像の大きさ又は間隔より奥行き情報を求めて登録する初期化手段をさらに有するとを特徴とする m求項

5 に記載の運動検出装置。

1 7 - 予め定められた位置に設けられた特徴占。心識用識別マクの画像を、の特徴点 =¾J ¾ ffl 別マークから既知の距離だけ離れた位置から取り込み、そのときの特徴占の奥行き情報を初期登録する初期化手段をさらに有するとを特徴とする求項 5 に記載の運動検出装置

1 8 初期化の時に身体の一部又は全体の画像を取込み、その取り込んだ画像と予め登録しておいた身体の部又は全体の形状や大きさから求められる特徴点の奥行き情報を初期登録する初期化手段をさらに具備することを特徴とする請求項 5 に記載の運動検出装置。

1 9 - 初期化の時に、身体の特徵部の画像を既知の距離ら取り込み、この取り込んだ画像から特徵点の奥行き情報を初期容録する初期化手段をさらに具備することを特徵とする請求項 5 に記載の動検出装 m

2 0 - 初期化の時 ί t 壮部から予め定められた方向及び距離の画像を取り込み、この取り込んだ画像中の特徵占の奥行き情報を初期登録する初期化手段をさらに具備するとを特徴とする請求項 5 に記載の運動検出 ¾置

2 1 初期化の時に、看部位を規定の距離を移動させる動作を行い、このとき取り込まれた画像によりの画像中の特徵占の奥行き情報を初期登録する初期化手段をさらに具備するとを特徴とす請求項 5 に記載の運動検出装置

2 2 . 手に把持あるいは持って操作する物体に固定あるいは装着して、その物体の位置及び姿勢を検出することを特徴とする請求項 2 乃至 4 のいずれか一つに記載の運動検出装置。