JPH11306363A - 画像入力装置及び画像入力方法 - Google Patents
画像入力装置及び画像入力方法Info
- Publication number
- JPH11306363A JPH11306363A JP10158925A JP15892598A JPH11306363A JP H11306363 A JPH11306363 A JP H11306363A JP 10158925 A JP10158925 A JP 10158925A JP 15892598 A JP15892598 A JP 15892598A JP H11306363 A JPH11306363 A JP H11306363A
- Authority
- JP
- Japan
- Prior art keywords
- image
- angular velocity
- sensor
- disturbance
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】移動しながら物体を撮影する条件のもとで、計
算コストが少なくかつ撮影した対象物の姿勢検出を高精
度で実現する。 【解決手段】撮像手段２の重力方向に対する姿勢を加速
度センサ４１１で検出し、撮像手段２の重力回りの回転
角を、磁気方位を検知する磁気センサ４１２で検出し
て、移動して撮像する撮像手段２の姿勢情報を検知し
て、撮像手段２で撮影した被写体の３次元形状を簡単な
計算で精度良く復元する。
算コストが少なくかつ撮影した対象物の姿勢検出を高精
度で実現する。 【解決手段】撮像手段２の重力方向に対する姿勢を加速
度センサ４１１で検出し、撮像手段２の重力回りの回転
角を、磁気方位を検知する磁気センサ４１２で検出し
て、移動して撮像する撮像手段２の姿勢情報を検知し
て、撮像手段２で撮影した被写体の３次元形状を簡単な
計算で精度良く復元する。
Description
【０００１】
【発明の属する技術分野】この発明は、連続する複数枚
の画像から撮影したときカメラ等の撮像手段の姿勢と位
置及び撮影した対象物の３次元形状を復元する画像入力
装置及び画像入力方法に関するものである。
の画像から撮影したときカメラ等の撮像手段の姿勢と位
置及び撮影した対象物の３次元形状を復元する画像入力
装置及び画像入力方法に関するものである。
【０００２】
【従来の技術】対象物の３次元形状を復元する研究は、
自律移動ロボットの視覚をはじめとして様々な分野で進
められている。特に近年は電子技術の飛躍的な進歩によ
る計算機や電子機器の普及が急速に進み、手軽に３次元
情報の立体表示が楽しめるようになった。それに対して
実世界の対象物や情景の３次元情報入力技術の発展が期
待されている。
自律移動ロボットの視覚をはじめとして様々な分野で進
められている。特に近年は電子技術の飛躍的な進歩によ
る計算機や電子機器の普及が急速に進み、手軽に３次元
情報の立体表示が楽しめるようになった。それに対して
実世界の対象物や情景の３次元情報入力技術の発展が期
待されている。
【０００３】対象物までの距離や形状を測定する方法
は、対象物に光波や超音波を照射する能動的な方法とス
テレオ画像法に代表される受動的な方法がある。能動的
方法は、光や電波，音波の波動を対象に照射し、対象か
らの反射波の伝播時間を計測することにより対象までの
距離を求める方法やカメラと位置関係が既知の光源から
特定のパターンを持ったスリット光やスポット光等を対
象物に照射し、その歪みを観測して対象物の形状を求め
る光投影法などがある。能動的方法は一般に装置の小型
化に問題がある反面、高速かつ高精度に距離を測定でき
るという特徴がある。一方、受動的方法は多眼立体視と
運動立体視に大別される。多眼立体視は互いの位置と姿
勢が既知である複数のカメラを用いて対象物を撮影した
画像から各画像間の特徴点または領域の対応付けを行
い、三角測量の原理で被写体の３次元形状を計算する方
法である。しかし画像に重畳されたノイズ等により対応
付けの誤差が存在したり、視差が十分にとれない場合
に、大きな距離測定誤差を生じやすいという問題点があ
る。運動立体視は１台のカメラを移動させながらある対
象物を撮影し、連続する画像間の対応付けを行い、カメ
ラの位置と姿勢及び被写体の３次元形状を計算する方法
で行なわれる。この方法も多眼立体視と同様の問題点が
あるほか、多眼立体視とは異なり画像間のカメラの位置
と姿勢情報が未知であり、一般に複雑な非線形方程式を
反復演算で解く必要がる。そのため、計算量が膨大であ
り、その解も不安定になりやすい。
は、対象物に光波や超音波を照射する能動的な方法とス
テレオ画像法に代表される受動的な方法がある。能動的
方法は、光や電波，音波の波動を対象に照射し、対象か
らの反射波の伝播時間を計測することにより対象までの
距離を求める方法やカメラと位置関係が既知の光源から
特定のパターンを持ったスリット光やスポット光等を対
象物に照射し、その歪みを観測して対象物の形状を求め
る光投影法などがある。能動的方法は一般に装置の小型
化に問題がある反面、高速かつ高精度に距離を測定でき
るという特徴がある。一方、受動的方法は多眼立体視と
運動立体視に大別される。多眼立体視は互いの位置と姿
勢が既知である複数のカメラを用いて対象物を撮影した
画像から各画像間の特徴点または領域の対応付けを行
い、三角測量の原理で被写体の３次元形状を計算する方
法である。しかし画像に重畳されたノイズ等により対応
付けの誤差が存在したり、視差が十分にとれない場合
に、大きな距離測定誤差を生じやすいという問題点があ
る。運動立体視は１台のカメラを移動させながらある対
象物を撮影し、連続する画像間の対応付けを行い、カメ
ラの位置と姿勢及び被写体の３次元形状を計算する方法
で行なわれる。この方法も多眼立体視と同様の問題点が
あるほか、多眼立体視とは異なり画像間のカメラの位置
と姿勢情報が未知であり、一般に複雑な非線形方程式を
反復演算で解く必要がる。そのため、計算量が膨大であ
り、その解も不安定になりやすい。
【０００４】この受動的方法の問題点に対し、画像以外
に距離や加速度，角速度，磁気など画像以外のセンサを
併用して、小さな計算コストで３次元形状復元を図る方
法が特開平７−１８１０２４号公報や特開平９−８１７
９０号公報，特開平９−１８７０３８号公報等に開示さ
れている。特開平７−１８１０２４号公報に示された方
法は、撮像装置に加速度センサや角速度センサなどの移
動量検出部を設置し、移動量検出部で得られたカメラの
移動量を並進運動成分（基線長）と回転成分に分解し、
対応点探索結果より対象物の３次元形状を復元してい
る。また、特開平９−８１７９０号公報に示された方法
は、撮影装置の動きを角速度センサ及び加速度センサに
より検出し、異なる視点からの光軸が任意の点で交わる
ように光軸方向を補正して特徴点の消失を防ぎながら３
次元復元を高速に行うようにしている。特開平９−１８
７０３８号公報に示された方法は、複数の視点位置から
物体の一部が重複するように物体を撮影し、レンズ位置
信号とカメラ位置信号より撮像パラメータを求め、撮像
パラメータと各画像データを用いてシャッターを押すた
びに物体の距離分布を求め、距離分布より３次元モデル
を形成するようにしている。
に距離や加速度，角速度，磁気など画像以外のセンサを
併用して、小さな計算コストで３次元形状復元を図る方
法が特開平７−１８１０２４号公報や特開平９−８１７
９０号公報，特開平９−１８７０３８号公報等に開示さ
れている。特開平７−１８１０２４号公報に示された方
法は、撮像装置に加速度センサや角速度センサなどの移
動量検出部を設置し、移動量検出部で得られたカメラの
移動量を並進運動成分（基線長）と回転成分に分解し、
対応点探索結果より対象物の３次元形状を復元してい
る。また、特開平９−８１７９０号公報に示された方法
は、撮影装置の動きを角速度センサ及び加速度センサに
より検出し、異なる視点からの光軸が任意の点で交わる
ように光軸方向を補正して特徴点の消失を防ぎながら３
次元復元を高速に行うようにしている。特開平９−１８
７０３８号公報に示された方法は、複数の視点位置から
物体の一部が重複するように物体を撮影し、レンズ位置
信号とカメラ位置信号より撮像パラメータを求め、撮像
パラメータと各画像データを用いてシャッターを押すた
びに物体の距離分布を求め、距離分布より３次元モデル
を形成するようにしている。
【０００５】
【発明が解決しようとする課題】特開平７−１８１０２
４号公報に示された方法は、移動量検出部の設置により
異なる視点間のカメラの相対的な位置と姿勢を求めるこ
とにより高速化と装置の小型化が可能になるが、移動量
計算時に機械的な角速度センサ等のセンサ信号を積分す
る必要があるため、経時的に移動量の誤差成分が蓄積さ
れるという問題がある。また、特開平９−８１７９０号
公報に示された方法は、対象物とカメラの距離があらか
じめ設定されているため、特定の撮影条件のもとでのみ
３次元形状を復元することができる。さらに、光軸の向
きを変えるための駆動機構が必要であるため、装置の構
造が複雑になってしまう。特開平９−１８７０３８号公
報に示された方法は、カメラ位置は加速度センサ又は振
動ジャイロの出力信号を積分することにより求められる
が、各センサの出力信号を積分処理することにより、経
時的に移動量の誤差成分が蓄積されるという問題があ
る。
４号公報に示された方法は、移動量検出部の設置により
異なる視点間のカメラの相対的な位置と姿勢を求めるこ
とにより高速化と装置の小型化が可能になるが、移動量
計算時に機械的な角速度センサ等のセンサ信号を積分す
る必要があるため、経時的に移動量の誤差成分が蓄積さ
れるという問題がある。また、特開平９−８１７９０号
公報に示された方法は、対象物とカメラの距離があらか
じめ設定されているため、特定の撮影条件のもとでのみ
３次元形状を復元することができる。さらに、光軸の向
きを変えるための駆動機構が必要であるため、装置の構
造が複雑になってしまう。特開平９−１８７０３８号公
報に示された方法は、カメラ位置は加速度センサ又は振
動ジャイロの出力信号を積分することにより求められる
が、各センサの出力信号を積分処理することにより、経
時的に移動量の誤差成分が蓄積されるという問題があ
る。
【０００６】この発明はかかる問題を解消し、移動しな
がら物体を撮影する条件のもとで、計算コストが少なく
かつ撮影した対象物の姿勢検出を高精度で実現すること
ができる画像入力装置及び画像入力方法を提供すること
を目的とするものである。
がら物体を撮影する条件のもとで、計算コストが少なく
かつ撮影した対象物の姿勢検出を高精度で実現すること
ができる画像入力装置及び画像入力方法を提供すること
を目的とするものである。
【０００７】
【課題を解決するための手段】この発明に係る画像入力
装置は、撮像手段と対応検出手段と運動検出手段及び３
次元演算手段を有し、撮像手段は被写体の画像を入力
し、対応検出手段は撮像手段を移動して撮像したとき
に、撮像手段から得られた複数枚の画像間の対応点を求
め、運動検出手段は姿勢算出手段と並進成分算出手段を
有し、姿勢算出手段は撮像手段を移動して撮像すると
き、撮像手段の姿勢情報を検出するものであり、撮像手
段の各視点における重力方向に対する姿勢を検出する加
速度センサと、磁気方位を検知して撮像手段の重力回り
の回転角を検出する磁気センサと撮像手段の回転角速度
を検知する角速度センサのいずれか一方又は双方を有
し、並進成分算出手段は姿勢算出手段で算出した撮像手
段の姿勢情報と対応検出手段で検出した画像間の対応点
から撮像手段の並進運動成分を算出し、３次元演算手段
は入力した画像情報と算出した撮像手段の姿勢情報と並
進運動成分及び特徴点の対応付け結果から被写体の３次
元形状を計算して復元することを特徴とする。
装置は、撮像手段と対応検出手段と運動検出手段及び３
次元演算手段を有し、撮像手段は被写体の画像を入力
し、対応検出手段は撮像手段を移動して撮像したとき
に、撮像手段から得られた複数枚の画像間の対応点を求
め、運動検出手段は姿勢算出手段と並進成分算出手段を
有し、姿勢算出手段は撮像手段を移動して撮像すると
き、撮像手段の姿勢情報を検出するものであり、撮像手
段の各視点における重力方向に対する姿勢を検出する加
速度センサと、磁気方位を検知して撮像手段の重力回り
の回転角を検出する磁気センサと撮像手段の回転角速度
を検知する角速度センサのいずれか一方又は双方を有
し、並進成分算出手段は姿勢算出手段で算出した撮像手
段の姿勢情報と対応検出手段で検出した画像間の対応点
から撮像手段の並進運動成分を算出し、３次元演算手段
は入力した画像情報と算出した撮像手段の姿勢情報と並
進運動成分及び特徴点の対応付け結果から被写体の３次
元形状を計算して復元することを特徴とする。
【０００８】この発明に係る画像入力方法は、撮像手段
を移動して複数の視点で被写体の画像を入力し、各視点
における撮像手段の重力方向に対する姿勢を加速度セン
サで検出し、撮像手段の重力回りの回転角を、磁気方位
を検知する磁気センサあるいは撮像手段の回転角速度を
検知する角速度センサ又は磁気センサと角速度センサの
両方で検出し、撮像手段の重力方向に対する姿勢と重力
回りの回転角から撮像手段の姿勢情報を算出し、撮像手
段から得られた複数枚の画像間の対応点を求め、撮像手
段の姿勢情報と画像間の対応点から撮像手段の並進運動
成分を算出し、入力した画像情報と算出した撮像手段の
姿勢情報と並進運動成分及び特徴点の対応付け結果から
被写体の３次元形状を計算して復元することを特徴とす
る。
を移動して複数の視点で被写体の画像を入力し、各視点
における撮像手段の重力方向に対する姿勢を加速度セン
サで検出し、撮像手段の重力回りの回転角を、磁気方位
を検知する磁気センサあるいは撮像手段の回転角速度を
検知する角速度センサ又は磁気センサと角速度センサの
両方で検出し、撮像手段の重力方向に対する姿勢と重力
回りの回転角から撮像手段の姿勢情報を算出し、撮像手
段から得られた複数枚の画像間の対応点を求め、撮像手
段の姿勢情報と画像間の対応点から撮像手段の並進運動
成分を算出し、入力した画像情報と算出した撮像手段の
姿勢情報と並進運動成分及び特徴点の対応付け結果から
被写体の３次元形状を計算して復元することを特徴とす
る。
【０００９】上記加速度センサと磁気センサのいずれか
一方又は双方の出力信号の乱れを検出する乱れ信号検出
手段を有することが望ましい。そして、加速度センサの
出力信号の乱れを検出したときに、加速度センサの出力
信号から算出した姿勢情報を磁気センサで求めた姿勢情
報又は磁気センサで求めた姿勢情報と角速度センサで求
めた姿勢情報で補償する。また、乱れ信号検出手段で磁
気センサの出力信号の乱れを検出したときに、磁気セン
サの出力信号から算出した姿勢情報を加速度センサで求
めた姿勢情報又は加速度センサで求めた姿勢情報と角速
度センサで求めた姿勢情報で補償したり、乱れ信号検出
手段で加速度センサと磁気センサの出力信号の乱れを検
出したときに、加速度センサと磁気センサの出力信号か
ら算出した姿勢情報を角速度センサで求めた姿勢情報で
補償する。
一方又は双方の出力信号の乱れを検出する乱れ信号検出
手段を有することが望ましい。そして、加速度センサの
出力信号の乱れを検出したときに、加速度センサの出力
信号から算出した姿勢情報を磁気センサで求めた姿勢情
報又は磁気センサで求めた姿勢情報と角速度センサで求
めた姿勢情報で補償する。また、乱れ信号検出手段で磁
気センサの出力信号の乱れを検出したときに、磁気セン
サの出力信号から算出した姿勢情報を加速度センサで求
めた姿勢情報又は加速度センサで求めた姿勢情報と角速
度センサで求めた姿勢情報で補償したり、乱れ信号検出
手段で加速度センサと磁気センサの出力信号の乱れを検
出したときに、加速度センサと磁気センサの出力信号か
ら算出した姿勢情報を角速度センサで求めた姿勢情報で
補償する。
【００１０】
【発明の実施の形態】この発明の画像入力装置は撮像手
段と対応検出手段と運動検出手段と３次元演算手段及び
記憶手段を有する。撮像手段は被写体を撮影し、その画
像情報を電気信号に変換する。対応検出手段は撮像手段
を移動しながら連続的に撮影した画像間の特徴点の対応
付けを行う。運動検出手段は撮像手段を移動して撮影し
ているときに、撮像手段の姿勢情報を算出し、算出した
姿勢情報と撮影した画像間の特徴点の対応付け結果から
撮像手段の位置情報である並進成分を算出するものであ
り、センサ部と前処理手段と姿勢算出手段と視線ベクト
ル算出手段と並進成分算出手段及び乱れ信号検出手段を
有する。センサ部には撮像手段の重力方向に対する姿勢
を検出する３軸加速度センサと撮像手段の重力回りの回
転角を磁気方位を検知する３軸磁気センサ及び撮像手段
の回転角速度を検知する３軸角速度センサを有する。３
次元演算手段は運動検出手段から出力される姿勢情報と
並進成分及び対応検出手段の対応付け結果より三角測量
の原理で被写体の３次元構造を算出する。記憶手段は得
られた姿勢情報と並進成分と被写体の３次元形状及び各
画像を記録する。
段と対応検出手段と運動検出手段と３次元演算手段及び
記憶手段を有する。撮像手段は被写体を撮影し、その画
像情報を電気信号に変換する。対応検出手段は撮像手段
を移動しながら連続的に撮影した画像間の特徴点の対応
付けを行う。運動検出手段は撮像手段を移動して撮影し
ているときに、撮像手段の姿勢情報を算出し、算出した
姿勢情報と撮影した画像間の特徴点の対応付け結果から
撮像手段の位置情報である並進成分を算出するものであ
り、センサ部と前処理手段と姿勢算出手段と視線ベクト
ル算出手段と並進成分算出手段及び乱れ信号検出手段を
有する。センサ部には撮像手段の重力方向に対する姿勢
を検出する３軸加速度センサと撮像手段の重力回りの回
転角を磁気方位を検知する３軸磁気センサ及び撮像手段
の回転角速度を検知する３軸角速度センサを有する。３
次元演算手段は運動検出手段から出力される姿勢情報と
並進成分及び対応検出手段の対応付け結果より三角測量
の原理で被写体の３次元構造を算出する。記憶手段は得
られた姿勢情報と並進成分と被写体の３次元形状及び各
画像を記録する。
【００１１】撮像手段で撮影している画像取込み開始を
指令すると、運動検出手段の姿勢算出手段は画像と加速
度信号及び磁気信号あるいは角速度信号を取り込み、撮
像手段の姿勢の初期値を検出する。そののち画像取り込
み停止が指令されるまで、一定時間間隔ごとに画像撮影
と姿勢算出を行う。この姿勢算出を行なうときに、乱れ
信号検出手段が３軸加速度センサの信号に乱れを検出し
た場合、姿勢算出手段は加速度センサの出力信号から算
出した姿勢情報を磁気センサの出力信号で求めた姿勢情
報と角速度センサの出力信号で求めた姿勢情報で補償す
る。そして各時刻における画像及び姿勢情報と加速度信
号の乱れ検出の有無を示す検出結果を記憶手段に格納す
る。画像取込み停止が指令が出されると、対応検出手段
は記憶手段に格納された時系列の画像情報より対応付け
を行い、視線ベクトル算出手段は対応付け結果と姿勢情
報により各時刻における対応点のワールド座標系を基準
とした視線ベクトルを算出する。並進成分算出手段は対
応点の視線ベクトル群より並進成分を求める。３次元演
算手段は並進成分と姿勢情報より、三角測量の原理で被
写体の３次元形状復元を行う。
指令すると、運動検出手段の姿勢算出手段は画像と加速
度信号及び磁気信号あるいは角速度信号を取り込み、撮
像手段の姿勢の初期値を検出する。そののち画像取り込
み停止が指令されるまで、一定時間間隔ごとに画像撮影
と姿勢算出を行う。この姿勢算出を行なうときに、乱れ
信号検出手段が３軸加速度センサの信号に乱れを検出し
た場合、姿勢算出手段は加速度センサの出力信号から算
出した姿勢情報を磁気センサの出力信号で求めた姿勢情
報と角速度センサの出力信号で求めた姿勢情報で補償す
る。そして各時刻における画像及び姿勢情報と加速度信
号の乱れ検出の有無を示す検出結果を記憶手段に格納す
る。画像取込み停止が指令が出されると、対応検出手段
は記憶手段に格納された時系列の画像情報より対応付け
を行い、視線ベクトル算出手段は対応付け結果と姿勢情
報により各時刻における対応点のワールド座標系を基準
とした視線ベクトルを算出する。並進成分算出手段は対
応点の視線ベクトル群より並進成分を求める。３次元演
算手段は並進成分と姿勢情報より、三角測量の原理で被
写体の３次元形状復元を行う。
【００１２】
【実施例】図１はこの発明の一実施例の構成を示すブロ
ック図である。図に示すように、画像入力装置１は撮像
手段２と焦点距離検出手段３と運動検出手段４と対応検
出手段５と３次元演算手段６及び記憶手段７を有する。
撮像手段２はレンズとＣＣＤ等の画像センサとサンプル
・ホールド回路等より構成され、被写体を撮影し、その
画像情報を電気信号に変換する。焦点距離検出手段３
は、撮像手段２のレンズの位置に応じて焦点距離を求め
て符号化して出力する。運動検出手段４は撮像手段２を
移動して撮影しているときに、撮像手段２の姿勢情報と
位置情報である並進成分を算出する。対応検出手段５は
撮像手段２を移動しながら連続的に撮影した画像間の特
徴点の対応付けを行う。この対応付けには動画像におけ
る一般的な特徴追跡法、例えば動画像圧縮で使用されて
いるブロックマッチング等の相関法や時空間により画像
の速度場を求めて画像の動きベクトルを算出する方法等
が利用される。３次元演算手段６は運動検出手段４から
出力される姿勢情報と並進成分及び対応検出手段５の対
応付け結果より三角測量の原理で被写体の３次元構造を
算出する。記憶手段７は半導体メモリや磁気テープ等か
らなり、得られた姿勢情報と並進成分と被写体の３次元
形状及び各画像を記録する。
ック図である。図に示すように、画像入力装置１は撮像
手段２と焦点距離検出手段３と運動検出手段４と対応検
出手段５と３次元演算手段６及び記憶手段７を有する。
撮像手段２はレンズとＣＣＤ等の画像センサとサンプル
・ホールド回路等より構成され、被写体を撮影し、その
画像情報を電気信号に変換する。焦点距離検出手段３
は、撮像手段２のレンズの位置に応じて焦点距離を求め
て符号化して出力する。運動検出手段４は撮像手段２を
移動して撮影しているときに、撮像手段２の姿勢情報と
位置情報である並進成分を算出する。対応検出手段５は
撮像手段２を移動しながら連続的に撮影した画像間の特
徴点の対応付けを行う。この対応付けには動画像におけ
る一般的な特徴追跡法、例えば動画像圧縮で使用されて
いるブロックマッチング等の相関法や時空間により画像
の速度場を求めて画像の動きベクトルを算出する方法等
が利用される。３次元演算手段６は運動検出手段４から
出力される姿勢情報と並進成分及び対応検出手段５の対
応付け結果より三角測量の原理で被写体の３次元構造を
算出する。記憶手段７は半導体メモリや磁気テープ等か
らなり、得られた姿勢情報と並進成分と被写体の３次元
形状及び各画像を記録する。
【００１３】運動検出手段４は、図２，図３のブロック
図に示すように、センサ部４１と前処理手段４２と姿勢
算出手段４３と視線ベクトル算出手段４４及び並進成分
算出手段４５を有する。センサ部４１には、図２に示す
ように、撮像手段２の重力方向に対する姿勢を検出する
３軸加速度センサ４１１ａ，４１１ｂ，４１１ｃと、撮
像手段２の重力回りの回転角を磁気方位を検知する３軸
磁気センサ４１２ａ，４１２ｂ，４１２ｃを有したり、
図３に示すように、３軸加速度センサ４１１ａ，４１１
ｂ，４１１ｃと３軸磁気センサ４１２ａ，４１２ｂ，４
１２ｃ及び撮像手段２の回転角速度を検知する３軸角速
度センサ４１３ａ，４１３ｂ，４１３ｃを有する。
図に示すように、センサ部４１と前処理手段４２と姿勢
算出手段４３と視線ベクトル算出手段４４及び並進成分
算出手段４５を有する。センサ部４１には、図２に示す
ように、撮像手段２の重力方向に対する姿勢を検出する
３軸加速度センサ４１１ａ，４１１ｂ，４１１ｃと、撮
像手段２の重力回りの回転角を磁気方位を検知する３軸
磁気センサ４１２ａ，４１２ｂ，４１２ｃを有したり、
図３に示すように、３軸加速度センサ４１１ａ，４１１
ｂ，４１１ｃと３軸磁気センサ４１２ａ，４１２ｂ，４
１２ｃ及び撮像手段２の回転角速度を検知する３軸角速
度センサ４１３ａ，４１３ｂ，４１３ｃを有する。
【００１４】上記のように構成した画像入力装置１の動
作を説明するにあたり、まず運動検出手段４で３軸加速
度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ
〜４１２ｃの検出値から撮像手段２の姿勢情報と並進運
動成分を算出する動作と、３軸加速度センサ４１１ａ〜
４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出
値から撮像手段２の姿勢情報と並進運動成分を算出する
動作を説明する。
作を説明するにあたり、まず運動検出手段４で３軸加速
度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ
〜４１２ｃの検出値から撮像手段２の姿勢情報と並進運
動成分を算出する動作と、３軸加速度センサ４１１ａ〜
４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出
値から撮像手段２の姿勢情報と並進運動成分を算出する
動作を説明する。
【００１５】〔１〕３軸加速度センサ４１１ａ〜４１１
ｃと３軸磁気センサ４１２ａ〜４１２ｃの検出値を使用
した場合。図４に示すように、撮像手段２のｘｙｚ座標
系のｚ軸の正方向を光軸方向とし、ｘ軸の正方向を画像
面２１に対して右向き方向とし、ｙ軸の正方向を画像面
２１に対して下向き方向とし、図５に示すように、ワー
ルド座標系のＹ軸の正方向を重力加速度の向きとし、Ｚ
軸の正方向を磁気の向きとし、Ｘ軸の正方向をＸＹＺの
順に右手直交系をなす向きとする。また、簡単のために
撮像手段２の移動により生じる運動速度は無視でき、重
力加速度と磁場は直交し、かつ磁場は地磁気以外に存在
しないと仮定する。なお、厳密には地磁気の伏角が存在
し、地磁気と重力加速度とは直交しないが、伏角が既知
ならば地磁気の向きと重力加速度が直交する場合と同様
に計算できる。また、３軸で地磁気を検出すれば伏角が
未知でも姿勢情報を計算可能である。すなわち、Ｘ軸の
正方向を東向きにとり、Ｚ軸の正方向を北向きにとる。
ｃと３軸磁気センサ４１２ａ〜４１２ｃの検出値を使用
した場合。図４に示すように、撮像手段２のｘｙｚ座標
系のｚ軸の正方向を光軸方向とし、ｘ軸の正方向を画像
面２１に対して右向き方向とし、ｙ軸の正方向を画像面
２１に対して下向き方向とし、図５に示すように、ワー
ルド座標系のＹ軸の正方向を重力加速度の向きとし、Ｚ
軸の正方向を磁気の向きとし、Ｘ軸の正方向をＸＹＺの
順に右手直交系をなす向きとする。また、簡単のために
撮像手段２の移動により生じる運動速度は無視でき、重
力加速度と磁場は直交し、かつ磁場は地磁気以外に存在
しないと仮定する。なお、厳密には地磁気の伏角が存在
し、地磁気と重力加速度とは直交しないが、伏角が既知
ならば地磁気の向きと重力加速度が直交する場合と同様
に計算できる。また、３軸で地磁気を検出すれば伏角が
未知でも姿勢情報を計算可能である。すなわち、Ｘ軸の
正方向を東向きにとり、Ｚ軸の正方向を北向きにとる。
【００１６】加速度センサ４１１ａは重力加速度のｘ軸
成分を検出し、加速度センサ４１１ｂは重力加速度のｙ
軸成分を検出し、加速度センサ４１１ｃは重力加速度の
ｚ軸成分を検出する。磁気センサ４１２ａ〜４１２ｃも
同様に地磁気のｘ軸成分とｙ軸成分及びｚ軸成分を検出
する。前処理手段４２は３軸加速度センサ４１１ａ〜４
１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの出力信号
のフィルタリングや増幅等の信号処理やＡ／Ｄ変換を行
う。姿勢算出手段４３は前処理手段４２で処理したセン
サ信号より撮像手段２の姿勢情報を算出する。視線ベク
トル算出手段４４は焦点距離検出手段３から出力された
焦点距離と姿勢算出手段４３で算出した姿勢情報より、
対応検出手段５から出力される各時刻における対応点に
対してワールド座標系を基準とした視線ベクトルを算出
する。並進成分算出手段４５は視線ベクトル算出手段４
４で算出した各時刻の対応点のワールド座標系を基準と
した視線ベクトル群より撮像手段２の並進成分を算出す
る。
成分を検出し、加速度センサ４１１ｂは重力加速度のｙ
軸成分を検出し、加速度センサ４１１ｃは重力加速度の
ｚ軸成分を検出する。磁気センサ４１２ａ〜４１２ｃも
同様に地磁気のｘ軸成分とｙ軸成分及びｚ軸成分を検出
する。前処理手段４２は３軸加速度センサ４１１ａ〜４
１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの出力信号
のフィルタリングや増幅等の信号処理やＡ／Ｄ変換を行
う。姿勢算出手段４３は前処理手段４２で処理したセン
サ信号より撮像手段２の姿勢情報を算出する。視線ベク
トル算出手段４４は焦点距離検出手段３から出力された
焦点距離と姿勢算出手段４３で算出した姿勢情報より、
対応検出手段５から出力される各時刻における対応点に
対してワールド座標系を基準とした視線ベクトルを算出
する。並進成分算出手段４５は視線ベクトル算出手段４
４で算出した各時刻の対応点のワールド座標系を基準と
した視線ベクトル群より撮像手段２の並進成分を算出す
る。
【００１７】この撮像手段２の並進成分を算出するとき
の動作を詳細に説明する。ワールド座標系に対する装置
座標系の姿勢をワールド座標系を基準とした下記（１）
式の回転行列で記述する。
の動作を詳細に説明する。ワールド座標系に対する装置
座標系の姿勢をワールド座標系を基準とした下記（１）
式の回転行列で記述する。
【００１８】
【数１】
【００１９】（１）式において、α，β，γはそれぞれ
ワールド座標系を基準としたＸ軸とＹ軸とＺ軸回りの回
転角であり、このとき画像入力装置１を次ぎの順に回転
させたことに相当する。すなわち、ＸＹＺ座標系とｘｙ
ｚ座標系が一致している状態から、画像入力装置１をＺ
軸回りにγだけ回転してからＸ軸回りにαだけ回転し、
その後、Ｙ軸回りにβだけ回転する。ここで重力加速度
ベクトルｇvと地磁気ベクトルＭvをワールド座標系にお
いて下記（２）式で表わし、加速度センサ４１１ａ〜４
１１ｃと磁気センサ４１２ａ〜４１２ｃにより検出され
た装置座標系を基準とした加速度ベクトルａvと地磁気
ベクトルｍvをそれぞれ下記（３）式で表わすと、重力
加速度ベクトルｇvと加速度ベクトルａvの関係及び地磁
気ベクトルＭvと地磁気ベクトルｍvの関係は、回転ベク
トルＲを用いて下記（４）式と（５）式で記述される。
ワールド座標系を基準としたＸ軸とＹ軸とＺ軸回りの回
転角であり、このとき画像入力装置１を次ぎの順に回転
させたことに相当する。すなわち、ＸＹＺ座標系とｘｙ
ｚ座標系が一致している状態から、画像入力装置１をＺ
軸回りにγだけ回転してからＸ軸回りにαだけ回転し、
その後、Ｙ軸回りにβだけ回転する。ここで重力加速度
ベクトルｇvと地磁気ベクトルＭvをワールド座標系にお
いて下記（２）式で表わし、加速度センサ４１１ａ〜４
１１ｃと磁気センサ４１２ａ〜４１２ｃにより検出され
た装置座標系を基準とした加速度ベクトルａvと地磁気
ベクトルｍvをそれぞれ下記（３）式で表わすと、重力
加速度ベクトルｇvと加速度ベクトルａvの関係及び地磁
気ベクトルＭvと地磁気ベクトルｍvの関係は、回転ベク
トルＲを用いて下記（４）式と（５）式で記述される。
【００２０】
【数２】
【００２１】（３）式において、Ｍは地磁気の絶対値、
φは地磁気の伏角である。（４）式よりＸ軸回りの回転
角αとＺ軸回りの回転角γが下記（６）式と（７）式で
計算される。
φは地磁気の伏角である。（４）式よりＸ軸回りの回転
角αとＺ軸回りの回転角γが下記（６）式と（７）式で
計算される。
【００２２】
【数３】
【００２３】また、Ｘ軸回りの回転角αとＺ軸回りの回
転角γが既知である場合、（５）式により地磁気ベクト
ルｍvからＹ軸回りの回転角βが下記（８）式と（９）
式で計算される。
転角γが既知である場合、（５）式により地磁気ベクト
ルｍvからＹ軸回りの回転角βが下記（８）式と（９）
式で計算される。
【００２４】
【数４】
【００２５】姿勢算出手段４３は以上の計算により回転
角α、β、γ及び回転行列Ｒを３軸加速度センサ４１１
ａ〜４１１ｃ及び３軸磁気センサ４１２ａ〜４１２ｃの
検出値より算出する。
角α、β、γ及び回転行列Ｒを３軸加速度センサ４１１
ａ〜４１１ｃ及び３軸磁気センサ４１２ａ〜４１２ｃの
検出値より算出する。
【００２６】また、撮像手段２の光学系は、図４に示す
ように、焦点距離をｆとする中心射影モデルであると仮
定すると、対象点Ａの画像上の点Ｂ（ｘ，ｙ）に対する
単位視線ベクトルｐは下記（１０）式で求められる。
ように、焦点距離をｆとする中心射影モデルであると仮
定すると、対象点Ａの画像上の点Ｂ（ｘ，ｙ）に対する
単位視線ベクトルｐは下記（１０）式で求められる。
【００２７】
【数５】
【００２８】但し（１０）式の単位視線ベクトルｐは撮
像座標系を基準とした視線ベクトルである。例えば図６
に示すように、第１視点Ｃ１で撮像した時刻（ｔ−１）
における対象点Ａｉの画像上の点Ｂ１（ｘt-1, I ,ｙ
t-1,i)と第２視点Ｃ２で撮像した時刻ｔにおける対象点
Ａｉの画像上の点Ｂ２（ｘt, I ,ｙt,i）に対しては、下
記（１１）式と（１２）式で単位視線ベクトルｐt-1,i,
と単位視線ベクトルｐt,i が算出される。
像座標系を基準とした視線ベクトルである。例えば図６
に示すように、第１視点Ｃ１で撮像した時刻（ｔ−１）
における対象点Ａｉの画像上の点Ｂ１（ｘt-1, I ,ｙ
t-1,i)と第２視点Ｃ２で撮像した時刻ｔにおける対象点
Ａｉの画像上の点Ｂ２（ｘt, I ,ｙt,i）に対しては、下
記（１１）式と（１２）式で単位視線ベクトルｐt-1,i,
と単位視線ベクトルｐt,i が算出される。
【００２９】
【数６】
【００３０】この撮像座標系を基準とした時刻（ｔ−
１）の単位視線ベクトルｐt-1,iと時刻（ｔ）の単位視
線ベクトルｐt,iをワールド座標系を基準とした視線ベ
クトルに変換するには、時刻（ｔ−１）及び時刻（ｔ）
における姿勢情報すなわち（１）式の回転行列Ｒt-1と
回転行列Ｒtを必要とする。この回転行列Ｒt-1と回転行
列Ｒtは姿勢算出手段４３により求められるため、視線
ベクトル算出手段４４は撮像座標系を基準とした単位視
線ベクトルｐt-1,iと単位視線ベクトルｐt,iを（１３）
式と（１４）式でワールド座標系を基準とした視線ベク
トルＰt-1,iと視線ベクトルＰtに変換する。
１）の単位視線ベクトルｐt-1,iと時刻（ｔ）の単位視
線ベクトルｐt,iをワールド座標系を基準とした視線ベ
クトルに変換するには、時刻（ｔ−１）及び時刻（ｔ）
における姿勢情報すなわち（１）式の回転行列Ｒt-1と
回転行列Ｒtを必要とする。この回転行列Ｒt-1と回転行
列Ｒtは姿勢算出手段４３により求められるため、視線
ベクトル算出手段４４は撮像座標系を基準とした単位視
線ベクトルｐt-1,iと単位視線ベクトルｐt,iを（１３）
式と（１４）式でワールド座標系を基準とした視線ベク
トルＰt-1,iと視線ベクトルＰtに変換する。
【００３１】
【数７】
【００３２】並進成分算出手段４５は、視線ベクトル算
出手段４４で算出した各時刻の対応点のワールド座標系
を基準とした視線ベクトル群より、撮像手段２の並進成
分を算出する。例えば図６において、視線ベクトルＰ
t-1, Iと視線ベクトルＰtが対応関係にあるとすると、視
線ベクトルＰt-1,iと視線ベクトルＰt及び並進成分を示
す単位ベクトルｂの３つのベクトルは同一平面上に存在
し、下記（１５）式のスカラ３重積で表される。
出手段４４で算出した各時刻の対応点のワールド座標系
を基準とした視線ベクトル群より、撮像手段２の並進成
分を算出する。例えば図６において、視線ベクトルＰ
t-1, Iと視線ベクトルＰtが対応関係にあるとすると、視
線ベクトルＰt-1,iと視線ベクトルＰt及び並進成分を示
す単位ベクトルｂの３つのベクトルは同一平面上に存在
し、下記（１５）式のスカラ３重積で表される。
【００３３】
【数８】
【００３４】この（１５）式を満たすベクトルｂが並進
運動ベクトルであるが、通常、画像のノイズ等の影響に
より（１５）式は全ての対応点の組に対しては成立しな
い。そこでＮ組の対応点がある場合、下記（１６）式で
スカラ３重積を最小化するベクトルｂを求めれば良い。
運動ベクトルであるが、通常、画像のノイズ等の影響に
より（１５）式は全ての対応点の組に対しては成立しな
い。そこでＮ組の対応点がある場合、下記（１６）式で
スカラ３重積を最小化するベクトルｂを求めれば良い。
【００３５】
【数９】
【００３６】〔２〕３軸加速度センサ４１１ａ〜４１１
ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出値を使
用した場合。撮像手段２のｘｙｚ座標系は、図４に示す
ように、ｚ軸の正方向を光軸方向とし、ｘ軸の正方向を
画像面２１に対して右向き方向とし、ｙ軸の正方向を画
像面２１に対して下向き方向とし、ワールド座標系は、
図７に示すように、Ｙ軸の正方向を重力加速度の向きと
する。姿勢算出手段４３で３軸加速度センサ４１１ａ〜
４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出
値から回転角α、β、γ及び回転行列Ｒを算出するため
に、ワールド座標系に対する撮像手段２の装置座標系の
姿勢をワールド座標系を基準とした（１）式の回転行列
Ｒで記述する。また、重力加速度ベクトルｇvをワール
ド座標系において（２）式で表わし、加速度センサ４１
１ａ〜４１１ｃにより検出された装置座標系を基準とし
た加速度ベクトルａvを（３）式で表わすと、重力加速
度ベクトルｇvと加速度ベクトルａvの関係は（４）式で
記述される。この（４）式よりＸ軸回りの回転角αとＺ
軸回りの回転角γが（６）式と（７）式で計算される。
ここで時刻ｔ＝０においてβ＝０と初期化し、図７に示
すように、ワールド座標系のＸ軸を時刻ｔ＝０における
装置座標系のｘ軸の水平面に対する正射影とし、ワール
ド座標系のＺ軸を時刻ｔ＝０における装置座標系のｚ軸
の水平面に対する正射影として定義する。
ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出値を使
用した場合。撮像手段２のｘｙｚ座標系は、図４に示す
ように、ｚ軸の正方向を光軸方向とし、ｘ軸の正方向を
画像面２１に対して右向き方向とし、ｙ軸の正方向を画
像面２１に対して下向き方向とし、ワールド座標系は、
図７に示すように、Ｙ軸の正方向を重力加速度の向きと
する。姿勢算出手段４３で３軸加速度センサ４１１ａ〜
４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出
値から回転角α、β、γ及び回転行列Ｒを算出するため
に、ワールド座標系に対する撮像手段２の装置座標系の
姿勢をワールド座標系を基準とした（１）式の回転行列
Ｒで記述する。また、重力加速度ベクトルｇvをワール
ド座標系において（２）式で表わし、加速度センサ４１
１ａ〜４１１ｃにより検出された装置座標系を基準とし
た加速度ベクトルａvを（３）式で表わすと、重力加速
度ベクトルｇvと加速度ベクトルａvの関係は（４）式で
記述される。この（４）式よりＸ軸回りの回転角αとＺ
軸回りの回転角γが（６）式と（７）式で計算される。
ここで時刻ｔ＝０においてβ＝０と初期化し、図７に示
すように、ワールド座標系のＸ軸を時刻ｔ＝０における
装置座標系のｘ軸の水平面に対する正射影とし、ワール
ド座標系のＺ軸を時刻ｔ＝０における装置座標系のｚ軸
の水平面に対する正射影として定義する。
【００３７】一方、３軸角速度センサ４１３ａ〜４１３
ｃで求めた角速度ベクトルｑvを下記（１７）式とする
と、Ｘ軸回りの回転角αとＹ軸回りの回転角β及びＺ軸
回りの回転角γの時間的な変化は下記（１８）式と（１
９）式及び（２０）式で表わせる。
ｃで求めた角速度ベクトルｑvを下記（１７）式とする
と、Ｘ軸回りの回転角αとＹ軸回りの回転角β及びＺ軸
回りの回転角γの時間的な変化は下記（１８）式と（１
９）式及び（２０）式で表わせる。
【００３８】
【数１０】
【００３９】上記（１８）式と（１９）式及び（２０）
式を積分することにより、下記（２１）式と（２２）式
及び（２３）式で時刻ｔにおける回転角α、β、γを得
ることができる。
式を積分することにより、下記（２１）式と（２２）式
及び（２３）式で時刻ｔにおける回転角α、β、γを得
ることができる。
【００４０】
【数１１】
【００４１】上記（２１）〜（２３）式でα0、γ0はそ
れぞれ時刻ｔ＝０で３軸加速度センサ４１３ａ〜４１３
ｃで求めたα、γの値としβ0＝０とする。この計算に
より、α、β、γ及び回転行列Ｒを、３軸加速度センサ
４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１
３ｃの検出値より算出することができる。そして、この
場合も視線ベクトル算出手段４４と並進成分算出手段４
５は、前記（１０）式〜（１６）式に基づき撮像手段２
の並進成分を算出する。
れぞれ時刻ｔ＝０で３軸加速度センサ４１３ａ〜４１３
ｃで求めたα、γの値としβ0＝０とする。この計算に
より、α、β、γ及び回転行列Ｒを、３軸加速度センサ
４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１
３ｃの検出値より算出することができる。そして、この
場合も視線ベクトル算出手段４４と並進成分算出手段４
５は、前記（１０）式〜（１６）式に基づき撮像手段２
の並進成分を算出する。
【００４２】なお、上記運動検出手段４の動作説明では
３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ
４１２ａ〜４１２ｃを使用した場合と、３軸加速度セン
サ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４
１３ｃを使用した場合について説明したが、４１１ａ〜
４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃ及び３軸
角速度センサ４１３ａ〜４１３ｃを同時に使用しても良
い。
３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ
４１２ａ〜４１２ｃを使用した場合と、３軸加速度セン
サ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４
１３ｃを使用した場合について説明したが、４１１ａ〜
４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃ及び３軸
角速度センサ４１３ａ〜４１３ｃを同時に使用しても良
い。
【００４３】次ぎに、対応検出手段５で連続的に撮影し
た画像間の特徴点の対応付けを行う動作の一例として、
時間的に隣合う２枚の画像において、相互相関によるブ
ロックマッチングにより対応点を検出する方法について
説明する。例えば図６に示すように第１視点Ｃ１で時刻
（ｔ−１）に撮像した画像面Ｉ１におけるｉ番目の特徴
点ＰI(ｘi0，ｙi0）と、第２視点Ｃ２で時刻ｔに撮像し
た画像面Ｉ２におけるｉ番目の特徴点Ｐi(ｘi0＋ｄｘ，
ｙi0＋ｄｙ）の対応付けを、第８図に示すように（２Ｎ
＋１）と（２Ｐ＋１）の相関窓５１を用いたブロックマ
ッチングで行う場合、下記（２４）式で計算される相関
相互相関値Ｓｉを最大に点を順次対応点として選ぶ。
た画像間の特徴点の対応付けを行う動作の一例として、
時間的に隣合う２枚の画像において、相互相関によるブ
ロックマッチングにより対応点を検出する方法について
説明する。例えば図６に示すように第１視点Ｃ１で時刻
（ｔ−１）に撮像した画像面Ｉ１におけるｉ番目の特徴
点ＰI(ｘi0，ｙi0）と、第２視点Ｃ２で時刻ｔに撮像し
た画像面Ｉ２におけるｉ番目の特徴点Ｐi(ｘi0＋ｄｘ，
ｙi0＋ｄｙ）の対応付けを、第８図に示すように（２Ｎ
＋１）と（２Ｐ＋１）の相関窓５１を用いたブロックマ
ッチングで行う場合、下記（２４）式で計算される相関
相互相関値Ｓｉを最大に点を順次対応点として選ぶ。
【００４４】
【数１２】
【００４５】（２４）式でＩt-1（ｘ，ｙ）は時刻（ｔ
−１）の画像面Ｉ１の点（ｘ，ｙ）における濃度、Ｉt
（ｘ，ｙ）は時刻ｔの画像面Ｉ２の点（ｘ，ｙ）におけ
る濃度、ＭＩt-1（ｘ，ｙ）は時刻（ｔ−１）の画像面
Ｉ１の点（ｘ，ｙ）を中心とする（２Ｎ＋１），（２Ｐ
＋１）の相関窓５１における平均濃度、ＭＩt（ｘ，
ｙ）は時刻ｔの画像面Ｉ２の点（ｘ，ｙ）を中心とする
（２Ｎ＋１），（２Ｐ＋１）の相関窓５１における平均
濃度を示し、Ｋは定数である。
−１）の画像面Ｉ１の点（ｘ，ｙ）における濃度、Ｉt
（ｘ，ｙ）は時刻ｔの画像面Ｉ２の点（ｘ，ｙ）におけ
る濃度、ＭＩt-1（ｘ，ｙ）は時刻（ｔ−１）の画像面
Ｉ１の点（ｘ，ｙ）を中心とする（２Ｎ＋１），（２Ｐ
＋１）の相関窓５１における平均濃度、ＭＩt（ｘ，
ｙ）は時刻ｔの画像面Ｉ２の点（ｘ，ｙ）を中心とする
（２Ｎ＋１），（２Ｐ＋１）の相関窓５１における平均
濃度を示し、Ｋは定数である。
【００４６】上記のように構成された画像入力装置１の
動作を図９のフローチャートを参照して説明する。撮像
手段２で撮影している画像取込み開始を指令すると（ス
テップＳ１）、運動検出手段４の姿勢算出手段４３はそ
の時刻をｔ＝０に初期化し、画像と加速度信号及び磁気
信号あるいは角速度信号を取り込み、撮像手段２の姿勢
の初期値α0、β0、γ0を検出する（ステップＳ２）。
初期値α0、γ0は重力加速度信号の検知により行い、β
0は磁気信号から求めたり、角速度信号を利用する場合
には「０」に初期化する。そして画像取込み停止が指令
されるまで一定時間間隔ごとに画像撮影と姿勢算出手段
４３による姿勢検出を行い、各時刻における画像と姿勢
情報を記憶手段７に格納する（ステップＳ３，Ｓ４，Ｓ
５）。画像取込み停止が指令が出されると、対応検出手
段５は記憶手段７に格納された時系列の画像情報より対
応付けを行い（ステップＳ６）、対応付け結果と姿勢情
報により視線ベクトル算出手段４４は各時刻における対
応点のワールド座標系を基準とした視線ベクトルを算出
する（ステップＳ７）。並進成分算出手段４５は対応点
の視線ベクトル群より（１６）式の計算で並進成分ｂを
求める（ステップＳ８）。３次元演算手段６は並進成分
ｂと姿勢情報より、三角測量の原理で被写体の３次元形
状復元を行う（ステップＳ９）。
動作を図９のフローチャートを参照して説明する。撮像
手段２で撮影している画像取込み開始を指令すると（ス
テップＳ１）、運動検出手段４の姿勢算出手段４３はそ
の時刻をｔ＝０に初期化し、画像と加速度信号及び磁気
信号あるいは角速度信号を取り込み、撮像手段２の姿勢
の初期値α0、β0、γ0を検出する（ステップＳ２）。
初期値α0、γ0は重力加速度信号の検知により行い、β
0は磁気信号から求めたり、角速度信号を利用する場合
には「０」に初期化する。そして画像取込み停止が指令
されるまで一定時間間隔ごとに画像撮影と姿勢算出手段
４３による姿勢検出を行い、各時刻における画像と姿勢
情報を記憶手段７に格納する（ステップＳ３，Ｓ４，Ｓ
５）。画像取込み停止が指令が出されると、対応検出手
段５は記憶手段７に格納された時系列の画像情報より対
応付けを行い（ステップＳ６）、対応付け結果と姿勢情
報により視線ベクトル算出手段４４は各時刻における対
応点のワールド座標系を基準とした視線ベクトルを算出
する（ステップＳ７）。並進成分算出手段４５は対応点
の視線ベクトル群より（１６）式の計算で並進成分ｂを
求める（ステップＳ８）。３次元演算手段６は並進成分
ｂと姿勢情報より、三角測量の原理で被写体の３次元形
状復元を行う（ステップＳ９）。
【００４７】上記のようにして撮像手段２で撮像した画
像と加速度信号及び磁気信号あるいは角速度信号で３次
元形状復元を行なっているときに、回転角α，γは
（６）式と（７）式から求められるが、撮影時に生じる
加速度は重力加速度に比較して無視できるほど小さく、
磁場は地磁気以外に存在せず（２）式と（３）式との間
に下記（２５）式と（２６）式の関係が成立しているこ
とを前提として計算されている。
像と加速度信号及び磁気信号あるいは角速度信号で３次
元形状復元を行なっているときに、回転角α，γは
（６）式と（７）式から求められるが、撮影時に生じる
加速度は重力加速度に比較して無視できるほど小さく、
磁場は地磁気以外に存在せず（２）式と（３）式との間
に下記（２５）式と（２６）式の関係が成立しているこ
とを前提として計算されている。
【００４８】
【数１３】
【００４９】そのため、撮影時に生じる加速度が一時的
に大きくなったり、他の電気製品からの磁場の影響を受
ける場合には、正確な姿勢情報を計算することができな
い。そこで、図１０のブロック図に示すように運動検出
手段４に乱れ信号検出手段４６を設け、乱れ信号検出手
段４６により、重力加速度以外の加速度成分の発生と地
磁気以外の磁場の発生を検出する。例えば３軸加速度セ
ンサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４
１２ｃのそれぞれの基準電圧値と感度は記憶手段７に格
納されており既知である。そこで３軸加速度センサ４１
１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの
出力電圧値と記憶手段７に格納された基準電圧値と感度
より、３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気
センサ４１２ａ〜４１２ｃの検出した加速度及び磁気の
絶対値を算出する。算出した加速度の絶対値と重力加速
度の絶対値との差があらかじめ定めたしきい値、例えば
０．１ｇ以上の場合は、重力加速度以外の加速度成分ま
たは外乱が含まれると判断し、姿勢算出手段４３に加速
度センサ信号の乱れを通知する。また，算出した磁気の
絶対値と地磁気の絶対値との差がしきい値、例えば０．
１Ｍ以上の場合は、地磁気以外の磁気成分または外乱が
含まれると判断し、姿勢算出手段４３に磁気センサ信号
の乱れを通知する。
に大きくなったり、他の電気製品からの磁場の影響を受
ける場合には、正確な姿勢情報を計算することができな
い。そこで、図１０のブロック図に示すように運動検出
手段４に乱れ信号検出手段４６を設け、乱れ信号検出手
段４６により、重力加速度以外の加速度成分の発生と地
磁気以外の磁場の発生を検出する。例えば３軸加速度セ
ンサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４
１２ｃのそれぞれの基準電圧値と感度は記憶手段７に格
納されており既知である。そこで３軸加速度センサ４１
１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの
出力電圧値と記憶手段７に格納された基準電圧値と感度
より、３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気
センサ４１２ａ〜４１２ｃの検出した加速度及び磁気の
絶対値を算出する。算出した加速度の絶対値と重力加速
度の絶対値との差があらかじめ定めたしきい値、例えば
０．１ｇ以上の場合は、重力加速度以外の加速度成分ま
たは外乱が含まれると判断し、姿勢算出手段４３に加速
度センサ信号の乱れを通知する。また，算出した磁気の
絶対値と地磁気の絶対値との差がしきい値、例えば０．
１Ｍ以上の場合は、地磁気以外の磁気成分または外乱が
含まれると判断し、姿勢算出手段４３に磁気センサ信号
の乱れを通知する。
【００５０】この乱れ信号検出手段４６により、重力加
速度以外の加速度成分の発生と地磁気以外の磁場の発生
を検出しながら３次元形状復元を復元するときの動作を
図１１のフローチャートを参照して説明する。撮像手段
２で撮影している画像取込み開始を指令すると（ステッ
プＳ１１）、運動検出手段４の姿勢算出手段４３はその
時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信
号あるいは角速度信号を取り込み、撮像手段２の姿勢の
初期値α0、β0、γ0を検出する（ステップＳ１２）。
初期値α0、γ0は重力加速度信号の検知により行い、β
0は磁気信号から求めたり、角速度信号を利用する場合
には「０」に初期化する。この撮影中に加速度信号の乱
れが検出されると初期値α0、γ0の正確な値が出ないの
で、撮影開始時の撮像手段２の扱いには注意する必要が
ある。また、磁気信号の乱れが検出された場合にはβ0
＝０と初期化し、以後の姿勢情報算出には加速度信号と
角速度信号のみ使用するようにする。その後は画像取り
込み停止が指令されるまで、一定時間間隔ごとに画像撮
影、姿勢算出を行い、各時刻における画像及び姿勢情報
を記憶手段７に格納する。また、加速度信号と磁気信号
の乱れ検出結果をも記憶手段７に格納し、姿勢算出結果
に誤差が発生した個所を、後で利用者が確認できるよう
にする（ステップＳ１３，Ｓ１４，Ｓ１５）。画像取込
み停止が指令が出されると、対応検出手段５は記憶手段
７に格納された時系列の画像情報より対応付けを行い
（ステップＳ１６）、対応付け結果と姿勢情報により視
線ベクトル算出手段４４は各時刻における対応点のワー
ルド座標系を基準とした視線ベクトルを算出する（ステ
ップＳ１７）。並進成分算出手段４５は対応点の視線ベ
クトル群より（１６）式の計算で並進成分ｂを求める
（ステップＳ１８）。３次元演算手段６は並進成分ｂと
姿勢情報より、三角測量の原理で被写体の３次元形状復
元を行う（ステップＳ１９）。
速度以外の加速度成分の発生と地磁気以外の磁場の発生
を検出しながら３次元形状復元を復元するときの動作を
図１１のフローチャートを参照して説明する。撮像手段
２で撮影している画像取込み開始を指令すると（ステッ
プＳ１１）、運動検出手段４の姿勢算出手段４３はその
時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信
号あるいは角速度信号を取り込み、撮像手段２の姿勢の
初期値α0、β0、γ0を検出する（ステップＳ１２）。
初期値α0、γ0は重力加速度信号の検知により行い、β
0は磁気信号から求めたり、角速度信号を利用する場合
には「０」に初期化する。この撮影中に加速度信号の乱
れが検出されると初期値α0、γ0の正確な値が出ないの
で、撮影開始時の撮像手段２の扱いには注意する必要が
ある。また、磁気信号の乱れが検出された場合にはβ0
＝０と初期化し、以後の姿勢情報算出には加速度信号と
角速度信号のみ使用するようにする。その後は画像取り
込み停止が指令されるまで、一定時間間隔ごとに画像撮
影、姿勢算出を行い、各時刻における画像及び姿勢情報
を記憶手段７に格納する。また、加速度信号と磁気信号
の乱れ検出結果をも記憶手段７に格納し、姿勢算出結果
に誤差が発生した個所を、後で利用者が確認できるよう
にする（ステップＳ１３，Ｓ１４，Ｓ１５）。画像取込
み停止が指令が出されると、対応検出手段５は記憶手段
７に格納された時系列の画像情報より対応付けを行い
（ステップＳ１６）、対応付け結果と姿勢情報により視
線ベクトル算出手段４４は各時刻における対応点のワー
ルド座標系を基準とした視線ベクトルを算出する（ステ
ップＳ１７）。並進成分算出手段４５は対応点の視線ベ
クトル群より（１６）式の計算で並進成分ｂを求める
（ステップＳ１８）。３次元演算手段６は並進成分ｂと
姿勢情報より、三角測量の原理で被写体の３次元形状復
元を行う（ステップＳ１９）。
【００５１】このように加速度センサ信号と磁気センサ
信号の乱れを検知することにより、撮像手段２の運動を
正確に検出できるとともに信頼性の高い３次元形状復元
を行なうことができる。また、加速度センサ信号と磁気
センサ信号の乱れを検知した箇所を記憶することによ
り、利用者が姿勢検出誤差が生じた箇所を知ることがで
き、使用勝手を高めることができる。
信号の乱れを検知することにより、撮像手段２の運動を
正確に検出できるとともに信頼性の高い３次元形状復元
を行なうことができる。また、加速度センサ信号と磁気
センサ信号の乱れを検知した箇所を記憶することによ
り、利用者が姿勢検出誤差が生じた箇所を知ることがで
き、使用勝手を高めることができる。
【００５２】次ぎに上記のように乱れ信号検出手段４６
で加速度センサ信号の乱れを検出したときに、加速度セ
ンサ信号による姿勢検出結果を、磁気センサ信号及び角
速度センサ信号による姿勢検出結果で補償するときの動
作を図１２のフローチャートを参照して説明する。撮像
手段２で撮影している画像取込み開始を指令すると（ス
テップＳ２１）、運動検出手段４の姿勢算出手段４３は
その時刻をｔ＝０に初期化し、画像と加速度信号及び磁
気信号あるいは角速度信号を取り込み、撮像手段２の姿
勢の初期値α0、β0、γ0を検出する（ステップＳ２
２）。初期値α0、γ0は重力加速度信号の検知により行
い、β0は磁気信号から求めたり、角速度信号を利用す
る場合には「０」に初期化する。また、磁気信号の乱れ
が検出された場合にはβ0＝０と初期化し、以後の姿勢
情報算出には加速度信号と角速度信号のみ使用するよう
にする。その後は画像取り込み停止が指令されるまで、
一定時間間隔ごとに画像撮影、姿勢算出を行う（ステッ
プＳ２３，Ｓ２４）。この姿勢算出を行なうときに、乱
れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１
１ｃの信号に乱れを検出しない場合（ステップＳ２
５）、姿勢算出手段４３は加速度センサ信号を用いて
（６）式と（７）式より回転角α、γを求め、磁気セン
サ信号を用いて（９）式より回転角βを求めたり、角速
度センサ信号を用いて（１９）式と（２２）式より回転
角βを求める（ステップＳ２６）。また、乱れ信号検出
手段４６が３軸加速度センサ４１１ａ〜４１１ｃの信号
に乱れを検出した場合（ステップＳ２５）、姿勢算出手
段４３は、まず角速度センサ信号を用いて（２１）式と
（２３）式より回転角α、γを求める。次ぎに、磁気セ
ンサ信号と上記で求めた回転角αを用いて（９）式で回
転角βを求めたり、角速度センサ信号を用いて（２２）
式より回転角βを求める（ステップＳ２７）。そして、
各時刻における画像及び姿勢情報と加速度信号の乱れ検
出の有無を示す検出結果を記憶手段７に格納する（ステ
ップＳ２８）。画像取込み停止が指令が出されると（ス
テップＳ２３）、対応検出手段５は記憶手段７に格納さ
れた時系列の画像情報より対応付けを行い（ステップＳ
２９）、対応付け結果と姿勢情報により視線ベクトル算
出手段４４は各時刻における対応点のワールド座標系を
基準とした視線ベクトルを算出する（ステップＳ３
０）。並進成分算出手段４５は対応点の視線ベクトル群
より（１６）式の計算で並進成分ｂを求める（ステップ
Ｓ３１）。３次元演算手段６は並進成分ｂと姿勢情報よ
り、三角測量の原理で被写体の３次元形状復元を行う
（ステップＳ３２）。
で加速度センサ信号の乱れを検出したときに、加速度セ
ンサ信号による姿勢検出結果を、磁気センサ信号及び角
速度センサ信号による姿勢検出結果で補償するときの動
作を図１２のフローチャートを参照して説明する。撮像
手段２で撮影している画像取込み開始を指令すると（ス
テップＳ２１）、運動検出手段４の姿勢算出手段４３は
その時刻をｔ＝０に初期化し、画像と加速度信号及び磁
気信号あるいは角速度信号を取り込み、撮像手段２の姿
勢の初期値α0、β0、γ0を検出する（ステップＳ２
２）。初期値α0、γ0は重力加速度信号の検知により行
い、β0は磁気信号から求めたり、角速度信号を利用す
る場合には「０」に初期化する。また、磁気信号の乱れ
が検出された場合にはβ0＝０と初期化し、以後の姿勢
情報算出には加速度信号と角速度信号のみ使用するよう
にする。その後は画像取り込み停止が指令されるまで、
一定時間間隔ごとに画像撮影、姿勢算出を行う（ステッ
プＳ２３，Ｓ２４）。この姿勢算出を行なうときに、乱
れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１
１ｃの信号に乱れを検出しない場合（ステップＳ２
５）、姿勢算出手段４３は加速度センサ信号を用いて
（６）式と（７）式より回転角α、γを求め、磁気セン
サ信号を用いて（９）式より回転角βを求めたり、角速
度センサ信号を用いて（１９）式と（２２）式より回転
角βを求める（ステップＳ２６）。また、乱れ信号検出
手段４６が３軸加速度センサ４１１ａ〜４１１ｃの信号
に乱れを検出した場合（ステップＳ２５）、姿勢算出手
段４３は、まず角速度センサ信号を用いて（２１）式と
（２３）式より回転角α、γを求める。次ぎに、磁気セ
ンサ信号と上記で求めた回転角αを用いて（９）式で回
転角βを求めたり、角速度センサ信号を用いて（２２）
式より回転角βを求める（ステップＳ２７）。そして、
各時刻における画像及び姿勢情報と加速度信号の乱れ検
出の有無を示す検出結果を記憶手段７に格納する（ステ
ップＳ２８）。画像取込み停止が指令が出されると（ス
テップＳ２３）、対応検出手段５は記憶手段７に格納さ
れた時系列の画像情報より対応付けを行い（ステップＳ
２９）、対応付け結果と姿勢情報により視線ベクトル算
出手段４４は各時刻における対応点のワールド座標系を
基準とした視線ベクトルを算出する（ステップＳ３
０）。並進成分算出手段４５は対応点の視線ベクトル群
より（１６）式の計算で並進成分ｂを求める（ステップ
Ｓ３１）。３次元演算手段６は並進成分ｂと姿勢情報よ
り、三角測量の原理で被写体の３次元形状復元を行う
（ステップＳ３２）。
【００５３】このように加速度センサ信号の乱れが検知
されると、加速度センサ信号による姿勢検出結果を、磁
気センサ信号及び角速度センサ信号による姿勢検出結果
で補償することにより姿勢検出誤差を低減することがで
きる。
されると、加速度センサ信号による姿勢検出結果を、磁
気センサ信号及び角速度センサ信号による姿勢検出結果
で補償することにより姿勢検出誤差を低減することがで
きる。
【００５４】次ぎに上記のように乱れ信号検出手段４６
で磁気センサ信号の乱れを検出したときに、磁気センサ
信号による姿勢検出結果を角速度センサ信号による姿勢
検出結果で補償するときの動作を図１３のフローチャー
トを参照して説明する。撮像手段２で撮影している画像
取込み開始を指令すると（ステップＳ４１）、運動検出
手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化
し、画像と加速度信号及び磁気信号あるいは角速度信号
を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0
を検出する（ステップＳ４２）。初期値α0、γ0は重力
加速度信号の検知により行い、β0は磁気信号から求め
たり、角速度信号を利用する場合には「０」に初期化す
る。また、磁気信号の乱れが検出された場合にはβ0＝
０と初期化し、以後の姿勢情報算出には加速度信号と角
速度信号のみ使用するようにする。その後は画像取り込
み停止が指令されるまで、一定時間間隔ごとに画像撮
影、姿勢算出を行う（ステップＳ４３，Ｓ４４）。この
姿勢算出を行なうときに、乱れ信号検出手段４６が３軸
磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出しな
い場合（ステップＳ４５）、姿勢算出手段４３は加速度
センサ信号を用いて（６）式と（７）式より回転角α、
γを求め、磁気センサ信号を用いて（９）式より回転角
βを求めたり、角速度センサ信号を用いて（２２）式よ
り回転角βを求める（ステップＳ４６）。また、乱れ信
号検出手段４６が３軸磁気センサ４１２ａ〜４１２ｃの
信号に乱れを検出した場合（ステップＳ４５）、加速度
センサ信号を用いて（６）式と（７）式より回転角α、
γを求め、角速度センサ信号を用いて（１９）式と（２
２）式より回転角βを求める（ステップＳ４７）。そし
て、各時刻における画像及び姿勢情報と加速度信号の乱
れ検出の有無を示す検出結果を記憶手段７に格納する
（ステップＳ４８）。画像取込み停止が指令が出される
と（ステップＳ４３）、対応検出手段５は記憶手段７に
格納された時系列の画像情報より対応付けを行い（ステ
ップＳ４９）、対応付け結果と姿勢情報により視線ベク
トル算出手段４４は各時刻における対応点のワールド座
標系を基準とした視線ベクトルを算出する（ステップＳ
５０）。並進成分算出手段４５は対応点の視線ベクトル
群より（１６）式の計算で並進成分ｂを求める（ステッ
プＳ５１）。３次元演算手段６は並進成分ｂと姿勢情報
より、三角測量の原理で被写体の３次元形状復元を行う
（ステップＳ５２）。
で磁気センサ信号の乱れを検出したときに、磁気センサ
信号による姿勢検出結果を角速度センサ信号による姿勢
検出結果で補償するときの動作を図１３のフローチャー
トを参照して説明する。撮像手段２で撮影している画像
取込み開始を指令すると（ステップＳ４１）、運動検出
手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化
し、画像と加速度信号及び磁気信号あるいは角速度信号
を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0
を検出する（ステップＳ４２）。初期値α0、γ0は重力
加速度信号の検知により行い、β0は磁気信号から求め
たり、角速度信号を利用する場合には「０」に初期化す
る。また、磁気信号の乱れが検出された場合にはβ0＝
０と初期化し、以後の姿勢情報算出には加速度信号と角
速度信号のみ使用するようにする。その後は画像取り込
み停止が指令されるまで、一定時間間隔ごとに画像撮
影、姿勢算出を行う（ステップＳ４３，Ｓ４４）。この
姿勢算出を行なうときに、乱れ信号検出手段４６が３軸
磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出しな
い場合（ステップＳ４５）、姿勢算出手段４３は加速度
センサ信号を用いて（６）式と（７）式より回転角α、
γを求め、磁気センサ信号を用いて（９）式より回転角
βを求めたり、角速度センサ信号を用いて（２２）式よ
り回転角βを求める（ステップＳ４６）。また、乱れ信
号検出手段４６が３軸磁気センサ４１２ａ〜４１２ｃの
信号に乱れを検出した場合（ステップＳ４５）、加速度
センサ信号を用いて（６）式と（７）式より回転角α、
γを求め、角速度センサ信号を用いて（１９）式と（２
２）式より回転角βを求める（ステップＳ４７）。そし
て、各時刻における画像及び姿勢情報と加速度信号の乱
れ検出の有無を示す検出結果を記憶手段７に格納する
（ステップＳ４８）。画像取込み停止が指令が出される
と（ステップＳ４３）、対応検出手段５は記憶手段７に
格納された時系列の画像情報より対応付けを行い（ステ
ップＳ４９）、対応付け結果と姿勢情報により視線ベク
トル算出手段４４は各時刻における対応点のワールド座
標系を基準とした視線ベクトルを算出する（ステップＳ
５０）。並進成分算出手段４５は対応点の視線ベクトル
群より（１６）式の計算で並進成分ｂを求める（ステッ
プＳ５１）。３次元演算手段６は並進成分ｂと姿勢情報
より、三角測量の原理で被写体の３次元形状復元を行う
（ステップＳ５２）。
【００５５】このように磁気センサ信号の乱れが検知さ
れると、磁気センサ信号による姿勢検出結果を角速度セ
ンサ信号による姿勢検出結果で補償することにより姿勢
検出誤差を低減することができる。
れると、磁気センサ信号による姿勢検出結果を角速度セ
ンサ信号による姿勢検出結果で補償することにより姿勢
検出誤差を低減することができる。
【００５６】次ぎに加速度センサ信号と磁気センサ信号
の乱れが検知されたときに、加速度センサ信号と磁気セ
ンサ信号による姿勢検出結果を角速度センサ信号による
姿勢検出結果で補償するときの動作を図１４のフローチ
ャートを参照して説明する。撮像手段２で撮影している
画像取込み開始を指令すると（ステップＳ６１）、運動
検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初
期化し、画像と加速度信号及び磁気信号又は角速度信号
を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0
を検出する（ステップＳ６２）。初期値α0、γ0は重力
加速度信号の検知により行い、β0は磁気信号から求め
たり、角速度信号を利用する場合には「０」に初期化す
る。また、磁気信号の乱れが検出された場合にはβ0＝
０と初期化し、以後の姿勢情報算出には加速度信号と角
速度信号のみ使用するようにする。その後は画像取り込
み停止が指令されるまで、一定時間間隔ごとに画像撮
影、姿勢算出を行う（ステップＳ６３，Ｓ６４）。この
姿勢算出を行なうときに、乱れ信号検出手段４６が３軸
加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１
２ａ〜４１２ｃの信号に乱れを検出しない場合（ステッ
プＳ６５）、姿勢算出手段４３は加速度センサ信号を用
いて（６）式と（７）式より回転角α、γを求め、磁気
センサ信号を用いて（９）式より回転角βを求めたり、
角速度センサ信号を用いて（１９）式と（２２）式より
回転角βを求める（ステップＳ６６）。また、乱れ信号
検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃと
３軸磁気センサ４１２ａ〜４１２ｃの信号のうち３軸加
速度センサ４１１ａ〜４１１ｃの信号に乱れを検出した
場合（ステップＳ６５）、姿勢算出手段４３は、まず角
速度センサ信号を用いて（２１）式と（２３）式より回
転角α、γを求める。次ぎに、磁気センサ信号と上記で
求めた回転角αを用いて（９）式で回転角βを求めた
り、角速度センサ信号を用いて（１９）式と（２２）式
より回転角βを求める（ステップＳ６７）。また、乱れ
信号検出手段４６が３軸加速度センサ４１１ａ〜４１１
ｃと３軸磁気センサ４１２ａ〜４１２ｃの信号のうち３
軸磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出し
た場合（ステップＳ６５）、加速度センサ信号を用いて
（６）式と（７）式より回転角α、γを求め、角速度セ
ンサ信号を用いて（２２）式より回転角βを求める（ス
テップＳ６７）。さらに、乱れ信号検出手段４６が３軸
加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１
２ａ〜４１２ｃの両方の信号に乱れを検出した場合（ス
テップＳ６５）、３軸角速度センサ４１３ａ〜４１３ｃ
の信号を用い、（１８）式〜（２３）式より回転角α、
β、γを算出する（ステップＳ６８）。そして、各時刻
における画像及び姿勢情報と加速度信号の乱れ検出の有
無を示す検出結果を記憶手段７に格納する（ステップＳ
６９）。画像取込み停止が指令が出されると（ステップ
Ｓ６３）、対応検出手段５は記憶手段７に格納された時
系列の画像情報より対応付けを行い（ステップＳ７
０）、対応付け結果と姿勢情報により視線ベクトル算出
手段４４は各時刻における対応点のワールド座標系を基
準とした視線ベクトルを算出する（ステップＳ７１）。
並進成分算出手段４５は対応点の視線ベクトル群より
（１６）式の計算で並進成分ｂを求める（ステップＳ７
２）。３次元演算手段６は並進成分ｂと姿勢情報より、
三角測量の原理で被写体の３次元形状復元を行う（ステ
ップＳ７３）。
の乱れが検知されたときに、加速度センサ信号と磁気セ
ンサ信号による姿勢検出結果を角速度センサ信号による
姿勢検出結果で補償するときの動作を図１４のフローチ
ャートを参照して説明する。撮像手段２で撮影している
画像取込み開始を指令すると（ステップＳ６１）、運動
検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初
期化し、画像と加速度信号及び磁気信号又は角速度信号
を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0
を検出する（ステップＳ６２）。初期値α0、γ0は重力
加速度信号の検知により行い、β0は磁気信号から求め
たり、角速度信号を利用する場合には「０」に初期化す
る。また、磁気信号の乱れが検出された場合にはβ0＝
０と初期化し、以後の姿勢情報算出には加速度信号と角
速度信号のみ使用するようにする。その後は画像取り込
み停止が指令されるまで、一定時間間隔ごとに画像撮
影、姿勢算出を行う（ステップＳ６３，Ｓ６４）。この
姿勢算出を行なうときに、乱れ信号検出手段４６が３軸
加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１
２ａ〜４１２ｃの信号に乱れを検出しない場合（ステッ
プＳ６５）、姿勢算出手段４３は加速度センサ信号を用
いて（６）式と（７）式より回転角α、γを求め、磁気
センサ信号を用いて（９）式より回転角βを求めたり、
角速度センサ信号を用いて（１９）式と（２２）式より
回転角βを求める（ステップＳ６６）。また、乱れ信号
検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃと
３軸磁気センサ４１２ａ〜４１２ｃの信号のうち３軸加
速度センサ４１１ａ〜４１１ｃの信号に乱れを検出した
場合（ステップＳ６５）、姿勢算出手段４３は、まず角
速度センサ信号を用いて（２１）式と（２３）式より回
転角α、γを求める。次ぎに、磁気センサ信号と上記で
求めた回転角αを用いて（９）式で回転角βを求めた
り、角速度センサ信号を用いて（１９）式と（２２）式
より回転角βを求める（ステップＳ６７）。また、乱れ
信号検出手段４６が３軸加速度センサ４１１ａ〜４１１
ｃと３軸磁気センサ４１２ａ〜４１２ｃの信号のうち３
軸磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出し
た場合（ステップＳ６５）、加速度センサ信号を用いて
（６）式と（７）式より回転角α、γを求め、角速度セ
ンサ信号を用いて（２２）式より回転角βを求める（ス
テップＳ６７）。さらに、乱れ信号検出手段４６が３軸
加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１
２ａ〜４１２ｃの両方の信号に乱れを検出した場合（ス
テップＳ６５）、３軸角速度センサ４１３ａ〜４１３ｃ
の信号を用い、（１８）式〜（２３）式より回転角α、
β、γを算出する（ステップＳ６８）。そして、各時刻
における画像及び姿勢情報と加速度信号の乱れ検出の有
無を示す検出結果を記憶手段７に格納する（ステップＳ
６９）。画像取込み停止が指令が出されると（ステップ
Ｓ６３）、対応検出手段５は記憶手段７に格納された時
系列の画像情報より対応付けを行い（ステップＳ７
０）、対応付け結果と姿勢情報により視線ベクトル算出
手段４４は各時刻における対応点のワールド座標系を基
準とした視線ベクトルを算出する（ステップＳ７１）。
並進成分算出手段４５は対応点の視線ベクトル群より
（１６）式の計算で並進成分ｂを求める（ステップＳ７
２）。３次元演算手段６は並進成分ｂと姿勢情報より、
三角測量の原理で被写体の３次元形状復元を行う（ステ
ップＳ７３）。
【００５７】このように加速度センサ信号と磁気センサ
信号の乱れが検知されたときに、加速度センサ信号と磁
気センサ信号による姿勢検出結果を角速度センサ信号に
よる姿勢検出結果で補償するから、姿勢検出誤差を低減
することができる。
信号の乱れが検知されたときに、加速度センサ信号と磁
気センサ信号による姿勢検出結果を角速度センサ信号に
よる姿勢検出結果で補償するから、姿勢検出誤差を低減
することができる。
【００５８】上記実施例は、撮影した画像と算出した姿
勢情報を記憶手段７にまとめて格納し、そののち対応検
出と並進運動検出及び３次元形状算出をオフライン処理
する方式で説明したが、上記処理を実時間処理しても良
い。また、撮像手段２が固定焦点である場合には、焦点
距離検出手段３を省いても良い。さらに、撮影した画像
と算出した姿勢情報と３次元形状情報等を記憶手段７に
記憶するのではなく、ネットワークなどに転送しても良
い。また、加速度信号や磁気信号が乱れた時刻において
角速度センサ信号で姿勢情報の補償を行なう場合につい
て説明したが、信号の乱れる前の時刻における姿勢に角
速度信号で検出した微小時刻における角度変化、即ち
（２１）式〜（２３）式のｄα、ｄβ、ｄγに相当する
分を加えるなど、別の補償法をとっても良い。
勢情報を記憶手段７にまとめて格納し、そののち対応検
出と並進運動検出及び３次元形状算出をオフライン処理
する方式で説明したが、上記処理を実時間処理しても良
い。また、撮像手段２が固定焦点である場合には、焦点
距離検出手段３を省いても良い。さらに、撮影した画像
と算出した姿勢情報と３次元形状情報等を記憶手段７に
記憶するのではなく、ネットワークなどに転送しても良
い。また、加速度信号や磁気信号が乱れた時刻において
角速度センサ信号で姿勢情報の補償を行なう場合につい
て説明したが、信号の乱れる前の時刻における姿勢に角
速度信号で検出した微小時刻における角度変化、即ち
（２１）式〜（２３）式のｄα、ｄβ、ｄγに相当する
分を加えるなど、別の補償法をとっても良い。
【００５９】〔具体例１〕実際に撮像手段２で対象物を
撮影して撮像手段２の運動を検出した結果を図１５から
図１９に示す。図１５は加速度センサ信号により算出し
た回転角αの値と実際の回転角を示し、図１６は角速度
センサ信号により算出した回転角αの値と実際の回転角
を示し、図１７は加速度センサ信号の乱れた時刻におい
て、角速度センサ信号で求めた回転角αで補償した結果
と実際の回転角を示す。また、図１８は磁気センサ信号
により算出した回転角βの値と実際の回転角を示し、図
１９は磁気センサ信号の乱れた時刻において、角速度セ
ンサ信号で求めた回転角βで補償した結果と実際の回転
角を示す。図１５〜図１７に示すように、撮像手段２が
回転開始したり停止するときに撮像手段２に加える加速
度が大きくなり、加速度センサ信号により算出した回転
角αの検出誤差が大きくなったが、角速度センサ信号で
求めた回転角αで補償することにより姿勢検出の誤差を
大幅に低減することができた。また、図１８、図１９に
示すように、撮像手段２の周囲にあるモータ等から生じ
る磁場の影響を角速度センサ信号で求めた回転角βで補
償することにより姿勢検出誤差を大幅に低減することが
できた。さらに、対象物を連続撮影した結果、対象物の
３次元形状を精度良く復元することができた。
撮影して撮像手段２の運動を検出した結果を図１５から
図１９に示す。図１５は加速度センサ信号により算出し
た回転角αの値と実際の回転角を示し、図１６は角速度
センサ信号により算出した回転角αの値と実際の回転角
を示し、図１７は加速度センサ信号の乱れた時刻におい
て、角速度センサ信号で求めた回転角αで補償した結果
と実際の回転角を示す。また、図１８は磁気センサ信号
により算出した回転角βの値と実際の回転角を示し、図
１９は磁気センサ信号の乱れた時刻において、角速度セ
ンサ信号で求めた回転角βで補償した結果と実際の回転
角を示す。図１５〜図１７に示すように、撮像手段２が
回転開始したり停止するときに撮像手段２に加える加速
度が大きくなり、加速度センサ信号により算出した回転
角αの検出誤差が大きくなったが、角速度センサ信号で
求めた回転角αで補償することにより姿勢検出の誤差を
大幅に低減することができた。また、図１８、図１９に
示すように、撮像手段２の周囲にあるモータ等から生じ
る磁場の影響を角速度センサ信号で求めた回転角βで補
償することにより姿勢検出誤差を大幅に低減することが
できた。さらに、対象物を連続撮影した結果、対象物の
３次元形状を精度良く復元することができた。
【００６０】
【発明の効果】この発明は以上説明したように、撮像手
段の重力方向に対する姿勢を加速度センサで検出し、撮
像手段の重力回りの回転角を、磁気方位を検知する磁気
センサあるいは撮像手段の回転角速度を検知する角速度
センサのいずれか一方又は双方で検出して、移動して撮
像する撮像手段の姿勢情報を検知するようにしたから、
撮像手段の姿勢を高精度に求めることができ、撮像手段
で撮影した被写体の３次元形状を簡単な計算で精度良く
復元することができる。
段の重力方向に対する姿勢を加速度センサで検出し、撮
像手段の重力回りの回転角を、磁気方位を検知する磁気
センサあるいは撮像手段の回転角速度を検知する角速度
センサのいずれか一方又は双方で検出して、移動して撮
像する撮像手段の姿勢情報を検知するようにしたから、
撮像手段の姿勢を高精度に求めることができ、撮像手段
で撮影した被写体の３次元形状を簡単な計算で精度良く
復元することができる。
【００６１】また、加速度センサ信号と磁気センサ信号
の乱れを検知することにより、撮像手段の運動と３次元
形状復元の信頼性を高めることができる。また、信号の
乱れを検知した箇所を記憶することにより、利用者が姿
勢検出誤差が生じた箇所を知ることができ、利用者の便
宜を図ることができる。
の乱れを検知することにより、撮像手段の運動と３次元
形状復元の信頼性を高めることができる。また、信号の
乱れを検知した箇所を記憶することにより、利用者が姿
勢検出誤差が生じた箇所を知ることができ、利用者の便
宜を図ることができる。
【００６２】また、加速度センサ信号の乱れを検知した
ときに、加速度センサ信号による姿勢検出結果を、磁気
センサ信号や角速度センサ信号による姿勢検出結果で補
償することにより、撮像手段の姿勢検出誤差を低減する
ことができ、３次元形状を精度良く復元することができ
る。
ときに、加速度センサ信号による姿勢検出結果を、磁気
センサ信号や角速度センサ信号による姿勢検出結果で補
償することにより、撮像手段の姿勢検出誤差を低減する
ことができ、３次元形状を精度良く復元することができ
る。
【００６３】さらに、磁気センサ信号の乱れを検知した
ときに、磁気センサ信号による姿勢検出結果を角速度セ
ンサ信号による姿勢検出結果で補償することにより、撮
像手段の姿勢検出誤差を低減することができ、３次元形
状を精度良く復元することができる。
ときに、磁気センサ信号による姿勢検出結果を角速度セ
ンサ信号による姿勢検出結果で補償することにより、撮
像手段の姿勢検出誤差を低減することができ、３次元形
状を精度良く復元することができる。
【００６４】また、加速度センサ信号と磁気センサ信号
の乱れを検知したときに、加速度センサ信号と磁気セン
サ信号による姿勢検出結果を角速度センサ信号による姿
勢検出結果で補償することにより、撮像手段の姿勢検出
誤差をより低減することができ、３次元形状を精度良く
復元することができる。
の乱れを検知したときに、加速度センサ信号と磁気セン
サ信号による姿勢検出結果を角速度センサ信号による姿
勢検出結果で補償することにより、撮像手段の姿勢検出
誤差をより低減することができ、３次元形状を精度良く
復元することができる。
【図１】この発明の実施例の構成を示すブロック図であ
る。
る。
【図２】運動検出手段の構成を示すブロック図である。
【図３】運動検出手段の他の構成を示すブロック図であ
る。
る。
【図４】撮像手段の装置座標系を示す説明図である。
【図５】ワールド座標系を示す説明図である。
【図６】第１視点と第２視点の視線ベクトルを示す説明
図である。
図である。
【図７】ワールド座標系と装置座標系の対応を示す説明
図である。
図である。
【図８】特徴点の対応付けを示す説明図である。
【図９】画像入力装置の３次元形状復元動作を示すフロ
ーチャートである。
ーチャートである。
【図１０】乱れ検知手段を有する運動検出手段の構成を
示すブロック図である。
示すブロック図である。
【図１１】加速度センサ信号と磁気センサ信号の乱れ検
知動作を示すフローチャートである。
知動作を示すフローチャートである。
【図１２】加速度センサ信号の乱れ補償動作を示すフロ
ーチャートである。
ーチャートである。
【図１３】磁気センサ信号の乱れ補償動作を示すフロー
チャートである。
チャートである。
【図１４】加速度センサ信号と磁気センサ信号の乱れ補
償動作を示すフローチャートである。
償動作を示すフローチャートである。
【図１５】加速度センサ信号により算出した回転角と実
際の回転角を示す分布図である。
際の回転角を示す分布図である。
【図１６】角速度センサ信号により算出した回転角と実
際の回転角を示す分布図である。
際の回転角を示す分布図である。
【図１７】加速度センサ信号により算出した回転角を補
償した回転角と実際の回転角を示す分布図である。
償した回転角と実際の回転角を示す分布図である。
【図１８】磁気センサ信号により算出した回転角と実際
の回転角を示す分布図である。
の回転角を示す分布図である。
【図１９】磁気センサ信号により算出した回転角を補償
した回転角と実際の回転角を示す分布図である。
した回転角と実際の回転角を示す分布図である。
１ 画像入力装置 ２ 撮像手段 ３ 焦点距離検出手段 ４ 運動検出手段 ５ 対応検出手段 ６ ３次元演算手段 ７ 記憶手段 ４１ センサ部 ４２ 前処理手段 ４３ 姿勢算出手段 ４４ 視線ベクトル算出手段 ４５ 並進成分算出手段 ４６ 乱れ信号検出手段 ４１１ 加速度センサ ４１２ 磁気センサ ４１３ 角速度センサ
Claims (10)
- 【請求項１】 撮像手段と対応検出手段と運動検出手段
及び３次元演算手段を有し、 撮像手段は被写体の画像を入力し、 対応検出手段は撮像手段を移動して撮像したときに、撮
像手段から得られた複数枚の画像間の対応点を求め、 運動検出手段は姿勢算出手段と並進成分算出手段を有
し、姿勢算出手段は撮像手段を移動して撮像するとき、
撮像手段の姿勢情報を検出するものであり、撮像手段の
各視点における重力方向に対する姿勢を検出する加速度
センサと、磁気方位を検知して撮像手段の重力回りの回
転角を検出する磁気センサと撮像手段の回転角速度を検
知する角速度センサのいずれか一方又は双方を有し、並
進成分算出手段は姿勢算出手段で算出した撮像手段の姿
勢情報と対応検出手段で検出した画像間の対応点から撮
像手段の並進運動成分を算出し、 ３次元演算手段は入力した画像情報と算出した撮像手段
の姿勢情報と並進運動成分及び特徴点の対応付け結果か
ら被写体の３次元形状を計算して復元することを特徴と
する画像入力装置。 - 【請求項２】 上記加速度センサと磁気センサのいずれ
か一方、又は双方の出力信号の乱れを検出する乱れ信号
検出手段を有する請求項１記載の画像入力装置。 - 【請求項３】 上記乱れ信号検出手段で加速度センサの
出力信号の乱れを検出したときに、加速度センサの出力
信号から算出した姿勢情報を磁気センサで求めた姿勢情
報又は磁気センサで求めた姿勢情報と角速度センサで求
めた姿勢情報で補償する請求項２記載の画像入力装置。 - 【請求項４】 上記乱れ信号検出手段で磁気センサの出
力信号の乱れを検出したときに、磁気センサの出力信号
から算出した姿勢情報を加速度センサで求めた姿勢情報
又は加速度センサで求めた姿勢情報と角速度センサで求
めた姿勢情報で補償する請求項２記載の画像入力装置。 - 【請求項５】 上記乱れ信号検出手段で加速度センサと
磁気センサの出力信号の乱れを検出したときに、加速度
センサと磁気センサの出力信号から算出した姿勢情報を
角速度センサで求めた姿勢情報で補償する請求項２記載
の画像入力装置。 - 【請求項６】 撮像手段を移動して複数の視点で被写体
の画像を入力し、各視点における撮像手段の重力方向に
対する姿勢を加速度センサで検出し、撮像手段の重力回
りの回転角を、磁気方位を検知する磁気センサあるいは
撮像手段の回転角速度を検知する角速度センサ又は磁気
センサと角速度センサの両方で検出し、撮像手段の重力
方向に対する姿勢と重力回りの回転角から撮像手段の姿
勢情報を算出し、撮像手段から得られた複数枚の画像間
の対応点を求め、撮像手段の姿勢情報と画像間の対応点
から撮像手段の並進運動成分を算出し、入力した画像情
報と算出した撮像手段の姿勢情報と並進運動成分及び特
徴点の対応付け結果から被写体の３次元形状を計算して
復元することを特徴とする画像入力方法。 - 【請求項７】 上記加速度センサと磁気センサのいずれ
か一方又は双方の出力信号の乱れを検出する請求項６記
載の画像入力方法。 - 【請求項８】 上記加速度センサの出力信号の乱れを検
出したときに、加速度センサの出力信号から算出した姿
勢情報を磁気センサで求めた姿勢情報又は磁気センサで
求めた姿勢情報と角速度センサで求めた姿勢情報で補償
する請求項６記載の画像入力方法。 - 【請求項９】 上記磁気センサの出力信号の乱れを検出
したときに、磁気センサの出力信号から算出した姿勢情
報を加速度センサで求めた姿勢情報又は加速度センサで
求めた姿勢情報と角速度センサで求めた姿勢情報で補償
する請求項６記載の画像入力方法。 - 【請求項１０】 上記加速度センサと磁気センサの出力
信号の乱れを検出したときに、加速度センサと磁気セン
サの出力信号から算出した姿勢情報を角速度センサで求
めた姿勢情報で補償する請求項６記載の画像入力方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15892598A JP3732335B2 (ja) | 1998-02-18 | 1998-06-08 | 画像入力装置及び画像入力方法 |
| US09/252,879 US6700604B1 (en) | 1998-02-18 | 1999-02-18 | Image capturing method and apparatus for determining a shape of an object |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-51291 | 1998-02-18 | ||
| JP5129198 | 1998-02-18 | ||
| JP15892598A JP3732335B2 (ja) | 1998-02-18 | 1998-06-08 | 画像入力装置及び画像入力方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11306363A true JPH11306363A (ja) | 1999-11-05 |
| JP3732335B2 JP3732335B2 (ja) | 2006-01-05 |
Family
ID=26391831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15892598A Expired - Fee Related JP3732335B2 (ja) | 1998-02-18 | 1998-06-08 | 画像入力装置及び画像入力方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6700604B1 (ja) |
| JP (1) | JP3732335B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006047293A (ja) * | 2004-06-25 | 2006-02-16 | 059312 Nb Inc | 形状加速度計測装置及び方法 |
| KR100726215B1 (ko) | 2005-10-14 | 2007-06-11 | 삼성전자주식회사 | 정립상을 촬영하는 휴대용 단말기 및 방법 |
| US7440585B2 (en) | 2002-11-21 | 2008-10-21 | Samsung Electronics Co., Ltd. | Autonomous vehicle and motion control therefor |
| JP2009276094A (ja) * | 2008-05-12 | 2009-11-26 | Sumitomo Electric Ind Ltd | 姿勢特定装置、移動方位特定装置、位置特定装置、コンピュータプログラム及び姿勢特定方法 |
| JP2011027718A (ja) * | 2009-06-16 | 2011-02-10 | Intel Corp | 単一カメラ及び運動センサーによる３次元情報抽出 |
| JP2011059091A (ja) * | 2009-09-07 | 2011-03-24 | Aichi Micro Intelligent Corp | 室内位置検出装置 |
| JP2014521262A (ja) * | 2011-07-13 | 2014-08-25 | クゥアルコム・インコーポレイテッド | 撮像デバイスを較正するための方法および装置 |
| JP2015216602A (ja) * | 2014-05-13 | 2015-12-03 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
| JP2018057010A (ja) * | 2015-02-02 | 2018-04-05 | オーシーアールシステム株式会社 | 光学端末装置及びスキャンプログラム |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2001268965A1 (en) * | 2000-04-11 | 2001-10-23 | Roke Manor Research Limited. | Self-calibration of an array of imaging sensors |
| US20070210985A1 (en) * | 2006-03-13 | 2007-09-13 | Royer George R | Three dimensional imaging system |
| US9569439B2 (en) | 2011-10-31 | 2017-02-14 | Elwha Llc | Context-sensitive query enrichment |
| US10528913B2 (en) | 2011-12-30 | 2020-01-07 | Elwha Llc | Evidence-based healthcare information management protocols |
| US10679309B2 (en) | 2011-12-30 | 2020-06-09 | Elwha Llc | Evidence-based healthcare information management protocols |
| US10340034B2 (en) | 2011-12-30 | 2019-07-02 | Elwha Llc | Evidence-based healthcare information management protocols |
| US10475142B2 (en) | 2011-12-30 | 2019-11-12 | Elwha Llc | Evidence-based healthcare information management protocols |
| US20130173295A1 (en) | 2011-12-30 | 2013-07-04 | Elwha LLC, a limited liability company of the State of Delaware | Evidence-based healthcare information management protocols |
| US10552581B2 (en) | 2011-12-30 | 2020-02-04 | Elwha Llc | Evidence-based healthcare information management protocols |
| US10559380B2 (en) | 2011-12-30 | 2020-02-11 | Elwha Llc | Evidence-based healthcare information management protocols |
| US20130293686A1 (en) * | 2012-05-03 | 2013-11-07 | Qualcomm Incorporated | 3d reconstruction of human subject using a mobile device |
| US9142019B2 (en) * | 2013-02-28 | 2015-09-22 | Google Technology Holdings LLC | System for 2D/3D spatial feature processing |
| KR102068048B1 (ko) * | 2013-05-13 | 2020-01-20 | 삼성전자주식회사 | 3차원 영상 제공 시스템 및 방법 |
| WO2014186970A1 (en) * | 2013-05-23 | 2014-11-27 | Google Inc. | Systems and methods for generating three-dimensional models using sensed position data |
| US9646384B2 (en) | 2013-09-11 | 2017-05-09 | Google Technology Holdings LLC | 3D feature descriptors with camera pose information |
| US10488195B2 (en) * | 2016-10-25 | 2019-11-26 | Microsoft Technology Licensing, Llc | Curated photogrammetry |
| CN111766918B (zh) * | 2020-06-05 | 2023-03-24 | 北京小米移动软件有限公司 | 折叠屏姿态检测方法和装置、电子设备以及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04269607A (ja) * | 1991-02-25 | 1992-09-25 | Mitsui Eng & Shipbuild Co Ltd | 物体の寸法計測装置 |
| US6038074A (en) * | 1997-05-20 | 2000-03-14 | Ricoh Company, Ltd. | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image |
-
1998
- 1998-06-08 JP JP15892598A patent/JP3732335B2/ja not_active Expired - Fee Related
-
1999
- 1999-02-18 US US09/252,879 patent/US6700604B1/en not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7440585B2 (en) | 2002-11-21 | 2008-10-21 | Samsung Electronics Co., Ltd. | Autonomous vehicle and motion control therefor |
| DE10326943B4 (de) | 2002-11-21 | 2019-09-12 | Samsung Electronics Co., Ltd. | Autonomes Fahrzeug sowie zugehörige Verfahren und Vorrichtungen zur Bewegungsbestimmung, Bewegungssteuerung und Objekterkennung |
| JP2006047293A (ja) * | 2004-06-25 | 2006-02-16 | 059312 Nb Inc | 形状加速度計測装置及び方法 |
| KR100726215B1 (ko) | 2005-10-14 | 2007-06-11 | 삼성전자주식회사 | 정립상을 촬영하는 휴대용 단말기 및 방법 |
| JP2009276094A (ja) * | 2008-05-12 | 2009-11-26 | Sumitomo Electric Ind Ltd | 姿勢特定装置、移動方位特定装置、位置特定装置、コンピュータプログラム及び姿勢特定方法 |
| JP2011027718A (ja) * | 2009-06-16 | 2011-02-10 | Intel Corp | 単一カメラ及び運動センサーによる３次元情報抽出 |
| JP2011059091A (ja) * | 2009-09-07 | 2011-03-24 | Aichi Micro Intelligent Corp | 室内位置検出装置 |
| JP2014521262A (ja) * | 2011-07-13 | 2014-08-25 | クゥアルコム・インコーポレイテッド | 撮像デバイスを較正するための方法および装置 |
| JP2015216602A (ja) * | 2014-05-13 | 2015-12-03 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
| JP2018057010A (ja) * | 2015-02-02 | 2018-04-05 | オーシーアールシステム株式会社 | 光学端末装置及びスキャンプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3732335B2 (ja) | 2006-01-05 |
| US6700604B1 (en) | 2004-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3732335B2 (ja) | 画像入力装置及び画像入力方法 | |
| US6038074A (en) | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image | |
| JP5027747B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
| JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
| EP4155873A1 (en) | Multi-sensor handle controller hybrid tracking method and device | |
| JP5027746B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
| WO2010001940A1 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
| CN110533719B (zh) | 基于环境视觉特征点识别技术的增强现实定位方法及装置 | |
| CN108413917B (zh) | 非接触式三维测量系统、非接触式三维测量方法及测量装置 | |
| CN113551665B (zh) | 一种用于运动载体的高动态运动状态感知系统及感知方法 | |
| EP1494476A1 (en) | Image processing method and apparatus | |
| CN108780577A (zh) | 图像处理方法和设备 | |
| CN111899276A (zh) | 一种基于双目事件相机的slam方法及系统 | |
| JP3957888B2 (ja) | 撮像装置及び撮像画像合成方法 | |
| JP2019036780A (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
| CN114608561A (zh) | 一种基于多传感器融合的定位与建图方法及系统 | |
| CN113012224A (zh) | 定位初始化方法和相关装置、设备、存储介质 | |
| JP2559939B2 (ja) | ３次元情報入力装置 | |
| JPH0814861A (ja) | ３次元形状の計測方法及び装置 | |
| JP3655065B2 (ja) | 位置・姿勢検出装置と位置・姿勢検出方法と３次元形状復元装置及び３次元形状復元方法 | |
| JPH1023465A (ja) | 撮像方法及び装置 | |
| JP3712847B2 (ja) | ３次元形状計測方法と３次元形状計測装置及び撮像手段の姿勢検出装置 | |
| JPH11120361A (ja) | ３次元形状復元装置及び復元方法 | |
| JP4112925B2 (ja) | 画像入力装置、画像入力方法、及びコンピュータが実行するためのプログラム | |
| WO2022201825A1 (ja) | 情報処理装置、情報処理方法、及び、情報処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051012 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |