JP2024003461A - 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法 - Google Patents

姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法 Download PDF

Info

Publication number
JP2024003461A
JP2024003461A JP2022102632A JP2022102632A JP2024003461A JP 2024003461 A JP2024003461 A JP 2024003461A JP 2022102632 A JP2022102632 A JP 2022102632A JP 2022102632 A JP2022102632 A JP 2022102632A JP 2024003461 A JP2024003461 A JP 2024003461A
Authority
JP
Japan
Prior art keywords
sensor
attitude
output
calculation
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022102632A
Other languages
English (en)
Inventor
将暉 山内
Masaki Yamauchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022102632A priority Critical patent/JP2024003461A/ja
Priority to US18/341,135 priority patent/US20230417575A1/en
Publication of JP2024003461A publication Critical patent/JP2024003461A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00Indicating or recording presence, absence, or direction, of movement
    • G01P13/02Indicating direction only, e.g. by weather vane
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1654Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183Compensation of inertial measurements, e.g. for temperature effects
    • G01C21/188Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00Indicating or recording presence, absence, or direction, of movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Gyroscopes (AREA)
  • Accessories Of Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 複数のセンサの出力を用いて、精度よく姿勢角を算出することが可能な姿勢算出装置を提供すること。【解決手段】 姿勢算出手段は、移動装置の動きを検出する第1のセンサと、第2のセンサと、から検出信号を取得する取得手段と、基準角度と第1のセンサの出力に基づいて移動装置の第1の姿勢情報を算出する第1の算出手段と、第1のセンサの出力と第2のセンサの出力とに基づいて、第1の算出手段と異なる方法で移動装置の第2の姿勢情報を算出する第2の算出手段と、いずれの算出手段を用いて移動装置の姿勢を算出するかを決定する決定手段と、基準角度を更新する基準角度更新部と、を備える。決定手段が、移動装置の姿勢の算出を、第2の算出手段を用いて行う状態から、第1の算出手段を用いて行う状態へ切り替えると決定したタイミングと同期して基準角度更新部が基準角度の更新を行う。【選択図】 図7

Description

本発明は、動きを検出する複数のセンサを用いて姿勢を算出する技術に関するものである。
ビデオカメラ等の撮像装置には、搭載された角速度センサの出力から相対的な姿勢変化を算出する機能を有するものがある。撮像装置の姿勢は直交する3軸まわりの角度で表現され、角速度センサの出力である角速度を積算することによって運動による姿勢(角度)の変化量を算出できる。しかしながら、角速度センサは温度変化等によって特に低周波帯域での出力が変化する特性があるため、温度変化が生じると、角速度を積算して得られた姿勢が真値からずれてしまう。そのため、加速度センサや地磁気センサといった撮像装置の動きを検出可能な他の種類のセンサを併用することで、角速度センサの出力変化による姿勢の算出角度の誤差を低減する方法が提案されている。
特許文献1には、角速度センサの出力信号と加速度センサ及び地磁気センサの出力信号を合成し、撮像装置の角度を算出する姿勢角算出装置が記載されている。
特開2020-181059号公報
しかしながら、加速度センサ及び地磁気センサの出力は、低周波帯域の誤差の影響は角速度センサの出力よりも小さいものの、高周波ノイズが多く含まれている。よって、これらセンサの出力信号を常に使用すると、算出する姿勢角度の精度が低下してしまう場合がある。
本発明は上述の課題を鑑みてなされたものであり、複数のセンサの出力を用いて姿勢角を算出する場合に、精度よく姿勢角を算出することが可能な姿勢算出装置を提供することを目的とする。
本発明の一側面としての姿勢算出装置は、移動装置の動きを検出する第1のセンサと、前記第1のセンサが検出する動きと同じ軸における前記移動装置の動きを検出する第2のセンサと、から検出信号を取得する取得手段と、前記第1のセンサの出力と基準角度とに基づいて前記移動装置の第1の姿勢情報を算出する第1の算出手段と、前記第1のセンサの出力と前記第2のセンサの出力とに基づいて、前記第1の算出手段と異なる方法で前記移動装置の第2の姿勢情報を算出する第2の算出手段と、前記第1の算出手段と前記第2の算出手段とを含む複数の算出手段のうち、いずれの算出手段を用いて前記移動装置の姿勢を算出するかを決定する決定手段と、前記基準角度を更新する基準角度更新部と、を備え、前記基準角度更新部は、前記決定手段が、前記第2の算出手段を用いて前記移動装置の姿勢を算出している状態から、前記第1の算出手段を用いて前記移動装置の姿勢を算出する状態へ切り替えると決定したタイミングと同期して前記基準角度の更新を行うことを特徴とする。
本発明のその他の側面については、以下で説明する実施の形態で明らかにする。
本発明によれば、複数のセンサの出力を用いて、精度よく姿勢角を算出することが可能な姿勢算出装置を提供することができる。
実施形態のカメラの構成図である。 絶対座標系を説明するための概念図である。 センサ座標系を説明するための概念図である。 実施形態の姿勢演算部の構成図である。 実施形態の姿勢演算部の処理を示すフローチャートである。 第一の実施形態の姿勢演算部における出力信号を説明するためのグラフである。 第二の実施形態の姿勢演算部の構成図である。 第二の実施形態の姿勢演算部の処理を示すフローチャートである。 第二の実施形態の姿勢演算部における出力信号を説明するためのグラフである。
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。
<第一の実施形態>
以下、本発明の第一の実施形態では、撮像装置であるカメラ100(ビデオカメラを含む)内に姿勢算出装置を設けた形態について図面を参照して説明する。
図1は、本発明の第1の実施形態に係わるカメラ100の構成を示すブロック図である。カメラ100は、主に静止画像と動画像の撮影を行うためのレンズ括り付けのデジタルカメラである。ただし、本発明の適用範囲はレンズ括り付けのデジタルカメラに限定されるものではなく、レンズ交換式のデジタルカメラにも同様に適用できる。また、デジタルカメラ以外の各種の撮像システムに適用することも可能である。
撮像レンズ101は撮像光学系である。簡略化のため、図1にはレンズを1つしか記載していないが、変倍を行うズームレンズ、像ブレ補正を行うシフトレンズ等の像ブレ補正レンズ、焦点調節を行うフォーカスレンズ等を含むことができる。これらの構成により、被写体像を撮像素子102上に結像させる。
撮像素子102は撮像レンズ101により結像された被写体像を撮像するものである。被写体像を光電変換して電荷を蓄積し、その電荷を読み出すことにより複数の画素からなる画像信号を信号処理部103へ出力する。撮像素子102は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等で構成される。
信号処理部103は、撮像素子102から出力された画像信号にホワイトバランス調整やガンマ補正等の信号処理を施し、各フレームの画像信号からなる映像信号を生成して画像メモリ104に格納する。表示制御部105は画像メモリ104に格納された映像信号を読み出し、表示デバイス106に画像を表示させる。表示デバイス106は、画像を表示することができるデバイスであり、例えばLCD(Liquid Crystal Display)パネルで構成される。
角速度センサ107は、カメラ100に加わる動き(振れ)の角速度を検出するセンサであり、直交する3本の検出軸で各軸まわりの角速度を検出する角速度検出部として機能する。検出軸の詳細については後述する。角速度センサ107は例えばジャイロセンサである。本発明及び本明細書では、角速度センサ107のように、カメラ100に加わる動きの角速度を検出するセンサであっても、カメラ100の動きを検出するという。なお、角速度センサ107は、1つの検出軸の各軸回りの角速度を検出する3つの角速度センサが別々に設けられてもよいし、ユニット化されていてもよい。角速度センサ107は、検出信号である角速度信号を姿勢演算部200に出力する。
加速度センサ108は、カメラ100に加わる動き(振れ)の加速度を検出するセンサであり、直交する3本の検出軸で加速度を検出する加速度検出部として機能する。これにより、重力方向を検出することができる。本発明及び本明細書では、加速度センサ108のように、カメラ100に加わる動きの加速度を検出するセンサであっても、カメラ100の動きを検出するという。なお、加速度センサ108は、1つの検出軸の各軸回りの加速度を検出する3つの加速度センサが別々に設けられてもよいし、ユニット化されていてもよい。加速度センサ108は、検出信号である加速度信号を姿勢演算部200に出力する。
地磁気センサ109は、カメラ100が受ける磁気を検出するセンサであり、直交する3本の検出軸で磁気を検出することで地磁気の方向を検出する地磁気検出部として機能する。地磁気センサ109はカメラ100の動きそのものを検出するセンサではないが、地磁気の方向の変化に基づいてカメラ100の動きを検出することができる。よって、本発明及び本明細書では、地磁気センサ109のように、カメラ100に加わる動きの地磁気の方向を検出するセンサであっても、カメラ100の動きを検出するという。なお、地磁気センサ109は、1つの検出軸の各軸回りの地磁気を検出する3つの地磁気センサが別々に設けられてもよいし、ユニット化されていてもよい。地磁気センサ109は、検出信号である地磁気信号を姿勢演算部200に出力する。
姿勢演算部200は角速度センサ107から出力された角速度信号、加速度センサ108から出力された加速度信号、及び地磁気109センサから出力された地磁気信号を用いた演算処理を行う。これにより、カメラ100の姿勢を示す情報(以下、姿勢情報と呼ぶことがある)として、基準角度に対する現在のカメラ100の角度(以下、姿勢角と呼ぶことがある)を算出する。
姿勢演算部200による詳細な姿勢算出方法は後述する。姿勢演算部200は算出した姿勢情報を記録制御部111に出力する。
操作部110は、ユーザのカメラ操作による、映像(動画)記録開始及び停止の操作情報を取得する。操作部110は、例えばタッチパネルやスイッチ等で構成される。
記録制御部111は操作部110から映像の記録が指示された場合、画像メモリ104に格納された映像信号と姿勢演算部200から出力された姿勢情報とを同期させて記録媒体112に出力し、記録させる。記録媒体112は、カメラ100に備え付けられていてもよいし、可搬式であってもよく、例えば半導体メモリやハードディスク等で構成される。
図2は、カメラ100の姿勢を表すための絶対座標系を示す図である。絶対座標系は、直交する3軸で構成される。本実施形態では絶対座標系の3軸をX、Y、Zで表し、東方向をX軸、重力方向をY軸、北方向をZ軸と定義する。また、絶対座標系のX軸まわりの回転角をPitch角(ピッチ角)、Y軸まわりの回転角をYaw角(ヨー角)、Z軸まわりの回転角をRoll角(ロール角)とする。
図2(a)は、カメラ100の姿勢が第1の姿勢である時のカメラ100と絶対座標との関係を示す図である。図2(b)は、カメラ100の姿勢が第1の姿勢から変化した後のカメラ100と絶対座標との関係を示す図である。絶対座標系の各軸の向きは、カメラ100(搭載されたセンサを含む)の姿勢が変化しても変化しない。
本実施形態では、図2(a)に示すように、撮像レンズ101の光軸がZ軸、カメラ100水平方向がX軸と一致する第1の姿勢をとるときの姿勢角(Pitch角、Yaw角、Roll角)を0角度であるとして説明をする。カメラ100が所定の姿勢をとるときの、この0角度に対する変位角を初期角度とし、後述する加速度角度演算部201及び地磁気角度演算部202で算出する。以降は初期角度を基準とした相対的な角度をカメラの姿勢角として算出する。所定の姿勢は特に問わず、例えば、カメラの電源起動時の姿勢でもよいし、映像記録開始時の変位角でもよい。この場合、初期角度は、それぞれ、カメラの電源起動時の変位角または、映像記録開始時の変位角となる。
図3は、角速度センサ107の検出方向を表すためのセンサ座標系を示す図である。センサ座標系は、直交する3軸で構成される。本実施形態ではセンサ座標系の3軸をX、Y、Zで表し、角速度センサ107は、X、Y、Z軸を中心とする回転角の速度を検出する。また、カメラ100が上述の第1の姿勢をとるときはセンサ座標系の3軸をX、Y、Zの向きが絶対座標系のX、Y、Zの向きとそれぞれ一致しているものとする。
図3(a)は、角速度センサ107が固定されているカメラ100が第1の姿勢をとるとき(映像記録開始時)のカメラ100とセンサ座標との関係を示す図である。図3(b)は、カメラ100の姿勢が第1の姿勢から変化したときのカメラ100とセンサ座標との関係を示す図である。センサ座標系は、カメラ100の姿勢が変化すると、その変化に相当する回転角で回転し、各軸(X、Y、Z)の向きが変化する。そのため、角速度センサ107の出力からカメラ100の姿勢を算出するためには、センサ座標系から絶対座標系への変換が必要である。この変換方法についての説明は後述する。
図3では、角速度センサ107のみについて説明したが、加速度センサ108及び地磁気センサ109の出力についても同様にセンサ座標系で表されるため、絶対座標系への変換が必要である。尚、本実施形態では、角速度センサ107と加速度センサ108と地磁気センサ109との検出軸はX、Y、Zで一致しているものとするが、各センサの検出軸がズレている場合はその補正を行うことで同様に姿勢を検出することができる。
以下、姿勢演算部200による姿勢情報の算出について説明する。姿勢演算部200は、姿勢情報を算出する方法が異なる第1の算出手段と第2の算出手段とを有し、カメラ100の動きの大きさに応じていずれの算出手段で算出された姿勢情報をカメラの姿勢情報とするかを決定して出力する。カメラ100の動きが小さいときは、低周波帯域の誤差と誤差変化が加速度センサ108と地磁気センサ109よりも生じやすいが、高周波帯域のノイズ成分が少ない角速度センサ107の出力に基づいて姿勢情報を検出する第1の算出手段を選択する。カメラの動きが大きいときは、角速度センサ107の出力に加えて、加速度センサ108と地磁気センサ109の出力にも基づいて姿勢情報を算出する第2の算出手段を選択する。このように、角速度センサ107の出力のみに基づいて姿勢情報を算出すると誤差が生じやすい状態のときに加速度センサ108と地磁気センサ109も用いて姿勢を算出する。これにより、低周波帯域の誤差と高周波帯域のノイズ成分との影響を軽減した姿勢情報を算出することができる。
図4及び図5を用いて姿勢演算部200による姿勢情報の算出について詳細に説明する。図4は、姿勢演算部200の構成を示すブロック図である。また、図5は、姿勢演算部200における処理の流れを示すフローチャート図である。図5に示す処理は、任意の所定の周期で繰り返し実行される。
姿勢演算部200を構成する各ブロックについて説明をする。加速度角度演算部201は、加速度センサ108から出力されたセンサ座標系における加速度信号(A、Ay、:X軸加速度、Y軸加速度、Z軸加速度)から絶対座標系におけるPitch角θ及びRoll角φを(式1)、(式2)によって算出する。算出結果は、静止判定部203及びカルマンフィルタ演算部207に出力する。
Figure 2024003461000002
Figure 2024003461000003
地磁気角度演算部202は、地磁気センサ109から出力されたセンサ座標系における地磁気信号(M、My、:X軸地磁気、Y軸地磁気、Z軸地磁気)から絶対座標系におけるYaw角を算出する。まず、センサ座標系で表される地磁気信号(M、My、)と、後述する出力決定部208から出力される姿勢角(ψ、θ、φ:Yaw角、Pitch角、Roll角)とを用いて、絶対座標系における地磁気信号(M’、M’:X軸地磁気、Y軸地磁気、Z軸地磁気)を(式3)によって算出する。尚、出力決定部208から出力される姿勢角(ψ、θ、φ)を第3の姿勢情報と呼ぶことがある。
Figure 2024003461000004
算出した絶対座標系における地磁気信号から(式4)によってYaw角ψを算出し、算出結果を静止判定部203及びカルマンフィルタ演算部207に出力する。
Figure 2024003461000005
静止判定部203は、加速度角度演算部201から出力されたPitch角θ及びRoll角φ、及び地磁気角度演算部202から出力されたYaw角ψを用いて、カメラ100に生じている動きの状態を判定する判定手段として機能する。本実施形態の静止判定部203は、カメラ100の動きの状態として静止しているか否かを判定し、その判定結果(静止状態/非静止状態)をオフセット演算部204及び出力決定部208に出力する。静止判定部203は、例えば、Pitch角θ及びRoll角φ、Yaw角ψの所定時間の出力変動幅が、それぞれ所定値以内であればカメラ100が静止状態であると判定する。静止判定部203は、低周波帯域の誤差が角速度センサ107よりも小さい加速度センサ108と地磁気センサ109との出力に基づいてカメラ100に生じている動きの状態を判定する。そのため、角速度センサ107の出力に基づいて動きの状態を判定するよりも、精度よく動きの状態を判定できる。
オフセット演算部204は、角速度センサ107から出力された角速度信号に含まれるオフセット値を算出して出力する。以下、オフセット演算部204で算出されたオフセット値を、オフセット算出値と呼ぶ。本実施形態では、静止判定部203でカメラ100が静止状態であると判定された場合にのみ、オフセット値を新たに算出して出力することで、オフセット算出値を更新する。一方で、非静止状態であると判定された場合にはオフセット値の算出と更新はせず、前回のオフセット算出値を出力する。本実施形態では、オフセット算出値は、所定の期間に出力される角速度信号の平均値とする。尚、平均値の代わりに、所定の期間に出力される角速度信号に対してローパスフィルタ処理を施して抽出した低周波帯域の成分を、オフセット算出値としてもよい。
オフセット減算器205は、角速度センサ107から出力された角速度信号からオフセット演算部204から出力されたオフセット算出値を差し引いたオフセット補正後角速度信号を角速度角度演算部206に出力する。
角速度角度演算部206は、角速度に基づいて、カメラの姿勢情報を算出する第1の算出手段として機能する。角速度角度演算部206は、オフセット減算器205から出力されたオフセット補正後角速度信号及び後述する出力決定部208から出力された姿勢角に基づいて絶対座標系におけるカメラ100の姿勢角を算出して出力する。角速度角度演算部206により算出される姿勢角(ψ,θ,φ:Yaw角、Pitch角、Roll角)を以下、第1の姿勢情報と呼ぶことがある。
角速度角度演算部206による絶対座標系におけるカメラ100の姿勢角の算出方法について説明をする。まず、(式5)に示すようにセンサ座標系で表されるオフセット補正後角速度信号(ω,ω,ω:Yaw角速度、Pitch角速度、Roll角速度)を、後述する出力決定部208から出力される姿勢角(ψ、θ、φ)を用いて絶対座標系における
Figure 2024003461000006

に変換する。
Figure 2024003461000007
次に、(式6)に示すように、算出した絶対座標系における
Figure 2024003461000008

を積算することによって絶対座標系における角度(ψ,θ,φ)を算出する。角速度信号の積分器(ψG(t-1),θG(t-1),φG(t-1))は、映像記録開始時(t=0)では0であり、時間経過とともに角速度信号が検出され、角速度が積算されていく。
Figure 2024003461000009
角速度角度演算部206は、算出した絶対座標系における角度(ψ,θ,φ)を、カルマンフィルタ演算部207及び出力決定部208に出力する。
カルマンフィルタ演算部207は、角速度角度演算部206から出力された姿勢角(ψ,θ,φ)に加え、加速度センサと地磁気センサとの検出結果も用いて第2の姿勢情報を算出する第2の算出手段として機能する。具体的には、角速度角度演算部206から出力された姿勢角(ψ,θ,φ)、加速度角度演算部201から出力されたPitch角θ及びRoll角φ、及び地磁気角度演算部202から出力されたYaw角ψをカルマンフィルタに入力する。これにより、各出力に含まれる誤差を低減した第2の姿勢情報(ψ,θ,φ:Yaw角、Pitch角、Roll角)を算出する。
カルマンフィルタ演算部207による第2の姿勢情報の算出方法について説明をする。カルマンフィルタは状態方程式及び観測方程式からリアルタイムに最適な状態値を推定するフィルタである。カルマンフィルタは公知の情報であるため、詳細な説明は省略する。(式7)に示すように、カルマンフィルタの状態値x(t)を求めるべき姿勢角(ψ,θ,φ)とし、観測値y(t)を加速度角度演算部201及び地磁気角度演算部202から出力された姿勢角(ψ、θ、φ)とする。さらに、入力値u(t)を角速度角度演算部206から出力された姿勢角(ψ,θ,φ)とすると、状態方程式及び観測方程式は(式8)で示される。
Figure 2024003461000010
Figure 2024003461000011
なお、プロセスノイズv(t)、及び観測ノイズw(t)は、各センサ(角速度センサ107、加速度センサ108、地磁気センサ109)に含まれるノイズや発生する誤差を勘案して、公知の技術に則って、適切な値に設定する。
出力決定部208は、静止判定部203によるカメラ100の静止判定結果に応じて、第1の姿勢情報と第2の姿勢情報とのいずれをカメラ100の姿勢情報として出力するかを決定する。そして、決定された方の姿勢情報を第3の姿勢情報(ψ、θ、φ)として記録制御部111に出力する。出力決定部208は、静止判定結果が、カメラ100が静止状態であることを示す場合には角速度角度演算部206から出力された第1の姿勢情報(ψ,θ,φ)を第3の姿勢情報(ψ、θ、φ)として出力する。一方、出力決定部208は、静止判定結果が、カメラが非静止状態であることを示す場合にはカルマンフィルタ演算部207から出力された第2の姿勢情報(ψ,θ,φ)を第3の姿勢情報(ψ、θ、φ)として出力する。
このように構成される姿勢演算部200による姿勢情報の算出フローについて、図5のフローチャートを用いて説明をする。
まず、ステップS101において、加速度角度演算部201は、加速度センサ108から出力されたセンサ座標系における加速度信号(A、Ay、)から絶対座標系におけるPitch角θ及びRoll角φを算出する。
次に、ステップS102において、地磁気角度演算部202は、地磁気センサ109から出力されたセンサ座標系における地磁気信号(M、My、)から絶対座標系におけるYaw角を算出する。
次に、ステップS103において、静止判定部203は、ステップS101で算出したPitch角θ、Roll角φ、ステップS102で算出したYaw角ψを用いて、カメラ100が静止しているか否かを判定する。静止状態であると判定された場合は、ステップS104へ進み、静止状態でない(非静止状態である)と判定された場合は、ステップS105へ進む。
ステップS104において、オフセット演算部204は、角速度センサ107から出力された角速度信号に含まれるオフセット値を算出して、前回のステップS104で算出されたオフセット値を更新してステップS105へ進む。
ステップS105において、角速度角度演算部206は、オフセット補正後角速度信号(ω,ω,ω)及び前回のフローで出力決定部208から出力された姿勢角(ψ,θ,φ)に基づいて、カメラの第1の姿勢情報(ψ,θ,φ)を算出する。
ステップS106では、カルマンフィルタ演算部207は、ステップS105で算出された第1の姿勢情報(ψ,θ,φ)、加速度角度演算部201と地磁気角度演算部202からから出力されたPitch角θ、Roll角φ、Yaw角ψに基づいて第2の姿勢情報(ψ,θ,φ)を算出する。
ステップS107では、ステップS103で静止判定部203が判定した結果を参照する。判定結果が静止状態であることを示す場合(つまり、ステップS104を経由してステップS107へ至った場合)はステップS108へ進む。判定結果が静止状態であることを示さない場合(つまり、ステップS104を経由せずにステップS107へ至った場合)はステップS109へ進む。
ステップS108では、角速度センサ107の出力に基づいて算出された第1の姿勢をカメラ100の姿勢情報として出力する。ステップS108を実行する場合、カメラ100が静止状態であるため、角速度センサ107の出力に含まれる低周波帯域の誤差成分の影響がオフセット算出値の減算により十分に低減できていることが推測される。そのため、高周波帯域のノイズの影響が第2の姿勢よりも小さい第1の姿勢をカメラ100の姿勢情報として出力する。
一方、ステップS109では、角速度センサ107、加速度センサ108及び地磁気センサ109の出力に基づいて算出された第2の姿勢をカメラ100の姿勢情報として出力する。ステップS109を実行する場合、カメラ100が非静止状態であり、カメラ100の動きに起因する低周波成分と誤差とを分離することが難しいため、加速度センサ108及び地磁気センサ109の検出結果にも基づいて姿勢情報を算出する。
以上、説明してきたように、本実施形態によれば、加速度センサ及び地磁気センサに含まれる高周波ノイズによる影響を抑えつつ、温度等による角速度センサの低周波帯域の誤差または誤差変動の影響を精度よく補正し、カメラの姿勢角を算出することが可能となる。
<第二の実施形態>
第一の実施形態では、静止判定結果が切り替わるタイミングで、出力する出力決定部308が出力する姿勢情報が、第1の姿勢情報から第2の姿勢情報、又は、第2の姿勢情報から第1の姿勢情報に変化する。このように、姿勢情報の算出方法が切り替わる際に、出力する姿勢情報(ψ,θ,φ)に誤差が生じる可能性がある。この課題について、図6を用いて説明する。
図6は、第一の実施形態で出力される姿勢情報(ψ,θ,φ)に誤差が生じる場合を説明するためのグラフであり、横軸が時間、縦軸がYaw角、Pitch角、Roll角のいずれかの姿勢角を表す。図6(a)は、カメラ100の姿勢(真の角度)を示すグラフである。図6(b)は、第一の実施形態における角速度角度演算部206の出力信号である第1の角度信号(破線)及びカルマンフィルタ演算部207の出力信号である第2の角度信号(実線)を示すグラフである。図6(c)は第一の実施形態における出力決定部208の出力信号である第3の角度信号を示すグラフである。
なお、角速度センサ107は、図6で示す区間中、温度変化によって出力に含まれるオフセット成分が変化し続けているものとする。また、出力に含まれるオフセット成分の変化は、オフセット演算部204とオフセット減算器205とにより完全に除去されているものとして説明をする。
カメラ100の姿勢は、タイミングT0で角度D1であり、T0からタイミングT1まで変化がなく(静止状態)、タイミングT1からタイミングT2まで一定の速度で変化しタイミングT2において角度D2となる(非静止状態)。そして、タイミングT2以降は変化がない(静止状態)ものとする。
角速度に基づく姿勢角である第1の角度信号は、タイミングT0からタイミングT1の間は、オフセット演算部204によって角速度信号のオフセットが更新され続けるため、正確な姿勢角D1を示す。しかし、タイミングT1からタイミングT2の間は、オフセットの更新は行われない。よって、時間経過とともに特に低周波帯域の誤差(オフセット)が蓄積してしまい、タイミングT2においては真の値である角度D2に対して誤差が生じた角度D3を示す第1の角度信号が出力される。タイミングT2以降は、オフセットの更新が行われるため、時間経過に対する出力変化は補正できるが、タイミングT1からタイミングT2にかけて生じた誤差を引き継ぐため、誤差が生じた角度D3を示す第1の角度信号が出力される。
一方で、カルマンフィルタを用いて第1の角度信号を補正した後の姿勢角である第2の角度信号は、T0以降いずれのタイミングにおいても加速度信号及び地磁気信号に含まれる高周波ノイズが生じている。しかしながら、角速度信号に含まれるオフセット成分による出力変化が補正され、概ね正確な姿勢角を示す。
出力決定部208の出力信号としては、タイミングT0からタイミングT1の間(静止状態)は、角速度に基づく第1の角度信号が出力される。そして、タイミングT1からタイミングT2の間(非静止状態)は、加速度信号及び地磁気信号に基づいて補正された第2の角度信号が出力され、タイミングT2以降(静止状態)は、再度第1の角度信号が出力される。そのため、タイミングT0からタイミングT1の間は、正確な姿勢角を出力でき、タイミングT1からタイミングT2の間は、ややノイズが含まれるものの、概ね正確な姿勢角を出力できる。しかしながら、タイミングT2において第1の角度信号に切り替わると、第1の角度信号には、T1からT2の間に生じたオフセット成分に起因する誤差(D3―D2)が含まれるため、タイミングT2以降は、誤差が生じた第1の角度信号が出力されてしまう。
そこで本実施形態は、このタイミングT2以降に生じる出力決定部208の出力信号に含まれる誤差を軽減することが可能な形態について説明をする。
以下、本実施形態に係るカメラについて図面を参照して説明する。本実施形態のカメラ100は、第一の実施形態のカメラ100と、姿勢演算部が異なるが、その他の構成は同じであり、図1の姿勢演算部200を姿勢演算部300に置き換えた構成である。
図7は、本実施形態の姿勢演算部300を詳細に示すブロック図である。
図4で説明した姿勢演算部200と共通する構成については図面に同じ符号を付し、説明は省略する。姿勢演算部300は、基準角度更新部310を備える点が姿勢演算部200と大きく異なる。基準角度更新部310により、上述のT2における、第2の角度信号から第1の角度信号への切り替えが生じた場合であっても、低周波帯域での誤差(オフセット成分による影響)を軽減することができる。以下、詳細に説明をする。
静止判定部303は、第一の実施形態の静止判定部203と同様に、加速度角度演算部201から出力されたPitch角θ及びRoll角φ、及び地磁気角度演算部202から出力されたYaw角ψを用いて、カメラ100の静止状態を判定する。この判定結果(静止状態/非静止状態)を、オフセット演算部204及び出力決定部308だけでなく、基準角度更新部310にも出力する点が静止判定部203と異なる。判定方法は第一の実施形態の静止判定部203と同様である。
角速度角度演算部306は、第一の実施形態の角速度演算部206と同様に、オフセット減算器205から出力されたオフセット補正後角速度信号及び後述する出力決定部308から出力された姿勢角から絶対座標系における角度(姿勢角)を算出して出力する。しかしながら、後述する基準角度更新部310からの出力に基づいた角度に基づく姿勢角を出力するタイミングがある点が、第一の実施形態の角速度演算部206と異なる。具体的には、基準角度更新部310において基準角度の更新があった場合、角速度角度演算部306で算出された角速度信号に基づく姿勢角(ψG(t-1),θG(t-1),φG(t-1))を、基準角度更新部310から出力される基準角度(ψBase,θBase,φBase)に置き換える。つまり、基準角度の更新のタイミングでは、第1の姿勢角=基準角度となる。その他のタイミング(つまり、切り替えのタイミング以外のタイミング)における姿勢角の算出方法は第一の実施形態の角速度演算部206と同様であるため説明を省略する。出力決定部308は、第一の実施形態の角速度演算部208と同様に、静止判定部303によるカメラ100の静止判定結果に応じて、出力する姿勢角(ψ、θ、φ)を決定し、記録制御部111に出力する。姿勢角(ψ、θ、φ)を後述する基準角度更新部310にも出力する点が第一の実施形態の角速度演算部208と異なる。
基準角度更新部310は、出力決定部308から出力される姿勢情報が、第2の姿勢情報から第1の姿勢情報に切り替わるタイミング(T2)で基準角度(ψBase,θBase,φBase)を更新し、更新した基準角度を角速度角度演算部306に出力する。本実施形態では、第2の姿勢情報から第1の姿勢情報へ切り替わるタイミングは、静止判定部303による静止判定結果が、非静止状態から静止状態に切り替わるタイミングである。そのため、静止判定部303によるカメラ100の静止判定結果に応じて、基準角度(ψBase,θBase,φBase)を更新し、更新した基準角度を角速度角度演算部306に出力する。基準角度更新部310は、静止判定部303による静止判定結果が、非静止状態から静止状態に切り替わるタイミングで、基準角度を更新する。更新する基準角度は、出力決定部308から出力された第3の姿勢情報(ψ、θ、φ)に基づいて算出する。基準角度は、例えば、静止状態への切り替えが判定されたタイミングまでの所定の期間における、第3の姿勢情報(ψ、θ、φ)のの平均値を用いることができる。基準角度は、切り替わりが判定された後で算出してもよいが、タイムラグが生じるため、予め算出しておくことが好ましい。また、平均値をとる代わりに、ローパスフィルタなどで処理をすることで高周波帯域のノイズの影響を軽減してもよい。このように、平均値を用いたり、ローパスフィルタを用いたりすることで、第2の姿勢情報よりも高周波帯域のノイズの影響が小さい姿勢角を基準角度とすることができる。
図8は、姿勢演算部300における姿勢情報の算出処理の流れを示すフローチャート図である。図8に示す処理は、任意の所定の周期で繰り返し実行される。なお、図5で説明した第一の実施形態と共通する処理については図面に同じ符号を付し、説明は省略する。
ステップS101からステップS107まで、及び、ステップS107で静止状態ではないと判定された場合に行われるステップS109は、第一の実施形態と同様の処理であるため、説明を省略する。
本実施形態では、ステップS107で静止状態であると判定された場合、ステップS201へ進む。ステップS201では、静止判定部303は、繰り返し実行されてきた本フローの処理のうち、1周期前(t-1)における静止判定部303の判定結果(前回のS103、S107の結果)が、非静止状態であったか否かを判定する。非静止状態であったと判定した場合はステップS202へ進み、非静止状態ではなかった(つまり、前回から静止状態が継続している)と判定した場合はステップS108へ進む。
ステップS202では、基準角度更新部310が、基準角度の更新を行う。1周期前の判定結果が非静止状態であった場合、現在のタイミングが、図6のT2で示す、非静止状態から静止状態への切り替えが生じたタイミングであることを示す。上述のように、非静止状態から静止状態への切り替えのタイミングであると判定されると、出力決定部308は、出力する信号を第2の姿勢情報から第1の姿勢情報に切り替える。よって基準角度更新部310は、上述のように、過去の第3の姿勢情報に基づく新たな基準角度に基準角度を更新する。これにより、本周期で出力される第1の姿勢情報は、第2の姿勢情報に基づくものとなるため、非静止状態(T1からT2)の間に生じた、第1の姿勢情報に含まれるオフセット成分の影響を軽減できる。基準角度更新部310が基準角度の更新を行うと、ステップS108へ進む。ステップS108では、第一の実施形態と同様に、出力決定部308が第1の姿勢情報を出力する。ステップS201からステップS107により、出力決定部308の出力が第2の姿勢情報から第1の姿勢情報へ切り替えると判定されてから(S201)、実際に出力される姿勢情報の切り替えが行われる(S107)までの間に基準角度の更新が行われる。
本周期の次の次(t+1)以降の周期では、第一の実施形態と同様に第1の姿勢情報が算出され、算出された第1の姿勢情報が基準角度に置き換えられることなく出力される。この場合、オフセット成分の影響が軽減されている角度(D2)を基準として姿勢角度を算出しているため、本周期の次以降の周期で算出される第1の姿勢情報からも、オフセット成分の影響を軽減できる。
図9は、本実施形態において出力される姿勢情報に含まれる誤差が軽減できていることを説明するためのグラフであり、横軸が時間、縦軸がYaw角、Pitch角、Roll角のいずれかの姿勢角を表す。
図9(a)は、カメラ100の姿勢(真の角度)を示すグラフである。
図9(b)は、本実施形態における角速度角度演算部206の出力信号である第1の角度信号(破線)及びカルマンフィルタ演算部207の出力信号である第2の角度信号(実線)を示すグラフである。
図9(c)は本実施形態における出力決定部308の出力信号である第3の角度信号を示すグラフである。
なお、角速度センサ107は、図9で示す区間中、温度変化によって出力のオフセットが変化し続けているものとする。また、図6と同様に、出力に含まれるオフセット成分の変化は、オフセット演算部204とオフセット減算器205とにより完全に除去されているものとして説明をする。
カメラ100の姿勢は、タイミングT0で角度D1であり、T0からタイミングT1まで変化がなく(静止状態)、タイミングT1からタイミングT2まで一定の速度で変化し(非静止状態)、タイミングT2において角度D2となる。そして、タイミングT2以降は変化がない(静止状態)ものとする。
角速度に基づく姿勢角である第1の角度信号は、タイミングT0からタイミングT1の間は、オフセット演算部204によって角速度信号のオフセットが更新され続けるため、正確な姿勢角D1を示す。しかし、タイミングT1からタイミングT2の間は、オフセットの更新は行われない。よって、時間経過とともに特に低周波帯域の誤差(オフセット)が蓄積してしまい、タイミングT2においては真の値である角度D2に対して誤差が生じた角度D3を示す。しかし、タイミングT2直後に、ステップS201でカメラ100が非静止状態から静止状態に切り替わったと判定されると、ステップS202で基準角度が更新される。これにより、第1の角度信号が示す値は正確な姿勢角である角度D2に置き換えられる。タイミングT2以降は、オフセットの更新が行われるため、時間経過に対する出力変化はなく、正確な姿勢角D2を示す第1の角度信号が出力される。
一方で、カルマンフィルタを用いて第1の角度信号を補正した後の姿勢角である第2の角度信号は、T0以降いずれのタイミングにおいても加速度信号及び地磁気信号に含まれる高周波ノイズが生じている。しかしながら、第2の角速度信号は、含まれるオフセット成分による出力変化が補正され、概ね正確な姿勢角を示す。
出力決定部308の出力信号としては、タイミングT0からタイミングT1の間(静止状態)は、角速度に基づく第1の角度信号が出力される。そして、タイミングT1からタイミングT2の間(非静止状態)は、角速度に基づく第1の角度信号が他のセンサ出力とカルマンフィルタにより補正された第2の角度信号が出力され、タイミングT2以降(静止状態)は、再度第1の角度信号が出力される。そのため、タイミングT0からタイミングT1の間及びタイミングT2以降は、正確な姿勢角を出力でき、タイミングT1からタイミングT2の間は、高周波帯域のノイズの影響があるものの、概ね正確な姿勢角を出力できる。
以上、説明してきたように、本実施形態によれば、加速度センサ及び地磁気センサに含まれる高周波ノイズによる影響を抑えつつ、温度等による角速度センサの低周波低域の誤差の影響を精度よく補正し、カメラの姿勢角を算出することが可能となる。更に、姿勢情報の算出方法が切り替わる際に生じる誤差を軽減することもできる。
[変形例]
上述の実施形態では、カメラ100の姿勢は、撮像レンズ101の光軸がZ軸、カメラ本体の水平方向がX軸と一致する状態を0角度とし、初期角度に対する相対的な角度として算出する方法について説明した。しかしながら、0角度として設定する姿勢は特に問わない。例えば、Pitch角に対して傾いた状態が0角度であってもよい。
上述の実施形態では、角速度センサ107を第2のセンサよりも低周波帯域の誤差成分または誤差成分の変動が大きく、高周波帯域のノイズ成分が小さい第1のセンサとした。また、加速度センサ108及び地磁気センサ109を第1のセンサよりも低周波帯域の誤差成分または誤差成分の変動は小さく、高周波帯域のノイズ成分が大きい第2のセンサとした。しかしながら、使用するセンサはこれらに限定されない。角度情報が取得できる別のセンサを用いる場合、低周波帯域の誤差成分または誤差成分の変動が相対的に大きく高周波帯域のノイズ成分が相対的に小さいものを上述の実施形態における角速度センサに当てはめる。そして、低周波帯域の誤差成分または誤差成分の変動が相対的に小さく高周波帯域のノイズ成分が相対的に大きいものを上述の実施形態における加速度センサ及び地磁気センサに当てはめることで、上述の実施形態と同様に姿勢情報を算出することができる。
また、上述の実施形態では、静止しているか否かに応じて第1の算出手段と第2の算出手段のいずれで算出された姿勢情報をカメラの姿勢情報とするかを選択したが、本発明はこれに限定されない。例えば、静止しているとまでは言えなくても、角速度センサ107の出力に基づいて姿勢を算出したほうが算出される姿勢の精度が高いと判断される程度の小さな動きしか生じていない場合は、第1の姿勢情報をカメラ100の姿勢情報とする形態でもよい。つまり、姿勢演算部200、300が、カメラの動きが第1の状態のときに第1の姿勢情報をカメラの姿勢情報として出力する場合、カメラが静止している状態と、上述の小さな動きしか生じていない状態のことを合わせて第1の状態としてもよい。同様に、第2の状態のときに第1の姿勢情報をカメラ姿勢情報として出力する場合、第2の状態は、カメラが小さく動いている状態を含まなくてもよい。
また、第二の実施形態では、静止判定結果が切り替わるタイミングで、姿勢情報の算出方法が切り替わるため、静止判定結果が非静止状態から静止状態に切り替わったタイミングで基準角度の更新を行ったが、本発明はこれに限定されない。上述のように、カメラが静止している状態または、動きが小さい状態の場合(第1の状態の場合)とそうでない状態の場合とで算出方法を変えてもよいし、動き以外の情報に基づいて算出方法を変えてもよい。静止状態以外の情報に基づいて算出方法を切り替える場合であっても、この切り替えのタイミングに同期して、基準角度の更新を行う。
また、上述の実施形態では、撮像装置であるカメラ100が姿勢算出装置を備える形態について説明をしたが、姿勢算出装置はこれに限定されず、姿勢算出装置が姿勢を算出する対象である移動装置も撮像装置に限定されない。
例えば、上述の実施形態の機能を有し、車体の姿勢として傾斜角を算出するための傾斜角検出装置として機能する姿勢算出装置も本発明に含む。また、本発明及び本明細書において移動装置とは駆動部を備え、自力で移動できる移動体(自動車や電車などの車両、ドローンなどの航空機を含む)だけではなく、ユーザや移動体によって姿勢を変えることができる可搬装置を含む。具体的には、撮像装置のほか、携帯電話(スマートフォン)、タブレット、パーソナルコンピュータ、ヘッドマウントディスプレイ、スマートグラス等を含む。
また、姿勢算出装置は、必ずしも移動装置内に設けられていなくてもよい。移動装置内に設けられた各種センサから検出信号を受信できれば、姿勢算出装置は移動装置から離れた位置に設置され、移動装置と一体的に移動しない構成としてもよい。検出信号の受信は、有線または無線の通信により取得可能に構成されていれば良い。
また、上述の実施形態では、カメラが静止状態であってもカルマンフィルタ演算部207により第2の姿勢情報の算出を行った。しかしながら、カメラが静止状態であり、決定手段が角速度角度演算部206からの出力を姿勢算出手段200からの出力とする場合は、カルマンフィルタ演算部207での第2の姿勢情報の算出を一時的に停止してもよい。例えば、第2の姿勢情報(ψ,θ,φ)の算出を行うステップS106を、ステップS107で静止状態でないと判定された後に行ってもよい。
上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。
100 カメラ
107 角速度センサ
108 加速度センサ
109 地磁気センサ
200 姿勢演算部
201 加速度角度演算部
202 地磁気角度演算部
203 静止判定部
204 オフセット演算部
205 オフセット減算器
206 角速度角度演算部
207 カルマンフィルタ演算部
208 出力決定部
300 姿勢演算部
303 静止判定部
306 角速度角度演算部
308 出力決定部
310 基準角度更新部

Claims (19)

  1. 移動装置の動きを検出する第1のセンサと、前記第1のセンサが検出する動きと同じ軸における前記移動装置の動きを検出する第2のセンサと、から検出信号を取得する取得手段と、
    前記第1のセンサの出力と基準角度とに基づいて前記移動装置の第1の姿勢情報を算出する第1の算出手段と、
    前記第1のセンサの出力と前記第2のセンサの出力とに基づいて、前記第1の算出手段と異なる方法で前記移動装置の第2の姿勢情報を算出する第2の算出手段と、
    前記第1の算出手段と前記第2の算出手段とを含む複数の算出手段のうち、いずれの算出手段を用いて前記移動装置の姿勢を算出するかを決定する決定手段と、
    前記基準角度を更新する基準角度更新部と、を備え、
    前記基準角度更新部は、
    前記決定手段が、前記第2の算出手段を用いて前記移動装置の姿勢を算出している状態から、前記第1の算出手段を用いて前記移動装置の姿勢を算出する状態へ切り替えると決定したタイミングと同期して前記基準角度の更新を行うことを特徴とする姿勢算出装置。
  2. 前記基準角度更新部は、
    前記切り替えのタイミングで前記基準角度の更新を行うことを特徴とする請求項1に記載の姿勢算出装置。
  3. 前記基準角度更新部は、
    前記切り替えを行うと判定してから、前記切り替えを行うまでの間に前記基準角度の更新を行うことを特徴とする請求項2に記載の姿勢算出装置。
  4. 前記基準角度更新部は、
    前記第2の姿勢情報の平均値に基づいて前記基準角度を算出し、前記タイミングで算出した基準角度に前記基準角度を更新することを特徴とする、請求項1に記載の姿勢算出装置。
  5. 前記基準角度更新部は、
    前記タイミングであると判定されるまでの所定の期間における前記第2の姿勢情報の平均値に基づいて前記基準角度を算出することを特徴とする請求項4に記載の姿勢算出装置。
  6. 前記第2のセンサの出力に基づいて前記移動装置の動きの状態を判定する判定手段を備え、
    前記決定手段は、
    前記第2のセンサの出力に基づいて取得される前記移動装置の動きが第1の状態であると判定された場合は、前記第1の姿勢情報を前記移動装置の姿勢を示す情報とし、
    前記第2のセンサの出力に基づいて取得される前記移動装置の動きが前記第1の状態よりも大きい第2の状態であると判定された場合は、前記第2の姿勢情報を前記移動装置の姿勢を示す情報とする請求項1に記載の姿勢算出装置。
  7. 前記第2のセンサの出力に基づいて前記移動装置の動きの状態を判定する判定手段を備え、
    前記基準角度更新部は、
    前記第2のセンサの出力に基づいて取得される前記移動装置の動きが第2の状態であると判定されている状態から、前記移動装置の動きが前記第2の状態よりも小さい第1の状態に変化したタイミングに同期して前記基準角度を更新することを特徴とする請求項1に記載の姿勢算出装置。
  8. 前記第1の姿勢情報と前記第2の姿勢情報とのそれぞれは、所定の姿勢に対する前記移動装置のYaw角とPitch角とRoll角との角度の情報を含むことを特徴とする請求項1に記載の姿勢算出装置。
  9. 前記第1のセンサは、3軸における前記移動装置の動きを検出し、
    前記第2のセンサは、3軸における前記移動装置の動きを検出することを特徴とする請求項1に記載の姿勢算出装置。
  10. 前記第2の算出手段は、
    前記第1のセンサの出力に基づく信号と前記第2のセンサの出力に基づく信号とをカルマンフィルタに入力することで前記第2の姿勢情報を算出することを特徴とする請求項1に記載の姿勢算出装置。
  11. 前記第1の算出手段は、
    前記第1のセンサの出力に対してローパスフィルタ処理を施した信号に基づいて前記第1の姿勢情報を算出することを特徴とする請求項1に記載の姿勢算出装置。
  12. 前記第1の算出手段は、
    所定の期間の前記第1のセンサの出力の平均値を第1のセンサの出力から除した信号に基づいて前記第1の姿勢情報を算出することを特徴とする請求項1に記載の姿勢算出装置。
  13. 前記第1のセンサは前記移動装置の動きの角速度を検出する角速度センサであり、
    前記第2のセンサは前記移動装置の動きの加速度を検出する加速度センサまたは前記移動装置の方向の変化を検出する地磁気センサの少なくともいずれかであることを特徴とする請求項1に記載の撮像装置。
  14. 前記第1の姿勢情報と前記第2の姿勢情報とのそれぞれは、前記移動装置のYaw角とPitch角とRoll角とであり、
    前記第2のセンサは、前記地磁気センサと前記加速度センサとを有し、
    前記第2の算出手段は、
    前記地磁気センサの出力と前記角速度センサの出力とに基づいて前記Yaw角を算出し、前記加速度センサの出力と前記角速度センサの出力とに基づいて前記Pitch角と前記Roll角とを算出する請求項13に記載の姿勢算出装置。
  15. 前記基準角度更新部は、
    前記切り替えのタイミング以外で前記基準角度の更新を行わないことを特徴とする請求項2に記載の姿勢算出装置。
  16. 撮像光学系により結像される被写体像を撮像する撮像素子を備える撮像装置であって、
    前記撮像素子が出力する画像信号の記録を制御する記録制御手段と、
    請求項1乃至15のいずれか1項に記載の姿勢算出装置と、を備え、
    前記姿勢算出装置が算出する前記移動装置の姿勢は、前記撮像装置の姿勢であり、
    前記記録制御手段は、前記画像信号と前記決定手段により決定された前記撮像装置の姿勢とを同期づけて記録することを特徴とする撮像装置。
  17. 前記第1のセンサと前記第2のセンサとを備える請求項16に記載の撮像装置。
  18. 駆動部を備える移動体であって、
    請求項1乃至15のいずれか1項に記載の姿勢算出装置を備え、
    前記姿勢算出装置が算出する前記移動装置の姿勢は、前記移動体の姿勢であることを特徴とする移動体。
  19. 移動装置の姿勢を示す情報を算出する姿勢算出装置の制御方法であって、
    前記移動装置の動きを検出する第1のセンサと、前記第1のセンサが検出する動きと同じ軸における前記移動装置の動きを検出する第2のセンサと、からの検出信号を取得する取得工程と、
    前記第1のセンサの出力と基準角度とに基づいて前記移動装置の第1の姿勢を示す情報を算出する第1の算出工程と、
    前記第1のセンサの出力と前記第2のセンサの出力とに基づいて、前記第1の算出工程と異なる方法で前記移動装置の第2の姿勢を示す情報を算出する第2の算出工程と、
    前記第1の算出工程と前記第2の算出工程とを含む複数の算出工程のうち、いずれの算出工程を用いて前記移動装置の姿勢を算出するかを決定する決定工程と、
    前記基準角度を更新する基準角度更新工程と、を有し
    前記基準角度更新工程は、
    前記決定工程において、前記第2の算出工程を用いて前記移動装置の姿勢を算出している状態から、前記第1の算出工程を用いて前記移動装置の姿勢を算出する状態へ切り替えると決定したタイミングと同期して行われることを特徴とする姿勢算出装置の制御方法。
JP2022102632A 2022-06-27 2022-06-27 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法 Pending JP2024003461A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022102632A JP2024003461A (ja) 2022-06-27 2022-06-27 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法
US18/341,135 US20230417575A1 (en) 2022-06-27 2023-06-26 Orientation calculation apparatus, orientation calculation method, imaging apparatus including orientation calculation apparatus, and method for controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022102632A JP2024003461A (ja) 2022-06-27 2022-06-27 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法

Publications (1)

Publication Number Publication Date
JP2024003461A true JP2024003461A (ja) 2024-01-15

Family

ID=89323742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022102632A Pending JP2024003461A (ja) 2022-06-27 2022-06-27 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法

Country Status (2)

Country Link
US (1) US20230417575A1 (ja)
JP (1) JP2024003461A (ja)

Also Published As

Publication number Publication date
US20230417575A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
US9596411B2 (en) Combined optical and electronic image stabilization
US8159541B2 (en) Image stabilization method and apparatus
JP4586534B2 (ja) 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
RU2758460C1 (ru) Оконечное устройство и способ стабилизации видеоизображения
CN109951631B (zh) 用于图像捕获的图像稳定的系统和方法
KR101856947B1 (ko) 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체
JP6098874B2 (ja) 撮像装置および画像処理装置
US20170244881A1 (en) Method of Stabilizing a Sequence of Images
US20170085740A1 (en) Systems and methods for storing images and sensor data
CN108702450B (zh) 用于图像捕获设备的相机模块
KR20160140193A (ko) 영상 보정 회로 및 그 보정 방법
JP5977611B2 (ja) ブレ量検出装置、撮像装置及びブレ量検出方法
JP2019145958A (ja) 撮像装置およびその制御方法ならびにプログラム
CN113596322B (zh) 图像处理方法、装置、电子设备及存储介质
JP2013138413A (ja) 撮像装置
JP2024003461A (ja) 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法
JP2024003460A (ja) 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法
JP7269354B2 (ja) 撮像装置、システム、像ぶれ補正方法、プログラム、及び記録媒体
JP2005176050A (ja) 撮像装置
US9270884B2 (en) Imaging apparatus and detecting apparatus
JP2007201570A (ja) 画像処理装置、撮影装置、画像処理方法、および、制御プログラム
JP7017961B2 (ja) ぶれ補正装置及びぶれ補正方法
JP2008067081A (ja) 携帯型撮像表示装置
US20230199326A1 (en) Systems and methods for capturing stabilized images
JP2015049446A (ja) 撮像装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213