JP5459678B2 - 移動体画像追尾装置 - Google Patents
移動体画像追尾装置 Download PDFInfo
- Publication number
- JP5459678B2 JP5459678B2 JP2011032086A JP2011032086A JP5459678B2 JP 5459678 B2 JP5459678 B2 JP 5459678B2 JP 2011032086 A JP2011032086 A JP 2011032086A JP 2011032086 A JP2011032086 A JP 2011032086A JP 5459678 B2 JP5459678 B2 JP 5459678B2
- Authority
- JP
- Japan
- Prior art keywords
- tracking error
- vector
- dimensional
- target
- angular velocity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
実施形態の移動体画像追尾装置は、移動体画像追尾機構の制御システムを、画像トラッキングシステムに適用したものである。
本実施形態の移動体画像追尾装置について図1を参照して説明する。本実施形態の移動体画像追尾装置は、第1および第2のジンバル111,121、第1および第2駆動部112,122、第1および第2の角速度センサ113,123、第1および第2の角度センサ114,124、カメラセンサ140、角速度指令生成部150、駆動制御部160、目標位置ベクトル計算部171、視軸ベクトル計算部172、追尾誤差検出部173、目標速度ベクトル計算部174、および補正追尾誤差計算部175を含む。また、駆動制御部160は、第1のサーボ制御部161、および第2のサーボ制御部162を含んでいる。
第1および第2の駆動部112,122は、それぞれ、第1および第2のジンバル111,121を回転駆動する。
第1の角速度センサ113は、第1のジンバル軸を中心に回転する第1のジンバル111の角速度を検出する。第2の角速度センサ124は、第2のジンバル軸を中心に回転する第2のジンバル121の角速度を検出する。
第1の角度センサ114は、第1のジンバル111のジンバル固定部に対する回転角度を検出する。第2の角速度センサ124は、第2のジンバル121の第1のジンバルに対する回転角度を検出する。
追尾誤差検出部173は、カメラセンサ140から取得した画像データに画像処理を施して追尾誤差検出値を検出する。追尾誤差検出部173は、一般的には2値化により白黒画像にし、移動体の特徴点を抽出することでカメラ視野内の位置が識別され、視野中心からの2方向のずれ量(ΔX、ΔY)を追尾誤差検出値とする。これらの画像処理を含めた処理時間が追尾誤差検出値を得るサンプリング時間となる。追尾誤差検出値については後に図4を参照して説明する。
第1のジンバル軸はアジマス軸(以下、単に「AZ軸」という)、第2のジンバル軸はエレベーション軸(以下、単に「EL軸」という)である。図1の移動体画像追尾装置は、これらのAZ軸、EL軸が一点において直交する2軸構造を備えた2軸旋回装置である。
角速度指令生成部150は、追尾誤差検出部173から取得する2方向の追尾誤差と、第1および第2の角度センサ114,124により検出されるジンバル姿勢を表す2軸の角度検出値(θ1、θ2)とにより、目標を追尾するようにジンバルを駆動する次式(1)に示す角速度指令値を生成する。
図4は、本実施形態にかかるカメラ画像の視野と移動体追尾の概要を示した図である。目標をカメラ視野内で捉えている場合には、カメラ中心からのずれ量として追尾誤差検出値(ΔX,ΔY)が得られる。追尾遅れが生じるため、この追尾誤差検出値はカメラ視野以上には許容でない。追尾誤差検出値は小さいことが望ましいが、追尾誤差検出値が大きくともカメラ視野内に入っている限り、2軸ジンバルを駆動して目標を追尾することができる。
図5の(a)および(b)は、目標の軌跡と視軸の軌跡の概要を表した図である。3次元の空間で表すと、2軸ジンバルにより半球状の全方向に渡って視軸を指向することができる。これに対して、典型的な一例として目標が天頂より離れた位置を正面から背面に渡って移動する場合を考える。図5の(a)および(b)は、目標を追尾して、ジンバル姿勢角度が(θ1、θ2)となっている状態を示している。この姿勢が太線で表される視軸ベクトルを形成している。これに対して、×印の位置に目標位置ベクトルを形成している。
目標速度ベクトル計算部では、目標位置ベクトル計算部で得られた目標位置ベクトルに対して時変カルマンフィルタを適用して目標速度ベクトルd_eTを計算する。例えば一般的な一例として、観測可能である状態量の位置x、そして観測ができない状態量として次式(2)に示される速度、次式(3)に示される加速度を考えると、状態変数は、次式(4)のように表される。
視軸ベクトル計算部172は、2軸の角度検出値(θ1,θ2)から、視軸ベクトルを計算する。ジンバル上カメラの視軸方向の単位ベクトル(eE_x,eE_y,eE_z)は、次の[式8]で表わされる。
太破線のカメラサンプリングであるTcam間隔で得られるカメラからの追尾誤差は、各サンプル点間ではその値が保持されている。追尾特性を改善するためには、ジンバルの角速度指令の生成周期を早く(短く)することが望ましい。そこで、図8では一例としてカメラサンプリング周期の1/3の細破線の補間サンプリングTcmp間隔で補正追尾誤差を算出する場合を考える。Tcam間隔で追尾誤差が得られるため、同間隔で目標位置ベクトルの算出を行うことができる。このサンプル点間を補間するために、ジンバル角度はカメラサンプリングよりも早い補間サンプリングで取得可能であるため、本実施形態にかかる視軸ベクトル計算部172はTcmp間隔でジンバル角度検出値を取得して計算を行う。この視軸ベクトルに対して、補正追尾誤差計算部175では、カメラサンプリング取得時点からTcmp間隔だけ実際の目標は動いていることから、ジンバル角度検出値の取得に対応した目標位置ベクトル(eT_xr,eT_yr,eT_zr)は、カメラサンプリング取得時からの補間サンプリング数n(本一例の1/3周期ではn=0〜2)に応じた線形補間により、次の[式13]のように表すことができる。
本実施形態では、移動体画像追尾装置が行うカメラサンプル遅延の補正について説明する。
移動体画像追尾装置は、カメラからの画像に対して画像処理を経て、追尾誤差を取得している。このため、画像処理や信号伝達等により、追尾誤差として取得するまでには遅延が生じてしまう。追尾特性を改善するためには、この遅延の影響を低減することが望ましい。この遅延時間は機器によって固定であるため、事前に把握することが可能である。遅延時間Tdlyとすると、実時間でのジンバル姿勢は、この遅延時間分移動していることになる。そこで、本実施形態にかかる視軸ベクトル計算部172では、ジンバル角度検出値(θ1、θ2)ならびに次式(10)に表されるジンバル角速度検出値を用いて、ジンバルの正弦、および余弦を2軸それぞれ、次の[式14]のように表す。
本実施形態では、移動体画像追尾装置が行うカメラ追尾誤差検出不可能時の補正について説明する。
カメラの視野内に目標を捉えている場合には追尾誤差を得ることが可能であるが、追尾中に目標の移動速度が速くなる場合や移動方向が変わる場合、そしてジンバルが高速に回転している場合には、視野外になってしまい追尾誤差が検出不能になる可能性がある。追尾誤差が取得できない場合には、目標位置ベクトル計算部171での目標位置ベクトルの計算を行うことができなくなる。そこで、本実施形態にかかる補正追尾誤差計算部175では、追尾誤差検出不可能になる前に保持している目標位置ベクトル(eT_x0,eT_y0,eT_z0)、目標速度ベクトル(d_eT_x0,d_eT_y0,d_eT_z0)を用いて、追尾誤差検出不可能になる前のサンプル時からの補間サンプリング数l(エル)に応じた線形補間により、視野外時の予想目標位置ベクトル(eT_xr、eT_yr、eT_zr)は、次式(11)のように表すことができる。
Claims (4)
- 垂直方向に向けられ回転自在に支持されるアジマス軸と、このアジマス軸と直交する水平方向に設けられ、回転自在に支持され水平方向の正面から天頂に向け回転が可能なエレベーション軸とにそれぞれ連結され、各々を個別に回転駆動する2つの駆動部と、
前記エレベーション軸に支持され、移動体を撮影して画像データを取得するカメラセンサと、
前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する追尾誤差検出部と、
前記アジマス軸回りの角度を検出する第1角度センサと、
前記エレベーション軸回りの角度を検出する第2角度センタと、
前記アジマス軸回りの角速度を検出する第1角速度センサと、
前記エレベーション軸回りの角速度を検出する第2角速度センサと、
前記追尾誤差検出値と2つの前記角度とを用いて、前記移動体の3次元の位置ベクトルと3次元の速度ベクトルを計算する第1計算部と、
2つの前記角度から前記カメラセンサの3次元の視軸ベクトルを計算する第2計算部と、
3次元の前記視軸ベクトルと3次元の前記位置ベクトルとの関係および3次元の前記速度ベクトルから、前記追尾誤差検出値が一定であるサンプリング期間よりも短い期間ごとに補正追尾誤差を計算する補正追尾誤差検出部と、
前記補正追尾誤差を使用して前記移動体を追尾するように前記駆動部を駆動する角速度指令値を生成する生成部と、
前記角速度指令値と2つの前記角速度による値との差がなくなるように前記駆動部を制御する制御部と、を具備することを特徴とする移動体画像追尾装置。 - 前記補正追尾誤差検出部は、前記移動体の3次元の位置ベクトルおよび3次元の速度ベクトルから前記画像データを取得するサンプリング間を補間した3次元の補間位置ベクトルを計算し、前記画像データを取得する間隔よりも高いサンプリングで3次元の該補間位置ベクトルと2つの前記角度から計算される3次元の視軸ベクトルとから補間追尾誤差を計算することを特徴とする請求項1に記載の移動体画像追尾装置。
- 前記補正追尾誤差検出部は、画像データを取得する際に遅延時間が生じる場合に、前記移動体の3次元の位置ベクトルおよび3次元の視軸ベクトルを該遅延時間分だけ補正することを特徴とする請求項1または請求項2に記載の移動体画像追尾装置。
- 前記補正追尾誤差検出部は、画像データを取得できないサンプリングが存在した場合には、それ以前のサンプリングで更新された3次元の位置ベクトルおよび3次元の速度ベクトルと、2つの前記角度から計算される3次元の視軸ベクトルとから補間追尾誤差を計算することを特徴とする請求項1から請求項3のいずれか1項に記載の移動体画像追尾装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011032086A JP5459678B2 (ja) | 2011-02-17 | 2011-02-17 | 移動体画像追尾装置 |
US13/224,444 US20120212622A1 (en) | 2011-02-17 | 2011-09-02 | Moving object image tracking apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011032086A JP5459678B2 (ja) | 2011-02-17 | 2011-02-17 | 移動体画像追尾装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012175157A JP2012175157A (ja) | 2012-09-10 |
JP5459678B2 true JP5459678B2 (ja) | 2014-04-02 |
Family
ID=46652413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011032086A Active JP5459678B2 (ja) | 2011-02-17 | 2011-02-17 | 移動体画像追尾装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120212622A1 (ja) |
JP (1) | JP5459678B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5665677B2 (ja) | 2011-07-12 | 2015-02-04 | 株式会社東芝 | 追尾装置 |
JP5766641B2 (ja) | 2012-03-22 | 2015-08-19 | 株式会社東芝 | 追尾装置 |
JP5998881B2 (ja) * | 2012-11-29 | 2016-09-28 | 日本電気株式会社 | 追尾装置および追尾方法 |
US9473688B2 (en) * | 2012-12-20 | 2016-10-18 | Canon Kabushiki Kaisha | Image pickup apparatus comprising a plurality of imaging sensors and image processing units |
US9665204B2 (en) * | 2013-10-04 | 2017-05-30 | Microchip Technology Incorporated | Continuous circle gesture detection for a sensor system |
US9628688B2 (en) * | 2014-09-25 | 2017-04-18 | Sensormatic Electronics, LLC | Security camera having a body orientation sensor and method of use |
US9936133B2 (en) | 2015-08-19 | 2018-04-03 | Harris Corporation | Gimbaled camera object tracking system |
KR102410268B1 (ko) * | 2015-11-20 | 2022-06-20 | 한국전자통신연구원 | 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치 |
KR101823774B1 (ko) * | 2016-08-10 | 2018-01-31 | 국방과학연구소 | 동체 고정형 영상탐색기 기반의 적응 유도필터를 이용한 표적의 기하 정보 추정 방법 |
JP7049858B2 (ja) * | 2018-02-27 | 2022-04-07 | 日本放送協会 | 動体追尾装置及びそのプログラム |
FR3096771B1 (fr) * | 2019-06-03 | 2021-07-02 | Ixblue | Systme de visée comprenant un dispositif de visée orientable par rapport á une embase, apte á mettre en oeuvre un procedé de calibrage sur site simple et rapide |
CN113137964B (zh) * | 2020-05-28 | 2024-03-19 | 西安天和防务技术股份有限公司 | 机载天文导航方法、装置和电子设备 |
CN112530267B (zh) * | 2020-12-17 | 2022-11-08 | 河北工业大学 | 一种基于计算机视觉的机械臂智能示教方法及应用 |
CN114697534A (zh) * | 2020-12-30 | 2022-07-01 | 超聚变数字技术有限公司 | 一种升降平台和升降平台的控制方法 |
CN113114939B (zh) * | 2021-04-12 | 2022-07-12 | 南京博蓝奇智能科技有限公司 | 目标跟踪方法、系统及电子设备 |
CN114020004B (zh) * | 2022-01-06 | 2022-03-11 | 普宙科技(深圳)有限公司 | 飞行器双轴跟踪云台解耦控制方法、系统、存储介质 |
CN114938429B (zh) * | 2022-05-20 | 2023-10-24 | 重庆紫光华山智安科技有限公司 | 一种目标跟踪方法、系统、设备及计算机可读介质 |
KR102544345B1 (ko) * | 2022-12-23 | 2023-06-16 | 한화시스템 주식회사 | 추적 장치 및 추적 방법 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6677941B2 (en) * | 2000-08-05 | 2004-01-13 | American Gnc Corporation | Three-dimensional relative positioning and tracking using LDRI |
JP2002189519A (ja) * | 2000-12-21 | 2002-07-05 | Mitsubishi Heavy Ind Ltd | 追跡システム、及び、追跡方法 |
US7289138B2 (en) * | 2002-07-02 | 2007-10-30 | Fuji Xerox Co., Ltd. | Intersection detection in panoramic video |
US20060005447A1 (en) * | 2003-09-12 | 2006-01-12 | Vitronics Inc. | Processor aided firing of small arms |
JP4982407B2 (ja) * | 2008-02-22 | 2012-07-25 | 株式会社東芝 | 移動体画像追尾装置及び方法 |
GB0808081D0 (en) * | 2008-05-02 | 2008-06-11 | In2Games Ltd | Bridging ultrasonic position with accelerometer/gyroscope inertial guidance |
JP5010634B2 (ja) * | 2009-03-17 | 2012-08-29 | 株式会社東芝 | 移動体画像追尾装置 |
-
2011
- 2011-02-17 JP JP2011032086A patent/JP5459678B2/ja active Active
- 2011-09-02 US US13/224,444 patent/US20120212622A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2012175157A (ja) | 2012-09-10 |
US20120212622A1 (en) | 2012-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5459678B2 (ja) | 移動体画像追尾装置 | |
JP5010634B2 (ja) | 移動体画像追尾装置 | |
JP4810582B2 (ja) | 移動体画像追尾装置および方法 | |
JP4982407B2 (ja) | 移動体画像追尾装置及び方法 | |
JP2009115621A (ja) | 移動体画像追尾装置 | |
CN106814753B (zh) | 一种目标位置矫正方法、装置及系统 | |
JP5859300B2 (ja) | 制御装置及び方法並びにプログラム | |
US20180075609A1 (en) | Method of Estimating Relative Motion Using a Visual-Inertial Sensor | |
CN108413917B (zh) | 非接触式三维测量系统、非接触式三维测量方法及测量装置 | |
JP6349737B2 (ja) | 移動体追尾装置及び、移動体追尾方法 | |
US10401175B2 (en) | Optical inertial measurement apparatus and method | |
JP2016517981A (ja) | 基準方向に対する移動要素の角度偏差を推定する方法 | |
JP2017524932A (ja) | ビデオ支援着艦誘導システム及び方法 | |
EP3166849B1 (en) | System for locating the barycenter of at least one object orbiting in space and related process of physical and mechanical characterization of the identified object | |
JP2009260564A (ja) | 移動体画像追尾装置 | |
JP5748174B2 (ja) | 移動体の相対姿勢計測方法と装置 | |
Park et al. | A novel line of sight control system for a robot vision tracking system, using vision feedback and motion-disturbance feedforward compensation | |
JP5998881B2 (ja) | 追尾装置および追尾方法 | |
CN115540854A (zh) | 一种基于uwb辅助的主动定位方法、设备和介质 | |
CN112578363B (zh) | 激光雷达运动轨迹获取方法及装置、介质 | |
Chen et al. | A preliminary study on positioning of an underwater vehicle based on feature matching of Seafloor Images | |
CN113566828A (zh) | 一种基于多传感器决策融合的抗冲击扫描匹配方法及系统 | |
KR101900564B1 (ko) | 표적 정보 획득 장치 | |
CN113260831A (zh) | 三维重建装置、三维重建系统、三维重建方法和三维重建程序 | |
Shibata et al. | Target distance measurement based on camera moving direction estimated with optical flow |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130909 |
|
TRDD | Decision of grant or rejection written | ||
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131205 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5459678 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |