JP4896116B2 - 空中移動体からの自動追尾撮影装置 - Google Patents
空中移動体からの自動追尾撮影装置 Download PDFInfo
- Publication number
- JP4896116B2 JP4896116B2 JP2008298252A JP2008298252A JP4896116B2 JP 4896116 B2 JP4896116 B2 JP 4896116B2 JP 2008298252 A JP2008298252 A JP 2008298252A JP 2008298252 A JP2008298252 A JP 2008298252A JP 4896116 B2 JP4896116 B2 JP 4896116B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- function
- target
- coordinate
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
前者の座標指定による追尾方式はあらかじめ撮影対象物の緯度経度情報を当該装置に登録しておき、1秒毎にGPSやジャイロなどで収集される空中移動体の空中での位置情報と
空中での姿勢情報を元に対象物緯度経度にカメラを向け続ける方式である。
後者の画像解析処理による追尾方式は撮影した画像上の中心に目標物を捕捉することで目標物の形状を把握し、画像解析によって、続いて撮影した画像上からその対象物の形状を抽出することによってカメラの向きを調整する方式である。
前者の座標指定方式の追尾方式は、事前に目標物の位置がわかっており、当該目標物があまり移動しない場合での利用が有効である。画像解析方式の追尾方式は、目標物の位置が不明もしくは常に移動中である場合に必要とされる。
ヘリコプタ等の空中移動体の空中の位置情報や空中の姿勢情報は、GPSやジャイロ等の機器により利用可能となっており、これら機器の精度は年々向上の一途を辿っている。自動追尾装置においてもこれらの機器の有効利用が必須である。
また、たとえばビルの屋上、等の撮影場所の指定についてはその高さ情報を推定することは困難であった。
また、空中移動体の位置によっては正しく目標物をカメラで捉えられない状況も発生する。目標位置補正のために緯度経度情報を手動で再設定することは一般には困難であり、他の方式での位置補正機能が求められる。
特許文献1では、目標物位置精度向上のために、手動でカメラの向きを変更する操作に応じて目標位置を修正する方式が提案されている。本方式はカメラ光軸線上にあり前回目標位置との最短距離をとる点を次の目標位置として指定する方式であるが、これは最初の目標位置がある程度の精度をもった位置情報として指定されていなければ正しい目標位置を捕捉することは難しい方式である。
また、従来方式では事前の位置座標の指定が必要であるが、実際は必ずしもあらかじめ対象物の位置座標が判っている状況ばかりではない。そういった状況の場合はカメラで目標物を撮影した状況で位置座標を特定する必要があるが、特定された位置座標は本来の目標物の位置とはずれが発生する場合が往々にしてあり、そのため追尾機能の開始が困難となっていた。
以下、この発明の実施の形態1を図1〜図7により説明する。図1は自動追尾装置とその周辺機器との関係の事例を概略的示す図、図2は自動追尾装置の内部の機能および各機能の相関関係を図式的に例示する図、図3は空中移動体が動きまわるワールド座標系を例示する図、図4は空中移動体のプラットフォーム座標系の定義と、そのピッチ、ロール、ヨーの考え方を例示する図、図5はカメラの座標系の考え方とパン角、チルト角を例示する図、図6は空中移動体の位置と目標物の位置とを模式図として例示する図、図7は座標再演算機能の具体的な処理内容をフローチャートで例示する図である。本実施の形態1は、空撮中のある地点での撮影時カメラ方向と次の地点での撮影時のカメラ方向とを用いて、目標物の位置座標を計算するものであり、また、ビューワからの指定を可能とすることで、目標物の把握を簡単にし、事前の位置座標情報が無くても追尾対象物の位置の把握とその補正を実現するものであり、最初に指定した座標と本来の目標物の座標にずれが生じていた場合においても、ごく短い期間で直ちにその修正を可能とするものである。
また、自動追尾装置2は、カメラ1に対してカメラの撮影方向を制御するための信号を送信するインタフェースを有している。
さらに、自動追尾装置2は、ヘリ100に搭載のGPSアンテナ3およびヘリ100に搭載のジャイロ4に接続され、GPSアンテナ3からGPS情報を受信し、ジャイロ4からヘリ機体の空中での姿勢情報を受信する。
△y = a(θ1-θ0) ・・・・・・・・・・・・・・・(1-b)
△z = h1 - h0 ・・・・・・・・・・・・・・・・(1-c)
であり、ワールド座標で示した前述の方向ベクトル(△x, △y, △h)のプラットフォーム座標(u,v,w)への変換は、逆回転をかければよいので、以下の式で可能である。
また、カメラのパン回転、チルト回転の回転行列は、
となる。カメラの基準方向を、ヘリ進行方向C0とすると、パン回転およびチルト回転によるカメラ方向ベクトルC1は、
であらわされる。このC1は(3)式の(u,v,w)に等しいため、これを用いて、方向ベクトル(u,v,w)にカメラを向けるためのパン角度、チルト角度は、
で基本的に計算可能である。
カメラ方向演算機能16は、指定された目標物の位置座標と、自機姿勢入力機能14から送られた現在位置情報およびジャイロ4から送られてきたヘリ機体姿勢情報を基にして、前記パン角α、チルト角βを算出し、これら算出されたパン角α、チルト角βをカメラ制御機能17に逐次送信することでカメラの撮影方向の制御を行う。
空中移動体100が位置S1に移動したときに、目標物42とカメラ光軸ベクトル43とのずれが発生するため、ポインティングデバイス6によって目標物42の位置を修正する。このときにカメラ光軸ベクトルは44であらわされる。
座標再計算機能19は、新しい目標物の位置T1を、カメラ光軸ベクトル43とカメラ光軸ベクトル44との最短距離を示す線分45とカメラ光軸ベクトル44との交点とする。
カメラ光軸ベクトル44を示す直線の方程式は、
したがって、線分45は、
であらわされる。線分45とカメラ光軸ベクトル43とが直交することから、
同じく、線分45とカメラ光軸ベクトル44とが直交することから、
この2式を連立方程式とした時、そのqの値からT1の座標が求められる。具体的には、
Sy = △y = a(θ1-θ0)
Sz = △z = h1 - h0
で計算できる。
であらわされる。
これにより、求める光軸ベクトルは、
となる。これをワールド座標に変換して、
で計算できる。
これにより、最初の目標位置座標が実際とずれている場合でも、短い期間でのカメラ操作によって直ちに目標位置の補正が行われ、有効な自動追尾撮影が可能になる。
より自機の姿勢を計算する自機姿勢取込機能と、カメラからの映像を取り込みフレームごとの画像に変換する映像取込機能と、カメラの撮影方向(パン・チルト・ズーム)の情報を取り込むカメラ姿勢取込機能と、カメラの撮影方向を自由に制御するカメラ制御機能と、撮影追尾対象物の位置を座標値で指定するための座標指定機能と、映像取込機能で取り込んだ画像をディスプレイに表示するための映像位置表示機能と、カメラの方向を直接手動操作して対象物にカメラを向けて指定するジョイスティックと連動した位置特定機能と、カメラ姿勢取込機能からのカメラ姿勢情報と、自機姿勢演算機能からの自機姿勢情報と、座標入力機能からの対象物座標値からカメラ撮影方向を演算しカメラ制御機能に渡すためのカメラ方向演算機能と、位置特定機能からの指示によって目標物の位置座標を補正する機能を有する座標再計算機能と、からなる空中移動体からの自動追尾撮影装置であり、直前に対象物(目標物)を撮影した時の自機位置と目標物の位置ならびに現在の自機位置から目標物の位置座標を新しく再計算することによって目標物の位置に補正を加える機能を有する空中移動体からの自動追尾撮影装置である。
以下、この発明の実施の形態2を図8および図9によって説明する。図8は基本的考え方を示す図、図9は座標再演算機能の具体的な他の処理内容をフローチャートで例示する図である。本実施の形態2は、目標物と位置座標が不一致となった場合に、ユーザがビューワ上に表示された映像中の対象物の位置をポインティングデバイスにより指定する操作を行うことにより、そのときの自機姿勢情報及びカメラ姿勢情報から、自動的に座標位置を再計算することにより、対象物座標指定の精度を向上させる機能を有するものである。
同様に、OからPを結ぶ直線OPの、現在のカメラ方向とのなす角度dθ、dφは、
以下、この発明の実施の形態3を図10および図11によって説明する。図10はビューワに表示された映像上からポインティングデバイスを用いて目標物を指定する第一の操作をフローチャートで例示する図、図11はビューワに表示された映像上からポインティングデバイスを用いて目標物を指定する第二の操作をフローチャートで例示する図である。本実施の形態3は、最初の目標物の位置情報を座標指定機能によって指定することなく、目標物をポインティングデバイスでビューワ上より指定することで、追尾撮影機能を開始すると同時に、自動的に目標物の座標を計算する機能を有するものである。
これにより、(11)式は、
以後のステップST56〜ST59の処理は前述の実施の形態1,2と同一である。
2 自動追尾装置、
3 アンテナ、
4 ジャイロ、
5 ビューワ(映像表示装置)、
6 ポインティングデバイス、
7 キーボード、
8 コントローラ、
11 映像取込機能、
12 映像位置表示機能、
13 カメラ姿勢取込機能、
14 自機姿勢入力機能、
15 座標入力機能、
16 カメラ方向演算機能、
17 カメラ制御機能、
18 位置特定機能、
31 座標再計算機能、 42 目標物、
43 カメラ光軸ベクトル(位置S0での位置想定時)、
44 カメラ光軸ベクトル(位置S1での位置修正後)、
45 線分、
100 空中移動体。
Claims (4)
- 自機の姿勢を計算する自機姿勢取込機能と、
カメラからの映像を取り込む映像取込機能と、
カメラの撮影方向の情報を取り込むカメラ姿勢取込機能と、
カメラの撮影方向を制御するカメラ制御機能と、
前記映像取込機能で取り込んだ画像をビューワに表示する映像位置表示機能と、
前記カメラ姿勢取込機能からのカメラ姿勢情報と前記自機姿勢演算機能からの自機姿勢情報と目標物座標値とからカメラ撮影方向を演算しこの演算結果に沿って前記カメラ制御機能に前記カメラの撮影方向を制御させるカメラ方向演算機能と、
前記目標物の位置座標を補正する機能を有する座標再計算機能と、
を備え、
前記座標再計算機能は、現在の自機位置と、現在より前に前記目標物を撮影した時の自機位置および目標物の位置とから、現在の目標物の位置座標を計算することによって前記目標物座標値に補正を加える
ことを特徴とする空中移動体からの自動追尾撮影装置。 - GPSとジャイロからの情報より自機の姿勢を計算する自機姿勢取込機能と、
カメラからの映像を取り込む映像取込機能と、
カメラの撮影方向の情報を取り込むカメラ姿勢取込機能と、
カメラの撮影方向を制御するカメラ制御機能と、
撮影追尾対象である目標物の位置を座標値で指定する座標入力機能と、
映像取込機能で取り込んだ画像をビューワに表示する映像位置表示機能と、
前記カメラ姿勢取込機能からのカメラ姿勢情報と、前記自機姿勢演算機能からの自機姿勢情報と、前記座標入力機能からの目標物座標値とから、カメラ撮影方向を演算しこの演算結果に沿って前記カメラ制御機能に前記カメラの撮影方向を制御させるカメラ方向演算機能と、
前記目標物の位置座標を補正する機能を有する座標再計算機能と、
を備え、
前記座標再計算機能は、現在の自機位置と、現在より前に前記目標物を撮影した時の自機位置および目標物の位置とから、現在の目標物の位置座標を計算することによって前記目標物座標値に補正を加える
ことを特徴とする空中移動体からの自動追尾撮影装置。 - 請求項1または請求項2に記載の空中移動体からの自動追尾撮影装置において、
前記ビューワ上に表示された映像中の目標物の位置がポインティングデバイスにより指定されると、そのときの前記自機姿勢情報および前記カメラ姿勢情報から、前記座標再計算機能が自動的に前記目標物の位置座標を計算する
ことを特徴とする空中移動体からの自動追尾撮影装置。 - 請求項3に記載の空中移動体からの自動追尾撮影装置において、
前記ポインティングデバイスで前記目標物の位置が指定されると追尾機能を開始すると共に自動的に前記目標物の位置座標が計算される
ことを特徴とする空中移動体からの自動追尾撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008298252A JP4896116B2 (ja) | 2008-11-21 | 2008-11-21 | 空中移動体からの自動追尾撮影装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008298252A JP4896116B2 (ja) | 2008-11-21 | 2008-11-21 | 空中移動体からの自動追尾撮影装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010124399A JP2010124399A (ja) | 2010-06-03 |
JP4896116B2 true JP4896116B2 (ja) | 2012-03-14 |
Family
ID=42325303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008298252A Expired - Fee Related JP4896116B2 (ja) | 2008-11-21 | 2008-11-21 | 空中移動体からの自動追尾撮影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4896116B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6268655B1 (ja) * | 2016-09-08 | 2018-01-31 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 撮像装置、撮像システム、移動体、撮像方法、及びプログラム |
WO2019227333A1 (zh) * | 2018-05-30 | 2019-12-05 | 深圳市大疆创新科技有限公司 | 集体照拍摄方法和装置 |
TWI726536B (zh) * | 2019-12-16 | 2021-05-01 | 財團法人工業技術研究院 | 影像擷取方法及影像擷取設備 |
CN114679541A (zh) * | 2022-03-11 | 2022-06-28 | 中国科学院长春光学精密机械与物理研究所 | 一种星上运动目标跟踪方法 |
CN116866719B (zh) * | 2023-07-12 | 2024-02-02 | 山东恒辉软件有限公司 | 一种基于图像识别的高清视频内容智能分析处理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2737919B2 (ja) * | 1988-05-02 | 1998-04-08 | キヤノン株式会社 | 光量検出装置 |
JP4525089B2 (ja) * | 2004-01-27 | 2010-08-18 | フジノン株式会社 | オートフォーカスシステム |
JP4515884B2 (ja) * | 2004-10-20 | 2010-08-04 | 日本航空電子工業株式会社 | カメラスタビライザ目標位置補正方法 |
-
2008
- 2008-11-21 JP JP2008298252A patent/JP4896116B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010124399A (ja) | 2010-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230360260A1 (en) | Method and device to determine the camera position and angle | |
JP5155145B2 (ja) | 画像補正装置、方法、プログラム、集積回路、システム | |
JP5178406B2 (ja) | 遠隔操縦システム | |
JP5748561B2 (ja) | 航空写真撮像方法及び航空写真撮像装置 | |
JP2016167688A (ja) | 画像生成方法、システム、装置、及び端末 | |
CN110022444B (zh) | 无人飞行机的全景拍照方法与使用其的无人飞行机 | |
US20090097710A1 (en) | Methods and system for communication and displaying points-of-interest | |
WO2004113836A1 (ja) | 撮影映像表示方法 | |
JP4896116B2 (ja) | 空中移動体からの自動追尾撮影装置 | |
JP2017163265A (ja) | 操縦支援システム、情報処理装置およびプログラム | |
WO2018120350A1 (zh) | 对无人机进行定位的方法及装置 | |
WO2019227441A1 (zh) | 可移动平台的拍摄控制方法和设备 | |
JP2019008676A (ja) | 制御装置、飛行体、および制御プログラム | |
US20210004005A1 (en) | Image capture method and device, and machine-readable storage medium | |
JP4896115B2 (ja) | 空中移動体からの自動追尾撮影装置 | |
CN111247389B (zh) | 关于拍摄设备的数据处理方法、装置及图像处理设备 | |
WO2019230604A1 (ja) | 検査システム | |
JP2011169658A (ja) | 撮影位置特定装置および撮影位置特定方法 | |
JP5857419B2 (ja) | 目標標定装置及び目標標定方法 | |
WO2019205103A1 (zh) | 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机 | |
JP6681101B2 (ja) | 検査システム | |
US20180007282A1 (en) | Camera control apparatus | |
JP2000213953A (ja) | 飛しょう体の航法装置 | |
CN107636592B (zh) | 航道规划方法、控制端、飞行器及航道规划系统 | |
TW202215008A (zh) | 藉由計算機系統的導航 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111129 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111220 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4896116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150106 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |