JP7055915B1 - 目標抽出装置及び目標抽出方法 - Google Patents
目標抽出装置及び目標抽出方法 Download PDFInfo
- Publication number
- JP7055915B1 JP7055915B1 JP2021048597A JP2021048597A JP7055915B1 JP 7055915 B1 JP7055915 B1 JP 7055915B1 JP 2021048597 A JP2021048597 A JP 2021048597A JP 2021048597 A JP2021048597 A JP 2021048597A JP 7055915 B1 JP7055915 B1 JP 7055915B1
- Authority
- JP
- Japan
- Prior art keywords
- target
- coordinate system
- flying object
- coordinates
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 239000000284 extract Substances 0.000 claims abstract description 3
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012805 post-processing Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
【課題】取得画像における動目標と静止クラッタとの差が不明瞭であっても、動目標だけを確実に抽出する。【解決手段】実施形態によれば、慣性航法で飛翔する飛翔体に搭載され、ジンバルによって安定化される目標抽出装置であって、前記飛翔体の飛翔中に画像センサで上空から地表付近を撮影し、前記画像センサで撮影された画像から移動する目標候補を抽出してそれぞれの座標を算出し、前記目標候補の座標を前記画像センサの座標系から前記飛翔体の機体の座標系への座標変換を行い、前記機体の座標系から慣性座標系への座標変換を行い、前記目標候補の位置を前記慣性座標系への座標変換結果から推定し、前記目標候補の位置推定結果からフレーム間差分演算により前記目標候補それぞれの速度を推定し、前記目標候補それぞれの速度推定結果から被搭載機の速度を相殺して、静止クラッタを排除し、動目標を判定出力する。【選択図】図１
Description
この発明の実施形態は、目標抽出装置及び目標抽出方法に関する。
飛翔体に搭載され、空中で目標を捕捉するための目標抽出装置にあっては、画像センサで得た画像から目標を抽出してその目標を追跡する技術がある。しかしながら、従来の目標抽出装置では、目標の捕捉時に、目標の動きの他に自分自身の動きが重畳されてしまい、動目標と静止するクラッタとの差が不明瞭となって、目標だけを抽出することが困難になる課題があった。
以上のように、従来の画像センサを用いた目標抽出装置では、捕捉時に得た画像において、動目標と静止するクラッタとの差が不明瞭となり、目標だけを抽出することが困難な場合があった。
本発明の課題は、取得画像における動目標と静止クラッタとの差が不明瞭であっても、動目標だけを確実に抽出することのできる目標抽出装置及び目標抽出方法を提供することにある。
上記の課題を解決するために、実施形態によれば、慣性航法で飛翔する飛翔体に搭載され、ジンバルによって安定化される目標抽出装置であって、前記飛翔体の飛翔中に画像センサで上空から地表付近を撮影し、前記画像センサで撮影された画像から移動する目標候補を抽出してそれぞれの座標を算出し、前記目標候補の座標を前記画像センサの座標系から前記飛翔体の機体の座標系への座標変換を行い、前記機体の座標系から慣性座標系への座標変換を行い、前記目標候補の位置を前記慣性座標系への座標変換結果から推定し、前記目標候補の位置推定結果からフレーム間差分演算により前記目標候補それぞれの速度を推定し、前記目標候補それぞれの速度推定結果から被搭載機の速度を相殺して、静止クラッタを排除し、動目標を判定出力する。
以下、図面を参照しながら、実施形態について説明する。
図１は、実施形態に係る目標抽出装置の構成を示すブロック図である。
図１に示す目標抽出装置は、慣性航法で飛翔する飛翔体に搭載され、ジンバルによって安定化されるシーカであり、上空から地表付近を撮影する画像センサ１１を備える。画像センサ１１で得られた画像は前処理器１２に送られる。前処理器１２は、入力画像を目標抽出用フィルタ等に通して画像内の輝度値等から移動する目標の候補を抽出し、それぞれの座標を算出する。前処理器１２で得られた目標候補の座標は後処理器１３に送られる。後処理器１３は、抽出された目標候補の中から、真の目標を選定するための処理を行う。
図１は、実施形態に係る目標抽出装置の構成を示すブロック図である。
図１に示す目標抽出装置は、慣性航法で飛翔する飛翔体に搭載され、ジンバルによって安定化されるシーカであり、上空から地表付近を撮影する画像センサ１１を備える。画像センサ１１で得られた画像は前処理器１２に送られる。前処理器１２は、入力画像を目標抽出用フィルタ等に通して画像内の輝度値等から移動する目標の候補を抽出し、それぞれの座標を算出する。前処理器１２で得られた目標候補の座標は後処理器１３に送られる。後処理器１３は、抽出された目標候補の中から、真の目標を選定するための処理を行う。
上記後処理器１３は、具体的には目標候補の座標を画像センサ１１の座標系から飛翔体の機体の座標系への座標変換を行う第１座標変換器１３１、機体の座標系から慣性座標系への座標変換を行う第２座標変換器１３２、目標候補の位置を座標変換結果から推定する位置推定器１３３、位置推定結果からフレーム間差分演算により目標候補それぞれの速度を推定する速度推定器１３４、目標候補それぞれの速度推定結果から被搭載機の速度を相殺して真の目標を判定する目標判定処理器１３５を備える。
ここで、上記飛翔体は、航法装置において、慣性航法を行うために、自身の位置及び姿勢角を観測している。そこで、上記後処理器１３では、第１座標変換器１３１において、航法装置（図示せず）からジンバル角（θEL,θAZ）を取得し、このジンバル角に基づいて画像センサ１１で得られた画像の水平面を調整し、第２座標変換器１３２において、航法装置から飛翔体姿勢角（φ, θ, ψ）を取得し、この飛翔体姿勢角に基づいて画像センサ１１で得られた画像の角度を調整する。そして、位置推定器１３３から飛翔体位置（xm, ym, zm）を受けて画像の取得位置を割り出し、これらの情報を用いて、画像情報から飛翔体の動きを相殺し、目標とクラッタの速度予測値を算出することによって、真の目標のみを抽出する。
上記構成において、図２を参照してその処理動作を説明する。図２は図１に示す目標抽出装置の目標候補座標を取得する処理を説明するための概念図である。
前処理器１２において、画像内の輝度値等から目標候補を抽出後に、得られた目標候補の中から、真の目標を選定するための処理となる。具体的な計算方法は、図２に示すように、基本的に目標を見下ろす方向で撮影した画像に対し、移動する目標と、地上に固定された反射点（地上クラッタ）とを速度差によって分離することを目的とする処理となる。
図２において、（ａ）は真横から見た図、（ｂ）は（ａ）の状況を真上から見た図、（ｃ）は観測範囲のシーカ画像を示す図である。すなわち、目標抽出装置は、図２（ａ）に示すように、位置：Xm ＝（xm, ym, zm）から、姿勢角：（φm, θm, ψm）、目視線角（慣性座標）σE、カメラ視野角θsで地表を俯瞰するように観測する。これにより、固定点（速度0m/s）の地上クラッタの位置と、移動目標の位置：Xt ＝（xt, yt, zt）、速度：Vt ＝Va m/sが得られる。また、目標抽出装置は、図２（ｂ）に示すように、横距離の位置（xm, ym）から水平方向にカメラ視野角θsで観測する。これにより、目標候補座標Xt1 ～ Xtn（図ではn=5）が得られる。このとき、シーカ画像は、図２（ｃ）に示すように、目標候補がε1～εnで表示される。各目標候補は、中心点に対して（EL, AZ）座標で表される。分離度フィルタ等の前処理によって、目標候補となる特徴点の座標（誤差角）が分かっているものとすると、目標候補の座標は（ε1, ε2, …, εn）となる。
各目標候補に対する目視線方向をσEとすると、σEは以下の通り算出できる。なお、ここでは目標候補を一般例としてεnとする。
上式のM(・)は以下の関数である。ここで用いる姿勢角（φ, θ, ψ）およびジンバル角（θgAZ,θgEL）は、撮像したタイミングに合わせたものを使用する。
慣性座標上の目標候補方向を以下の通り算出する。
目標候補方向から、以下の通り目標候補座標を算出する。
算出した目標候補の座標を記録しておき、フレーム間での座標差から、速度を推定し、推定した速度差から、移動する動目標を判定する。
以上のように、本実施形態に係る目標抽出装置によれば、取得画像における動目標と静止クラッタとの差が不明瞭であっても、目標候補の座標を記録しておき、フレーム間での座標差から、速度を推定し、推定した速度差から、移動する目標を判定するので、動目標だけを確実に抽出することができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
１１…画像センサ、１２…前処理器、１３…後処理器、１３１…第１座標変換器、１３２…第２座標変換器、１３３…位置推定器、１３４…速度推定器、１３５…目標判定処理器。
Claims (3)
- 慣性航法で飛翔する飛翔体に搭載され、ジンバルによって安定化される目標抽出装置であって、
前記飛翔体の飛翔中に上空から地表付近を撮影する画像センサと、
前記画像センサで撮影された画像から移動する目標候補を抽出し、それぞれの座標を算出する前処理器と、
前記前処理器で算出された目標候補の座標に基づいて前記目標候補の中から真の目標の選定を行う後処理器と
を具備し、
前記後処理器は、
前記目標候補の座標を前記画像センサの座標系から前記飛翔体の機体の座標系への座標変換を行う第１座標変換器と、
前記機体の座標系から慣性座標系への座標変換を行う第２座標変換器と、
前記目標候補の位置を座標変換結果から推定する位置推定器と、
前記位置推定器の位置推定結果からフレーム間差分演算により前記目標候補それぞれの速度を推定する速度推定器と、
前記目標候補それぞれの速度推定結果から被搭載機の速度を相殺して静止クラッタを排除し、動目標を判定出力する目標判定処理器と
を備える目標抽出装置。 - 前記第１座標変換器は、前記飛翔体の航法装置で得られるジンバル角に基づいて前記画像センサで得られた画像の水平面を調整することで前記目標候補の座標の座標変換を行い、
前記第２座標変換器は、前記飛翔体の航法装置で得られる飛翔体姿勢角に基づいて前記画像センサで得られた画像の角度を調整することで前記目標候補の座標の座標変換を行い、
前記位置推定器は、前記飛翔体の航法装置で得られる飛翔体位置に基づいて前記目標候補の位置を推定する
請求項１記載の目標抽出装置。 - 慣性航法で飛翔する飛翔体に搭載され、ジンバルによって安定化される目標抽出装置の目標抽出方法であって、
前記飛翔体の飛翔中に画像センサで上空から地表付近を撮影し、
前記画像センサで撮影された画像から移動する目標候補を抽出してそれぞれの座標を算出し、
前記目標候補の座標を前記画像センサの座標系から前記飛翔体の機体の座標系への座標変換を行い、
前記機体の座標系から慣性座標系への座標変換を行い、
前記目標候補の位置を前記慣性座標系への座標変換結果から推定し、
前記目標候補の位置推定結果からフレーム間差分演算により前記目標候補それぞれの速度を推定し、
前記目標候補それぞれの速度推定結果から被搭載機の速度を相殺して、静止クラッタを排除し、動目標を判定出力する
目標抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021048597A JP7055915B1 (ja) | 2021-03-23 | 2021-03-23 | 目標抽出装置及び目標抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021048597A JP7055915B1 (ja) | 2021-03-23 | 2021-03-23 | 目標抽出装置及び目標抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7055915B1 true JP7055915B1 (ja) | 2022-04-18 |
| JP2022147383A JP2022147383A (ja) | 2022-10-06 |
Family
ID=81289267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021048597A Active JP7055915B1 (ja) | 2021-03-23 | 2021-03-23 | 目標抽出装置及び目標抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7055915B1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002243400A (ja) | 2001-02-16 | 2002-08-28 | Kawasaki Heavy Ind Ltd | 目標選択装置および目標選択方法 |
| JP2010133574A (ja) | 2008-12-02 | 2010-06-17 | Toshiba Corp | 目標追跡装置及び目標判定方法 |
| JP2015230284A (ja) | 2014-06-06 | 2015-12-21 | 株式会社東芝 | レーダ装置及びそのレーダ信号処理方法 |
-
2021
- 2021-03-23 JP JP2021048597A patent/JP7055915B1/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002243400A (ja) | 2001-02-16 | 2002-08-28 | Kawasaki Heavy Ind Ltd | 目標選択装置および目標選択方法 |
| JP2010133574A (ja) | 2008-12-02 | 2010-06-17 | Toshiba Corp | 目標追跡装置及び目標判定方法 |
| JP2015230284A (ja) | 2014-06-06 | 2015-12-21 | 株式会社東芝 | レーダ装置及びそのレーダ信号処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022147383A (ja) | 2022-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108399642B (zh) | 一种融合旋翼无人机imu数据的通用目标跟随方法和系统 | |
| EP2615580B1 (en) | Automatic scene calibration | |
| WO2017080102A1 (zh) | 飞行装置、飞行控制系统及方法 | |
| JP6594180B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
| US8503730B2 (en) | System and method of extracting plane features | |
| JP2008229834A (ja) | 移動ロボットの位置認識方法 | |
| CN108198199B (zh) | 运动物体跟踪方法、运动物体跟踪装置和电子设备 | |
| CN109816606B (zh) | 一种利用光学遥感卫星进行目标跟踪的方法 | |
| CN109886995B (zh) | 一种复杂环境下多目标跟踪方法 | |
| EP3761629B1 (en) | Information processing device, autonomous mobile body, information processing method, and program | |
| CN104331907B (zh) | 一种基于orb特征检测测量载体速度的方法 | |
| WO2019205087A1 (zh) | 图像增稳方法和装置 | |
| KR20150075505A (ko) | 영상 기반 선박 주변 타선정보 제공장치 및 그 방법 | |
| WO2013054132A1 (en) | Height measurement apparatus and method | |
| JP7055915B1 (ja) | 目標抽出装置及び目標抽出方法 | |
| JP5743935B2 (ja) | 対象物検出装置および対象物検出方法 | |
| WO2021059765A1 (ja) | 撮像装置、画像処理システム、画像処理方法及びプログラム | |
| JP6506031B2 (ja) | 測量データ処理装置、測量データ処理方法およびプログラム | |
| JP2559939B2 (ja) | ３次元情報入力装置 | |
| JP2018009918A (ja) | 自己位置検出装置、移動体装置及び自己位置検出方法 | |
| JP2017092839A5 (ja) | ||
| JP2000213953A (ja) | 飛しょう体の航法装置 | |
| US9245343B1 (en) | Real-time image geo-registration processing | |
| Sease et al. | GEODETICA: A general software platform for processing continuous space-based imagery | |
| CN114554030B (zh) | 设备检测系统以及设备检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220406 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7055915 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |