JP4907911B2

JP4907911B2 - カメラ画像オフセット補正表示装置

Info

Publication number: JP4907911B2
Application number: JP2005198884A
Authority: JP
Inventors: 裕和下牧; 修一川野; 幸弘上村; 康浩安藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-07-07
Filing date: 2005-07-07
Publication date: 2012-04-04
Anticipated expiration: 2025-07-07
Also published as: JP2007017272A

Description

本発明は、到来電波の到来方向推定技術、電波発射源の可視化技術および画像変換技術によって、電波を発射する物体の位置を高精度に可視化できるカメラ画像オフセット補正表示装置に関する。

移動通信システムや無線LANシステムの普及により、電波干渉等で電波障害が発生する問題や、不法電波局を探知する必要が生じている。このような問題解決のために電波発射源を特定し可視化する装置が必要となる。

電波発射源可視化装置とは複数のアンテナ素子を平面上に配列したアレーアンテナで電波を受信し、その受信した電波を用いて電波を可視化する処理を行うことにより、電波到来方向を推定するシステムである。電波を可視化する方法として参考文献１に示すような電波ホログラフィ法等が知られている。電波到来方向の推定結果は画面上に推定値(仰角、方位角)として表示される。

従来の装置では、電波ホログラフィ等の電波を可視化する方式から計算されて推定結果のみを電界強度の分布として表示していた。または推定値(仰角、方位角)のみを表示していた。この場合では、電波の到来方向(仰角、方位角)を知ることが可能だが、どの場所から電波が到来しているかを具体的に特定することができなかった。

本問題を解決するために、カメラで電波受信得範囲周辺を撮影し、撮影したカメラ画像上に電波ホログラフィ等の電波可視化方式による電波到来方向の推定結果を重ねて表示することが試みられている。この表示方式により、電波が発生している場所を認識することが可能である。

しかし、電波到来方向の推定結果は、アレーアンテナの中心を原点として方位角及び仰角で表され、撮影するカメラの中心がアレーアンテナの中心と同一ではない場合は、視差が生じ、正確に電波到来方向を認識できないという問題を生ずる。電波ホログラフィによる電波到来方向の推定では、アレーアンテナの近隣に障害物がある場合、近隣のアンテナ素子の振幅、位相特性に歪みを生じ、電波到来方向の推定精度が劣化する。そのため、カメラはアレーアンテナから離して設置する必要がある。そのため、カメラ画像と電波到来方向の推定結果には視差が生じ、正確に電波到来方向の認識ができなかった。
特開平11−326480号公報

したがって本発明は上記に鑑みてなされたものでその目的とするところは、電波到来方向をより正確に認識するために、電波ホログラフィ等の電波可視化方式による推定結果と、カメラ位置のオフセットから生ずる視差を補正したカメラ画像とを重ね合わせて表示することによって電波到来方向をより正確に認識することが可能となるカメラ画像オフセット補正表示装置を提供することにある。

上記課題を解決するために、実施形態のカメラ画像オフセット補正表示装置は、到来電波を受信するアレーアンテナと、このアレーアンテナの周辺部に設置された、電波到来方向を撮影するカメラと、前記アンテナで受信した電波周波数をある決められた周波数に変換する周波数変換部と、前記周波数変換部で変換されたアナログ信号をデジタル信号に変換するA/D変換部と、前記A/D変換部によってA/D変換された信号から電波ホログラフィを用いて電波発射源の位置を算出する電波発射源可視化処理演算部と、前記カメラで撮影された画像に対して、前記アレーアンテナとカメラの位置のオフセットから生じる視差の補正処理を行う映像処理部と、前記映像処理部の画像上に前記電波発射源可視化処理演算部で算出された画像を重ね合わせて表示する表示装置と、を備え、前記視差の補正処理は、前記アンテナ中心から電波発射源までの距離、および前記アンテナ中心から前記カメラ中心まで距離を用いて決定されるオフセット補正角度を、電波発射源の方向にかかわらず一定値とする値を仰角および方位角方向についてそれぞれ求め、この一定値のオフセット補正角度を用いて、前記カメラで撮像された画像の仰角、方位角方向について視差補正を行うことを特徴とするものである。

また、実施形態のカメラ画像オフセット補正表示装置は、到来電波を受信するアレーアンテナと、このアレーアンテナの周辺部に設置された、電波到来方向を撮影するカメラと、前記アンテナで受信した電波周波数をある決められた周波数に変換する周波数変換部と、前記周波数変換部で変換されたアナログ信号をデジタル信号に変換するA/D変換部と、前記A/D変換部によってA/D変換された信号から電波ホログラフィを用いて電波発射源の位置を算出する電波発射源可視化処理演算部と、前記カメラで撮影された画像に対して、前記アレーアンテナとカメラの位置のオフセットから生じる視差の補正処理を行う映像処理部と、前記映像処理部の画像上に前記電波発射源可視化処理演算部で算出された画像を重ね合わせて表示する表示装置と、を備え、前記視差の補正処理は、前記電波発射源可視化処理演算部で電波ホログラフィにより推定された電波到来方向の推定方向、前記アンテナ中心から電波発射源までの距離、および前記アンテナ中心から前記カメラ中心までの距離を用いて決定されるオフセット補正角度を、仰角および方位角方向についてそれぞれ求め、このオフセット補正角度を用いて前記カメラで撮像された画像の仰角、方位角方向について視差補正を行うことを特徴とするものである。

本発明によれば、カメラの撮像部の位置と前記アレーアンテナの位置が同一でない場合、カメラで撮像された画像の視差をアレーアンテナの中心に対してオフセット補正を行う。この補正によって電波ホログラフィ等で推定された電波到来方向推定値をカメラで撮影した画像内の正確な位置に表示でき、電波放射物体を具体的に特定することが可能となる。

以下本発明の実施形態につき詳細に説明する。図１は、本発明に関わる実施形態の電波発射源可視化装置の構成を示すブロック図で、１１はアレーアンテナ、１２はカメラ、１３は周波数変換部、１４はA/D変換部、１５は電波発射源可視化処理演算部、１６は映像処理部、１７は表示装置を示している。

到来電波を受信するアレーアンテナ１１の側面に到来電波方向の映像を記録するカメラ１２が接続され、アンテナ１１の出力は周波数変部１３に入力され、周波数変換部１３の出力はA/D変換部１４に入力される。A/D変換部１４の出力は電波発射源可視化処理演算部１５に入力される。一方、カメラ１２により電波到来方向の景色を撮影された画像は、映像処理部１６に入力され、カメラ位置のオフセットから生ずる視差を補正処理をした後、電波発射源可視化処理演算部１５との処理結果と重ね合わせて表示装置１７に表示する構成になっている。

アレーアンテナ１１は、例えばT型の半波長ダイポールアンテナが縦と横にN^２個(N×N Nは正の整数)同一平面上に並んでおり、中心部に基準アンテナが設定されている。この基準アンテナと周囲のアンテナ出力との振幅および位相差を比較し、最も電波の強め合う方向を求めることで電波到来方向を算定できる。この方法を電波ホログラフィ法という。

アンテナ中央の基準アンテナと同じ位置にカメラ１２を装着することが最善であるが、電波ホログラフィ法による電波到来方向の推定では、アレーアンテナ１１の近隣に障害物がある場合、近隣のアンテナ素子の振幅、位相特性に歪みを生じ、電波到来方向の推定精度が劣化する。そのため、カメラ１２はアレーアンテナ１１から離して設置する必要がある。しかしカメラ１２の中心とアレーアンテナ１１の中心を離して設置した場合、その距離に応じてカメラ画像と電波到来方向の推定結果に視差が生じてしまい、正確に電波到来方向の認識ができない。図１ではアレーアンテナの真横にカメラが装着されている形を仮定している。

よって本発明では、推定結果と重ね合わせる前に、映像処理部１６において、撮影したカメラ画像のオフセット補正を行う。補正後のカメラ画像と電波ホログラフィ法を用いた電波到来方向の推定結果とを、表示装置１７で重ね合わせて表示することによって電波到来方向のより正確な認識が可能となる。

次に図２に示すフローチャートを用いて波発射源可視化装置の処理シーケンスを詳細に説明する。ある周波数帯の受信電波をアレーアンテナ１１で受信する。(S201)
次にアンテナ１１の出力は後段にて接続される電波発射源可視化処理演算部１５での処理方式に合わせるために周波数変部１３で、ある周波数(例えば21.4ＭＨz)にダウンコンバートされる。(S202)
その後、周波数変換されたアナログ信号はA/D変換部１４でデジタル信号に変換される。(S203)
このデジタル信号は電波発射源可視化処理演算部１５で、上述した電波ホログラフィ法によって、その電波到来方向、すなわち方向角、仰角、電界強度の分布を求めることができる。(S204)
また、一方でアレーアンテナ１１にカメラ１２を装着することで、電波を受信する環境(場所)の撮影を撮影可能にする。(S205)
そして、撮影したカメラ画像を電波発射源可視化処理演算部１５に付随した映像処理部１６に転送を行う。(S206)
電波ホログラフィによる到来方向の推定結果は、アレーアンテナの中心を原点として方位角及び仰角で表されているので、撮影するカメラの中心がアレーアンテナの中心と同一ではない場合は、当然カメラ画像との方位角、仰角に視差が生じる。このカメラ位置のオフセットに起因する視差補正を行う。オフセット補償についての詳細は後述する。(S207)電波ホログラフィによる到来方向の推定結果とオフセット補償を行ったカメラ画像を重ね合わせる。(S208)
画像データを表示装置１７に転送する。(S209)
この一連の流れによって電波到来の正確な認識が可能となる。(S210)
図３−(a)に従来の電波強度の分布として表示した場合の画面例を示す。画面の色が黒い部分が電界強度の強い部分を示している。左上の方に電界強度の強い黒い部分があり、電波の到来方向であると推定できる。

図３−(b)にカメラ画像のオフセット補正を行わない場合の画面例を示す。カメラ画像と重ね合わせて表示しているため、どこから電波が到来しているかを認識できる。しかし、この場合はカメラ画像のオフセット補正を行っていないため、電波到来方向(アンテナの方向)と推定結果が一致していない。

図３−(c)にカメラ画像のオフセット補正を行った場合の電波到来方向の推定結果について画面例を示す。左上のビルの屋上にあるアンテナから電波が出ている設定である。この場合はカメラ画像のオフセット補正を行っているため、アンテナの上に電界強度の強い部分が覆い被さっており、電波到来方向を正確に認識できる。

次に、図４にオフセット補正のフローチャートを示す。最初に、アレーアンテナの中心から電波発射源までの距離ｚと、アンテナ中心からカメラまでの距離(方位角方向、仰角方向:d_al, d_e1)を設定する。(S401)
次にオフセット補正アルゴリズムを用いてオフセット補正角度を方位角方向、仰角方向それぞれについて計算する。(S402)
そして計算した補正角度分(方位各方向、仰角方向)だけ取り込んだカメラ画像の中心をオフセットする。

最後に電波到来方向の推定結果と重ね合わせることによりオフセット補正が可能である。(S404)
以下に具体的にオフセット補正角度を計算するためのオフセット補正アルゴリズムについて2例を示す。1例目は、図５に示すように電波の到来方向がアレーアンテナの中心方向であると仮定して、アレーアンテナの中心方向とカメラとの視差をオフセットする方法である。説明の簡略化の為に、仰角方向のオフセットは無いものと考え、d_azをdとする。電波発射源までの距離をzとする。このとき、オフセット角度は図中のθとなり、式1でオフセット角度を計算することができる。

仰角方向のオフセットについても同様に計算できる。

2例目は、電波の到来方向を加味してアレーアンテナの中心方向とカメラとの視差をオフセットする方法である。このアルゴリズムでは、電波を可視化する方式を用いた電波到来方向の推定結果を用いる。第６図にその模式図を示す。説明の簡略化の為に、仰角方向のオフセットは無いものと考え、d_azをdとする。また、第8図中で、アレーアンテナ中心を原点として右側を正とする。アレーアンテナから垂直に引いた線をZ軸とする。

図中のアレーアンテナ中心から電波発射源までの角度(ここでは方位角)をθ、カメラから電波発射源までの角度をθ'とする。θに電波到来方向の推定結果を用いる。アレーアンテナの面(図中のX軸方向)から電波発射源までの距離は、zcosθとなる。

ここで、以下の等式が成り立つ。

(式2)からθ'を求めると(式3)となる。

求めるオフセット角度はθ'−θであり、

となる。仰角方向のオフセットについても同様に計算できる。

上記のように、カメラ画像のオフセット補正を行い、電波を可視化する方式による電波到来方向の推定結果を重ね合わせて表示することにより、電波到来方向をより正確に認識することが可能となる。

このように構成された本発明の実施形態にかかるカメラ画像オフセット補正表示装置によれば、カメラの撮像部の位置と前記アレーアンテナの位置が同一でない場合、カメラで撮像された画像の視差をアレーアンテナの中心に対してオフセット補正を行う。この補正によって電波ホログラフィ等で推定された電波到来方向推定値を、撮影した画像内の正確な位置に表示できるので電波放射物体を具体的に特定することが可能となる。

本発明は上記実施形態をそのままに限定されるものではなく、実施段階でその要旨を逸脱しない範囲で具体化できる。

本発明の一実施例におけるカメラ画像オフセット補正表示装置の構成を示すブロック図である。本発明の一実施例におけるカメラ画像オフセット補正表示装置の処理を示すフローチャートである。本発明の一実施例におけるカメラ画像オフセット補正表示装置の出力画面である。本発明の一実施例におけるオフセット補正のフローチャートである。本発明の一実施例におけるオフセット補正角度の計算図の第１の例である。本発明の一実施例におけるオフセット補正角度の計算図の第2の例である。

符号の説明

１１…アレーアンテナ
１２…カメラ
１３…周波数変換部
１４…A/D変換部
１５…電波発射源可視化処理演算部
１６…映像処理部
１７…表示装置

Claims

到来電波を受信するアレーアンテナと、
このアレーアンテナの周辺部に設置された、電波到来方向を撮影するカメラと、
前記アンテナで受信した電波周波数をある決められた周波数に変換する周波数変換部と、
前記周波数変換部で変換されたアナログ信号をデジタル信号に変換するA/D変換部と、
前記A/D変換部によってA/D変換された信号から電波ホログラフィを用いて電波発射源の位置を算出する電波発射源可視化処理演算部と、
前記カメラで撮影された画像に対して、前記アレーアンテナとカメラの位置のオフセットから生じる視差の補正処理を行う映像処理部と、
前記映像処理部の画像上に前記電波発射源可視化処理演算部で算出された画像を重ね合わせて表示する表示装置と、を備え、
前記視差の補正処理は、前記アンテナ中心から電波発射源までの距離、および前記アンテナ中心から前記カメラ中心まで距離を用いて決定されるオフセット補正角度を、電波発射源の方向にかかわらず一定値とする値を仰角および方位角方向についてそれぞれ求め、この一定値のオフセット補正角度を用いて、前記カメラで撮像された画像の仰角、方位角方向について視差補正を行うことを特徴とするカメラ画像オフセット補正表示装置。
到来電波を受信するアレーアンテナと、
このアレーアンテナの周辺部に設置された、電波到来方向を撮影するカメラと、
前記アンテナで受信した電波周波数をある決められた周波数に変換する周波数変換部と、
前記周波数変換部で変換されたアナログ信号をデジタル信号に変換するA/D変換部と、
前記A/D変換部によってA/D変換された信号から電波ホログラフィを用いて電波発射源の位置を算出する電波発射源可視化処理演算部と、
前記カメラで撮影された画像に対して、前記アレーアンテナとカメラの位置のオフセットから生じる視差の補正処理を行う映像処理部と、
前記映像処理部の画像上に前記電波発射源可視化処理演算部で算出された画像を重ね合わせて表示する表示装置と、を備え、
前記視差の補正処理は、前記電波発射源可視化処理演算部で電波ホログラフィにより推定された電波到来方向の推定方向、前記アンテナ中心から電波発射源までの距離、および前記アンテナ中心から前記カメラ中心までの距離を用いて決定されるオフセット補正角度を、仰角および方位角方向についてそれぞれ求め、このオフセット補正角度を用いて前記カメラで撮像された画像の仰角、方位角方向について視差補正を行うことを特徴とするカメラ画像オフセット補正表示装置。