JP4542956B2

JP4542956B2 - カメラ画像歪み補正表示装置

Info

Publication number: JP4542956B2
Application number: JP2005198885A
Authority: JP
Inventors: 裕和下牧; 修一川野; 幸弘上村; 康浩安藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-07-07
Filing date: 2005-07-07
Publication date: 2010-09-15
Anticipated expiration: 2025-07-07
Also published as: JP2007019828A

Description

本発明は、電波を可視化する技術を用いた電波到来方向の推定結果をカメラ画像上に表示し、電波を発射している物体の位置を正確に可視化できる装置に関する。

移動通信システムや無線LANシステムの普及により、電波干渉等で電波障害が発生する問題や、不法電波局を探知する必要が生じている。このような問題解決のために電波発射源を特定し可視化する装置が必要となる。

電波発射源可視化装置とは複数のアンテナ素子を平面上に配列したアレーアンテナで電波を受信し、その受信した電波を用いて電波を可視化する処理を行うことにより、電波到来方向を推定するシステムである。電波を可視化する方法として参考文献１に示すような電波ホログラフィ法等が知られている。電波到来方向の推定結果は画面上に推定値(仰角、方位角)として表示される。

従来の装置では、電波ホログラフィ等の電波を可視化する方式から計算された推定結果のみを電界強度の分布として表示していた。または推定値(仰角、方位角)のみを表示していた。この場合では、電波の到来方向(仰角、方位角)を知ることが可能だが、どの場所から電波が到来しているかを具体的に特定することができなかった。

本問題を解決するために、カメラで電波受信範囲周辺を撮影し、撮影したカメラ画像上に電波ホログラフィ等の電波到来方向の推定結果を重ねて表示することが試みられている。この表示方式により、電波が発生している場所を認識することが可能である。

しかし、撮影したカメラ画像はレンズの性能、および画像の取り込み系により歪みが発生するため、電波ホログラフィ法を用いた電波到来方向の推定結果と重ね合わせても、電波が発生している場所を正確に特定することが難しいという問題があった。
特開平11−326480号公報

したがって本発明は上記に鑑みてなされたものでその目的とするところは、電波を発射している物体を正確に認識するために、電波ホログラフィ等の電波可視化方式を用いた推定結果と重ね合わせる前に、撮影したカメラ画像の歪み補正を行う。撮影したカメラ画像の歪み(倍率、レンズの歪み)を補正し、補正後のカメラ画像上に電波可視化方式による電波到来方向の推定結果とを重ね合わせて表示することによって、電波を発射している物体の正確な位置の特定を可能とするカメラ画像歪み補正表示装置を提供することにある。

上記課題を解決するために、本発明の請求項１によれば、到来電波を受信するアレーアンテナと、電波到来方向を撮影するカメラと、前記アンテナで受信した電波周波数をある決められた周波数に変換する周波数変換部と、前記周波数変換部で変換されたアナログ信号をデジタル信号に変換するA/D変換部と、前記A/D変換部によってA/D変換された信号から電波発射源の位置を算出する電波発射源可視化処理演算部と、前記カメラで撮影された映像信号を画像処理する映像処理部と、前記映像処理部の画像上に前記電波発射源可視化処理演算部で算出された画像が重ね合わされた映像を表示する表示装置と、を備え、
前記映像処理部で行われる画像処理は、仰角方向に生ずる画像歪みを、仰角を変数とする正弦関数に比例する量で補正する仰角補正処理と、方位角方向に生ずる画像歪みを、方位角を変数とする正弦関数に比例する量で補正する方位角補正処理と、のどちらか一方または両方を含むことを特徴とするカメラ画像歪み補正表示装置を提供する。

本発明によれば、カメラのレンズ性能および画像取込系で発生する画像歪みを補正をしているので電波ホログラフィ等で推定された電波到来方向推定値を撮影した画像内に正確に表示でき電波放射物体を具体的に特定することが可能となる。

以下本発明の実施形態につき詳細に説明する。図１は、本発明に関わる実施形態の電波発射源可視化装置の構成を示すブロック図で、１１はアレーアンテナ、１２はカメラ、１３は周波数変換部、１４はA/D変換部、１５は電波発射源可視化処理演算部、１６は映像処理部、１７は表示装置を示している。

到来電波を受信するアレーアンテナ１１の側面に到来電波方向の映像を記録するカメラ１２が接続され、アンテナ１１の出力は周波数変部１３に入力され、周波数変換部１３の出力はA/D変換部１４に入力される。A/D変換部１４の出力は電波発射源可視化処理演算部１５に入力される。一方、カメラ１２により電波到来方向の景色を撮影された画像は、映像処理部１６に入力され、レンズ性能および画像取込系で発生する画像歪みの補正処理をした後、電波発射源可視化処理演算部１５との処理結果と重ね合わせて表示装置１７に表示する構成になっている。

アレーアンテナ１１は、例えばT型の半波長ダイポールアンテナが縦と横にN^２個(N×N Nは正の整数)同一平面上に並んでおり、中心部に基準アンテナが設定されている。この基準アンテナと周囲のアンテナとの出力信号において振幅および位相差を比較し、最も電波の強め合う方向を求めることで電波到来方向を算定できる。この方法を電波ホログラフィ法という。

本発明では、推定結果と重ね合わせる前に、映像処理部１６において、撮影したカメラ画像の歪み補正を行う。映像処理部で撮影したカメラ画像の歪み(倍率、レンズの歪み)を補正し、補正後のカメラ画像と電波ホログラフィ法を用いた電波到来方向の推定結果とを、表示装置１７で重ね合わせて表示することによって電波到来方向のより正確な認識が可能となる。

次に図２に示すフローチャートを用いて本発明におけるカメラ画像歪み補正表示装置の処理シーケンスを詳細に説明する。ある周波数帯の受信電波をアレーアンテナ１１で受信する。(S201)
次にアンテナ１１の出力は後段にて接続される電波発射源可視化処理演算部１５での処理方式に合わせるために周波数変換部１３の周波数変換器を使用して、ある周波数(例えば21.4ＭＨz)にダウンコンバートされる。(S202)
その後、周波数変換されたアナログ信号はA/D変換部１４でデジタル信号に変換される。(S203)
このデジタル信号は電波発射源可視化処理演算部１５で行われる演算処理として、上述した電波ホログラフィ法を採用することにより、その電波到来方向、すなわち方向角、仰角、電界強度の分布を求めることができる。(S204)
また、一方でアレーアンテナ１１にカメラ１２を装着することで、電波を受信する環境(場所)の撮影を撮影可能にする。(S205)
そして、撮影したカメラ画像を電波発射源可視化処理演算部１５に付随した映像処理部１６に転送を行う。(S206)
電波ホログラフィによる到来方向の推定結果は、アレーアンテナの中心を原点として方位角及び仰角で表されているので、撮影したカメラ画像の歪み(倍率、レンズの歪み)がある場合は、当然カメラ画像との方位角、仰角に誤差が生じる。このカメラ画像の歪み補正を行う。歪み補償についての詳細は後述する。(S207)
電波ホログラフィによる電波到来方向の推定結果とオフセット補償を行ったカメラ画像を重ね合わせる。(S208)
画像データを表示装置１７に転送する。(S209)
この一連の流れによって電波到来の正確な認識が可能となる。(S210)
図３−(a)に従来の電波強度の分布として表示した場合の画面例を示す。画面の色が黒い部分が電界強度の強い部分を示している。左上の方に電界強度の強い黒い部分があり、電波の到来方向であると推定できる。

図３−(b)にカメラ画像の歪み補正を行わない場合の画面例を示す。カメラ画像と重ね合わせて表示しているため、どこから電波が到来しているかを認識できる。しかし、この場合はカメラ画像の歪み補正を行っていないため、電波到来方向(アンテナの方向)と推定結果が一致していない。

図３−(c)にカメラ画像の歪み補正を行った場合の電波到来方向の推定結果について画面例を示す。左上のビルの屋上にあるアンテナから電波が出ている設定である。この場合はカメラ画像の歪み補正を行っているため、アンテナの上に電界強度の強い部分が覆い被さっており、電波到来方向を正確に認識できる。

具体例として、画像歪み補正方法の一例を示す。最初に、画像取り込み系によって発生した、撮影した画像の倍率を(式1)、(式2)によって補正する。AZ_1,EL_1は補正前の座標、AZ_2,EL_2は補正後の座標を示す。(AZはアジマス、ELはエレベーションの意) なお、A、B(倍率)及びCは任意とする。

次に、倍率変更後の画像を用いて、次にレンズの歪みを補正する。レンズ歪みの補正式は(式3)、(式4)を用いる。AZ_2,EL_2は補正前の座標、AZ_3,EL_3は補正後の座標を示す。パラメータのkは任意であり、レンズの歪みの度合いを示している。

上記のように、座標変換することでカメラ画像の歪み補正を行い、電波到来方向の推定結果と重ね合わせて表示することにより、電波到来方向をより正確に認識することが可能となる。

このように構成された本発明の実施形態にかかるカメラ画像歪み補正表示装置によれば、カメラのレンズ性能および画像取込系で発生する画像歪みの補正をしているので電波ホログラフィ等で推定された電波到来方向推定値を撮影した画像内に正確に表示でき電波放射物体を具体的に特定することが可能となる。

本発明は上記実施形態をそのままに限定されるものではなく、実施段階でその要旨を逸脱しない範囲で具体化できる。

本発明の一実施例におけるカメラ画像歪み補正表示装置の構成を示すブロック図である。本発明の一実施例におけるカメラ画像歪み補正表示装置の処理を示すフローチャートである。本発明の一実施例におけるカメラ画像歪み補正表示装置の出力画面である。

符号の説明

１１…アレーアンテナ
１２…カメラ
１３…周波数変換部
１４…A/D変換部
１５…電波発射源可視化処理演算部
１６…映像処理部
１７…表示装置

Claims

到来電波を受信するアレーアンテナと、
電波到来方向を撮影するカメラと、
前記アンテナで受信した電波周波数をある決められた周波数に変換する周波数変換部と、
前記周波数変換部で変換されたアナログ信号をデジタル信号に変換するA/D変換部と、
前記A/D変換部によってA/D変換された信号から電波発射源の位置を算出する電波発射源可視化処理演算部と
前記カメラで撮影された映像信号を画像処理する映像処理部と、
前記映像処理部の画像上に前記電波発射源可視化処理演算部で算出された画像が重ね合わされた映像を表示する表示装置と、
を備え、
前記映像処理部で行われる画像処理は、仰角方向に生ずる画像歪みを、仰角を変数とする正弦関数に比例する量で補正する仰角補正処理と、
方位角方向に生ずる画像歪みを、方位角を変数とする正弦関数に比例する量で補正する方位角補正処理と、のどちらか一方または両方を含むことを特徴とするカメラ画像歪み補正表示装置。
前記映像処理部で行われる画像処理は、前記仰角補正処理と、前記方位角補正処理と、のどちらか一方または両方を行った後、再度仰角方向と方位角方向について前記カメラのレンズ収差歪を補正するレンズ歪補正処理を含むことを特徴とする請求項１記載のカメラ画像歪み補正表示装置。