JP6635421B2

JP6635421B2 - 漏洩電磁波評価パラメタ推定方法

Info

Publication number: JP6635421B2
Application number: JP2016232844A
Authority: JP
Inventors: 中村　雅之; 雅之中村; 豪伊丹; 陽平鳥海; 康直鈴木; 高谷　和宏; 和宏高谷; 優一林; 尚文本間; 孝文青木
Original assignee: Tohoku University NUC; Nippon Telegraph and Telephone Corp
Current assignee: Tohoku University NUC; Nippon Telegraph and Telephone Corp
Priority date: 2016-11-30
Filing date: 2016-11-30
Publication date: 2020-01-22
Anticipated expiration: 2036-11-30
Also published as: JP2018091645A

Description

本発明は、電子機器から漏洩する電磁波を解析し、ディスプレイ画面の表示内容を再現する技術に関する。

従来、電磁波受信機と信号処理により、電子機器からの漏洩電磁波から電子機器の画面を再構成し、電子機器の漏洩電磁波の危険度を評価するものがある。そこでは、予め取得しておいた参照画面と再構成された画面との相関係数を計算し、予め設定された閾値との比較により電子機器の漏洩電磁波の危険度を評価していた。（特許文献１）

特開２０１６−０９１２０４号公報

しかしながら、上記には以下のような課題があった。すなわち、漏洩電磁波から電子機器の画面を再構成するには、漏洩電磁波の周波数や電子機器の画面の水平・垂直方向周波数を予め特定する必要があるが、漏洩電磁波周波数を特定するために特殊な磁界センサや、電子機器の画面の水平・垂直方向周波数を特定するために同期信号発生器が必要になり、装置が高価となる課題があった。

本発明はこれに対応するもので、その目的とするところは、安価に電子機器の漏洩電磁波の危険度評価を実施することが可能となる漏洩電磁波評価パラメタ推定方法を提供することにある。

本発明の第１の態様に係る漏洩電磁波評価パラメタ推定方法は、電子機器からの漏洩電磁波を受信する手段、および受信された漏洩電磁波を検波してデジタル信号に変換する手段、および前記受信された漏洩電磁波に基づいて、前記電子機器の画面を再構成するデジタル信号処理手段を備えるシステムで用いられ、前記電子機器に表示した参照画面のフーリエ変換画像と、複数の水平方向周波数で再構成された画面のフーリエ変換画像の類似度を計算し、最大の類似度を与える水平方向周波数を求める。

本発明の第２の態様に係る漏洩電磁波評価パラメタ推定方法は、電子機器からの漏洩電磁波を受信する手段、および受信された漏洩電磁波を検波してデジタル信号に変換する手段、および前記受信された漏洩電磁波に基づいて、前記電子機器の画面を再構成するデジタル信号処理手段を備えるシステムで用いられ、前記電子機器に表示した参照画面の画像と、複数の垂直方向周波数で再構成された画面の画像の類似度を計算し、最大の類似度を与える垂直方向周波数を求める。

本発明の第３の態様に係る漏洩電磁波評価パラメタ推定方法は、電子機器からの漏洩電磁波を受信する手段、および受信された漏洩電磁波を検波してデジタル信号に変換する手段、および前記受信された漏洩電磁波に基づいて、前記電子機器の画面を再構成するデジタル信号処理手段を備えるシステムで用いられ、前記電子機器に表示した参照画面の画像と、受信された複数の周波数の漏洩電磁波に基づいて再構成された画面の画像の類似度を計算し、最大の類似度を与える漏洩電磁波周波数を求める。

本発明によれば、安価に電子機器の漏洩電磁波の危険度評価を実施することが可能となる。

実施形態に係る漏洩電磁波評価システムの例を示すブロック図。実施形態に係る画面の水平方向周波数を求めるフローチャート。実施形態に係る画面の垂直方向周波数を求めるフローチャート。実施形態に係る漏洩電磁波周波数を求めるフローチャート。図２のフローチャートに従い最適水平方向周波数を求めるプロセス例。図３のフローチャートに従い最適垂直方向周波数を求めるプロセス例。図４のフローチャートに従い最適漏洩電磁波周波数を求めるプロセス例。

本発明の漏洩電磁波評価パラメタ推定方法について実施例を挙げ、図に基づいて説明する。
図１は漏洩電磁波評価システムの例である。ディスプレイを有する対象電子機器１からディスプレイに表示されている画面に関する情報を含んだ電磁波をアンテナ２が捕捉する。つまり、アンテナ２は、対象電子機器１からの漏洩電磁波を受信する手段の一例である。対象電子機器１はディスプレイを有するものでなく、画面情報を生成する回路と、外付けのディスプレイを接続するインタフェースのみを有する場合もある。通常、ディスプレイはM行N列（M、Nは正の整数）の画素から構成され、画素情報を含む電磁波は以下のように順に放射される。まず、ディスプレイ左最上画素から右最上画素まで順に、続いて次行の左上画素から右上画素へ、最後は右最下画素まで、そして再度左最上画素に戻り、繰り返し電磁波が放射される。受信機３は任意の受信周波数で受信した電磁波を検波、ローパスフィルタリングした後、あるサンプリング周波数でサンプリングしデジタル信号に変換する。つまり、受信機３は、受信された漏洩電磁波を検波してデジタル信号に変換する手段の一例である。そして、パソコンなどで構成される画面生成部４により検波信号の振幅の絶対値に応じて画素の明るさを決定し、画面左上から右下まで順に二次元に配列して対象電子機器１に表示されている画面情報を生成する。つまり、画面生成部４は、受信された漏洩電磁波に基づいて、対象電子機器１の画面を再構成するデジタル信号処理手段の一例である。

漏洩電磁波評価システムにおいては、対象電子機器１に表示されている画面情報を含む適切な漏洩電磁波周波数を求める必要がある。さらに、その受信信号から、対象電子機器１に表示されている画面を画面生成部４で生成するためには、画面の水平・垂直方向周波数を求める必要がある。水平・垂直方向周波数は画面のサイズに関する値である。ここで、水平方向と垂直方向の周波数をそれぞれfh、fv、画面生成部４で生成される画面の水平方向と垂直方向の画素数（正の整数）をそれぞれph、pv、受信機３で受信信号をデジタル信号に変換するサンプリング周波数（既知）をfsとすると、
ph=fs／fh
pv=fh／fv 式１
の関係がある。正しいfhとfvの値がわからないとphとpvの値を正しく求められず、画面が歪んだり正しいサイズの画面を生成することができない。生成される画面の画素数はfsの値に依存するため、必ずしも対象電子機器１の画面の画素数と同じではない。

図２は画面の水平方向周波数を求めるフローチャートである。まず、対象電子機器１にソフトウエアキーボード画面などの情報を表示させ、アンテナ２は、表示されている画面情報を含む漏洩電磁波の周波数で電磁波を受信する（Ｓ１１）。漏洩電磁波周波数は画面情報を最も含む漏洩電磁波の周波数である必要はなく、いくつかの候補のうちの一つでよい。そのような周波数を決定する方法としては、例えば、受信機３から得られた検波信号の振幅の絶対値を求め、パソコンなどの画面生成部４でフーリエ変換してスペクトルを求め、ある閾値以上のスペクトル強度のピークがある場合の漏洩電磁波周波数をいくつか候補として求めておくことが考えられる。漏洩電磁波に対象電子機器１の画面情報が含まれる場合、漏洩電磁波には画面の周期的な信号が含まれるため、ある大きさのスペクトル強度のピークが存在することになる。そして、画面生成部４は、いくつかの水平方向周波数の候補から一つ選択し、ある決められた（固定の）垂直方向周波数を使用して、受信した信号から式１により画面サイズを求めて画面を生成する（Ｓ１２）。水平方向周波数の候補は、対象電子機器１の仕様が公開されている場合は、画面生成部４は、その値もしくは近傍の値をいくつか求めておくことが考えられる。あるいは、検波信号の振幅の絶対値のスペクトルから漏洩電磁波周波数を求める際、画面生成部４は、スペクトル強度ピークの周波数の値もしくは近傍の値を使用したり、周波数のある範囲を均等に分割して求めてもよい。垂直方向周波数に関しては、対象電子機器１の仕様が公開されていればその値を使用してもよいし、電子機器でよく使用されている60Hz近傍の値を使用することが考えられる。ここで、垂直方向周波数は真の値である必要はない。そして、画面生成部４は、生成画面のフーリエ変換画像と、対象電子機器１に表示させている画面（参照画面）のフーリエ変換画像を比較し、類似度を計算する（Ｓ１３）。水平方向周波数が真の値に近ければ近いほど類似度は大きくなる。画面生成部４は、求めた類似度が選択した候補の中で最大かどうか判断し（Ｓ１４）、最大であれば（Ｓ１４のＹｅｓ）、その類似度と水平方向周波数を図示しないメモリに記憶する（Ｓ１５）。最大でなければ（Ｓ１４のＮｏ）、画面生成部４は、全ての候補の水平方向周波数を選択したかどうか判断し（Ｓ１６）、候補が残っていれば（Ｓ１６のＮｏ）、Ｓ１２に戻って次の候補を選択する。画面生成部４は、全ての候補を選択したら（Ｓ１６のＹｅｓ）、Ｓ１５で記憶した水平方向周波数を最適水平方向周波数とする（Ｓ１７）。
このように、画面生成部４は、対象電子機器１に表示した参照画面のフーリエ変換画像と、複数の水平方向周波数で再構成された画面のフーリエ変換画像の類似度を計算し、最大の類似度を与える水平方向周波数を求める。

図３は画面の垂直方向周波数を求めるフローチャートである。まず、対象電子機器１にソフトウエアキーボード画面などの情報を表示させ、アンテナ２は、表示されている画面情報を含む漏洩電磁波の周波数で電磁波を受信する（Ｓ２１）。漏洩電磁波周波数は画面情報を最も含む漏洩電磁波の周波数である必要はなく、いくつかの候補のうちの一つでよい。そのような周波数を決定する方法としては、例えば、受信機３から得られた検波信号の振幅の絶対値を求め、パソコンなどの画面生成部４でフーリエ変換してスペクトルを求め、ある閾値以上のスペクトル強度のピークがある場合の漏洩電磁波周波数をいくつか候補として求めておくことが考えられる。そして、画面生成部４は、いくつかの垂直方向周波数の候補から一つ選択し、Ｓ１７で求められた最適水平方向周波数、あるいは電子機器の仕様により水平方向周波数の値が利用できるならばその値を使用して、受信した信号から式１により画面サイズを求めて画面を生成する（Ｓ２２）。垂直方向周波数の候補に関しては、対象電子機器１の仕様が公開されていればその値といくつかの近傍の値を使用してもよいし、電子機器でよく使用されている60Hz近傍の値をいくつか使用することが考えられる。そして、画面生成部４は、生成画面の画像と、対象電子機器に表示させている画面（参照画面）の画像を比較し、類似度を計算する（Ｓ２３）。垂直方向周波数が真の値に近ければ近いほど類似度は大きくなる。画面生成部４は、求めた類似度が選択した候補の中で最大かどうか判断し（Ｓ２４）、最大であれば（Ｓ２４のＹｅｓ）、その類似度と垂直方向周波数をメモリに記憶する（Ｓ２５）。最大でなければ（Ｓ２４のＮｏ）、画面生成部４は、全ての候補の垂直方向周波数を選択したかどうか判断し（Ｓ２６）、候補が残っていれば（Ｓ２６のＮｏ）、Ｓ２２に戻って次の候補を選択する。画面生成部４は、全ての候補を選択したら（Ｓ２６のＹｅｓ）、Ｓ２５で記憶した垂直方向周波数を最適垂直方向周波数とする（Ｓ２７）。
このように、画面生成部４は、対象電子機器１に表示した参照画面の画像と、複数の垂直方向周波数で再構成された画面の画像の類似度を計算し、最大の類似度を与える垂直方向周波数を求める。

図４は漏洩電磁波周波数を求めるフローチャートである。まず、対象電子機器１にソフトウエアキーボード画面などの情報を表示させ、アンテナ２は、表示されている画面情報を含む漏洩電磁波の周波数で電磁波を受信する（Ｓ３１）。漏洩電磁波周波数は画面情報を最も含む漏洩電磁波の周波数である必要はなく、いくつかの候補のうちの一つでよい。そのような周波数を決定する方法としては、例えば、受信機３から得られた検波信号の振幅の絶対値を求め、パソコンなどの画面生成部４でフーリエ変換してスペクトルを求め、ある閾値以上のスペクトル強度のピークがある場合の漏洩電磁波周波数をいくつか候補として求めておくことが考えられる。そして、画面生成部４は、Ｓ１７で求められた最適水平方向周波数、あるいは電子機器の仕様により水平方向周波数の値が利用できるならばその値と、Ｓ２７で求められた最適垂直方向周波数、あるいは電子機器の仕様により垂直方向周波数の値が利用できるならばその値を使用して、受信した信号から式１により画面サイズを求めて画面を生成する（Ｓ３２）。そして、画面生成部４は、生成画面の画像と、対象電子機器に表示させている画面（参照画面）の画像を比較し、類似度を計算する（Ｓ３３）。Ｓ３１の漏洩電磁波周波数が、対象電子機器の画面情報を多く含む漏洩電磁波の周波数に近ければ近いほど類似度は大きくなる。画面生成部４は、求めた類似度が選択した候補の中で最大かどうか判断し（Ｓ３４）、最大であれば（Ｓ３４のＹｅｓ）、その類似度と漏洩電磁波周波数をメモリに記憶する（Ｓ３５）。最大でなければ（Ｓ３４のＮｏ）、画面生成部４は、全ての候補の漏洩電磁波周波数を選択したかどうか判断し（Ｓ３６）、候補が残っていれば（Ｓ３６のＮｏ）、Ｓ３１に戻って次の候補を選択する。画面生成部４は、全ての候補を選択したら（Ｓ３６のＹｅｓ）、Ｓ３５で記憶した漏洩電磁波周波数を最適漏洩電磁波周波数とする（Ｓ３７）。
このように、画面生成部４は、対象電子機器１に表示した参照画面の画像と、複数の周波数の漏洩電磁波を受信、再構成された画面の画像の類似度を計算し、最大の類似度を与える漏洩電磁波周波数を求める。

図５は図２のフローチャートに従い最適水平方向周波数を求めるプロセス例である。(a)は対象電子機器１に表示されている画面例、(b)はそのフーリエ変換画像であり画像中心に空間周波数の直流成分、周辺部に高周波成分を移したスペクトル画像である。画像中心を通る十字線分が元画面の空間周波数の水平垂直成分に対応している。ある漏洩電磁波周波数で受信し、ある固定の垂直方向周波数とそれぞれ異なる水平方向周波数で画面を生成したものが(c)及び(e)であるが、真の水平方向周波数を使用していないため画面が傾いて歪んでいる。元画面(a)と比較すると(c)よりも(e)の方が元画面(a)に近いことがわかる。補足として、垂直方向周波数についても真の値でないため、垂直方向の画面が一部繰り返している。(d)及び(f)は、それぞれ、(c)及び(e)のフーリエ変換画像であり、(b)と比較すると(d)及び(f)とも水平方向線分が傾いている。(d)の方が(f)よりも傾きが急であり、傾きが小さいほど元画面に近いといえる。ここではフーリエ変換画像の類似度としては、フーリエ変換画像の水平方向線分の傾きの逆数の絶対値とし、類似度が最大となる水平方向周波数、すなわち最適水平方向周波数を候補の中から選択する。フーリエ変換画像の垂直方向線分は(b)、(d)及び(f)で違いがないため、類似度として考慮する必要がない。傾きは直線を検出するハフ変換より計算する。

図６は図３のフローチャートに従い最適垂直方向周波数を求めるプロセス例である。(a)は対象電子機器１に表示されている画面例である。(b)及び(c)は最適水平方向周波数を用いてそれぞれ異なる垂直方向周波数で画面生成したものである。最適水平方向周波数を用いても画面が傾く場合、すなわち、図５でのフーリエ変換画像の水平方向線分が傾く場合は、その傾きで画面を補正し画面の傾きを解消する。(b)及び(c)を互いに比較すると(b)は垂直方向で画面が一部繰り返しているが(c)では繰り返しは見られない。ところで、ある時刻の漏洩電磁波が対象電子機器１のディスプレイのどの位置の画素に対応しているかはわからないため、生成された画面(b)及び(c)それぞれは(a)と比較して水平・垂直方向でずれてしまう。そこで、それぞれの画面(b)及び(c)と、(a)の相関関数の最大値を与える座標値を用いてそれぞれのずれの大きさを求め、画面を平行移動してずれを解消する。画面間の類似度としてはいくつか考えられるが、ここでは類似度として画面間の相関係数を使用し、(b)及び(c)それぞれの画面を平行移動し(a)との相関係数を計算すると、それぞれ0.43、0.76となり、この値が最大1で大きいほど類似度が高いと言えるため、(b)よりも(c)の方が(a)に近いことがわかる。このように類似度が最大の垂直方向周波数、すなわち最適垂直方向周波数を候補の中から選択する。類似度として相関係数の他、生成画面の輝度の最大値の2乗を参照画面と生成画面の画面間画素の平均2乗誤差で除算したピーク信号対雑音比（Peak Signal to Noise Ratio: PSNR)やSSIM（Structural Similarity)という量を利用してもよい。最終的な画面としては、相関関数の最大値を与える座標値を用いて画面を平行移動して画面を修正したものとなる（図６の(d)を参照）。

図７は図４のフローチャートに従い最適漏洩電磁波周波数を求めるプロセス例である。(a)は対象電子機器１に表示されている画面例である。(b)及び(c)は最適水平・垂直方向周波数を用いてそれぞれ異なる漏洩電磁波周波数で受信した信号から画面生成したものである。(b)及び(c)を互いに比較すると(b)は(c)よりもノイズが多く不鮮明である。画面のずれを解消するため、それぞれの画面(b)及び(c)と、(a)の相関関数の最大値を与える座標値を用いてそれぞれのずれの大きさを求め、(b)及び(c)それぞれの画面を平行移動した後に、(a)との相関係数を計算すると、それぞれ0.76、0.95となり (b)よりも(c)の方が(a)に近いことがわかる。このように類似度が最大の漏洩電磁波周波数、すなわち最適漏洩電磁波周波数を候補の中から選択する。類似度として相関係数の他、PSNRやSSIMを利用してもよい。最終的な画面としては、相関関数の最大値を与える座標値を用いて画面を平行移動して画面を修正したものとなる（図７の(d)参照）。

実施形態によれば、安価に電子機器の漏洩電磁波の危険度評価を実施することが可能となる。

尚、図２及び図５を参照して説明した最適水平方向周波数を求める態様、図３及び図６を参照して最適垂直方向周波数を求める態様、及び、図４及び図７を参照して最適漏洩電磁波周波数を求める態様は、上記説明からも分かるように、それぞれ別個に行われてもよいし、何れか２つの態様または３つ全ての態様を組み合わせて行われてもよい。

尚、この発明は上記実施形態に限定されるものではない。要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１対象電子機器
２アンテナ
３受信機
４画面生成部

Claims

電子機器からの漏洩電磁波を受信する手段、および受信された漏洩電磁波を検波してデジタル信号に変換する手段、および前記受信された漏洩電磁波に基づいて、前記電子機器の画面を再構成するデジタル信号処理手段を備えるシステムで用いられる方法において、
前記電子機器に表示した参照画面のフーリエ変換画像と、複数の水平方向周波数で再構成された画面のフーリエ変換画像の類似度を計算し、最大の類似度を与える水平方向周波数を求めることを特徴とする漏洩電磁波評価パラメタ推定方法。
電子機器からの漏洩電磁波を受信する手段、および受信された漏洩電磁波を検波してデジタル信号に変換する手段、および前記受信された漏洩電磁波に基づいて、前記電子機器の画面を再構成するデジタル信号処理手段を備えるシステムで用いられる方法において、
前記電子機器に表示した参照画面の画像と、複数の垂直方向周波数で再構成された画面の画像の類似度を計算し、最大の類似度を与える垂直方向周波数を求めることを特徴とする漏洩電磁波評価パラメタ推定方法。
電子機器からの漏洩電磁波を受信する手段、および受信された漏洩電磁波を検波してデジタル信号に変換する手段、および前記受信された漏洩電磁波に基づいて、前記電子機器の画面を再構成するデジタル信号処理手段を備えるシステムで用いられる方法において、
前記電子機器に表示した参照画面の画像と、受信された複数の周波数の漏洩電磁波に基づいて再構成された画面の画像の類似度を計算し、最大の類似度を与える漏洩電磁波周波数を求めることを特徴とする漏洩電磁波評価パラメタ推定方法。