JP5842306B2 - マスキング処理装置、処理方法、処理プログラム、および所持物検出装置 - Google Patents

Description

本発明は、マスキング処理装置、その処理方法、その処理プログラム、および所持物検出装置に関し、特に撮像対象から発せられる微細信号を受信して撮像を行う撮像装置に用いられるマスキング処理装置、その処理方法、およびその処理プログラム、またその撮像装置を用いて、人の所持物を自動で検出する所持物検出装置に関する。

従来から被写体から自発的に放射されるミリ波などの微細信号を受信して撮像を行う撮像装置がある（たとえば、特許文献１参照）。たとえば可視光やＸ線を用いた撮像装置では撮像できない危険所持物を発見するために、このような特殊な撮像装置が提案されている。

特開２０１０−００８２７２号公報

しかし、上述のような微細信号を受信して撮像を行う撮像装置は、受信する信号が微細であるがゆえに信号を大きく増幅しなくてはならず、必然的にノイズ信号も大きく増幅され、結果的にＳ／Ｎ（signal/noise）比が悪くなってしまう。したがって、実際にはミリ波をあまり放射していない、被写体である人など以外の部分（背景等）からミリ波が放射されているように誤検出してしまうという問題があった。

本発明はこのような点に鑑みてなされたものであり、被写体である人など以外の部分（背景部分）からミリ波が放射されているように誤検出してしまうことを防止することができるマスキング処理装置、その処理方法、その処理プログラム、および所持物検出装置を提供することを目的とする。

本発明では上記問題を解決するために、撮像対象から発せられる微細信号を受信して撮像を行う撮像装置に用いられるマスキング処理装置において、前記撮像装置の撮像範囲に撮像対象がいるかを判断する対象存在判断手段と、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うマスキング処理手段とを備えることを特徴とするマスキング処理装置が提供される。

これにより、対象存在判断手段が、前記撮像装置の撮像範囲に撮像対象がいるかを判断し、マスキング処理手段が、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行う。

また、本発明では、撮像対象から発せられる微細信号を受信して撮像を行う撮像装置に用いられるマスキング処理方法において、対象存在判断手段が、前記撮像装置の撮像範囲に撮像対象がいるかを判断するステップと、マスキング処理手段が、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うステップとを含むことを特徴とするマスキング処理方法が提供される。

これにより、対象存在判断手段が、前記撮像装置の撮像範囲に撮像対象がいるかを判断し、マスキング処理手段が、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行う。

また、本発明では、撮像対象から発せられる微細信号を受信して撮像を行う撮像装置に用いられるマスキング処理プログラムにおいて、コンピュータを、前記撮像装置の撮像範囲に撮像対象がいるかを判断する対象存在判断手段、および前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うマスキング処理手段として機能させることを特徴とするマスキング処理プログラムが提供される。

これにより、対象存在判断手段が、前記撮像装置の撮像範囲に撮像対象がいるかを判断し、マスキング処理手段が、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行う。
また、本発明では、撮像対象から発せられる微細信号を受信して撮像を行う撮像装置を用いて、人の所持物を自動で検出する所持物検出装置において、前記撮像装置の撮像範囲に撮像対象がいるかを判断する対象存在判断手段と、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うマスキング処理手段とを備えることを特徴とする所持物検出装置が提供される。

これにより、対象存在判断手段が、前記撮像装置の撮像範囲に撮像対象がいるかを判断し、マスキング処理手段が、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行う。

本発明のマスキング処理装置、その処理方法、その処理プログラム、および所持物検出装置によれば、対象存在判断手段が、撮像装置の撮像範囲に撮像対象がいるかを判断し、マスキング処理手段が、対象存在判断手段が撮像範囲に撮像対象がいると判断すると、撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うので、被写体である人など以外の部分（背景部分）からミリ波が放射されているように誤検出してしまうことを防止することができる。

本発明の形態に適用される発明のブロック図である。 マスキング処理の概要を示す図である。 背景マスクの位置ずれ修正の概要を示す図である。 ミリ波パッシブ撮像装置１００が行う撮影処理に伴う画像処理部１５０（特に、背景差分人体切出し処理部１５１）が行うマスキング処理の手順を示すフローチャートである。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の形態に適用される発明のブロック図である。
図１に示すように、本実施の形態に係るミリ波パッシブ撮像装置１００は、振動リフレクタ部１１０、ラインセンサ１２０、同期・アドレス生成部１３０、変換部１４０、および画像処理部１５０を備える。

振動リフレクタ部１１０は、首振り動作を行う振動リフレクタ１１１と、首振り動作のタイミングを伝えるための水平同期パルスを発するパルス生成部１１２を備えている。

ラインセンサ１２０は、人１０などの撮影対象が発するミリ波を振動リフレクタ１１１を介して受信する。ラインセンサ１２０は、水平方向に撮像素子が並ぶように配置されており、振動リフレクタ１１１が上下の首振り動作を行うことにより、人１０などの撮影対象の各部が走査され、適宜ラインセンサ１２０によってミリ波が受信される。

人１０などの撮影対象の背後には電波吸収体１１を設ける。これは撮影対象の背後方向から放射されてくるミリ波を遮断し、撮像対象方向から放射されてくるミリ波を吸収することにより外来ノイズがラインセンサ１２０によって受信されないようにするためである。

同期・アドレス生成部１３０は、パルス生成部１１２から水平同期パルスを受け取ると、ラインセンサ１２０とフレームメモリ１４２に同期信号およびメモリアドレスを生成して送信する。ラインセンサ１２０は、受け取った同期信号に基づいて変換部１４０に受信したミリ波に基づくアナログ電圧を出力する。

変換部１４０は、Ａ／Ｄ変換回路１４１とフレームメモリ１４２を備え、ラインセンサ１２０から出力されたアナログ電圧がＡ／Ｄ変換回路１４１によりデジタル化され、同期・アドレス生成部１３０が生成したメモリアドレスに基づいてフレームメモリ１４２に記憶される。これによって、振動リフレクタ１１１が首振り動作して走査され、ラインセンサ１２０が撮像した各水平ラインのデータが２次元画像データとしてフレームメモリ１４２に記憶される。

画像処理部１５０は、背景差分人体切出し処理部１５１、人体切出しマスクメモリ１５２、マスキング処理部１５３、および出力合成処理部１５４を備えている。

背景差分人体切出し処理部１５１は、フレームメモリ１４２に記憶された２次元画像データと、光学カメラ２０が撮像した光学画像から背景マスクを生成し、生成した背景マスクを人体切出しマスクメモリ１５２に記憶・更新する。

マスキング処理部１５３は、人体切出しマスクメモリ１５２に記憶された背景マスクに基づいてフレームメモリ１４２に記憶された画像データに対してマスキング処理を行い、出力合成処理部１５４を介してモニタ３０などの表示装置に出力される。
これにより、リアルタイムに適宜補正された画像データが出力されて表示される。

次に、ミリ波パッシブ撮像装置１００が行う撮影処理およびそれに伴う画像処理部１５０が行う画像処理について説明する。
図２は、マスキング処理の概要を示す図であり、図２（Ａ）は、ミリ波画像を示す図であり、図２（Ｂ）は、光学画像から作成した背景マスクを示す図であり、図２（Ｃ）は、背景マスクを用いてミリ波画像から背景をマスクして人物を切り出した人物切出し画像を示す図である。

図２（Ａ）に示すミリ波画像に対して、図２（Ｂ）に示す光学画像から作成した背景マスクによって背景部分をマスクした状態が図２（Ｃ）に示されている。このような背景マスクを用いてミリ波画像の背景をマスクするマスキング処理を行って、人１０の部分を切り出すことにより、背景部分にノイズが存在しても無視することが可能となり、結果としてそのノイズを誤検出しないようにすることができる。

背景マスクは図２（Ｂ）に示すように光学画像から作成される。ミリ波パッシブ撮像装置１００は、ミリ波画像を撮像する装置とともに光学カメラ２０を備えており、同一の撮像対象をミリ波画像と光学画像とで撮像するようになっている。これにより、同一の人１０などの撮像対象を撮像した光学画像を元に背景マスクを作成し、その作成された背景マスクを用いてミリ波画像のマスキング処理を行う。なお、なぜ光学画像を用いて背景マスクを作成するかについては後述する。

図３は、背景マスクの位置ずれ修正の概要を示す図である。
上述の通り、ミリ波パッシブ撮像装置１００は、同一の撮像対象をミリ波画像と光学画像とで撮像するようになっているが、同一範囲を撮像するように設定しているつもりでも若干の位置ずれがどうしても生じてしまう。そこで、光学画像で作成した背景マスクの位置ずれを修正し、ミリ波画像に適用する。

図３（Ａ）は、人１０をミリ波画像で撮像したときの図であり、図３（Ｂ）は、人１０を光学画像で撮像したときの図であり、それぞれの画像において水平・垂直方向のプロファイルを作成する。

図３（Ａ）のミリ波画像において、ＸＬが、人１０の向かって左端の位置を示し、ＸＲが人１０の向かって右端の位置を示す。また、ｐｐが、人１０の肩の高さを示し、Ｙｍが、人１０の向かって左側の手の端部の高さを示し、Ｙｔが、人１０の高さを示す。

同様に、図３（Ｂ）の光学画像において、ｘＬが、人１０の向かって左端の位置を示し、ｘＲが人１０の向かって右端の位置を示す。また、ｐｐ’が、人１０の肩の高さを示し、ｙｍが、人１０の向かって左側の手の端部の高さを示し、ｙｔが、人１０の高さを示す。

たとえば、人１０の向かって左手の左下端部を基準点としたとき、光学画像の基準点の位置をミリ波画像の基準点の位置に合うように修正することにより、光学画像を元に作成された背景マスクをミリ波画像のマスキング処理に用いることができるようになる。

次に、フローチャートを用いて上述のマスキング処理の内容を具体的に説明する。
図４は、ミリ波パッシブ撮像装置１００が行う撮影処理に伴う画像処理部１５０（特に、背景差分人体切出し処理部１５１）が行うマスキング処理の手順を示すフローチャートである。以下、図４に示す処理をステップ番号に沿って説明する。

〔ステップＳ１１〕背景差分人体切出し処理部１５１は、フレームメモリ１４２に記憶されているミリ波画像の画像データを取得する。

〔ステップＳ１２〕背景差分人体切出し処理部１５１は、光学カメラ２０で撮像されている光学画像の画像データを取得する。

〔ステップＳ１３〕背景差分人体切出し処理部１５１は、あらかじめ光学カメラ２０によって撮像され、記憶されている背景範囲に撮像対象が入っていない光学画像の画像データである光学画像背景を読み出す。

〔ステップＳ１４〕背景差分人体切出し処理部１５１は、取得した光学画像データと光学画像背景との差分データである光学画像背景差分を算出する。

〔ステップＳ１５〕背景差分人体切出し処理部１５１は、算出した光学画像背景差分と一定の固定しきい値から二値化画像を作成する。

〔ステップＳ１６〕背景差分人体切出し処理部１５１は、作成した二値化画像における上述のしきい値以上と判断された部分が占める面積Ｓを算出する。

〔ステップＳ１７〕背景差分人体切出し処理部１５１は、算出した面積Ｓがあらかじめ設定された面積しきい値ｔｈより大きいか否かを判断する。算出した面積Ｓが面積しきい値ｔｈより大きいときは取得した光学画像データには人が映っている、つまり撮像範囲に撮像対象である人１０などが入っていると判断し、処理をステップＳ１８へ進める。算出した面積Ｓが面積しきい値ｔｈ以下のときは取得した光学画像データには人が映っていない、つまり撮像範囲に撮像対象である人１０などが入っていないと判断し、処理を終了する。

ステップＳ１７における判断は、撮像範囲内に撮像対象の人１０がいるかを判断するために行うものであり、ステップＳ１５の二値化処理はステップＳ１７における判断を行うためになされるものである。したがって、ステップＳ１５の二値化処理におけるしきい値は人１０とそれ以外の部分を識別することができる値に設定される。

〔ステップＳ１８〕背景差分人体切出し処理部１５１は、撮像範囲からステップＳ１５のしきい値以上と判断された部分を切り抜いた背景マスクを作成する。

〔ステップＳ１９〕背景差分人体切出し処理部１５１は、光学画像における水平方向のプロファイルを算出する。

〔ステップＳ２０〕背景差分人体切出し処理部１５１は、光学画像における垂直方向のプロファイルを算出する。

〔ステップＳ２１〕背景差分人体切出し処理部１５１は、ミリ波画像における水平方向のプロファイルを算出する。

〔ステップＳ２２〕背景差分人体切出し処理部１５１は、ミリ波画像における垂直方向のプロファイルを算出する。

〔ステップＳ２３〕背景差分人体切出し処理部１５１は、光学Ｘ座標変換を行う。すなわち、下記式（１）に基づいて、ミリ波画像と光学画像のＸ座標方向のズレを検出し、検出したズレを座標変換を行うことによって修正する。

（（ＸＲ−ＸＬ）／（ｘＲ−ｘＬ））（ｐ’−ｘＬ）＋ＸＬ………………………（１）

〔ステップＳ２４〕背景差分人体切出し処理部１５１は、光学Ｙ座標変換を行う。すなわち、下記式（２）に基づいて、ミリ波画像と光学画像のＹ座標方向のズレを検出し、検出したズレを、座標変換を行うことによって修正する。

（（Ｙｍ−Ｙｔ）／（ｙｍ−ｙｔ））（ｐｐ’−ｙｔ）＋Ｙｔ……………………（２）

ステップＳ１９〜２２において光学・ミリ波画像の水平・垂直プロファイルを算出し、ステップＳ２３，２４においてその算出したプロファイルを用いて光学画像とミリ波画像のＸ，Ｙ方向のズレを修正している。これは、ミリ波パッシブ撮像装置１００においてミリ波を受信して撮像するカメラと光学カメラ２０の２つを用いて撮像するため、同じ撮像対象を撮像しても位置ずれが生じてしまうからである。

また、ミリ波画像は、物質が自ら発するミリ波を受信したものを画像化したものであり、たとえば撮像対象である人１０が所持している物がミリ波を発しているときは、通常人１０よりも温度が低いことから所持物のミリ波強度は人１０が発するミリ波強度より弱い。よって、ミリ波画像を二値化するときに人１０とそれ以外の部分をしきい値としてしまうと必然的に人１０の部分よりもミリ波の受信強度が低い所持物部分も二値化画像には反映されずマスクされてしまう。したがって、所持物部分がマスクされてしまうとミリ波画像によって所持物を検出できなくなってしまうのを防ぐために光学カメラ２０が撮像した光学画像を用いて背景マスクを作成することとしている。

〔ステップＳ２５〕背景差分人体切出し処理部１５１は、ミリ波画像の切出し部＝０を入れる。これにより、光学画像とミリ波画像の各画像におけるあらかじめ決められた共通の基準点が設定され、その基準点から光学画像を用いて作成されたマスクによってマスキング処理がなされる。この基準点とは、たとえば人１０において検出しやすく、かつ撮像時における人１０における一番動きが少ない部分が選ばれる。つまり、人１０の向かって左の肩などがその基準点となる。よって、光学画像とミリ波画像における人１０の向かって左の肩にそれぞれ切出し部＝０が設定され、その基準点を基準としてマスキング処理が行われる。

〔ステップＳ２６〕背景差分人体切出し処理部１５１は、作成した背景マスクを人体切出しマスクメモリ１５２に保存する。なお、古い背景マスクが保存されれている場合には更新する。

以上のような処理により、光学画像を用いて背景マスクを作成し、ミリ波画像における背景部分をマスキング処理することにより、被写体である人など以外の部分（背景部分）からミリ波が放射されているように誤検出してしまうことを防止することができる。このような誤検出を防止できると、たとえば一定値以上の範囲に一定値のミリ波強度の固まりが存在するときに所持物があると検出するような自動所持物検出装置に本実施の形態に係る発明を適用しても有用である。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、マスキング処理装置が有すべき機能の処理内容を記述したマスキング処理プログラムが提供される。そのマスキング処理プログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したマスキング処理プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、ＦＤ、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録装置には、ＭＯ（Magneto
Optical disk）などがある。

マスキング処理プログラムを流通させる場合には、たとえば、そのマスキング処理プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのマスキング処理プログラムを転送することもできる。

マスキング処理プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたマスキング処理プログラムもしくはサーバコンピュータから転送されたマスキング処理プログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からマスキング処理プログラムを読み取り、マスキング処理プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接マスキング処理プログラムを読み取り、そのマスキング処理プログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからマスキング処理プログラムが転送される毎に、逐次、受け取ったマスキング処理プログラムに従った処理を実行することもできる。

なお、本発明は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。

上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。

１０ 人
１１ 電波吸収体
２０ 光学カメラ
３０ モニタ
１００ ミリ波パッシブ撮像装置
１１０ 振動リフレクタ部
１１１ 振動リフレクタ
１１２ パルス生成部
１２０ ラインセンサ
１３０ 同期・アドレス生成部
１４０ 変換部
１４１ Ａ／Ｄ変換回路
１４２ フレームメモリ
１５０ 画像処理部
１５１ 背景差分人体切出し処理部
１５２ 人体切出しマスクメモリ
１５３ マスキング処理部
１５４ 出力合成処理部

Claims (7)

1. 撮像対象から発せられる微細信号を受信して撮像を行う撮像装置に用いられるマスキング処理装置において、
   前記撮像装置の撮像範囲に撮像対象がいるかを判断する対象存在判断手段と、
   前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うマスキング処理手段とを備え、
   対象存在判断手段が、
   光学画像を撮像する光学撮像手段が撮像した、前記撮像対象がいない状態の撮像範囲をあらかじめ撮像した背景光学画像と、前記撮像範囲を撮像した光学画像との差分を算出する差分算出手段を備え、
   前記差分算出手段が算出した差分によって撮像範囲に撮像対象がいるかを判断することを特徴とするマスキング処理装置。
2. 対象存在判断手段が、
   前記差分算出手段が算出した前記差分を二値化する二値化手段を備え、
   前記二値化手段により二値化された前記差分によって撮像範囲に撮像対象がいるかを判断することを特徴とする請求項１記載のマスキング処理装置。
3. 前記マスキング処理手段が、
   前記対象存在判断手段が撮像範囲に撮像対象がいると判断すると、光学画像を撮像する光学撮像手段が撮像した、前記撮像範囲を撮像した光学画像のうち、撮像対象以外の部分を除いた背景部分をマスクする背景マスクを生成することを特徴とする請求項１記載のマスキング処理装置。
4. 前記マスキング処理手段が、
   前記光学画像と、前記微細信号を受信して撮像した微細信号画像の水平方向および垂直方向のプロファイルを算出し、
   前記プロファイルから前記背景マスクを前記微細信号画像に対する位置ずれを算出し、位置ずれの補正を行うことを特徴とする請求項３記載のマスキング処理装置。
5. 撮像対象から発せられる微細信号を受信して撮像を行う撮像装置を用いて、人の所持物を自動で検出する所持物検出装置において、
   前記撮像装置の撮像範囲に撮像対象がいるかを判断する対象存在判断手段と、
   前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うマスキング処理手段とを備え、
   対象存在判断手段が、
   光学画像を撮像する光学撮像手段が撮像した、前記撮像対象がいない状態の撮像範囲をあらかじめ撮像した背景光学画像と、前記撮像範囲を撮像した光学画像との差分を算出する差分算出手段を備え、
   前記差分算出手段が算出した差分によって撮像範囲に撮像対象がいるかを判断することを特徴とする所持物検出装置。
6. 撮像対象から発せられる微細信号を受信して撮像を行う撮像装置に用いられるマスキング処理方法において、
   対象存在判断手段が、前記撮像装置の撮像範囲に撮像対象がいるかを判断するステップと、
   マスキング処理手段が、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うステップとを含み、
   対象存在判断手段が、
   光学画像を撮像する光学撮像手段が撮像した、前記撮像対象がいない状態の撮像範囲をあらかじめ撮像した背景光学画像と、前記撮像範囲を撮像した光学画像との差分を算出する差分算出手段を備え、
   前記差分算出手段が算出した差分によって撮像範囲に撮像対象がいるかを判断することを特徴とするマスキング処理方法。
7. 撮像対象から発せられる微細信号を受信して撮像を行う撮像装置に用いられるマスキング処理プログラムにおいて、
   コンピュータを、
   前記撮像装置の撮像範囲に撮像対象がいるかを判断する対象存在判断手段、
   前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うマスキング処理手段として機能させ、
   対象存在判断手段が、
   光学画像を撮像する光学撮像手段が撮像した、前記撮像対象がいない状態の撮像範囲をあらかじめ撮像した背景光学画像と、前記撮像範囲を撮像した光学画像との差分を算出する差分算出手段を備え、
   前記差分算出手段が算出した差分によって撮像範囲に撮像対象がいるかを判断することを特徴とするマスキング処理プログラム。
   

Images