JPWO2019106956A1

JPWO2019106956A1 - 監視システムおよび画像処理装置

Info

Publication number: JPWO2019106956A1
Application number: JP2019557041A
Authority: JP
Inventors: 隆一奥村
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2017-11-29
Filing date: 2018-10-04
Publication date: 2020-11-19
Anticipated expiration: 2038-10-04
Also published as: EP3720119A4; JP6919822B2; CN111183636A; US11050978B2; WO2019106956A1; EP3720119A1; US20200389627A1

Abstract

監視カメラ（１）は、所定の場所を撮影し撮影画像を出力し、画像処理装置（２）は、監視カメラ１から撮影画像を取得し、その撮影画像内の特定部分のマスク処理を行い、監視装置（３）は、画像処理装置（２）からマスク処理後の撮影画像を取得し表示する。そして、画像処理装置（２）は、取得した撮影画像内で、ディスプレイ装置（１０１）の枠の画像を検出し、検出した枠の画像に基づき、ディスプレイ装置（１０１）の表示画面の画像に対するマスク処理を実行する。

Description

本発明は、監視システムおよび画像処理装置に関するものである。

ある画像処理装置は、撮影画像内の顔を検出し、顔またはその背景の画像に対してプライバシー保護のためにマスク処理を行っている（例えば特許文献１参照）。

また、あるシステムでは、ユーザー操作に従って撮影画像内におけるマスク領域を設定し、設定されたマスク領域に対してマスク処理を行っている。

特開２００９−１９４６８７号公報

上述のような監視カメラの撮影画像は、外部の監視装置に転送され、その監視装置で表示され、部外者（警備員、警備会社従業員など）により監視されることがある。

監視カメラの視野内にパーソナルコンピューターなどの電子デバイスのディスプレイ装置が存在する場合、監視カメラの撮影画像に、そのディスプレイ装置の表示画面の画像が含まれてしまう。そのため、表示画面に機密情報が表示されている場合、外部の監視装置に機密情報が表示されるため、機密情報が漏洩する可能性がある。つまり、部外者（警備員、警備会社従業員、監視装置の設置場所へ侵入者など）に機密情報が知られてしまうため、機密情報が漏洩する可能性がある。

上述のシステムを使用して、手作業で、各電子デバイスの表示画面をマスク領域として設定し、表示画面に対してマスク処理を行うことも可能であるが、電子デバイスの数が多い場合には、現実的に、手作業でマスク領域を設定するのは困難である。また、マスク領域を設定しても、ユーザーが電子デバイス（つまり、ディスプレイ装置）の設置場所を変更した場合には、再度、マスク領域を設定しなければならず、電子デバイスの設置場所の管理を常に行う必要があり、現実的ではない。

本発明は、上記の問題に鑑みてなされたものであり、監視カメラの視野内に配置された表示画面から機密情報が漏洩することを抑制する監視システム、並びに、その監視システムに使用可能な画像処理装置を得ることを目的とする。

本発明に係る監視システムは、所定の場所を撮影し撮影画像を出力する監視カメラと、前記監視カメラから前記撮影画像を取得し、前記撮影画像内の特定部分のマスク処理を行う画像処理装置と、前記マスク処理後の前記撮影画像を取得し表示する監視装置とを備える。そして、前記画像処理装置は、（ａ）取得した前記撮影画像内で、ディスプレイ装置の枠の画像を検出し、（ｂ）検出した前記枠の画像に基づき、前記ディスプレイ装置の表示画面の画像に対するマスク処理を実行する。

本発明に係る画像処理装置は、所定の場所を撮影し撮影画像を出力する監視カメラから前記撮影画像を取得する画像取得部と、取得された前記撮影画像内で、前記所定の場所に設置されているディスプレイ装置の枠の画像を検出するディスプレイ領域検出部と、検出された前記枠の画像に基づき、取得された前記撮影画像における前記ディスプレイ装置の表示画面の画像に対するマスク処理を実行するマスク処理部と、前記マスク処理後の前記撮影画像を監視装置へ出力する画像出力部とを備える。

本発明によれば、監視カメラの視野内に配置された表示画面から機密情報が漏洩することを抑制する監視システム、および、その監視システムに使用可能な画像処理装置が得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る監視システムの構成を示すブロック図である。図２は、図１に示す監視システムにおけるマスク処理前の撮影画像の一例を示す図である。図３は、図１に示す監視システムにおけるディスプレイ領域検出部２２の動作を説明する図である。図４は、図１に示す監視システムにおけるマスク処理後の撮影画像の一例を示す図である。

以下、図に基づいて本発明の実施の形態を説明する。

実施の形態１．

図１は、本発明の実施の形態に係る監視システムの構成を示すブロック図である。この監視システムは、建物内の所定の場所を撮影して監視する。図１に示す監視システムは、監視カメラ１、画像処理装置２、および監視装置３を備える。監視カメラ１、画像処理装置２、および監視装置３は、ＬＡＮ（Local Area Network）、インターネットなどのネットワーク４を介して互いに通信可能となっている。

監視カメラ１は、所定の場所を撮影し、所定のデータフォーマットで撮影画像を出力する。つまり、監視カメラ１は、所定の場所が撮影されるように固定されている。例えば、監視カメラ１は、ネットワークカメラである。

画像処理装置２は、監視カメラ１から撮影画像を取得し、その撮影画像内の特定部分のマスク処理を行う。例えば、画像処理装置２は、ネットワーク４を介して、マスク処理後の撮影画像をただちに監視装置３に転送する撮影画像の中継サーバーである。

具体的には、画像処理装置２は、（ａ）取得した撮影画像内で、ディスプレイ装置１０１の枠の画像を検出し、（ｂ）検出した枠の画像に基づき、ディスプレイ装置１０１の表示画面の画像に対するマスク処理を実行する。

監視装置３は、画像処理装置２からマスク処理後の撮影画像を取得し表示する。監視装置３により表示される撮影画像は、上述の所定の場所に対する部外者によって監視される。

図１に示すように、画像処理装置２は、通信装置１１と、記憶装置１２と、演算処理装置１３とを備える。

通信装置１１は、ネットワーク４に接続され、他の装置（監視カメラ１、監視装置３など）との間でデータ通信を行うネットワークインターフェイスなどである。

記憶装置１２は、ハードディスク、フラッシュメモリーなどといった不揮発性の記憶装置であり、プログラム、データなどを格納している。記憶装置１２には、画像処理プログラム１２ａが格納されている。

演算処理装置１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備えたコンピューターを含み、記憶装置１２、ＲＯＭなどに格納されているプログラムをＲＡＭにロードしてＣＰＵで実行することで、各種処理部として動作する。

演算処理装置１３は、画像処理プログラム１２ａを実行することで、画像取得部２１、ディスプレイ領域検出部２２、マスク処理部２３、画像出力部２４、およびカメラ制御部２５として動作する。

画像取得部２１は、通信装置１１を使用して、監視カメラ１から撮影画像を取得する。

ディスプレイ領域検出部２２は、取得された撮影画像内で、上述の所定の場所に設置されているディスプレイ装置１０１の枠の画像を検出する。なお、撮影カメラ１の視野内に複数のディスプレイ装置１０１が存在する場合、取得された撮影画像内で、複数のディスプレイ装置１０１の枠の画像が検出される。

なお、ディスプレイ領域検出部２２は、取得された撮影画像（動画）のうちのすべてのフレームについてディスプレイ装置１０１の枠の画像を検出するようにしてもよいし、所定の複数フレームおきにディスプレイ装置１０１の枠の画像を検出するようにしてもよい。

ディスプレイ領域検出部２２は、上述の枠の画像を、上述の表示画面に対応する四角形状（略矩形、略台形、およびその他の略四角形）の４辺または３辺の周囲に存在する枠の画像として検出する。なお、実際の表示画面は、略矩形であるが、監視カメラ１の光軸と表示画面との間の向きの違いなどに起因して、撮影画像内では矩形にならないことがあるため、略矩形以外の四角形状のオブジェクトの周囲に沿った枠の画像も検出される。

例えば、枠の画像は、撮影画像内では、所定範囲の幅で隣接する、屈曲した直線状の２本のエッジとして検出される。エッジの検出は、例えば、既存の輪郭線検出およびハフ変換により行われる。また、パターンマッチングで枠の画像を検出するようにしてもよい。

例えばディスプレイ装置１０１がデスクトップＰＣ（Personal Computer）の本体から独立したディスプレイ装置である場合には、撮影画像内では、表示画面の４辺の周囲に枠が存在する。したがって、この場合、略四角形状を形成する２本のエッジ（枠の外側エッジと内側エッジ）検出される。

一方、例えばディスプレイ装置１０１が折り畳み式のノートＰＣである場合、撮影画像内では、表示画面の３辺（底辺を除く３辺）の周囲に枠が存在する。つまり、表示画面の底辺からは、ノートＰＣの本体部分やキーボード部分が延びているため、撮影画像内では、小さい幅の枠の画像が得られない。したがって、この場合、１辺が開口した四角形状の屈曲した直線エッジが２本（枠の外側エッジと内側エッジ）検出される。

図２は、図１に示す監視システムにおけるマスク処理前の撮影画像の一例を示す図である。図３は、図１に示す監視システムにおけるディスプレイ領域検出部２２の動作を説明する図である。

例えば図２に示すように、撮影画像において、ディスプレイ装置１０１の画像４１が存在する場合、図３に示すように、表示画面の画像５１の周囲に存在する２本のエッジ５２，５３が検出され、２本のエッジ５２，５３のうちの内側のエッジ５２の内部が表示画面の画像５１とされる。

マスク処理部２３は、検出された枠の画像に基づき、取得された撮影画像におけるディスプレイ装置１０１の表示画面の画像に対するマスク処理を実行する。

例えば、マスク処理では、マスク処理部２３は、表示画面の画像を単一色（白または黒）のベタ画像に置換する。

図４は、図１に示す監視システムにおけるマスク処理後の撮影画像の一例を示す図である。例えば図２に示す撮影画像の場合、図４に示すように、表示画面がマスクされる。

画像出力部２４は、通信装置１１を使用して、そのマスク処理後の撮影画像を監視装置３へ出力する。また、画像出力部２４は、マスク処理前の撮影画像を記憶装置１２に蓄積し、通信装置１１を使用して、監視装置３からの指令に基づいて、ユーザー認証後、蓄積している撮影画像を監視装置３へ送信するようにしてもよい。また、当該システムが複数の監視カメラ１および複数の監視装置３を備えている場合、画像出力部２４は、監視装置３からの指令に基づいて、ユーザー認証後、監視カメラ１と監視装置３との対応関係を設定または変更するようにしてもよい。つまり、その場合、画像処理装置２は、監視カメラ１から受信した撮影画像に対してマスク処理し、その対応関係に従ってその監視カメラ１に対応して特定される監視装置３へマスク処理後の撮影画像を転送する。

カメラ制御部２５は、通信装置１１を使用して、監視装置３からの指令に基づいて、監視カメラ１の向き、画角などを制御する。つまり、監視カメラ１は、視野（つまり、撮影光学系の光軸）の向き、画角などを変化させる駆動部を備え、カメラ制御部２５からの制御信号に基づいて、駆動部で視野を変化させる。

なお、上述のように、画像処理装置２において、蓄積している撮影画像の閲覧、監視カメラ１の向き、画角などの変化、設定変更、それらのためのユーザー認証要求などが検出された場合には、所定の宛先（管理者）に、その旨の通知を例えば電子メールなどで送信するようにしてもよい。

次に、上記システムの動作について説明する。

監視カメラ１は、所定の場所の撮影画像を継続的に画像処理装置２に送信する。

画像処理装置２では、画像取得部２１が、通信装置１１を使用して、その撮影画像を受信する。

そして、上述の条件に基づいてマスク処理を行う場合には、ディスプレイ領域検出部２２は、その撮影画像においてディスプレイ装置１０１の枠の画像の検出を上述のように試みる。

ディスプレイ領域検出部２２によりディスプレイ装置１０１の枠の画像が検出されると、マスク処理部２３は、その枠の画像の内側の表示画面の画像に対してマスク処理を行う。マスク処理部２３は、その枠の画像がディスプレイ領域検出部２２により検出されなくなるまで、その表示画面の画像に対してマスク処理を継続的に行う。

そして、画像出力部２４は、マスク処理後の撮影画像を監視装置３へ送信する。

なお、上述の条件に基づいてマスク処理を行わない場合には、画像出力部２４は、画像取得部２１により受信された撮影画像をただちに監視装置３へ転送する。

監視装置３では、撮影画像が画像処理装置２から受信され、ディスプレイ装置などで表示される。

以上のように、上記実施の形態１によれば、監視カメラ１は、所定の場所を撮影し撮影画像を出力し、画像処理装置２は、監視カメラ１から撮影画像を取得し、その撮影画像内の特定部分のマスク処理を行い、監視装置３は、画像処理装置２からマスク処理後の撮影画像を取得し表示する。そして、画像処理装置２は、（ａ）取得した撮影画像内で、ディスプレイ装置１０１の枠の画像を検出し、（ｂ）検出した枠の画像に基づき、ディスプレイ装置１０１の表示画面の画像に対するマスク処理を実行する。

これにより、監視カメラ１の視野内にディスプレイ装置１０１があっても、撮影画像を中継する画像処理装置２でディスプレイ装置１０１の表示画面の画像がマスクされるため、監視カメラ１の視野内に配置された表示画面からの機密情報の漏洩が抑制される。

実施の形態２．

実施の形態２に係る監視システムでは、監視カメラ１は、ステレオビジョン用の２台のカメラを備え、画像取得部２１は、監視カメラ１からステレオビジョン用の撮影画像を取得する。

そして、実施の形態２では、マスク処理部２３は、（ａ）ステレオビジョン用の撮影画像に基づき、監視カメラ１からディスプレイ装置１０１までの距離を特定し、（ｂ）特定した距離および上述の枠の画像（枠の画像のサイズ）に基づいて、ディスプレイ装置１０１のサイズを特定し、（ｃ）特定したディスプレイ装置１０１のサイズが所定範囲（ディスプレイ装置１０１のサイズとして可能性のある最小サイズから最大サイズまでの範囲）外であれば、誤検出と判断して、当該ディスプレイ装置１０１の表示画面の画像に対してマスク処理を実行しない。

つまり、特定したディスプレイ装置１０１のサイズが所定範囲外であれば、マスク処理部２３は、実施の形態１と同様にして、当該ディスプレイ装置１０１の表示画面の画像に対してマスク処理を実行する。

なお、実施の形態２に係る監視システムにおけるその他の構成および動作については実施の形態１と同様であるので、その説明を省略する。

実施の形態３．

実施の形態３に係る監視システムでは、マスク処理部２３は、撮影画像内で、ディスプレイ装置１０１の表示画面の画像に重畳して人物の画像を検出した場合、表示画面の画像のうち、その人物の画像が重畳していない部分に対してマスク処理を実行し、その人物の画像が重畳している部分に対してマスク処理を実行しない。

なお、例えば、人物の画像は、既存の顔認識技術、人物検出技術などで検出される。また、上述のステレオビジョンでディスプレイ装置１０１より監視カメラ１に近い人物が特定され、特定した人物の画像についてのみ、上述の処理が行われるようにしてもよい。

これにより、撮影画像内で人物の画像が除去されずに済む。

なお、実施の形態３に係る監視システムにおけるその他の構成および動作については実施の形態１または実施の形態２と同様であるので、その説明を省略する。

実施の形態４．

実施の形態４に係る監視システムでは、マスク処理部２３は、上述の表示画面の画像がベタ画像（つまり、白色、黒色などの単一濃度の画像）であるか否かを判定し、表示画面の画像が単一濃度のベタ画像である場合、ディスプレイ装置１０１が電源オフ状態であると判定し、マスク処理を実行しない。つまり、表示画面の画像が単一濃度のベタ画像ではなければ、ディスプレイ装置１０１が電源オン状態であると判定され、上述の枠の画像が検出されれば、マスク処理が実行される。

なお、実施の形態４に係る監視システムにおけるその他の構成および動作については実施の形態１から実施の形態３のいずれかと同様であるので、その説明を省略する。

実施の形態５．

実施の形態５に係る監視システムでは、ディスプレイ領域検出部２２は、撮影画像において移動している物体の画像については、ディスプレイ装置の枠の画像の検出から除外する。例えば、撮影画像のフレーム間で、撮影画像内での位置が変化しているオブジェクトについては、ディスプレイ装置の枠の画像の検出を行わない。

なお、実施の形態５に係る監視システムにおけるその他の構成および動作については実施の形態１から実施の形態４のいずれかと同様であるので、その説明を省略する。

実施の形態６．

実施の形態６に係る監視システムでは、マスク処理部２３は、現在時刻が所定の時間帯（深夜、早朝など人がいない時間帯）であればマスク処理を実行せず、現在時刻が所定の時間帯ではなければ、上述の枠の画像が検出されると、マスク処理を実行する。

なお、実施の形態６に係る監視システムにおけるその他の構成および動作については実施の形態１から実施の形態５のいずれかと同様であるので、その説明を省略する。

実施の形態７．

実施の形態７に係る監視システムでは、上述の所定の場所は、入退出管理システムで入退出管理されている空間（部屋、フロアーなど）であり、マスク処理部２３は、入退出管理システムから入場中の人数を示す情報を取得し、少なくとも１人がその場所に入場していれば、上述の枠の画像が検出されると、マスク処理を実行し、その場所に１人も入場していなければマスク処理を実行しない。

なお、実施の形態７に係る監視システムにおけるその他の構成および動作については実施の形態１から実施の形態６のいずれかと同様であるので、その説明を省略する。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

本発明は、例えば、監視システムに適用可能である。

Claims

所定の場所を撮影し撮影画像を出力する監視カメラと、
前記監視カメラから前記撮影画像を取得し、前記撮影画像内の特定部分のマスク処理を行う画像処理装置と、
前記画像処理装置から前記マスク処理後の前記撮影画像を取得し表示する監視装置とを備え、
前記画像処理装置は、（ａ）取得した前記撮影画像内で、ディスプレイ装置の枠の画像を検出し、（ｂ）検出した前記枠の画像に基づき、前記ディスプレイ装置の表示画面の画像に対するマスク処理を実行すること、
を特徴とする監視システム。
所定の場所を撮影し撮影画像を出力する監視カメラから前記撮影画像を取得する画像取得部と、
取得された前記撮影画像内で、前記所定の場所に設置されているディスプレイ装置の枠の画像を検出するディスプレイ領域検出部と、
検出された前記枠の画像に基づき、取得された前記撮影画像における前記ディスプレイ装置の表示画面の画像に対するマスク処理を実行するマスク処理部と、
前記マスク処理後の前記撮影画像を監視装置へ出力する画像出力部と、
を備えることを特徴とする画像処理装置。
前記ディスプレイ領域検出部は、前記枠の画像を、前記表示画面に対応する四角形状の４辺または３辺の周囲に存在する枠の画像として検出することを特徴とする請求項２記載の画像処理装置。
前記監視カメラは、ステレオビジョン用の２台のカメラを備え、
前記画像取得部は、ステレオビジョン用の前記撮影画像を取得し、
前記マスク処理部は、（ａ）前記ステレオビジョン用の前記撮影画像に基づき、前記監視カメラから前記ディスプレイ装置までの距離を特定し、（ｂ）特定した前記距離および前記枠の画像に基づいて、前記ディスプレイ装置のサイズを特定し、（ｃ）特定した前記ディスプレイ装置のサイズが所定範囲外であれば、当該ディスプレイ装置の表示画面の画像に対してマスク処理を実行しないこと、
を特徴とする請求項２記載の画像処理装置。
前記マスク処理部は、前記撮影画像内で、前記ディスプレイ装置の表示画面の画像に重畳して人物の画像を検出した場合、前記表示画面の画像のうち、前記人物の画像が重畳していない部分に対してマスク処理を実行し、前記人物の画像が重畳している部分に対してマスク処理を実行しないことを特徴とする請求項２記載の画像処理装置。
前記マスク処理部は、前記表示画面の画像がベタ画像であるか否かを判定し、前記表示画面の画像が単一濃度のベタ画像である場合、前記マスク処理を実行しないことを特徴とする請求項２記載の画像処理装置。
前記ディスプレイ領域検出部は、前記撮影画像において移動している物体の画像については、前記ディスプレイ装置の枠の画像の検出から除外することを特徴とする請求項２記載の画像処理装置。
前記マスク処理部は、現在時刻が所定の時間帯であれば前記マスク処理を実行せず、現在時刻が所定の時間帯ではなければ前記マスク処理を実行することを特徴とする請求項２記載の画像処理装置。
前記所定の場所は、入退出管理されている空間であり、
前記マスク処理部は、前記所定の場所に少なくとも１人が入場していれば前記マスク処理を実行し、前記所定の場所に１人も入場していなければ前記マスク処理を実行しないこと、
を特徴とする請求項２記載の画像処理装置。