JP6598828B2

JP6598828B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP6598828B2
Application number: JP2017149980A
Authority: JP
Inventors: いち子黛
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-11-02
Filing date: 2017-08-02
Publication date: 2019-10-30
Anticipated expiration: 2037-08-02
Also published as: JP2018078539A

Description

本発明は、プライバシーを保護するための画像処理装置、画像処理方法及びプログラムに関する。

現在、監視カメラが広く設置されている一方で、監視カメラ映像に写る個人のプライバシー保護の重要性が高まっている。特許文献１は、人体検出結果を利用して人体領域をマスク化した映像を作成する技術である。特許文献２は、監視モジュールで抽出した画像間の差分領域の輪郭情報を受信した受信ユニットで背景画像に合成して表示する技術である。

特許第５８３４１９３号公報特許第４５７８０４４号公報

しかしながら、特許文献１では人体領域を、人物の属性により色やマスクパターンを変更するものであり、背景画像と類似した色となる可能性がある。そのためマスクされた人物が背景と区別できなくなり、実際存在している人物を見逃してしまう課題がある。特許文献２では受信ユニットで受信した輪郭情報を視覚的に表示し背景画像と重ねており、背景画像情報を考慮していないため、上述と同様な課題が存在する。
本発明は、プライバシー保護の目的（人物の抽象化）と監視目的（人物形状の視認性向上）とを両立させた、監視映像を提供することを目的とする。

本発明の画像処理装置は、背景画像と撮像画像とを取得する取得手段と、前記撮像画像から所定の被写体に対応する被写体領域を抽出する抽出手段と、次フレームの前記被写体の位置を推定する推定手段と、前記推定された被写体の位置から領域を推定し、推定した領域に対応する背景画像の色情報を取得する領域推定手段と、前記被写体領域に対応する背景画像の色情報と異なり、かつ、前記推定した領域に対応する背景画像の色情報と異なる色情報に基づき、前記被写体領域のためのマスク画像を生成し、生成したマスク画像と前記背景画像とを含む合成画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、監視映像において人物を抽象化しつつ人物形状の視認性を向上させることができる。

画像処理装置のハードウェア構成の一例を示す図である。画像処理装置のソフトウェア構成の一例を示す図である。マスク領域の色の設定を説明する図である。画像処理装置の情報処理の一例を示すフローチャートである。画像の一例を示す図である。被写体のマスク領域の一例を示す図である。プライバシー保護画像の一例を示す図である。Ｓ１０３からＳ１０５までの情報処理を詳細に示したフローチャートである。画像処理装置のソフトウェア構成の一例を示す図である。画像処理装置の情報処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、画像処理装置１００のハードウェア構成の一例を示す図である。
ＣＰＵ１１は、システムバス１４に接続された各種デバイスの制御を行う。
ＲＯＭ１２は、ＢＩＯＳのプログラムやブートプログラムを記憶する。
ＲＡＭ１３は、ＣＰＵ１１の主記憶装置として使用される。
キーボードコントローラ（ＫＢＣ）１５は、マウス等のポインティングデバイス（ＰＤ）１０９や、キーボード（ＫＢ）２０からの情報等の入力に係る処理を行う。
表示制御部（ＣＲＴＣ）１６は、内部にビデオメモリを有し、ＣＰＵ１１からの指示に従ってそのビデオメモリに描画すると共に、ビデオメモリに描画されたイメージデータをビデオ信号としてＣＲＴ２１に出力する。なお、図１において表示装置としてＣＲＴ２１を例示しているが、液晶表示装置等、その表示装置の種類は問わない。
ディスクコントローラ（ＤＫＣ）１７は、ハードディスク（ＨＤＤ）２２へのアクセスを行う。
ネットワークインタフェースカード（ＮＩＣ）１８は、ネットワークに接続し、ネットワークを介しての情報通信を行うものである。
なお、ＨＤＤ２２には、ＯＳのプログラムやＯＳ上で動作する各種アプリケーションのプログラム等が格納される。ＨＤＤ２２は、記憶領域の一例である。
上記構成において、画像処理装置１００の電源がＯＮになると、ＣＰＵ１１は、ＲＯＭ１２に格納されたブートプログラムに従って、ＨＤＤ２２からＯＳのプログラムをＲＡＭ１３に読み込み、処理を実行することによって、各装置の機能を実現する。
画像処理装置１００のＣＰＵ１１がＲＯＭ１２又はＨＤＤ２２に記憶されているプログラムに基づき処理を実行することによって、後述する図２、図９の画像処理装置１００のソフトウェア構成及び後述する図４、図８、図１０のフローチャートの処理が実現される。

＜実施形態１＞
図２は、実施形態１の画像処理装置１００のソフトウェア構成の一例を示す図である。画像処理装置１００は、ソフトウェア構成として、画像取得部１０１と、マスク領域抽出部１０２と、画像情報設定部１０３と、画像合成部１０４と、出力部１０５と、を含む。
画像取得部１０１は、レンズ、センサを備えたカメラ等の撮像部から所定の間隔で画像を順次取得して、マスク領域抽出部１０２に提供する。撮像部は、画像処理装置１００が有していてもよいし、画像処理装置１００とネットワーク等を介して通信可能に接続されていてもよい。画像取得部１０１が取得する画像は、撮像画像の一例である。
マスク領域抽出部１０２は、プライバシー保護対象である被写体のマスク領域を抽出する処理を行う。つまり、マスク領域抽出部１０２は、画像から人物等の所定の被写体に対応する被写体領域を抽出し、その被写体領域をマスク領域とする。マスク領域抽出部１０２は、マスク領域（被写体領域）を、画像処理装置１００の撮影領域における被写体が存在しないマスク領域抽出用の背景画像と画像取得部１０１で取得した画像との差分から抽出する。抽出方法はこれに限らず、マスク領域抽出部１０２は、他の方法でマスク領域を抽出してもよい。マスク領域抽出部１０２は、抽出したマスク領域と背景画像とを、画像情報設定部１０３に提供する。ここで、例えば、マスク領域抽出部１０２は、予め画像取得部１０１で取得された被写体の映っていない背景のみの画像データ（以下、背景画像という）をＲＡＭ１３又はＨＤＤ２２等に記憶しているものとする。
画像情報設定部１０３は、背景画像の画像情報である色情報を取得し、色情報が示す色と相違する色（背景画像の色に対して、視認性、誘目性の高い色）をマスク領域の色（抽象化色）として設定する。例えば図３（ａ）では、被写体１１０のマスク色と、被写体が存在する背景色とは異なるため、被写体の存在の把握が容易に可能である。この後被写体が移動し、図３（ｂ）のように被写体のマスク色と、背景となる壁１２０等の色が類似している場合、被写体１１０の存在又は動きの把握が困難となる。そのため、画像情報設定部１０３は、図３（ｃ）のように被写体のマスク色を変更し、被写体の存在、動きの把握が容易であるように、対応する背景色を抽出し、マスク色を決定する。画像情報設定部１０３は、色の決定を行うため取得する色情報を、画像取得部１０１から得られる映像信号からＹ，Ｃｒ，Ｃｂを取得し、これをＲＧＢに変換する。画像情報設定部１０３は、マスク領域に設定する色を、背景画像から抽出した色に対して、反転色や補色を設定すると、背景との識別が容易となる。マスク色の算出方法として例えば、ＲＧＢのＲの値が８０であるとき、２５５−８０＝１７５と求め、他の色要素の同様に求める方法がある。また、ＲＧＢのうち最大と最小との値を合計した値を基にし、その値から各構成要素の値を引いて新しいＲＧＢ値を求める方法等、一般的に知られている方法を用いている。また、こうした計算は厳密な精度を要求しないため、画像情報設定部１０３は、ある程度の色情報をリストしたテーブル等を用いて決定してもよい。画像情報設定部１０３は、設定した色情報の色でマスク領域をマスクしたマスク画像を生成し、背景画像と共に画像合成部１０４に提供する。また画像情報設定部１０３は、背景画像の画像情報を取得する際、背景画像全体ではなく、マスク領域に対応した領域の画像情報を取得してもよい。
画像合成部１０４は、背景画像とマスク画像とを合成して合成画像（以下、プライバシー保護画像という）を生成する。
出力部１０５は、画像合成部１０４で生成されたプライバシー保護画像を有線又は無線を介して画像処理装置１００と接続された外部装置等に出力する。また、出力部１０５は、プライバシー保護画像をＨＤＤ２２やＣＲＴ２１等に出力するようにしてもよい。

次に画像処理装置１００の情報処理の流れを説明する。
図４は、連続して入力される画像から人物を抽象化しつつ人物形状の視認性を向上させて出力する処理を示すフローチャートである。
処理開始後、Ｓ１０１において、画像取得部１０１は、画像を取得する。画像取得部１０１は、取得した画像を、ＲＡＭ１３又はＨＤＤ２２等のメモリに記憶する。画像取得部１０１によって取得された画像の一例を図５に示す。
Ｓ１０２において、マスク領域抽出部１０２は、画像取得部１０１が取得した画像から、被写体のマスク領域を抽出する。マスク領域抽出部１０２によって抽出された被写体のマスク領域の一例を図６に示す。
Ｓ１０３において、画像情報設定部１０３は、背景画像の画像情報として色情報を抽出する。このとき、画像情報設定部１０３は、背景画像全体の色情報を抽出してもよいし、マスク領域に対応した領域の色情報を抽出してもよい。また、画像情報設定部１０３は、画像処理装置１００の処理の開始時には背景画像全体の色情報を抽出し、処理が開始されてからは、マスク領域に対応した領域の色情報を抽出するような、状況に合わせた領域を選択するようにしてもよい。
Ｓ１０４において、画像情報設定部１０３は、抽出した色と相違した、かつ、背景色と容易に識別可能な色を選択し、マスク領域の色情報として設定し、マスク画像を生成する。
Ｓ１０５において、画像合成部１０４は、背景画像とマスク画像とを合成してプライバシー保護画像を生成する。画像合成部１０４によって生成されたプライバシー保護画像の一例を図７に示す。
Ｓ１０６において、出力部１０５は、生成されたプライバシー保護画像を外部装置等に出力する。
Ｓ１０７において、出力部１０５は、ＰＤ１９やＫＢ２０等から終了指示を受け取ったか否かを判定する。出力部１０５は、終了指示を受け取ったと判定した場合（Ｓ１０７においてＹＥＳ）、図４に示すフローチャートの処理を終了し、終了指示を受け取っていないと判定した場合（Ｓ１０７においてＮＯ）、Ｓ１０１に処理を戻す。

以上のように、画像処理装置１００は、マスク領域を抽出し、人物の形状や輪郭等について視認性を向上させるために背景画像と区別することが容易な色（誘目性や視認性の高い色）を抽象化色として設定する。マスク画像は、被写体のプライバシーを守るために、抽象化（個人を識別できないように画像を加工）したものである。画像の加工は、被写体領域の色を置き換える処理を行っているため、被写体画像はマスクされているが、被写体の存在や動きを容易に認識することができる。このように、被写体の存在を容易に認識できることや、被写体の動きを把握する目的もあるため、マスク画像は、背景画像と容易に識別可能である必要がある。
本実施形態では、背景画像及びマスク画像と相違する画像情報として色を例として説明したが、色情報に限らず画像パターンや線種等、マスク画像を生成する上での画像情報であれば、色情報に限定されるものではない。
また画像情報設定部１０３は、マスク領域に対応する背景領域の画像情報が複数の色情報を有する場合、マスク領域の色は単色の色情報に設定する。より具体的に説明すると、画像情報設定部１０３は、複数の色情報が示すそれぞれの色のうちマスク領域に対応した背景画像の領域で最も多くの面積で使用されている色と異なる単色の色の色情報をマスク領域の色の色情報に設定する。これにより、フレーム毎に互いに異なる抽象化色を設定し、異なる抽象化色に基づいて抽象化処理を実施することができる。
また、画像情報設定部１０３は、前フレームにおいて選択されたマスク領域の画像情報と、現フレームの背景画像の画像情報と、に基づいて、マスク領域の画像情報を選択するようにしてもよい。本方法によれば、マスク画像の色が毎フレーム変化することなく、ユーザがマスクされた物体を認識しやすくなる。

図８は、図４のＳ１０３からＳ１０５までの情報処理を詳細に示したフローチャートである。
Ｓ１０３において、画像情報設定部１０３は、背景画像の画像情報として色情報を抽出する。
Ｓ１１０において、画像情報設定部１０３は、Ｓ１０３にて抽出した背景画像の画像情報と、前フレームで設定したマスク領域の画像情報とを比較する。
Ｓ１１１において、画像情報設定部１０３は、比較の結果、２つの画像情報が相違するか否かを判定する。画像情報設定部１０３は、相違する場合（Ｓ１１１においてＹＥＳ）、Ｓ１１２に進み、相違しない場合（Ｓ１１１においてＮＯ）、Ｓ１１３に進む。
Ｓ１１２において、画像情報設定部１０３は、前フレームで設定したマスク領域の画像情報である色情報を現フレームのマスク領域の色情報として設定し、マスク画像を生成する。
一方、Ｓ１１３において、２つの画像情報が相違しない場合とは、識別がしにくいものである場合ということであるため、画像情報設定部１０３は、新たに背景と相違する色の色情報を決定する。
Ｓ１１４において、画像情報設定部１０３は、新たに決定したマスク領域の色情報を保存する。
Ｓ１１５において、画像情報設定部１０３は、新たに決定したマスク領域の色情報に基づきマスク画像を生成する。
Ｓ１０５において、画像合成部１０４は、背景画像とマスク画像とを合成してプライバシー保護画像を生成する。

本実施形態の情報処理によれば、人物等のプライバシーを考慮した監視を可能とし、状況に応じたマスク画像を表示することができる。これによりマスクされた人物が認識しやすく、監視員の負担を軽減することが可能となる。

＜実施形態２＞
図９は、実施形態２の画像処理装置１００のソフトウェア構成の一例を示す図である。画像処理装置１００は、ソフトウェア構成として、画像取得部１０１と、マスク領域抽出部１０２と、画像情報設定部１０３と、画像合成部１０４と、出力部１０５と、動作推定部１０６と、領域推定部１０７とを含む。実施形態１と同様のソフトウェア構成は説明を省略する。
動作推定部１０６は、マスク領域抽出部１０２からプライバシー保護対象である被写体情報を受信する。動作推定部１０６は、フレームごとの被写体情報から、被写体の追尾処理を行い、次フレームの被写体位置を推定する。動作推定部１０６は、推定した被写体位置を、領域推定部１０７へ送る。
領域推定部１０７は、推定された被写体位置から、マスクする領域を推定し、推定した領域に対応する背景画像の画像情報を取得する。領域推定部１０７は、取得した推定領域の画像情報を、画像情報設定部１０３へ送る。
画像情報設定部１０３は、マスク領域抽出部１０２から受信したマスク領域に対応した背景画像の画像情報と、領域推定部１０７から受信した画像情報と、に基づき、マスク領域の画像情報を設定する。

図１０は、連続して入力される画像からプライバシー保護画像を生成し出力する、実施形態２の画像処理装置１００の情報処理の一例を示すフローチャートである。実施形態１と同様の処理は説明を省略する。
Ｓ１０３までの処理において、現フレームにおけるマスク領域に対応した画像情報が抽出される。
Ｓ２０１において、動作推定部１０６は、前景となる被写体の追尾処理を行い、被写体の次フレームにおける位置を推定する。
Ｓ２０２において、領域推定部１０７は、推定された被写体位置に対し、対応する領域を推定する。
Ｓ２０３において、領域推定部１０７は、推定した領域に対応する背景領域の画像情報を抽出する。
Ｓ２０４において、画像情報設定部１０３は、領域推定部１０７にて抽出された画像情報と、マスク領域に対応した画像情報と、に相違するマスク領域の画像情報を設定し、マスク画像を生成する。このとき、画像情報設定部１０３は、前フレームにおけるマスク領域の画像情報が、領域推定部１０７にて抽出された画像情報と、マスク領域に対応した画像情報と、に相違する情報であれば、前フレームのマスク領域の画像情報を設定し、マスク画像を生成する。

本実施形態の情報処理によれば、背景画像の色情報と、次フレームにおける被写体位置を推定したマスク領域の色情報と、に基づいて、マスク領域の色を決定するため、マスク領域の色がフレームごとに頻繁に変わることがなくなる。これにより、マスクされる物体を見逃すことがないプライバシー保護画像を生成することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、画像処理装置１００のソフトウェア構成の一部、又は全ては、ハードウェア構成として画像処理装置１００に実装されてもよい。また、画像処理装置１００のハードウェア構成は一例であって、ＰＤ１９、ＫＢ２０、ＣＲＴ２１、ＨＤＤ２２等は画像処理装置１００の外付けのハードウェアであってもよい。
また、上述した実施形態では、画像情報設定部１０３が画像情報を設定し、マスク画像を生成するよう説明を行った。しかし、画像情報設定部１０３が画像情報を設定し、画像合成部１０４が設定された画像情報等に基づきマスク画像を生成し、マスク画像と背景画像とからプライバシー保護画像を生成するようにしてもよい。また、画像合成部１０４を、画像情報設定部１０３の機能を全て含んで構成してもよい。即ち、画像合成部１０４が、画像情報を設定し、マスク画像を生成し、マスク画像と背景画像とからプライバシー保護画像を生成するようにしてもよい。

以上、上述した各実施形態の処理によれば、プライバシー保護の目的と監視目的とを両立させた、監視映像を提供することができる。また、監視映像において人物を抽象化しつつ人物形状の視認性を向上させることができる。

１１ＣＰＵ
１００画像処理装置

Claims

背景画像と撮像画像とを取得する取得手段と、
前記撮像画像から所定の被写体に対応する被写体領域を抽出する抽出手段と、
次フレームの前記被写体の位置を推定する推定手段と、
前記推定された被写体の位置から領域を推定し、推定した領域に対応する背景画像の色情報を取得する領域推定手段と、
前記被写体領域に対応する背景画像の色情報と異なり、かつ、前記推定した領域に対応する背景画像の色情報と異なる色情報に基づき、前記被写体領域のためのマスク画像を生成し、生成したマスク画像と前記背景画像とを含む合成画像を生成する生成手段と、
を有することを特徴とする画像処理装置。
前記生成手段は、前フレームの前記マスク画像の色情報が、前記被写体領域に対応する背景画像の色情報と異なり、かつ、前記推定した領域に対応する背景画像の色情報と異なる色情報である場合、前記前フレームのマスク画像の色情報で前記被写体領域のためのマスク画像を生成することを特徴とする請求項１記載の画像処理装置。
前記合成画像を出力する出力手段を更に有することを特徴とする請求項１又は２記載の画像処理装置。
背景画像と撮像画像とを取得する取得工程と、
前記撮像画像から所定の被写体に対応する被写体領域を抽出する抽出工程と、
次フレームの前記被写体の位置を推定する推定工程と、
前記推定された被写体の位置から領域を推定し、推定した領域に対応する背景画像の色情報を取得する領域推定工程と、
前記被写体領域に対応する背景画像の色情報と異なり、かつ、前記推定した領域に対応する背景画像の色情報と異なる色情報に基づき、前記被写体領域のためのマスク画像を生成し、生成したマスク画像と前記背景画像とを含む合成画像を生成する生成工程と、
を含むことを特徴とする画像処理方法。
コンピュータを、請求項１乃至３の何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。