JP7039208B2

JP7039208B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP7039208B2
Application number: JP2017150018A
Authority: JP
Inventors: 敦史川野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-11-02
Filing date: 2017-08-02
Publication date: 2022-03-22
Anticipated expiration: 2037-08-02
Also published as: JP2018078540A

Description

本発明は、監視カメラ等の撮影画像についてプライバシーを保護するための画像処理装置、画像処理方法及びプログラムに関する。

現在、監視カメラが広く設置されている一方で、監視カメラ映像に映る個人のプライバシー保護の重要性が高まっている。特許文献１には、人体検出結果を利用して人体領域をマスク化した映像を作成する技術が開示されている。特許文献２には、監視モジュールで抽出した画像間の差分領域の輪郭情報を受信した受信ユニットで背景画像に合成して表示する技術が開示されている。

特許第５８３４１９３号公報特許第４５７８０４４号公報

特許文献１の認識処理の結果に基づき作成したマスク領域の内側をマスク画像に変更する技術では、認識処理が失敗した場合に被写体が露出するリスクは避けられない。また、特許文献２は固定的な背景に輪郭情報を合成する技術であるため、カメラがとらえる監視領域で実際に起きている変化（以下、適宜、実世界の変化と称する）を背景に適用することができず、監視者へ環境変化等の情報提供量が低下する。

本発明の画像処理装置は、撮像画像を取得する取得手段と、前記撮像画像から所定の被写体に対応する被写体領域を抽出する抽出手段と、複数の背景画像の各々と前記撮像画像との類似度に基づいて、前記複数の背景画像の中から処理に用いる背景画像を選択する選択手段と、前記選択手段により選択した背景画像について、前記抽出手段により抽出した被写体領域を抽象化する処理を実施する処理手段と、前記撮像画像から取得された物体領域を除去することによって判定領域を取得する取得手段と、を有し、前記選択手段は、前記撮像画像の判定領域と前記複数の背景画像の前記判定領域に対応する領域との類似度に基づいて、類似度が最も高い前記背景画像を選択することを特徴とする。

本発明によれば、プライバシー保護のための抽象化処理を行う際に、適切な背景画像を選択することができる。

画像処理装置のハードウェア構成の一例を示す図である。画像処理装置のソフトウェア構成の一例を示す図である。画像処理装置の情報処理の一例を示すフローチャートである。画像の一例を示す図である。被写体のマスク領域の一例を示す図である。プライバシー保護画像の一例を示す図である。画像処理装置のソフトウェア構成の一例を示す図である。背景画像の選定の一例を示す図である。画像処理装置のソフトウェア構成の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、画像処理装置１００のハードウェア構成の一例を示す図である。
ＣＰＵ１１は、システムバス１４に接続された各種デバイスの制御を行う。
ＲＯＭ１２は、ＢＩＯＳのプログラムやブートプログラムを記憶する。
ＲＡＭ１３は、ＣＰＵ１１の主記憶装置として使用される。
キーボードコントローラ（ＫＢＣ）１５は、マウス等のポインティングデバイス（ＰＤ）１０９や、キーボード（ＫＢ）２０からの情報等の入力に係る処理を行う。
表示制御部（ＣＲＴＣ）１６は、内部にビデオメモリを有し、ＣＰＵ１１からの指示に従ってそのビデオメモリに描画すると共に、ビデオメモリに描画されたイメージデータをビデオ信号としてＣＲＴ２１に出力する。なお、図１において表示装置としてＣＲＴ２１を例示しているが、液晶表示装置等、その表示装置の種類は問わない。
ディスクコントローラ（ＤＫＣ）１７は、ハードディスク（ＨＤＤ）２２へのアクセスを行う。
ネットワークインタフェースカード（ＮＩＣ）１８は、ネットワークに接続し、ネットワークを介しての情報通信を行うものである。
なお、ＨＤＤ２２には、ＯＳのプログラムやＯＳ上で動作する各種アプリケーションのプログラム等が格納される。ＨＤＤ２２は、記憶領域の一例である。
上記構成において、画像処理装置１００の電源がＯＮになると、ＣＰＵ１１は、ＲＯＭ１２に格納されたブートプログラムに従って、ＨＤＤ２２からＯＳのプログラムをＲＡＭ１３に読み込み、処理を実行することによって、各装置の機能を実現する。
画像処理装置１００のＣＰＵ１１がＲＯＭ１２又はＨＤＤ２２に記憶されているプログラムに基づき処理を実行することによって、後述する図２、図７、図９の画像処理装置１００のソフトウェア構成及び後述する図３のフローチャートの処理が実現される。

＜実施形態１＞
実施形態１では、入力画像及び背景画像の物体領域を除いた部分同士の類似度から背景画像を選択し、マスク領域のマスク画像と合成し、合成画像（以下、プライバシー保護画像という）を生成することで、人物を抽象化する画像処理装置１００の情報処理について説明をする。
図２は、実施形態１の画像処理装置１００のソフトウェア構成の一例を示す図である。画像処理装置１００は、画像取得部１０１と、マスク領域抽出部１０２と、物体抽出部１０３と、背景管理部１０４と、画像合成部（抽象化処理部）１０５と、出力部１０６と、を含む。
画像取得部１０１は、レンズ、センサを備えたカメラ等の撮像部から所定の間隔で画像（撮像画像）を順次取得して、マスク領域抽出部１０２と状況取得部２０３とに提供する。撮像部は、画像処理装置１００が有していてもよいし、画像処理装置１００とネットワーク等を介して通信可能に接続されていてもよい。
マスク領域抽出部１０２は、プライバシー保護対象である被写体のマスク領域を抽出する処理を行う。マスク領域抽出部１０２は、画像処理装置の撮影領域における被写体が存在しないマスク領域抽出用の背景画像と画像取得部１０１で取得した画像との差分からマスク領域を抽出する。ここで、マスク領域抽出用の背景画像とマスク領域の抽出方法について詳細を記載する。まず、マスク領域抽出用の背景画像は、画像取得部１０１が取得する画像と同じ画角で撮影したプライバシー保護対象が映らない画像である。マスク領域抽出部１０２は、画像処理装置１００が処理を開始した時点から画像保存部（不図示）に画像取得部１０１から取得した画像を保存する。そして、画像保存部に所定の枚数（例えば１００枚）が保存された段階で、画像保存部に保存された画像の各画素値を平均することでマスク領域抽出用の背景画像を作成する。また、マスク領域抽出用の背景画像を作成した以後、画像取得部１０１から画像を取得する度に、画像保存部に画像を保存し画像保存部に保存された最も古い画像を削除した上で、画像保存部に保存された画像の各画素値を平均することでマスク領域抽出用の背景画像を更新する。つまり、画像取得部１０１から画像を取得した時点から所定の枚数（例えば１００枚）を使用して作成した平均画像をマスク領域抽出用の背景画像として使用する。又は、別途物体認識手法を用いて画像取得部１０１から取得した画像から物体領域を取得して、物体領域を除いた領域の画素値を合成することでマスク領域抽出用の背景画像を作成する等、プライバシーを保護する対象である人が含まれない様な画像を作成する方法であればよい。なお、マスク領域抽出部１０２に記載したマスク領域抽出用の背景画像は背景管理部１０４に記載する背景画像とは異なる。次に、マスク領域の抽出は、画像取得部１０１から取得した画像とマスク領域抽出用の背景画像との輝度値の差分が閾値（例えば、１０％以上）を超える画素をマスクとすることで作成する。なお、マスク領域抽出部１０２は、画像処理によりプライバシー保護対象の領域（被写体領域）を抽出することができる処理であればよい。例えば、保存した過去の画像と画像取得部１０１から取得した最新の画像との差分領域を取得し、差分領域について人の特徴（形状や色）を探索する処理（パターンマッチング処理）を行い、人の特徴があれば、その差分領域を被写体領域として抽出する。
物体抽出部１０３は、画像取得部１０１から取得した最新の画像から物体領域を抽出する。物体抽出部１０３は、画像取得部１０１から得られた過去の画像を保存し、保存した過去の画像と画像取得部１０１から取得した最新の画像との差分領域を計算することで物体領域を抽出する。物体抽出部１０３は、最新の画像と抽出した物体領域の物体領域情報とを背景管理部１０４に送付する。なお、物体抽出部１０３は、背景差分法やテンプレートマッチングといった物体領域を抽出できる処理であればどのような抽出方法で物体領域を抽出してもよく、上述の記載の方法に限定されるものではない。
背景管理部１０４は、複数の背景画像を管理する。背景画像は、画像取得部１０１が取得する画像と同じ場所、同じ画角で撮影した時間帯や画角内の状況が異なる1枚以上の画像である。店舗入り口を例とすると、朝、昼、夕方、夜等、時間帯が異なる画像であり、店舗入り口のシャッターが閉まっている状態、シャッターが開いた状態、ドアが閉じた状態、開いた状態等、画角内の状況が異なる1枚以上の画像である。背景管理部１０４は、これら背景画像を画像ファイルとして画像保存部（不図示）に保管する。また、背景管理部１０４は、物体抽出部１０３が処理した最新画像と最も近しい背景画像を、最新画像と背景画像とから物体抽出部１０３が抽出した物体領域を除いた領域（以下、判定領域とする）の類似度を用いて選定する。例えば、物体抽出部１０３が画像の右半分の領域を物体として抽出した場合、最新画像の左半分の領域と背景画像の左半分の領域との類似度が最も高い背景画像を選定する。選定は、最新画像と背景画像の判定領域からＳＵＲＦ等を用いて判定領域内の輝度変化量が大きな場所を特徴点として位置と特徴ベクトルを抽出する。次に、最新画像と背景画像との特徴ベクトル間のユークリッド距離を測り、距離が最小となるよう最新画像と背景画像との特徴ベクトルを対応付ける。そして、対応する特徴ベクトルの距離の総和と対応する位置の色差成分差の総和との合計を類似度として、類似度が最小となる背景画像を最も近しい背景画像として選定する。このように、判定領域の類似度を比較することで最新の撮影環境の状況と近しいは時間帯、状況の背景画像を選定することができる。なお、特徴点の抽出はＳＵＲＦに限定されるものではなく、ＦＡＳＴ等のコーナー特徴等、特徴点を抽出する方法であればよい。また、類似度の判定は画像の対応点の特徴を比較する方法に限定されるものではなく、類似画像を判定する方式であればよい。
画像合成部１０５は、背景管理部１０４で選定された背景画像の各画素のうち、マスク領域抽出部１０２で抽出されたマスク領域に該当する画素を所定の色（例えば青）に変更することでプライバシー保護画像を生成する。又は、マスク領域抽出部１０２で抽出されたマスク領域を所定の色（例えば青）、マスク領域外を第二の所定の色（例えば白）にしたマスク画像を作成し、背景管理部１０４で選定された背景画像に前記マスク画像をαブレンドする方法でプライバシー保護画像を作成してもよい。
出力部１０６は、画像合成部１０５で生成されたプライバシー保護画像を有線又は無線を介して画像処理装置１００と接続された外部装置等に出力する。また、出力部１０６は、プライバシー保護画像をＨＤＤ２２やＣＲＴ２１等に出力するようにしてもよい。

次に画像処理装置１００の情報処理の流れを説明する。
図３は、連続して入力される画像から保護画像を生成して出力する画像処理装置１００の情報処理の一例を示すフローチャートである。
処理開始後、Ｓ１０１において、画像取得部１０１は、画像を取得する。画像取得部１０１は、取得した画像を、ＲＡＭ１３又はＨＤＤ２２等のメモリに記憶する。画像取得部１０１によって取得された画像の一例を図４に示す。
Ｓ１０２において、マスク領域抽出部１０２は、画像取得部１０１が取得した画像から被写体のマスク領域を抽出する。マスク領域抽出部１０２によって抽出された被写体のマスク領域の一例を図５に示す。
Ｓ１０３において、物体抽出部１０３は、画像取得部１０１が取得した画像から物体領域を抽出する。
Ｓ１０４において、背景管理部１０４は、画像取得部１０１が取得した画像に近い背景画像を選定する。
Ｓ１０５において、画像合成部１０５は、背景管理部１０４が選定した背景画像とマスク領域抽出部１０２が抽出したマスク領域のマスク画像とを合成し、プライバシー保護画像を生成する。画像合成部１０５によって生成されたプライバシー保護画像の一例を図６に示す。
Ｓ１０６において、出力部１０６は、プライバシー保護画像を外部装置等に出力する。
Ｓ１０７において、出力部１０６は、ＰＤ１９やＫＢ２０等から終了指示を受け取ったか否かを判定する。出力部１０６は、終了指示を受け取ったと判定した場合（Ｓ１０７においてＹＥＳ）、図３に示すフローチャートの処理を終了し、終了指示を受け取っていないと判定した場合（Ｓ１０７においてＮＯ）、Ｓ１０１に処理を戻す。

本実施形態の情報処理によれば、画像処理装置１００は、入力画像に近い背景画像を選定してマスク領域のマスク画像と合成することで、プライバシー保護の目的と監視者への実世界の情報提供とを両立することができる。

＜実施形態２＞
実施形態２では、撮影状況を用いて背景画像を選択しプライバシー保護画像を生成する画像処理装置１００の情報処理について説明をする。
図７は、実施形態２の画像処理装置１００のソフトウェア構成の一例を示す図である。上述した実施形態と同様の構成は同一の符号を付し、説明を省略する。以下の図においても同様である。
状況取得部２０３は、画像取得部１０１から取得した画像から撮影状況を推定する。撮影状況とは、各種設定から得られる撮影情報と画像を解析して特定の物体を検出することで推定可能な撮影情報との何れか、又は両方から決まる撮影画角内の状況である。各種設定から得られる撮影情報とは、撮影時間帯、季節、照度条件等、撮像部の時刻設定や撮像部設定等である。撮影時間帯は、ＡＭ６：００からＡＭ１０：００を朝、ＡＭ１０：００からＰＭ５：００を昼、ＰＭ５：００からＰＭ７：００を夕方、ＰＭ７：００からＡＭ６：００を夜と定義し、画像取得部１０１と接続された撮像部から取得した撮影時間に基づき状況取得部２０３が朝、昼、夕方、夜の何れかに決定する。また、季節は、春夏秋冬の各季節に対応付く日付を定義し、撮像部から取得した日時に基づき状況取得部２０３が春夏秋冬の何れかを決定する。照度条件は、画像取得部１０１から取得した画像全体の輝度値のヒストグラムとゲイン値とからルール判定により推定して状況取得部２０３が取得する。ここでルール判定とは、ヒストグラムとゲイン値を判定する条件の組み合わせである。例えば、輝度のレンジが０から２５５まで、ゲイン値は０から７までの８段階として、ヒストグラムの最頻値が１２８以上、かつ、ゲイン値が３以下の場合は十分照度、ヒストグラムの最頻値が６４以下かつゲイン値が４以上の場合は低照度、のように決定する。撮像部設定は、撮像時のホワイトバランス設定、露出設定、露光時間設定、から状況取得部２０３が取得する。また、画像を解析して特定の物体を検出することで推定可能な撮影情報は、画像から雨粒や雪を検出して天候を推定することで状況取得部２０３が取得する。天候は、晴れ、雨、雪と定義し、雨、雪を検出しない場合は晴れ、雨粒を検出した場合は雨、降雪を検出した場合は雪とする。状況取得の処理は、これらの処理に限定されるものではない。状況取得の処理は、撮影画像から撮影状況を推定することができる処理であればどのような処理でもよい。
背景管理部２０４は、複数の背景画像と各背景画像の撮影状況とを管理する。背景画像は、画像取得部１０１が取得する画像と同じ場所、同じ画角で撮影した時間帯や画角内の状況が異なる1枚以上の画像である。背景画像の種類は実施形態１の記載と同じである。背景管理部２０４は、これら背景画像を画像ファイルとして、撮影状況をメタデータファイルとして画像保存部（不図示）に保管する。また、背景管理部２０４は、状況取得部２０３から得られる撮影状況に最も近しい背景画像を複数の背景画像からルール判定により選定する。図８は、ホワイトバランスと照度を使った背景画像の選定の一例を示す図である。ここでのルール判定の条件は、状況取得部２０３から取得した撮影状況と背景画像のホワイトバランス値の差分が最も小さい、かつ、照度条件が同じ、である。図８（ａ）では画像取得部１０１が取得した最新の画像と状況取得部２０３が取得した撮影状況を示している。図８（ｂ）、（ｃ）では設定された背景画像と背景画像の撮影状況とを示している。背景管理部２０４は、最新の画像の撮影状況と背景画像に設定された撮影状況とをルールに従い判定し背景画像を選定する。図８の例では、背景管理部２０４は、ルールに合致する図８の（ｂ）を背景画像として選定する。図８の例では、ホワイトバランス、照度条件に基づき背景画像選定を行ったが、ルール判定の条件に他項目、例えば、撮影時間帯が同一、天候が同一、等、撮影情報の項目を条件として加えてもよい。また、ルール判定は各条件の論理積だけでなく、論理和としてもよい。例えば、ホワイトバランス値の差分が最も小さい、又は、撮影時間帯が同一の何れかを満たす背景画像を選定する。
情報処理の流れは実施形態１と同様のため説明を省略する。

本実施形態の情報処理によれば、画像処理装置１００は、実世界の状況に近い背景画像を選定してマスク領域のマスク画像を合成することで、プライバシー保護の目的と監視者への実世界の情報提供とを両立することができる。

＜実施形態３＞
実施形態３では、実施形態２に加えセンサを使用して撮影状況を推定する画像処理装置１００の情報処理について説明をする。
図９は、実施形態３の画像処理装置１００のソフトウェア構成の一例を示す図である。
センサ部３０１は、撮像部が設置された環境の温度、湿度、照度等のセンサ情報を取得して、状況取得部２０３に送付する。
状況取得部３０２は、画像取得部１０１から取得した画像とセンサ部３０１から取得したセンサ情報とから撮影状況を推定する。
背景管理部３０３は、複数の背景画像と各背景画像の撮影状況とを管理し、状況取得部３０２から得られる撮影状況と最も類似度が高い背景画像を最も近しい背景画像として複数の背景画像から選定する。

＜実施形態４＞
実施形態４では、実施形態１に加えマスク領域抽出用背景画像にマスク画像を合成することで作成したプライバシー保護画像を使用した画像処理装置１００について説明する。本実施形態では実施形態１との違いについて記載する。
まず、第一のプライバシー保護画像は、実施形態１に記載した予め用意した背景画像にマスク画像を合成して作成した画像、第二のプライバシー保護画像は、本実施形態に記載するマスク領域抽出用背景画像にマスク画像を合成して作成した画像とする。
第一のプライバシー保護画像と第二のプライバシー保護画像にはそれぞれ利点と欠点とがある。第一のプライバシー保護画像は、プライバシー保護対象の被写体が映っていない背景画像にプライバシー保護対象である被写体のマスク領域を合成するため、利点は被写体の形状や動きを視認可能としながらも被写体が露出することはない点である。しかしながら、予め用意した背景画像から入力画像に最も近い画像を選択するため、欠点は被写体の背景は入力画像に似ているが最新の背景状況を表現するものではない点である。一方で、第二のプライバシー保護画像は、最新の入力画像を用いて作成するため、第一のプライバシー保護画像に比べ被写体の背景が最新の背景状況に比較的忠実に表現するという利点がある。しかしながら、マスク領域抽出用背景画像に被写体が露出した場合は被写体のプライバシーが保護されていない画像が作成され、プライバシー保護の目的が達成されない可能性があるという欠点がある。なお、被写体が露出する場合とは、平均画像を作成するために必要な保存画像のすべてで被写体が同じ位置で動かず存在する場合、物体認識手法が被写体の検出に失敗する場合が想定できる。
前記の利点及び欠点より、それぞれの利点を活かしてプライバシー保護画像を切り替えることでより好適にプライバシー保護の目的と監視者への実世界の情報提供を両立することができる。
そこで本実施形態では、画像合成部１０５は顔検出手段（不図示）を更に持ち、マスク領域抽出用背景画像に顔検出処理を実施して、顔を検出した場合には第一のプライバシー保護画像を作成し、顔を検出しない場合には第二のプライバシー保護画像を作成する。なお、顔検出手段に限らず、マスク領域抽出用背景画像からプライバシー保護の対象の被写体を抽出する方法であればよく、人物検出手段等他の検出手段でもよい。
本実施形態の情報処理によれば、画像処理装置１００は、プライバシー保護の目的と監視者への実世界の情報提供とを両立することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、画像処理装置１００のソフトウェア構成の一部、又は全ては、ハードウェア構成として画像処理装置１００に実装されてもよい。また、画像処理装置１００のハードウェア構成は一例であって、ＰＤ１９、ＫＢ２０、ＣＲＴ２１、ＨＤＤ２２等は画像処理装置１００の外付けのハードウェアであってもよい。

以上、上述した各実施形態の処理によれば、プライバシー保護のための抽象化処理を行う際に、適切な背景画像を選択することができる。

１１ＣＰＵ
１００画像処理装置

Claims

撮像画像を取得する取得手段と、
前記撮像画像から所定の被写体に対応する被写体領域を抽出する抽出手段と、
複数の背景画像の中から処理に用いる背景画像を選択する選択手段と、
前記選択手段により選択した背景画像について、前記抽出手段により抽出した被写体領域を抽象化する処理を実施する処理手段と、
前記撮像画像から取得された物体領域を除去することによって判定領域を取得する取得手段と、を有し、
前記選択手段は、前記撮像画像の判定領域と前記複数の背景画像の前記判定領域に対応する領域との類似度に基づいて、類似度が最も高い前記背景画像を選択する
ことを特徴とする画像処理装置。
前記処理手段は、
マスク画像を合成するマスク領域を抽出する抽出手段と、
前記マスク領域のマスク画像と前記選択された背景画像とから保護画像を生成する生成手段と
を有することを特徴とする請求項１記載の画像処理装置。
前記保護画像を出力する出力手段を更に有することを特徴とする請求項２記載の画像処理装置。
撮像画像を取得する取得ステップと、
前記撮像画像から所定の被写体に対応する被写体領域を抽出する抽出ステップと、
複数の背景画像の中から処理に用いる背景画像を選択する選択ステップと、
前記選択ステップにおいて選択した背景画像について、前記抽出ステップにおいて抽出した被写体領域を抽象化する処理を実施する処理ステップと、
前記撮像画像から取得された物体領域を除去することによって判定領域を取得する取得ステップと、を有し、
前記選択ステップは、前記撮像画像の判定領域と前記複数の背景画像の前記判定領域に対応する領域との類似度に基づいて、類似度が最も高い前記背景画像を選択する
ことを特徴とする画像処理方法。
コンピュータを、
撮像画像を取得する取得手段と、
前記撮像画像から所定の被写体に対応する被写体領域を抽出する抽出手段と、
複数の背景画像の中から処理に用いる背景画像を選択する選択手段と、
前記選択手段により選択した背景画像について、前記抽出手段により抽出した被写体領域を抽象化する処理を実施する処理手段と、
前記撮像画像から取得された物体領域を除去することによって判定領域を取得する取得手段として機能させ、
前記選択手段は、前記撮像画像の判定領域と前記複数の背景画像の前記判定領域に対応する領域との類似度に基づいて、類似度が最も高い前記背景画像を選択する
ことを特徴とするプログラム。