JP7297455B2

JP7297455B2 - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: JP7297455B2
Application number: JP2019016305A
Authority: JP
Inventors: 士 ▲高▼木; 稔日下部
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2023-06-26
Anticipated expiration: 2039-01-31
Also published as: US20200250833A1; JP2020123280A; US11263759B2

Description

本発明は、画像処理技術に関する。

現在、撮像装置が撮像した画像から撮像された領域の様子を監視するシステムが活用されている。また、撮像装置によって撮像された画像に映る人物のプライバシーを保護する重要性が高まっている。

特許文献１では、まず背景画像を準備し、撮影した画像から輪郭線を取得し、取得した輪郭線を背景画像に上書きする技術が開示されている。

特開２００７－１３３８４７号公報

画像に映る人物の顔が小さい場合、当該人物の顔の輪郭を背景画像に重畳しても当該人物が誰であるかは識別ができない。一方で、画像に映る人物の顔が大きい場合、当該人物の顔の輪郭を背景画像に重畳した場合、当該人物が誰であるかを識別できることがある。

特許文献１では、顔抽出を用い、一定の閾値以上の大きさの顔は目鼻の輪郭を描かないという技術が開示されているが、画像から人物の顔を抽出する精度は低いことがある。そのため、特許文献１では、画像から人物の顔の抽出を適切に行えなかった場合、画像に大きく顔が映る人物に対して輪郭を重畳し、当該人物が誰であるかを識別可能にしてしまい、プライバシーを保護できないことがあった。

そこで、本発明は、撮像した画像に映る人物のプライバシーを適切に保護することを目的としている。

本発明の一態様による画像処理装置は、撮像手段により撮像された撮像画像から動体を検知する検知手段と、前記撮像画像からエッジを抽出する抽出手段と、前記撮像画像に含まれる前記動体の位置に基づき、当該動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における当該動体に対応する領域に対して前記エッジを重畳するかを決定する決定手段と、前記背景画像における前記動体に対応する領域に前記シルエット画像が重畳された出力画像であって、前記決定手段により前記エッジを重畳すると決定された前記背景画像における領域に前記エッジが重畳された出力画像を生成する生成手段と、を有し、前記決定手段は、前記撮像画像に含まれる動体と前記撮像手段との距離が閾値を超える場合、前記動体に対応する領域を、前記背景画像に前記エッジが重畳させる領域として決定することを特徴とする

本発明によれば、撮像した画像に映る人物のプライバシーを適切に保護することができる。

システム構成を示す図である。画像処理装置の機能ブロックを示す図である。出力画像を生成する処理の流れを示すフローチャートである。出力画像を生成する処理を説明するための図である。設定画面を説明するための図である。出力画像を生成する処理の流れを示すフローチャートである。出力画像を生成する処理を説明するための図である。設定画面を説明するための図である。各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

本実施形態に係る画像処理装置１００は、撮像装置１１０により撮像された撮像画像に対し、出力画像を生成する生成処理を次のように実行する。すなわち、本実施形態に係る画像処理装置１００は、撮像画像から動体を検知し、撮像画像からエッジを抽出する。更に、画像処理装置１００は、検知した動体の位置に基づき、動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における当該動体に対応する領域に対してエッジを重畳するかを決定する。そして、画像処理装置１００は、シルエット画像が背景画像に重畳された画像であって、エッジを重畳すると決定された背景画像における領域に抽出されたエッジが重畳された画像を生成する。なお、画像処理装置１００による出力画像の生成処理についての詳しい説明は後述する。なお、画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。

画像処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、無線ＬＡＮ（ＷｉｒｅｌｅｓｓＬａｎ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）等により実現されてもよい。

撮像装置１１０は、画像を撮像する装置である。撮像装置１１０は、撮像した画像である撮像画像に基づく画像データと、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、画像処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。

記録装置１２０は、撮像装置１１０が撮像した撮像画像の画像データと、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、画像処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（撮像画像、識別情報など）を画像処理装置１００へ送信する。

ディスプレイ１３０は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等により構成された表示装置である。また、ディスプレイ１３０は、ＨＤＭＩ（登録商標）（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１００と接続されている。

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した撮像画像や、後述する画像処理に係る設定画面等を表示する。なお、ディスプレイ１３０、画像処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。

次に、図２に示す本実施形態に係る画像処理装置１００の機能ブロックを参照して、本実施形態に係る画像処理装置１００の画像処理について説明する。なお、図２に示す各機能は、本実施形態の場合、図９に示すＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９２０とＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９００とを用いて、次のようにして実現されるものとする。図２に示す各機能は、画像処理装置１００のＲＯＭ９２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ９００が実行することにより実現される。

通信部２００は、図９を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）９４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した撮像画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンドなどを含む。

記憶部２０１は、図９を参照して後述するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９１０やＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）９３０等によって実現でき、画像処理装置１００による生成処理に関わる情報やデータを記憶する。例えば、記憶部２０１は、撮像画像から検知された動体の位置に関する情報を記憶する。

表示制御部２０２は、撮像装置１１０が撮像した撮像画像や、本実施形態に係る生成処理に関する設定を行う設定画面、生成処理により生成された出力画像などをディスプレイ１３０に表示させる。なお、表示制御部２０２によりディスプレイ１３０に表示される設定画面や出力画像についての詳しい説明は後述する。

操作受付部２０３は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。

検知部２０４は、撮像画像に含まれる動体を検知する。なお、検知部２０４は、通信部２００が受信した撮像画像と背景画像とを比較する背景差分法により、動体を検知するものとする。なお、背景画像は、画像にプライバシーを保護する対象（隠蔽対象）とする特定の物体（本実施形態では人物）が含まれていない状態の画像であるものとする。

検知部２０４は、例えば、背景画像に対する差分の領域を示す前景領域を「１」とし、その他の領域を「０」とする２値画像を生成する。この場合、検知部２０４は、例えば、背景画像の各画素と撮像画像の各画素とで差分値を算出し、算出した差分値が閾値以上の画素については前景領域を表す「１」を設定し、閾値未満の場合は「０」を設定することにより、２値画像を生成することができる。このようにして検知部２０４は、特定した前景領域を動体とする。なお、検知部２０４により検知される動体は、背景差分法により特定される静止した前景領域を含むものとする。なお、検知部２０４は、背景差分のみならず、他の手法によって前景領域を特定してもよい。例えば、検知部２０４は、前フレームと現在のフレームとのフレーム間差分処理を行って、動体を検知してもよい。

抽出部２０５は、撮像画像からエッジを抽出する。なお、本実施形態に係る抽出部２０５は、検知部２０４により検知された撮像画像における動体に対応する領域からエッジを抽出する。具体的には、抽出部２０５は、例えば、撮像画像における動体に対応する領域において隣接する画素同士の輝度や明度の差分を算出し、算出した輝度（または明度）が閾値を超えた場合、輝度（または明度）の値が高い方の画素をエッジとして抽出する。なお、抽出部２０５は、撮像画像全体からエッジを抽出するようにしてもよいし、撮像画像において予め設定された領域からエッジを抽出するようにしてもよい。なお、撮像画像からエッジを抽出する方法としては、公知の技術を用いればよく、ソーベルフィルタやラプラシアンフィルタを用いる方法、キャニー法などを用いてもよい。

決定部２０６は、撮像画像に含まれる動体の位置に基づき、動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における動体に対応する領域に対してエッジを重畳するかを決定する。本実施形態における決定部２０６は、検知部２０４により検知された動体が撮像画像における所定位置より上部に位置する場合、背景画像における当該動体に対応する領域に対してエッジを重畳すると決定する。なお、決定部２０６は、撮像画像に含まれる動体と撮像装置１１０との距離を取得し、取得した距離が閾値以上の場合、背景画像における当該動体に対応する領域に対してエッジを重畳すると決定するようにしてもよい。この場合、決定部２０６は、撮像画像に含まれる動体と撮像装置１１０との距離が閾値未満の場合、背景画像における当該動体に対応する領域に対してエッジを重畳しないと決定する。決定部２０６による処理の詳細な説明については後述する。

生成部２０７は、検知部２０４により検知された動体の領域を抽象化したシルエット画像を生成する。シルエット画像とは、被写体のプライバシーを守るために、抽象化（個人を識別できないように画像を加工）したものである。生成部２０７は、例えば、画像における動体の領域を所定の色（青や赤など）に塗りつぶしたり、当該動体の領域をモザイクにしたりすることで、シルエット画像を生成する。なお、シルエット画像は、個人を識別できないよう画像を加工するものであればよく、上記の方法には限らない。

また、生成部２０７は、背景画像における動体に対応する領域にシルエット画像が重畳された出力画像であって、決定部２０６によりエッジを重畳すると決定された背景画像における領域に抽出部２０５により抽出されたエッジが重畳された出力画像を生成する。生成部２０７により生成された出力画像は表示制御部２０２によってディスプレイ１３０に表示される。なお生成部２０７により生成される出力画像は、ディスプレイ１３０等の表示装置に表示されるだけでなく、記憶部２０１に記憶したり、記録装置１２０等の外部装置へ配信したりしてもよい。

なお、本実施形態において検知部２０４による背景差分法にて用いられる背景画像と、シルエット画像が重畳される背景画像は異ならせてもよい。例えば、検知部２０４による背景差分法にて用いられる背景画像は、直近５フレームの撮像画像に基づき生成された画像とし、シルエット画像が重畳される背景画像は予めユーザが設定した画像であってもよい。

次に、図３および図４を参照して、本実施形態に係る画像処置装置１００の画像処理について更に詳細に説明する。なお、図３は、本実施形態に係る画像処理装置１００による出力画像を生成する生成処理の流れを示すフローチャートである。また、図４は、本実施形態に係る画像処理装置１００による出力画像を生成する生成処理を説明するための図である。なお、図３に示すフローを実行することにより、シルエット画像が背景画像に重畳された画像であって、決定部２０６によりエッジを重畳すると決定された背景画像における領域に抽出部２０５により抽出されたエッジが重畳された画像が生成される。

なお、図３に示すフローチャートは、なお、図３に示すフローチャートの処理は、ユーザによる操作に従って開始または終了するものとする。なお、図３に示すフローチャートの処理は、画像処理装置１００のＲＯＭ９２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ９００が実行して実現される図２に示す各機能ブロックにより実行されるものとする。

図３に示すＳ３０１にて、通信部２００は、撮像装置１１０が撮像した撮像画像を受信する。図４（ａ）は、Ｓ３０１にて通信部２００が受信する撮像画像の一例を示す図である。図４（ａ）に示すように、通信部２００が受信した撮像画像には人物４０１ａ～４０４ａの４人が含まれている。

次にＳ３０２にて、検知部２０４は、通信部２００が受信した撮像画像と、背景画像とで比較を行い、動体を検知する。具体的には、検知部２０４は、撮像画像の各画素の輝度と、背景画像の各画素の輝度とで差分値を算出し、算出した差分値が閾値以上の画素を動体として検知する。図４（ｂ）は、撮像画像から検知された動体を示す図である。図４（ｂ）に示す動体領域４０１ｂ～４０４ｂは、検知部２０４により検知された動体の領域である。

なお、検知部２０４が動体を検知するにあたって用いる背景画像は、生成部２０７により生成されるものとする。例えば、生成部２０７は、現在注目している最新の撮像画像より前に撮像された直近の５フレーム分の撮像画像を用いて、当該５フレーム分の撮像画像の各画素値の平均値を求めることで背景画像を生成する。なお、生成部２０７により生成される背景画像は予め登録されたものであってもよい。なお、図４（ｅ）に示す撮像画像は、生成部２０７により生成される背景画像の一例である。

次に、Ｓ３０３にて、生成部２０７は、検知部２０４により検知された動体の領域を抽象化したシルエット画像を生成する。図４（ｃ）に示すシルエット画像４０１ｃ～４０４ｃは、検知部２０４により検知された動体領域４０１ｂ～４０４ｂに対して、生成部２０７によって、抽象化（個人を識別できないように画像を加工）の処理が行われた画像である。本実施形態における生成部２０７は、動体領域４０１ｂ～４０４ｂの各々に対し、単色で塗りつぶすことでシルエット画像４０１ｃ～４０４ｃを生成する。

次に、Ｓ３０４にて、抽出部２０５は、撮像画像からエッジを抽出する。本実施形態における抽出部２０５は、検知部２０４により検知された撮像画像における動体に対応する領域からエッジを抽出する。具体的には、抽出部２０５は、検知部２０４により検知された撮像画像における動体領域４０１ｂ～４０４ｂごとに、動体領域を囲う領域であって、当該動体領域より面積の大きい領域からエッジを抽出する。なお、本実施形態における抽出部２０５は、動体に対応する領域からエッジを抽出するものとしたが、画像全体からエッジを抽出してもよい。

次に、Ｓ３０５にて、決定部２０６は、撮像画像に含まれる動体の位置に基づき、背景画像における当該動体に対応する領域に対して抽出部２０５により抽出されたエッジを重畳するかを決定する。本実施形態における決定部２０６は、検知部２０４により検知された動体が撮像画像における所定位置より上部に位置する場合、背景画像における当該動体に対応する領域を、エッジが重畳される領域として決定する。一方、決定部２０６は、検知部２０４により検知された動体が撮像画像における所定位置より下部に位置する場合、背景画像における当該動体に対応する領域を、エッジが重畳されない領域として決定する。

図４に示す例では、決定部２０６は、動体領域４０１ｂ～４０４ｂのうち、背景画像における領域であって、撮像画像における所定位置であるライン４０５より上部に位置する動体領域に対応する背景画像における領域を、エッジが重畳される領域として決定する。図４（ｂ）に示す例では、決定部２０６は、動体領域４０１ｂおよび４０２ｂを、背景画像にエッジが重畳される領域として決定する。なお、このとき、決定部２０６は、動体領域４０１ｂ～４０４ｂ各々の重心位置とライン４０５とを比較し、ライン４０５より重心位置が上部に位置する動体領域を、背景画像にエッジが重畳される領域として決定するものとする。なお、一つの動体領域とライン４０５が重なっている場合、決定部２０６は、次のような処理を行ってもよい。すなわち、決定部２０６は、当該動体領域においてライン４０５より上部の領域を、背景画像にエッジが重畳される領域として決定し、当該動体領域においてライン４０５より下部の領域を、背景画像にエッジが重畳されない領域といて決定するようにしてもよい。

次に、Ｓ３０６にて、生成部２０７は、生成したシルエット画像が背景画像に重畳された出力画像であって、決定部２０６によりエッジを重畳すると決定された背景画像における領域に抽出部２０５により抽出されたエッジが重畳された出力画像を生成する。図４（ｄ）に示す画像は、生成部２０７により生成される出力画像の一例を示す図である。図４（ｄ）に示すように、生成部２０７は、シルエット画像４０１ｃ～４０４ｃが背景画像に重畳された出力画像であって、決定部２０６によりエッジを重畳すると決定された動体領域４０１ｂおよび４０２ｂに対しエッジが重畳された出力画像を生成する。図４（ｄ）に示す出力画像のシルエット画像４０１ｄが示すように、シルエット画像４０１ｃが背景画像に重畳された出力画像であって、撮像画像における動体領域４０１ｂから抽出されたエッジが背景画像に重畳された出力画像が生成されている。シルエット画像４０１ｄが示すように、シルエット画像４０１ｃに対して動体領域４０１から抽出されたエッジが重畳されたような出力画像が生成される。同様に、シルエット画像４０２ｄが示すように、シルエット画像４０２ｃが背景画像に重畳された出力画像であって、撮像画像における動体領域４０２ｂから抽出されたエッジが背景画像に重畳された出力画像が生成されている。

次に、Ｓ３０７にて、表示制御部２０２は、Ｓ３０６にて生成部２０７により生成された出力画像をディスプレイ１３０に表示させる。

次に、Ｓ３０８にて、ユーザにより終了が指示されている場合は、処理を終了し、終了が指示していなければ、Ｓ３０１へ遷移し、通信部２００は次のフレームの画像を取得する。

本実施形態では、撮像画像の手前側では人物が大きく映り、撮像画像の奥側では人物が小さく映る場合を想定している。そのため、撮像画像における所定位置であるライン４０５より上部の領域（撮像装置１１０からより遠い領域）に映る人物は比較的小さく映るため、エッジを重畳しても個人を識別可能な度合である識別性は低い。よって、ライン４０５より上部の領域（撮像装置１１０からより遠い領域）においては、人物の数が多く混雑していても、人物の各々のプライバシーを保護しつつ、エッジを重畳することで直感的に何人いるのかユーザに分かり易く提示することができる。

一方、撮像画像における所定位置であるライン４０５より下部の領域（撮像装置１１０により近い領域）に映る人物は比較的大きく映ってしまうため、エッジを重畳してしまうと、個人を識別可能な度合である識別性は高いことがある。よって、ライン４０５より下部の領域（撮像装置１１０により近い領域）においては、人物の各々のプライバシーを保護するために、エッジを重畳しない。なお、ライン４０５より下部の領域（撮像装置１１０により近い領域）においては、シルエット画像であっても比較的大きく映る。そのため、人物が混雑している場合であっても、エッジを重畳することなく、何人存在しているのか直感的にユーザは認識することができると考えられる。このように、本実施形態における画像処理装置１００の画像処理は、検知された動体の位置に応じて、適応的にエッジを重畳するか否かを制御する。このようにすることで、画像に映る人物のプライバシーを保護しつつ、画像に多くの人物が存在しても、何人いるのか把握しやすくすることができる。

なお、本実施形態における画像処理装置１００の決定部２０６は、画像に含まれる動体の位置に基づき、画像が示す全ての領域のうちから、背景画像に抽出部２０５が抽出したエッジが重畳される領域を決定したが、これに限らない。例えば、決定部２０６は、画像に含まれる動体の位置に基づき、画像が示す全ての領域においてユーザが指定した領域のうちから、背景画像に抽出部２０５が抽出したエッジが重畳される領域を決定してもよい。

ここで、図５を参照して、決定部２０６が、撮像画像に含まれる動体の位置に基づき、撮像画像が示す全ての領域においてユーザが指定した領域のうちから、背景画像に抽出部２０５が抽出したエッジが重畳される領域を決定する処理について説明する。図５に示す設定画面５０１は、表示制御部２０２によりディスプレイ１３０に表示される画面の一例である。設定画面５０１における撮像画像５０２は、撮像装置１１０が撮像した画像である。

対象領域５０３は、エッジが重畳される対象となる領域を示している。ユーザは、設定ボタン５０４を押すことで、撮像画像５０２に対し領域を表示し、当該領域のサイズと位置とをマウスのドラッグなどにより調節することで、対象領域５０３の設定を行うことができる。なお、図４を参照して説明した、背景画像に対しエッジを重畳するか否かの基準であるライン４０５は、図５に示すように、ユーザによって設定されてもよい。

最後に、ユーザは、ＯＫボタン５０５を押すことで、設定画面５０１上で設定した情報が保存され、設定画面５０１は閉じられる。一方、ユーザは、キャンセルボタン５０６を押した場合、設定画面５０１上で設定した情報は保存されずに設定画面５０１は閉じられる。

以上説明したように図５に示す設定画面５０１において対象領域５０３が設定された場合、決定部２０６は次のような処理を実行する。すなわち、決定部２０６は、画像に含まれる動体の位置と、設定された対象領域５０３の情報と、に基づき、背景画像に抽出部２０５が抽出したエッジが重畳される領域を決定する。例えば、画像から検知された動体がライン４０５より上部であっても、決定部２０６は、対象領域５０３以外の領域における当該動体の領域は、重畳領域としない。言い換えれば、本実施形態における決定部２０６は、ライン４０５より上部であり、対象領域５０３に含まれる動体の領域を重畳領域とする。

なお、本実施形態における決定部２０６は、撮像画像に含まれる動体の位置に基づき、背景画像における当該動体に対応する領域に対してエッジを重畳するかを決定するが、次のような処理を行ってもよい。すなわち、決定部２０６は、撮像画像から被写界深度に関連するパラメータである焦点距離の情報を取得し、取得した焦点距離の情報に基づき、撮像画像におけるボケが発生している領域を判定する。または、決定部２０６は、撮像画像から抽出したエッジの長さや密度に基づき、撮像画像におけるボケが発生している領域を判定する。そして、決定部２０６は、画像におけるボケが発生している領域から抽出部２０５により抽出されたエッジは背景画像に重畳する。一方、決定部２０６は、画像におけるボケが発生していない領域から抽出部２０５により抽出されたエッジは背景画像に重畳にしないようにする。この方法は、画像中の位置によって被写界深度に応じてボケ具合が変化することから、ボケが少ない領域では識別性が高いと考えられるため、そのような領域ではエッジを重畳しないという考えに基づいている。

撮像画像に含まれる顔の認識を行い、一定の閾値以上の大きさの顔から抽出されたエッジは背景画像に重畳しない技術では、撮像画像から適切に顔の認識を行えなかった場合、比較的大きく映る顔のエッジが背景画像に重畳されることがある。その結果、適切に画像に売る人物のプライバシーを保護できなくなることがある。しかしながら、本実施形態における画像処理装置１００は、検知された動体の位置に応じて、エッジを重畳させる重畳領域を決定し、適応的にエッジを重畳するか否かを制御する。このようにすることで、画像に映る人物のプライバシーを保護しつつ、さらに、画像に多くの人物が存在しても、何人いるのか把握しやすくすることができる。

（実施形態２）
本実施形態における画像処理装置１００は、画像を複数に分割した分割領域の各々の明るさに基づき、背景画像にエッジが重畳される領域を決定する。以下、図６および図７を参照して本実施形態に係る画像処置装置１００の画像処理について説明する。以下、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。図６に示すフローは、本実施形態における画像処理装置１００による生成処理の流れを説明するためのフローチャートである。図６に示すフローの生成処理を実行することで、画像を複数に分割した分割領域の各々の明るさに基づき、背景画像にシルエット画像とエッジが重畳された出力画像を生成および表示することができる。

なお、図３に示すフローチャートの処理は、ユーザによる操作に従って開始または終了するものとする。なお、図３に示すフローチャートの処理は、画像処理装置１００のＲＯＭ９２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ９００が実行して実現される図２に示す各機能ブロックにより実行されるものとする。

Ｓ３０１～Ｓ３０４までの処理は実施形態１と同様であるため説明を省略する。Ｓ６０１にて、決定部２０６は、撮像画像を複数に分割した分割領域の各々の明るさに基づき、背景画像にエッジが重畳される領域を決定する。図７（ａ）に示すように撮像画像７００に対して分割領域７０１～７０９が設定されている。決定部２０６は、分割領域７０１～７０９の各々について、明るさを算出する。具体的には、決定部２０６は、例えば、各分割領域における画素の輝度の平均値を算出することで、各分割領域における明るさを算出する。なお、決定２０６は、各分割領域における画素の明度の平均値を算出することで、各分割領域における明るさを算出するようにしてもよい。

Ｓ６０２にて、決定部２０６は、複数の分割領域のうち、明るさが所定の条件を満たす分割領域において検知された動体の領域を、背景画像にエッジが重畳される領域として決定する。具体的には、決定部２０６は、例えば、輝度の平均値が閾値を超える分割領域において検知された動体の領域を、背景画像にエッジが重畳される領域として決定する。Ｓ３０６～Ｓ３０７までの処理は実施形態１と同様であるため説明を省略する。

なお、本実施形態における決定部２０６は、複数の分割領域のうち、明るさが所定の条件を満たす分割領域において検知された動体の領域を、背景画像にエッジが重畳される領域として決定するがこれに限らない。例えば、決定部２０６は、撮像画像全体の明るさが所定の条件を満たす場合において、検知された動体の領域を、背景画像にエッジが重畳される領域として決定してもよい。このとき、決定部２０６は、撮像画像全体の各画素の輝度（または明度）の平均値が閾値を超える場合、検知された動体の領域を、背景画像にエッジが重畳される領域として決定する。

ここで、図８に示す設定画面８０１を参照して、本実施形態に係る出力画像を生成する処理に関する設定で用いられるユーザインターフェースについて説明する。図８に示す設定画面８０１は、表示制御部２０２によりディスプレイ１３０に表示される画面の一例である。画像５０２は、対象領域５０３は、設定ボタン５０４、ＯＫボタン５０５、およびキャンセルボタン５０６の説明は実施形態１と同様であるため説明を省略する。

分割領域８０１～８０９は、明るさの判定が行われる領域を示している。ユーザは、設定ボタン８１０をマウスのクリック等により押すことで、画像５０２に対し分割領域８０１～８０９の各々を設定することができる。例えば、ユーザは、設定ボタン８１０を押したのち表示される入力画面（不図示）上で分割領域の個数を入力することで、ユーザが入力した個数に基づく分割領域が設定画面８０１における画像５０２上に表示される。

なお、ユーザは、条件テーブル８１１におけるチェックボックスをマウス等により入力することで、実施形態１に係る処理により出力画像を生成するか、実施形態２に係る処理により出力画像を生成するか選択できるようにしてもよい。

以上説明したように本実施形態に係る画像処理装置１００の決定部２０６は、撮像画像の明るさに基づき、動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における当該動体に対応する領域に対してエッジを重畳するかを決定する。そして、画像処理装置１００は、シルエット画像が前記背景画像に重畳された画像であって、決定部２０６によりエッジを重畳すると決定された背景画像における領域に抽出部２０５により抽出されたエッジが重畳された画像を生成する。このようにすることで、撮像した画像に映る人物のプライバシーを適切に保護することができる。

（その他の実施形態）
次に図９を参照して、各実施形態の各機能を実現するための画像処理装置１００のハードウェア構成を説明する。なお、以降の説明において画像処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現される。

本実施形態における撮像装置１１０は、ＣＰＵ９００と、ＲＡＭ９１０と、ＲＯＭ９２０、ＨＤＤ９３０と、Ｉ／Ｆ９４０と、を有している。

ＣＰＵ９００は画像処理装置１００を統括制御する中央処理装置である。ＲＡＭ９１０は、ＣＰＵ１４００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１４１０は、ＣＰＵ９００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ９１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ９２０は、ＣＰＵ９００が画像処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ９３０は、画像データ等を記録する記憶装置である。

Ｉ／Ｆ９４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ９００が処理を実行する例について説明するが、ＣＰＵ９００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）や画像データを表示する処理は、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）で実行してもよい。また、ＲＯＭ９２０からプログラムコードを読み出してＲＡＭ９１０に展開する処理は、転送装置として機能するＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、撮像装置１１０の各部は、図９に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

なお、各実施形態に係る画像処理装置１００の１以上の機能は、撮像装置１１０が有していてもよい。例えば、図１に示す画像処理装置１００の検知部２０４、抽出部２０５、決定部２０６、生成部２０７は撮像装置１１０が有していてもよい。この場合、撮像装置１１０は、上述した各実施形態に係る画像処理により生成した出力画像を外部装置（画像処理装置１００等）へ送信する。そして、当該外部装置に接続された表示装置（ディスプレイ１３０等）に出力画像が表示されるようにしてもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００画像処理装置
１１０撮像装置
１２０記録装置
１３０ディスプレイ
２００通信部
２０１記憶部
２０２表示制御部
２０３操作受付部
２０４検知部
２０５抽出部
２０６決定部
２０７生成部

Claims

撮像手段により撮像された撮像画像から動体を検知する検知手段と、
前記撮像画像からエッジを抽出する抽出手段と、
前記撮像画像に含まれる前記動体の位置に基づき、当該動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における当該動体に対応する領域に対して前記エッジを重畳するかを決定する決定手段と、
前記背景画像における前記動体に対応する領域に前記シルエット画像が重畳された出力画像であって、前記決定手段により前記エッジを重畳すると決定された前記背景画像における領域に前記エッジが重畳された出力画像を生成する生成手段と、を有し、
前記決定手段は、前記撮像画像に含まれる動体と前記撮像手段との距離が閾値を超える場合、前記動体に対応する領域を、前記背景画像に前記エッジが重畳させる領域として決定することを特徴とする画像処理装置。
前記抽出手段は、前記撮像画像に含まれる動体に対応する領域からエッジを抽出することを特徴とする請求項１に記載の画像処理装置。
前記検知手段は、背景差分法により前記撮像画像から前記動体を検知することを特徴とする請求項１または２に記載の画像処理装置。
前記生成手段により生成された出力画像を表示装置に出力する出力手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
撮像手段により撮像された撮像画像から動体を検知する検知手段と、
前記撮像画像からエッジを抽出する抽出手段と、
前記撮像画像の明るさに基づき、前記動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における当該動体に対応する領域に対して前記エッジを重畳するかを決定する決定手段と、
前記背景画像における前記動体に対応する領域に前記シルエット画像が重畳された出力画像であって、前記決定手段により前記エッジを重畳すると決定された前記背景画像における領域に前記エッジが重畳された出力画像を生成する生成手段と、を有することを特徴とする画像処理装置。
前記決定手段は、前記撮像画像を複数に分割した分割領域の明るさに基づき、前記背景画像における領域であって、前記分割領域の前記動体に対応する領域に対して前記エッジを重畳するかを決定することを特徴とする請求項５に記載の画像処理装置。
前記決定手段は、前記背景画像における領域であって、複数の前記分割領域のうち、輝度の平均値が閾値以下の分割領域における前記動体に対応する領域に対して前記エッジを重畳すると決定することを特徴とする請求項６に記載の画像処理装置。
前記抽出手段は、前記撮像画像に含まれる動体に対応する領域からエッジを抽出することを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
前記検知手段は、背景差分法により前記撮像画像から前記動体を検知することを特徴とする請求項５乃至８のいずれか１項に記載の画像処理装置。
前記生成手段により生成された出力画像を表示装置に出力する出力手段を更に有することを特徴とする請求項５乃至９のいずれか１項に記載の画像処理装置。
撮像手段により撮像された撮像画像から動体を検知する検知手段と、
前記撮像画像からエッジを抽出する抽出手段と、
前記撮像画像に含まれる前記動体の位置に基づき、当該動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における当該動体に対応する領域に対して前記エッジを重畳するかを決定する決定手段と、
前記背景画像における前記動体に対応する領域に前記シルエット画像が重畳された出力画像であって、前記決定手段により前記エッジを重畳すると決定された前記背景画像における領域に前記エッジが重畳された出力画像を生成する生成手段と、を有し、
前記決定手段は、前記撮像画像に含まれる動体が前記撮像画像における所定位置より上部に位置する場合、前記背景画像における前記動体に対応する領域を、前記エッジが重畳される領域として決定することを特徴とする画像処理装置。
前記撮像手段により撮像された撮像画像に対し、ユーザによるラインの指定を受け付ける受付手段を更に有し、
前記決定手段は、前記動体が前記撮像画像における前記ラインより上部に位置する場合、前記背景画像における前記動体の領域を、前記エッジが重畳される領域として決定することを特徴とする請求項１１に記載の画像処理装置。
撮像手段により撮像された撮像画像から動体を検知する検知手段と、
前記撮像画像からエッジを抽出する抽出手段と、
前記撮像画像に含まれる前記動体の位置に基づき、当該動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における当該動体に対応する領域に対して前記エッジを重畳するかを決定する決定手段と、
前記背景画像における前記動体に対応する領域に前記シルエット画像が重畳された出力画像であって、前記決定手段により前記エッジを重畳すると決定された前記背景画像における領域に前記エッジが重畳された出力画像を生成する生成手段と、を有し、
前記抽出手段は、前記撮像画像に含まれる動体に対応する領域からエッジを抽出することを特徴とすることを特徴とする画像処理装置。
撮像手段により撮像された撮像画像から動体を検知する検知工程と、
前記撮像画像からエッジを抽出する抽出工程と、
前記撮像画像に含まれる前記動体の位置に基づき、当該動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における当該動体に対応する領域に対して前記エッジを重畳するかを決定する決定工程と、
前記背景画像における前記動体に対応する領域に前記シルエット画像が重畳された出力画像であって、前記決定工程において前記エッジを重畳すると決定された前記背景画像における領域に前記エッジが重畳された出力画像を生成する生成工程と、を有し、
前記決定工程は、前記撮像画像に含まれる動体と前記撮像手段との距離が閾値を超える場合、前記動体に対応する領域を、前記背景画像に前記エッジが重畳させる領域として決定することを特徴とする画像処理方法。
撮像手段により撮像された撮像画像から動体を検知する検知工程と、
前記撮像画像からエッジを抽出する抽出工程と、
前記撮像画像の明るさに基づき、前記動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における当該動体に対応する領域に対して前記エッジを重畳するかを決定する決定工程と、
前記背景画像における前記動体に対応する領域に前記シルエット画像が重畳された出力画像であって、前記決定工程において前記エッジを重畳すると決定された前記背景画像における領域に前記エッジが重畳された出力画像を生成する生成工程と、を有することを特徴とする画像処理方法。
撮像手段により撮像された撮像画像から動体を検知する検知工程と、
前記撮像画像からエッジを抽出する抽出工程と、
前記撮像画像に含まれる前記動体の位置に基づき、当該動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における当該動体に対応する領域に対して前記エッジを重畳するかを決定する決定工程と、
前記背景画像における前記動体に対応する領域に前記シルエット画像が重畳された出力画像であって、前記決定工程により前記エッジを重畳すると決定された前記背景画像における領域に前記エッジが重畳された出力画像を生成する生成工程と、を有し、
前記決定工程は、前記撮像画像に含まれる動体が前記撮像画像における所定位置より上部に位置する場合、前記背景画像における前記動体に対応する領域を、前記エッジが重畳される領域として決定することを特徴とする画像処理方法。
撮像手段により撮像された撮像画像から動体を検知する検知工程と、
前記撮像画像からエッジを抽出する抽出工程と、
前記撮像画像に含まれる前記動体の位置に基づき、当該動体の領域を抽象化したシルエット画像が重畳される画像である背景画像における当該動体に対応する領域に対して前記エッジを重畳するかを決定する決定工程と、
前記背景画像における前記動体に対応する領域に前記シルエット画像が重畳された出力画像であって、前記決定工程により前記エッジを重畳すると決定された前記背景画像における領域に前記エッジが重畳された出力画像を生成する生成工程と、を有し、
前記抽出工程は、前記撮像画像に含まれる動体に対応する領域からエッジを抽出することを特徴とすることを特徴とする画像処理方法。
コンピュータを請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
コンピュータを請求項５乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
コンピュータを請求項１１または１２に記載の画像処理装置の各手段として機能させるためのプログラム。
コンピュータを請求項１３に記載の画像処理装置の各手段として機能させるためのプログラム。