JP7547080B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、撮像された画像に対する情報処理技術に関する。

監視を目的とした撮像装置の設置が広まる一方で、撮像装置により撮像された撮像画像に映る人物のプライバシーを保護する重要性が高まっている。撮像画像に映る人物のプライバシーを保護する手法として、例えば、撮像画像と背景画像とを比較して撮像画像中の人物を前景領域として抽出し、その前景領域を隠蔽する情報処理を行った出力画像を生成するような手法がある。

また、特許文献１では、現在の撮像画像内の画素の輝度値と、過去一定フレーム前までの撮像画像内の同一位置の画素の輝度値との差分の最大値が閾値を超えた領域を、前景領域として抽出する技術が開示されている。さらに特許文献２では、撮像画像から人物を検出し、人物の領域を前景領域として抽出する技術が開示されている。

特開２００９－１８１２２０号公報 特開２０１５－８０２２０号公報

しかしながら、特許文献１の技術では、撮像装置の自動露出が働いた場合に、背景の輝度値が変化し、過去フレームの輝度値との差分が閾値を超えることで、背景が前景領域として誤って判定される可能性がある。また特許文献２の技術では、人物の領域のみが前景領域となるため、自動露出によって背景に輝度変化が生じた場合にも対応できるが、人物検出処理は負荷が大きく、高フレームレートの画像や複数の撮像装置の画像を１台の情報処理装置で処理するのが難しい。また、人物検出に失敗した場合には、撮影画像の映る人物（つまりプライバシー保護対象として遮蔽されるべき領域）が露出してしまう、もしくは本来は映るべき領域が誤って遮蔽されて表示されなくなるという問題が発生する可能性がある。

そこで本発明は、処理負荷の低減を可能にしつつ、自動露出が働いた場合であっても、適切な領域のプライバシーの保護を可能とすることを目的とする。

本発明の情報処理装置は、撮像画像と所定の画像との差分を基に、前記撮像画像から少なくとも前景領域を検出する検出手段と、前記検出手段によって前記検出された前景領域について、時間経過における輝度変化に基づいて、前景領域として確定するか判定する判定手段と、を有し、前記判定手段は、前記検出手段によって前記検出された前景領域について、時間経過における輝度変化の勾配が所定未満の緩やかな変化である場合には前記前景領域ではないと判定し、現フレームの撮像画像から前記検出手段によって検出された前記前景領域の注目画素の画素値と、前フレームの撮像画像において前記注目画素に対応した画素の画素値との差分絶対値が、所定の閾値を超えるかを判定し、前記所定の閾値を超えると判定した場合に、前記時間経過における輝度変化の勾配が所定以上の急激な変化であるとして、前記注目画素を前記前景領域に含まれる画素として確定し、前記現フレームの撮像画像から前記検出手段によって検出された前記前景領域の注目画素に対応した、前記前フレームの撮像画像の画素が、前記前景領域に含まれると判定されている場合には、前記現フレームの撮像画像の前記注目画素について前記差分絶対値が前記所定の閾値を超えるか否かの判定を行わずに前記前景領域に含まれる画素として確定することを特徴とする。

本発明によれば、処理負荷の低減を可能にしつつ、自動露出が働いた場合であっても、適切な領域のプライバシーの保護が可能となる。

システム構成の一例を示す図である。 情報処理装置の機能構成の一例を示すブロック図である。 注目画素の輝度値の変化をグラフとして示す図である。 注目画素の輝度値の変化を表として示す図である。 前景領域を抽出する処理の流れを示すフローチャートである。 各装置のハードウェア構成の一例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。また、同一の構成については、同じ符号を付して説明する。
図１は、本実施形態におけるシステム構成を示す図である。本実施形態のシステムは、情報処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

情報処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

情報処理装置１００は、後述する本実施形態に係る情報処理機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。
撮像装置１１０は、画像を撮像する装置である。撮像装置１１０は、撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、情報処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。

記録装置１２０は、撮像画像の画像データと撮像時刻の情報と識別情報とを関連付けて記録する。また、情報処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像、撮像時刻、識別情報など）を情報処理装置１００へ送信する。

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、情報処理装置１００の情報処理の結果や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置１００と接続されている。また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した画像や、後述する情報処理による結果等を表示する。

なお、ディスプレイ１３０、情報処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。また、情報処理装置１００および撮像装置１１０は単一の筐体に設けられていてもよい。すなわち撮像装置１１０が後述する情報処理装置１００の機能および構成を有していてもよい。

また、情報処理装置１００の情報処理の結果や、撮像装置１１０により撮像された画像は、情報処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち例えば、情報処理結果や撮像画像は、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

次に、図２に示す情報処理装置１００の機能ブロックを参照し、本実施形態に係る情報処理装置１００で行われる情報処理について説明する。なお本実施形態において、図２に示す各機能は、図６を参照して後述するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６００とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６２０とを用いて実現されるものとする。すなわち図２に示す各機能は、情報処理装置１００のＲＯＭ６２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ６００が実行することにより実現される。

通信部２００は、図６を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）６４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば撮像装置１１０から撮像画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば撮像装置１１０に対して画像を撮像するように指示するコマンドなどを含む。

記憶部２０１は、図６を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）６３０等によって実現でき、情報処理装置１００による情報処理に関わる情報やデータを記憶する。

操作受付部２０２は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。本実施形態の場合、操作受付部２０２は、例えば、撮像画像から前景物体の領域を抽出する際に用いられる所定の画像を指定するユーザ操作などを受け付ける。

本実施形態において、所定の画像は、プライバシー保護の対象（つまり隠蔽対象）とする特定の物体が含まれない背景画像であり、例えば、人物がプライバシー保護の対象となる特定の物体である場合には当該人物が含まれない画像である。このように、プライバシー保護の対象となる特定の物体が含まれない撮像画像が所定の画像としてユーザにより指定されると、その撮像画像は、背景画像として記憶部２０１に記憶される。なお、本実施形態の場合、ユーザにより指定された撮像画像を背景画像として記憶部２０１に記憶させる処理は、例えば、生成部２０５により行われるとする。

設定部２０３は、本実施形態の情報処理装置１００において使用される各種の値を設定する。本実施形態の場合、設定部２０３にて設定される値には、背景差分法を用いて撮像画像から前景物体の領域を抽出する際の閾値や、画像の輝度変化について自動露出が働いた際の勾配の緩やかな輝度変化かどうかを判定する際の閾値などが含まれる。本実施形態の場合、これらの閾値は、例えば予めユーザにより指定されるとする。なお、これら閾値を含む各種の設定値は、記憶部２０１に記憶しておいてもよい。

抽出部２０４は、撮像装置１１０によって取得された撮像画像から、例えば背景差分法を用いて前景物体の領域（以下、前景領域とする）を検出する。本実施形態の場合、抽出部２０４は、例えば、撮像画像と、予め取得して記憶しておいた背景画像（つまり所定の画像）とを比較することにより、当該撮像画像から前景領域を検出する。そして本実施形態において、抽出部２０４は、その検出した前景領域について、時間経過における輝度変化に基づいて前景領域として確定するかを判定する。

具体的には、抽出部２０４は、撮像画像の注目画素の画素値と、取得済みの背景画像内で当該注目画素に対応した画素の画素値との差分値を算出し、その差分値と所定の閾値との比較結果から、当該注目画素が前景領域に含まれる画素であるかを判定する。本実施形態の場合、抽出部２０４は、前述の差分値として、撮像画像の注目画素の輝度値と、取得済みの背景画像内で当該注目画素に対応する画素の輝度値との、差分（輝度差）の絶対値を算出する。そして、抽出部２０４は、差分絶対値が閾値以上である場合、撮像画像内の当該注目画素は前景領域の画素であると判定し、その注目画素に対して前景であることを表す情報を設定する。一方、抽出部２０４は、差分絶対値が閾値未満である場合、撮像画像内の当該注目画素は前景領域の画素ではない（つまり背景領域の画素である）と判定し、その注目画素に対しては前景でないことを表す情報を設定する。

本実施形態の場合、抽出部２０４は、注目画素に対して、前景であることを表す情報として所定のフラグに「１」を設定し、一方、前景でないことを表す情報として所定のフラグに「０」を設定する。抽出部２０４は、このような処理を、撮像画像の各画素についてそれぞれ行うことにより、撮像画像から前景領域を検出する。すなわち抽出部２０４は、撮像画像から、前景であるとして所定のフラグに「１」が設定されている各画素からなる領域を、前景領域として検出する。なお、本実施形態において、注目画素が前景領域の画素であるかどうかを判定する際に用いる閾値、つまり前述した輝度値の差分絶対値との比較に用いられる閾値を、以下、領域判定閾値と呼ぶことにする。また、本実施形態において、注目画素に対して設定されて前景領域の検出に用いられる所定のフラグを領域判定フラグと呼ぶことにする。

また本実施形態の抽出部２０４は、前景として領域判定フラグに「１」が設定された注目画素について、さらに、時間経過における輝度変化の勾配が所定以上となる急激な変化であるか、或いは輝度変化の勾配が所定未満となる緩やかな変化であるかを判定する。そして抽出部２０４は、時間経過における輝度変化の勾配が所定未満で緩やかであると判定した場合、当該緩やかな輝度変化は、自動露出が働いたことによる変化であると判断し、その注目画素に対し、領域判定フラグの値を「０」に設定し直す。これにより、背景差分法によって前景であるとして領域判定フラグに「１」が設定された画素のうち、自動露出が働いたことによって輝度変化が緩やかであると判定された画素は、背景領域の画素（前景でない画素）であるとして確定されることになる。一方、背景差分法によって前景であるとして領域判定フラグに「１」が設定された画素のうち、時間経過における輝度変化の勾配が所定以上で急激であると判定された画素は、前景領域の画素（背景でない画素）として確定される。このように、抽出部２０４は、前述のような背景差分法によって検出した前景領域について、時間経過における輝度変化の勾配に基づいて、前景領域として確定するかどうかを判定している。なお、時間経過における輝度変化の勾配が急激であるか或いは緩やかであるかの判定処理と、その判定結果に基づく前景領域の確定処理の詳細な説明は後述する。

本実施形態では、撮像画像と取得済みの背景画像とを比較する背景差分法を用いて撮像画像から前景領域を検出する例を挙げたが、前景領域の検出手法はこの例に限定されない。例えば、抽出部２０４は、現フレームの撮像画像と、所定の画像としての過去フレームの画像との間のフレーム間差分を基に、撮像画像に含まれる前景領域を検出する手法を用いてもよい。この例の場合、抽出部２０４は、現フレームの撮像画像内の画素値と、過去フレームの画像内の同一位置の画素値との差分値を基に、前景領域を検出する。また本実施形態では、所定の画像としての背景画像は、ユーザによる指定に基づいて生成される例を挙げたが、背景画像の生成手法はこの例に限定されない。例えば、背景画像は、撮像画像から人物等の特定の被写体領域を検出し、その検出した特定の被写体領域を除いた領域の画像を背景画像とするような手法によって予め生成されてもよい。背景画像は、他の方法により生成されてもよく、現在の状態に近く、プライバシー保護の対象である特定の物体が写っていない画像として得られればよい。また例えば、背景領域において、フレームごとの画像内で前景が一定時間写っていないと判断された部分については、その部分の画素値を、現在の画素値で更新していくようにしてもよい。

生成部２０５は、抽出部２０４において前述のようにして確定された前景領域に対応するマスク画像を生成する。マスク画像は、前景領域に対し、例えば、１色もしくは数色で塗りつぶしたり、ぼかしを入れたり、モザイクをいれたりする画像などである。つまり、マスク画像は、プライバシー保護の対象となる特定の物体が写った領域（前景領域）を、隠蔽できる画像であればどのような画像でもよい。

合成部２０６は、ディスプレイ１３０等の表示手段に表示させるための出力画像を生成する機能部であって、生成部２０５によって生成されたマスク画像と、所定の画像とを合成した出力画像を生成する。本実施形態において、所定の画像は前述の前景領域の検出に用いた背景画像であり、合成部２０６は、生成部２０５にて生成されたマスク画像と、前景領域の検出に用いた背景画像とを合成した出力画像を生成する。またこれに限らず、合成部２０６は、例えば現在の処理対象となっている撮像画像を所定の画像として用い、前述のマスク画像と合成することで出力画像を生成してもよい。その他にも、合成部２０６は、前景領域の検出に用いた背景画像とは異なる他の背景画像を所定の画像として用い、前述のマスク画像と合成することで出力画像を生成してもよい。

出力制御部２０７は、合成部２０６によって生成された出力画像を、外部装置（記録装置１２０、ディスプレイ１３０等）へ出力する。例えば、外部装置がディスプレイ１３０である場合、合成部２０６により生成された出力画像はそのディスプレイ１３０に表示される。

次に、図３（ａ）、図３（ｂ）、図４（ａ）、および図４（ｂ）を参照して、本実施形態に係る情報処理装置１００で行われる情報処理について説明する。
図３（ａ）と図３（ｂ）は、撮像画像内の注目画素の輝度値の変化を示したグラフである。横軸は経過フレーム数、縦軸は注目画素の輝度値を表している。図４（ａ）および図４（ｂ）の表内の「Ｎｏ．」はフレーム番号を示しており、「輝度値」は各フレームの画像における注目画素の輝度値を示している。また図４（ａ）および図４（ｂ）の表内の「差分値」は、撮像画像の注目画素の輝度値と、その撮像画像のフレームに対して一つ前のフレーム内で同一位置の画素の輝度値との差分値を示している。図３（ａ）のグラフは図４（ａ）の表を基に注目画素の輝度値を経過フレームの順（つまり時間経過の順）にプロットしたものであり、同様に、図３（ｂ）のグラフは図４（ｂ）の表を基に注目画素の輝度値を経過フレームの順にプロットしたものである。

ここで例えば、背景画像の輝度値を「１００」とし、背景差分法において前景領域の画素を判定する際の前述した領域判定閾値を「５０」とする。この例の場合、背景差分法では、注目画素の輝度値と背景画像の輝度値である「１００」との差分の絶対値が、領域判定閾値である「５０」以上である場合、その注目画素は前景に含まれる画素と判定される。すなわち抽出部２０４は、注目画素の輝度値と背景画像の輝度値の差分絶対値が、領域判定閾値の「５０」以上である場合、その注目画素は前景に含まれる画素であると判定する。一方、注目画素の輝度値と背景画像の輝度値との差分の絶対値が、領域判定閾値の「５０」未満である場合、抽出部２０４は、その注目画素は前景に含まない画素、つまり背景に含まれる画素であると判定する。そして、抽出部２０４は、背景差分法において前景領域に含まれると判定した注目画素には領域判定フラグ「１」を設定し、一方、前景領域に含まれないと判定した注目画素には領域判定フラグ「０」を設定する。

図３（ａ）と図４（ａ）は、時間経過によって注目画素の輝度値が変化した場合に、その輝度値の変化が、自動露出が働いたことに起因して生じた場合の例を示している。図３（ａ）と図４（ａ）の場合、フレームＮｏ．１からフレームＮｏ．７までの画像では、注目画素の輝度値と背景画像の輝度値との差分の絶対値が、領域判定閾値の「５０」未満になっている。このため、抽出部２０４は、フレームＮｏ．１からフレームＮｏ．７までの画像の注目画素に対しては領域判定フラグに「０」を設定する。

次に、フレームＮｏ．８の画像では、注目画素の輝度値が「１５１」になり、背景画像の輝度値「１００」との差分絶対値が「５１」になって、領域判定閾値の「５０」以上になっている。このため、抽出部２０４は、フレームＮｏ．８の画像の注目画素に対しては領域判定フラグに「１」を設定する。

さらに、抽出部２０４は、背景差分法によって領域判定フラグが「１」に設定された注目画素について、時間経過による輝度変化が自動露出の働きによる変化であるか否かを判定する。ここで、自動露出が働いたことによる輝度変化は、一般的に勾配が緩やかな変化である。このため、抽出部２０４は、例えば現フレームの注目画素の輝度値と、例えば時間的に一つ前の前フレームの対応した注目画素の輝度値との差分絶対値が所定の閾値の「３０」以内かを判定する。そして抽出部２０４は、現フレームと前フレームの注目画素の輝度値の差分絶対値が閾値の「３０」以内である場合、背景差分法で領域判定フラグが「１」になった注目画素の輝度変化は自動露出の働きによる勾配が所定未満の緩やかな変化であると判定する。一方、抽出部２０４は、現フレームと前フレームの注目画素の輝度値の差分絶対値が閾値の「３０」を超える場合、背景差分法で領域判定フラグが「１」になった注目画素の輝度変化は自動露出の働きによる変化ではないと判定する。すなわち自動露出の働きによる輝度変化ではない場合とは、例えば動体が通過したことなどで生じた、勾配が所定以上となった急激な変化が想定される。以下、自動露出の働きによる輝度変化か否かを判定する際の所定の閾値を、自動露出判定閾値と呼ぶことにする。

図３（ａ）および図４（ａ）の例の場合、フレームＮｏ．８の画像では、現フレーム（フレームＮｏ．８）と前フレーム（フレームＮｏ．７）の注目画素における輝度値の差分絶対値は「１９」であり、自動露出判定閾値の「３０」以内である。この場合、抽出部２０４は、自動露出の働きによる輝度変化であると判定し、注目画素について領域判定フラグを「０」に設定する。

次に、フレームＮｏ．９からフレームＮｏ．１４までの各画像では、注目画素の輝度値と背景画像の輝度値「１００」との差分絶対値が、領域判定閾値の「５０」以上である。このため、抽出部２０４は、それらフレームＮｏ．９からフレームＮｏ．１４までの各画像の注目画素について、前述同様に、領域判定フラグに「１」を設定する。

ただし、フレームＮｏ．９からフレームＮｏ．１４までについても、それぞれにおいて現フレームと前フレームの注目画素における輝度値の差分絶対値が自動露出判定閾値の「３０」以内である。このため、抽出部２０４は、フレームＮｏ．９からフレームＮｏ．１４までについても、自動露出の働きによる輝度変化であると判定し、注目画素について領域判定フラグに「０」に設定する。

次に、フレームＮｏ．１５以降の各画像では、注目画素の輝度値と背景画像の輝度値「１００」との差分絶対値が領域判定閾値の「５０」未満である。このため、抽出部２０４は、それらフレームＮｏ．１５以降の注目画素について、領域判定フラグに「０」を設定する。

このように、抽出部２０４は、注目画素について、背景画像との輝度差が領域判定閾値以上である場合でも、前フレームとの差分絶対値が自動露出判定閾値以内であれば、その注目画素を前景領域に含めないようにする。すなわち、本実施形態によれば、自動露出の働きによって緩やかに輝度が変化する注目画素を、前景とすることがなくなる。

なお、本実施形態に係る抽出部２０４は、前フレームとの差分値の絶対値が自動露出判定閾値以内である場合に、自動露出の働きによる緩やかな輝度変化と判定しているが、これに限らない。例えば、抽出部２０４は、輝度変化の勾配の角度が所定の勾配角度閾値以内である場合に、自動露出の働きによる緩やかな輝度変化と判定してもよい。また、過去数フレームにわたって注目画素のそれぞれ輝度値の差分を保持しておき、一定期間の間、輝度が緩やかに変化していることを判定して、自動露出の働きによる緩やかな輝度変化と判定してもよい。このように、過去数フレームの輝度変化を見た方が、自動露出の働きによる輝度変化を精度よく検出することができる。

図３（ｂ）と図４（ｂ）は、時間経過によって注目画素の輝度値が変化する場合において、その輝度値の変化が、例えば動体が通過したことなどで生じた場合の例を示している。前述の図３（ａ）と図４（ａ）の説明で例示したのと同様に、背景画像の輝度値は「１００」であり、領域判定閾値は「５０」、自動露出判定閾値は「３０」であるとする。また、図３（ｂ）と図４（ｂ）の例において、フレームＮｏ．１からフレームＮｏ．５まで、およびフレームＮｏ．１８以降の注目画素の輝度値は前述の図３（ａ）と図４（ａ）の例と同様であるとする。これに対し、図３（ｂ）と図４（ｂ）の例では、フレームＮｏ．６からフレームＮｏ．１７までの注目画素の輝度値は、図３（ａ）と図４（ａ）の例とは異なっている。また、図３（ｂ）と図４（ｂ）の例の場合、フレームＮｏ．８における注目画素の輝度値は「１０１」であり、背景画像の輝度値である「１００」との差分絶対値は領域判定閾値の「５０」未満になっているとする。このため、抽出部２０４は、それらフレームＮｏ．１からフレームＮｏ．８までの画像では、注目画素について領域判定フラグに「０」を設定する。

一方、フレームＮｏ．９では、注目画素の輝度値が「２００」であり、背景画像の輝度値の「１００」との差分絶対値が「１００」となって、領域判定閾値の「５０」以上であるため、抽出部２０４は、領域判定フラグを「１」に設定する。

ここで、抽出部２０４は、図３（ａ）と図４（ａ）で説明したのと同様に、背景差分法によって領域判定フラグが「１」になった注目画素の時間経過による輝度変化について、自動露出の働きによる変化か否かを判定する。このため、前述したように、抽出部２０４は、現フレームと前フレームの注目画素の輝度値との差分絶対値が自動露出判定閾値以内であるかどうかを判定する。抽出部２０４は、現フレームと前フレームの注目画素の輝度値の差分絶対値が自動露出判定閾値以内である場合には自動露出に起因する輝度変化であると判定し、一方、自動露出判定閾値を超える場合には自動露出に起因しない輝度変化であると判定する。そして、自動露出に起因しない輝度変化であると判定した場合、抽出部２０４は、注目画素について、領域判定フラグに「１」を設定する。

図３（ｂ）と図４（ｂ）の例の場合、現フレームであるフレームＮｏ．９の注目画素の輝度値は「２００」であり、前フレームであるフレームＮｏ．８の対応した注目画素の輝度値は「１０１」であり、それら輝度値の差分絶対値は「９９」である。抽出部２０４は、差分絶対値の「９９」が自動露出判定閾値の「３０」を超えるため、輝度変化が自動露出の働きに起因するものではないと判定、すなわち例えば動体が通過したことなどによって輝度変化が生じたと判定する。そして、抽出部２０４は、フレームＮｏ．９の注目画素について、領域判定フラグに「１」を設定する。これにより、フレームＮｏ．９の注目画素は前景領域に含まれる画素であると確定される。

次に、抽出部２０４は、フレームＮｏ．１０についても前述同様に処理する。フレームＮｏ．１０の注目画素の輝度値が「２０３」であり、背景画像の輝度値との差分絶対値が「１０３」となって領域判定閾値の「５０」以上になるため、抽出部２０４は、領域判定フラグを「１」に設定する。また、フレームＮｏ．１０の注目画素の輝度値は「２０３」であり、前フレームであるフレームＮｏ．９の注目画素の輝度値は「２００」であるため、それら輝度値の差分絶対値は「３」となる。すなわち差分絶対値の「３」が自動露出判定閾値の「３０」以内である場合、注目画素における輝度変化は自動露出の働きに起因するものであると判定されることになる。

ただし、前フレームにおいて注目画素が前景領域に含まれる画素であると確定されている場合には、現フレームの当該注目画素においてもその輝度変化は自動露出の働きではなく、動体の通過などで生じたと判定する方が望ましいと考えられる。このため、本実施形態の抽出部２０４は、現フレームの注目画素について、前フレームの対応した画素が既に前景領域に含まれるとして確定されている場合には、自動露出の働きによる輝度変化か否かの判定を行わない。すなわち抽出部２０４は、フレームＮｏ．１０の注目画素において、前フレームであるフレームＮｏ．９において既に前景領域に含まれていると判定されている場合、自動露出の働きによる輝度変化か否かの判定を行わない。したがって、抽出部２０４は、フレームＮｏ．１０の注目画素について、領域判定フラグの「１」を変更せずにそのまま保持する。なお、既に前景領域として処理されているかどうかを判定するために、前フレームにおいて前景領域として処理したことを表すフラグを保存しておくとよい。

次のフレームＮｏ．１１についても、抽出部２０４は、フレームＮｏ．１０と同様に処理することになる。すなわちフレームＮｏ．１１では、注目画素の輝度値が「１９８」であり、背景画像の輝度値との差分絶対値が「９８」となって領域判定閾値以上であるため、抽出部２０４は、領域判定フラグを「１」に設定する。そして、フレームＮｏ．１０では既に前景領域として判定されているため、抽出部２０４は、フレームＮｏ．１１の注目画素について自動露出の働きによる輝度変化か否かの判定を行わず、前景領域に含まれる画素として確定する。フレームＮｏ．１２についても同様に、抽出部２０４は、注目画素について前景領域に含まれる画素として確定する。フレームＮｏ．１３以降の注目画素では、背景画像の輝度値との差分絶対値が領域判定閾値未満になるため、抽出部２０４は、領域判定フラグを「０」に設定する。これによりフレームＮｏ．１３以降の注目画素は、前景領域に含まれない画素として確定される。

次に、図５（ａ）および図５（ｂ）のフローチャートを参照して、本実施形態の情報処理装置１００において画像取得から画像出力までの処理について説明する。図５（ａ）は、撮像画像から前景領域を検出および確定して、その確定した前景領域に対応するマスク画像を生成し、そのマスク画像と所定の画像とを合成して出力画像を生成する処理を示したフローチャートである。図５（ｂ）は、自動露出の働きによる輝度変化を考慮して前景領域を確定する処理のフローチャートである。なお、図５（a）および図５（ｂ）のフローチャートは、情報処理装置１００において後述する図６のＲＯＭ６２０に格納されたコンピュータプログラムをＣＰＵ６００が実行して実現される、図２に示した機能ブロックで行われる処理を示している。

まず図５（ａ）に示すフローチャートの処理から説明する。
ステップＳ５０１において、通信部２００は、撮像装置１１０が撮像した撮像画像を処理対象として取得する。
次に、ステップＳ５０２において、抽出部２０４は、処理対象の撮像画像から、自動露出の働きによる輝度変化を考慮して前景物体の領域（前景領域）を確定する。なお、ステップＳ５０２において抽出部２０４により実行される処理の詳細は、図５（ｂ）を参照して後述する。

次に、ステップＳ５０３において、生成部２０５は、ステップＳ５０２で抽出部２０４により確定された前景領域に対して、塗りつぶしや、ぼかし、モザイク等の処理を施すことにより、当該前景領域を抽象化したマスク画像の生成処理を実行する。

次に、ステップＳ５０４において、合成部２０６は、生成部２０５により生成されたマスク画像と、所定の画像とを合成した出力画像を生成する。本実施形態に係る合成部２０６は、例えば、生成部２０５により生成されたマスク画像と、前景領域の検出に用いた背景画像とを合成した出力画像を生成する。出力画像は、記録装置１２０に記録したりディスプレイ１３０に表示させたりするための画像である。またこれに限らず、合成部２０６は、例えば、生成部２０５により生成されたマスク画像と、現在処理対象となっている撮像画像とを合成した出力画像を生成してもよい。また、合成部２０６は、生成部２０５により生成されたマスク画像と、前景領域の検出に用いた背景画像とは異なる他の背景画像とを合成した出力画像を生成してもよい。

次に、ステップＳ５０５において、出力制御部２０７は、合成部２０６により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力する。このとき、出力制御部２０７は、例えば、合成部２０６により生成された出力画像をディスプレイ１３０に表示させる。

以下、図５（ｂ）を参照して、ステップＳ５０２にて実行される前景領域の検出および確定処理についてより具体的に説明する。
まずステップＳ５１１において、抽出部２０４は、ステップＳ５０１で通信部２００により取得された撮像画像の各画素から注目対象の画素（注目画素）を選択する。本実施形態において、撮像画像を構成する画素のうち注目画素は次のような順番で選択される。すなわち、注目画素は、撮像画像の左上端の画素から右方向の画素へと順番に選択され、撮像画像の右端に到達したら１つ下で且つ左端の画素に移動し、先と同様に右方向に順番に選択されて、最終的には撮像画像の右下端の画素まで順番に選択される。そして、撮像画像の右下端の画素が注目画素に選択されたならば、ステップＳ５１１における注目画素の選択処理は終了となる。

次に、ステップＳ５１２において、抽出部２０４は、現フレームの撮像画像についてステップＳ５１１で選択された注目画素の輝度値と、予め用意した背景画像内において注目画素と同一位置の画素の輝度値との輝度差（前述した差分絶対値）を算出する。さらに、抽出部２０４は、その差分絶対値が領域判定閾値以上であるか否かを判定する。そして、抽出部２０４は、差分絶対値が領域判定閾値以上であると判定した場合には当該注目画素に対して領域判定フラグに「１」を設定した後、ステップＳ５１３へ遷移する。一方、抽出部２０４は、差分絶対値が領域判定閾値未満であると判定した場合には当該注目画素に対して領域判定フラグに「０」を設定した後、ステップＳ５１６へ遷移する。

次に、ステップＳ５１３に遷移すると、抽出部２０４は、前フレームの画像において、ステップＳ５１１で選択した注目画素と同一位置の画素が既に前景領域の画素として確定されているか否かを判定する。すなわち前フレームにおいて、注目画素に対応した画素について保持されている領域判定フラグが「１」である場合、抽出部２０４は、前フレームの同一位置の画素が既に前景領域の画素として確定されていると判定してステップＳ５１４に遷移する。一方、前フレームにおいて、注目画素に対応した画素について保持されている領域判定フラグが「０」である場合、抽出部２０４は、前フレームの同一位置の画素は前景領域の画素でないとして確定されていると判定してステップＳ５１５に遷移する。

ステップＳ５１５に遷移した場合、抽出部２０４は、現フレームの注目画素と、前フレームにおいて当該注目画素と同一位置の画素との輝度値の差分絶対値を算出する。具体的には、前フレームの撮像画像の処理時に当該撮像画像を保持しておき、抽出部２０４は、その前フレームの撮像画像内で、ステップＳ５１１で選択した注目画素と同一位置の画素の輝度値と、現フレームの注目画素の輝度値との差分の絶対値を算出する。そして、抽出部２０４は、前フレームとの輝度値の差分絶対値が、自動露出判定閾値以内かどうかを判定する。抽出部２０４は、前フレームとの輝度差の差分絶対値が自動露出判定閾値内であると判定した場合にはステップＳ５１６に遷移し、一方、差分絶対値が自動露出判定閾値内でないと判定した場合にはステップＳ５１４に遷移する。

ステップＳ５１４に遷移した場合、抽出部２０４は、注目画素に対して、前景領域の画素であることを意味する領域判定フラグの「１」を確定して保存する。これにより、図５（ａ）のステップＳ５０３において、生成部２０５は、前景領域の画素であることを意味する領域判定フラグの「１」が保存された画素に対する前述のマスク画像の画素が生成されることになる。その後、抽出部２０４は、ステップＳ５１７に遷移する。

ステップＳ５１６に遷移した場合、抽出部２０４は、注目画素に対して、前景領域の画素でないこと、つまり背景の画素であることを意味する領域判定フラグの「０」を確定して保存する。その後、抽出部２０４は、ステップＳ５１７に遷移する。

ステップＳ５１７に遷移すると、抽出部２０４は、現フレームの撮像画像内の全ての画素について注目画素への選択および前述の処理を行ったか否かを判定する。抽出部２０４は、注目画素への選択および処理が行われていない画素がある場合にはステップＳ５１１へ処理を戻し、その注目画素への選択および処理が行われていない画素を、次の注目画素として選択し、前述したようにステップＳ５１２以降の処理を行う。そして、ステップＳ５１７において全ての画素について注目画素への選択および処理が行われたと判定すると、抽出部２０４は、図５（ｂ）のフローチャートの処理を終了して、図５（ａ）のステップＳ５０３へ遷移する。

このように、本実施形態において、抽出部２０４は、撮像画像の全ての画素位置毎に、領域判定フラグの値を保存しておくことで、撮像画像の前景領域を判定する。このとき、前述した図５（ｂ）に示す処理が実行されることで、背景画像との輝度差がある部分においても、前フレームとの輝度差が低ければ前景とならなくなる。すなわち、自動露出の働きによる緩やかな輝度変化であれば前景とならず、背景がマスク処理されることがなくなる。また、既に前景として処理されている部分は、前フレームとの輝度差の判定を行わない。これにより、前景となっている動体が静止する、もしくは移動しても近い輝度値だった場合に、前景と判定されなくなることを防ぐことができる。

これらのことから、本実施形態によれば、撮像画像から人物等を検出するような負荷の大きい処理を行うことなく、つまり処理負荷の低減を可能にしつつ、自動露出の働きによる前景領域の誤判定を防ぐことができる。すなわち本実施形態によれば、人物等のプライバシー保護対象が露出してしまうような遮蔽漏れを防ぐことができ、また、本来は映るべき領域が誤って遮蔽されて表示されなくなるという問題が発生することがなくなる。

なお、本実施形態では、撮像画像を構成している複数の画素から１つの画素を選択して注目画素として選択する例を挙げたが、これに限らない。例えば、撮像画像を複数の分割領域に分け、当該複数の分割領域から１つの分割領域を選択して注目分割領域としてもよい。そして、注目分割領域を注目画素と同様に扱い、前述した図５（ｂ）の処理を行う。なお、注目分割領域における輝度値は、例えば、当該注目分割領域内の各画素の輝度値の平均値や最大値などを用いればよい。また分割領域は、少なくとも２つ以上の画素で構成される。

次に図６を参照して、本実施形態の各機能を実現するための情報処理装置１００のハードウェア構成例を説明する。なお、以降の説明において情報処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。

本実施形態における情報処理装置１００は、ＣＰＵ６００と、ＲＡＭ６１０と、ＲＯＭ６２０、ＨＤＤ６３０と、Ｉ／Ｆ６４０と、を有している。
ＣＰＵ６００は情報処理装置１００を統括制御する中央処理装置である。ＲＡＭ６１０は、ＣＰＵ６００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ６１０は、ＣＰＵ６００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ６１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ６２０は、ＣＰＵ６００が情報処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ６３０は、画像データ等を記録する記憶装置である。Ｉ／Ｆ６４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した実施形態の説明では、ＣＰＵ６００が処理を実行する例について説明するが、ＣＰＵ６００の処理のうち少なくとも一部を専用のハードウェアが行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ６２０からプログラムコードを読み出してＲＡＭ６１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

また、情報処理装置１００の各部は、図６に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。また、上述した実施形態に係る情報処理装置１００の１以上の機能を他の装置が有していてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置、１１０：撮像装置、２００：通信部、２０１：記憶部、２０２：操作受付部、２０３：設定部、２０４：抽出部、２０５：生成部、２０６：合成部、２０７：出力制御部

Claims (8)

1. 撮像画像と所定の画像との差分を基に、前記撮像画像から少なくとも前景領域を検出する検出手段と、
   前記検出手段によって前記検出された前景領域について、時間経過における輝度変化に基づいて、前景領域として確定するか判定する判定手段と、
   を有し、
   前記判定手段は、
   前記検出手段によって前記検出された前景領域について、時間経過における輝度変化の勾配が所定未満の緩やかな変化である場合には前記前景領域ではないと判定し、
   現フレームの撮像画像から前記検出手段によって検出された前記前景領域の注目画素の画素値と、前フレームの撮像画像において前記注目画素に対応した画素の画素値との差分絶対値が、所定の閾値を超えるかを判定し、前記所定の閾値を超えると判定した場合に、
   前記時間経過における輝度変化の勾配が所定以上の急激な変化であるとして、前記注目画素を前記前景領域に含まれる画素として確定し、
   前記現フレームの撮像画像から前記検出手段によって検出された前記前景領域の注目画素に対応した、前記前フレームの撮像画像の画素が、前記前景領域に含まれると判定されている場合には、前記現フレームの撮像画像の前記注目画素について前記差分絶対値が前記所定の閾値を超えるか否かの判定を行わずに前記前景領域に含まれる画素として確定することを特徴とする情報処理装置。
2. 前記検出手段は、前記撮像画像と、前記所定の画像として予め取得した背景画像との差分を求める背景差分法を用いて、前記撮像画像から前記前景領域を検出することを特徴とする請求項１に記載の情報処理装置。
3. 前記検出手段は、現フレームの画像と、前記所定の画像としての過去フレームの画像との間のフレーム間差分を基に、前記撮像画像から前記前景領域を検出することを特徴とする請求項１に記載の情報処理装置。
4. 前記判定手段は、前記検出手段によって前記検出された前景領域について、時間経過における輝度変化の勾配の角度が所定の角度閾値以内である場合に、前記前景領域ではないと判定することを特徴とする請求項１に記載の情報処理装置。
5. 前記判定手段は、前記検出手段によって前記検出された前景領域について、過去数フレームにわたる一定期間の輝度変化に基づいて、前記輝度変化の勾配が所定未満の緩やかな変化であるかを判定することを特徴とする請求項１に記載の情報処理装置。
6. 前記判定手段により確定された前記前景領域に対応したマスク画像を生成する生成手段と、
   前記生成されたマスク画像を前記所定の画像と合成する合成手段と、
   を有することを特徴とする請求項１から請求項５のいずれか１項に記載の情報処理装置。
7. 情報処理装置が実行する情報処理方法であって、
   撮像画像と所定の画像との差分を基に、前記撮像画像から少なくとも前景領域を検出する検出工程と、
   前記検出工程によって前記検出された前景領域について、時間経過における輝度変化に基づいて、前景領域として確定するか判定する判定工程と、
   を有し、
   前記判定工程では、
   前記検出工程によって前記検出された前景領域について、時間経過における輝度変化の勾配が所定未満の緩やかな変化である場合には前記前景領域ではないと判定し、
   現フレームの撮像画像から前記検出工程によって検出された前記前景領域の注目画素の画素値と、前フレームの撮像画像において前記注目画素に対応した画素の画素値との差分絶対値が、所定の閾値を超えるかを判定し、前記所定の閾値を超えると判定した場合に、
   前記時間経過における輝度変化の勾配が所定以上の急激な変化であるとして、前記注目画素を前記前景領域に含まれる画素として確定し、
   前記現フレームの撮像画像から前記検出工程によって検出された前記前景領域の注目画素に対応した、前記前フレームの撮像画像の画素が、前記前景領域に含まれると判定されている場合には、前記現フレームの撮像画像の前記注目画素について前記差分絶対値が前記所定の閾値を超えるか否かの判定を行わずに前記前景領域に含まれる画素として確定することを特徴とする情報処理方法。
8. コンピュータを、請求項１から請求項６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images