JP6624852B2 - 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム - Google Patents

画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム Download PDF

Info

Publication number
JP6624852B2
JP6624852B2 JP2015167436A JP2015167436A JP6624852B2 JP 6624852 B2 JP6624852 B2 JP 6624852B2 JP 2015167436 A JP2015167436 A JP 2015167436A JP 2015167436 A JP2015167436 A JP 2015167436A JP 6624852 B2 JP6624852 B2 JP 6624852B2
Authority
JP
Japan
Prior art keywords
image
display
abstraction level
person
display abstraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015167436A
Other languages
English (en)
Other versions
JP2017046196A5 (ja
JP2017046196A (ja
Inventor
太史 八村
太史 八村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015167436A priority Critical patent/JP6624852B2/ja
Publication of JP2017046196A publication Critical patent/JP2017046196A/ja
Publication of JP2017046196A5 publication Critical patent/JP2017046196A5/ja
Application granted granted Critical
Publication of JP6624852B2 publication Critical patent/JP6624852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、画像情報生成装置、画像情報生成方法、画像処理システム及びプログラムに関する。
近年、パブリックな空間におけるカメラの利用が広がっている。監視カメラを用いた防犯システムだけでなく、店舗等でカメラを使用しマーケティングに利用することも広く行われている。これらのカメラにおいては、撮像した画像上において種々の情報表示を行う方法が提案されている。パブリックな空間におけるカメラの利用が、様々な用途に広がっている状況においては、撮像した画像上における情報表示においても、プライバシを保護することが望まれている。
特許文献1は、ユーザのプライバシを保護するためのプライバシ保護画像を出力することができるプライバシ保護画像生成装置を開示している。特許文献1の装置では、登録されたユーザと、プライバシ保護画像との関係を予め定めておく。そして、予め定められた関係に基づいて、プライバシ保護画像が表示される。
特開2007−213181号公報
しかしながら、特許文献1の装置では、予めユーザの登録が必要であるので、任意のユーザは特許文献1の装置を利用することができない。また、特許文献1の装置では、ユーザ毎に、使用できるプライバシ保護画像を予め決めておく必要があるので、一度設定したプライバシ保護画像を動的に変更することができない。
本発明は、このような課題に鑑みなされたものであり、本発明の目的は、任意のユーザが使用することができ、プライバシ保護画像の表示抽象化レベルを動的に変更することができる画像情報生成装置および画像情報生成方法を提供することである。
上記課題を解決するために、本発明に係る画像情報生成装置の一態様は、画像中の人物の領域を検出する検出手段と、複数の表示抽象化レベルのいずれか一つを選択可能な画面を表示手段に表示させる表示制御手段と、前記複数の表示抽象化レベルのうち、ユーザによる操作に応じて、1つの表示抽象化レベルを設定する設定手段と、前記設定手段により設定された表示抽象化レベルに基づいて、前記人物の領域を抽象化した抽象化画像を生成する生成手段と、前記生成手段により生成された抽象化画像を所定の画像に合成する合成手段と、を備え、前記複数の表示抽象化レベルは、第1表示抽象化レベルと、第2表示抽象化レベルとを含み、前記第1表示抽象化レベルに基づき前記生成手段により生成される抽象化画像の形状は、前記人物の領域の形状の変化に応じて変化し、前記第2表示抽象化レベルに基づき前記生成手段により生成される抽象化画像の形状は、前記人物の領域の形状の変化によらず一定である
本発明に係る画像情報生成装置の他の態様は、画像中の人物の領域を検出する検出手段と、前記検出手段により検出された人物の領域に対して、複数の表示抽象化レベルのうち1つの表示抽象化レベルを設定する設定手段と、前記設定手段により設定された表示抽象化レベルに基づいて、前記人物の領域を抽象化した抽象化画像を生成する生成手段と、前記生成手段により生成された抽象化画像を所定の画像に合成する合成手段と、前記設定手段により設定された表示抽象化レベルを、所定の条件に応じて、前記複数の表示抽象化レベルにおける他の表示抽象化レベルに変更する変更手段と、を備え、前記複数の表示抽象化レベルは、第1表示抽象化レベルと、第2表示抽象化レベルとを含み、前記第1表示抽象化レベルに基づき前記生成手段により生成される抽象化画像の形状は、前記人物の領域の形状の変化に応じて変化し、前記第2表示抽象化レベルに基づき前記生成手段により生成される抽象化画像の形状は、前記人物の領域の形状の変化によらず一定であり、前記変更手段が前記表示抽象化レベルを前記他の表示抽象化レベルに変更した場合、前記生成手段は、前記他の表示抽象化レベルに基づいて、他の抽象化画像を生成し、前記合成手段は、前記他の抽象化画像を前記所定の画像に合成する
本発明によれば、任意のユーザが使用することができ、プライバシ保護画像の表示抽象化レベルを動的に変更することができる。
実施形態1におけるカメラの機能ブロック図である。 カメラのハードウェア構成の一例を示す図である。 表示抽象化レベルの例を示す図である。 表示抽象化レベルLv4の場合の画像出力例を示す図である。 表示抽象化レベルLv3の場合の画像出力例を示す図である。 表示抽象化レベルLv2の場合の画像出力例を示す図である。 表示抽象化レベルLv1の場合の画像出力例を示す図である。 人物情報生成処理を説明するためのフローチャートである。 実施形態1のレベル設定処理手順を示すフローチャートである。 実施形態2におけるカメラの構成を示すブロック図である。 実施形態2のレベル設定処理手順を示すフローチャートである。 時間帯毎の表示抽象化レベルの設定例を示す図である。 実施形態3のレベル設定処理手順を示すフローチャートである。 画像中のエリアに応じた表示抽象化レベルの設定例を示す図である。
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
実施形態1
以下、図1〜図9に基づき、実施形態1に係るネットワークカメラ1を説明する。ネットワークカメラ1は画像情報生成装置の一例である。
ネットワークカメラ1は、カメラの映像配信機能をコンピュータネットワークに対応させたものである。ネットワークカメラ1を利用して映像を取得したり各種の画像処理を行うために、ネットワークを介して専用の端末を用いることもある。また、ネットワークカメラ1は、所定の動作を行うために、パソコンや専用のサーバを用いることもある。通信に際しては、専用のアプリケーションソフトウェアを用いる場合や、汎用的なウェブブラウザを用いて各種制御や画像の取得等を行う場合もある。使用するネットワークとしては、様々なネットワークが利用でき、Etnernet(登録商標)や種々の無線LAN(Local Area Network)やインターネットを使用してもよい。
図1は、実施形態1に係るネットワークカメラ1を、機能面から処理ブロックで描いたブロック図である。実施形態1のネットワークカメラ1は、図1に示す構成によって、画像情報生成方法を実行する。図1に示すように、ネットワークカメラ1は、撮像部10と、記憶部11と、制御部12と、背景生成部13と、空間モデル生成部14と、人物領域検出部15とを備える。また、ネットワークカメラ1は、抽象化レベル管理部16と、プライバシ保護画像生成部17と、合成画像生成部18と、ネットワーク部19とを備える。
図2は、ネットワークカメラ1のハードウェア構成を示すブロック図である。以下、図1および図2に基づき、ネットワークカメラ1の各部を説明する。
撮像部10は、画像を撮像する撮像手段である。撮像部10は、例えば、図2に示す撮像部104により構成することができる。撮像部104はイメージセンサを搭載している。記憶部11は、撮像部10が撮像した画像と、当該画像を映像解析して得られる1個もしくは複数個の人物領域と、を記憶する。また、記憶部11は、空間モデル生成部14により生成された仮想3次元空間モデルと、抽象化レベル管理部16(設定手段)により設定された表示抽象化レベル設定と、を記憶する。記憶部11は、例えば、図2に示すRAM103により構成することができる。本実施形態において、RAM103は1次記憶媒体である。
なお、記憶すべきデータが、1次記憶媒体であるRAM103の容量を超過した場合には、超過した分のデータ(超過データ)を格納する2次記憶媒体を使用してもよい。2次記憶媒体として、例えば、SDメモリカード等で構成される記憶媒体105を用いてよい。
制御部12は、主に、ネットワークカメラ1内の各機能部を統括的に制御する。制御部12は、例えば図2に示すCPU101がROM102に格納された制御プログラムを実行することにより構成される。なお、図2に示す各構成要素は、制御バスやデータバスなどを含むバス108を介して、相互に接続されている。
背景生成部13は、撮像部10により撮像されて記憶部11に保存された画像を読み出して、背景画像を生成する手段である。背景生成部13は、記憶部11に保存された画像を複数枚処理することで、背景画像を生成する。具体的生成方法は、一般的に知られている種々の方法を利用することができるので、詳細な説明は省略する。
空間モデル生成部14は、撮像部10が撮像した画像の2次元情報に基づいて、既存知識と、予め空間を仮定した仮定情報とから、仮想3次元空間モデルを生成する。空間モデル生成部14が利用する既存知識とは、「床は下にある」、「壁は床から垂直に立っている」、「人物は床を歩く」、「人物は、天井や壁を歩くことはない」、「人物は、壁に沿って歩く」等の知識をいう。実施形態1に係るネットワークカメラ1は、上記仮定情報に対して、このような既存知識を適用して、ネットワークカメラ1が撮像する画像の範囲内で部分空間を仮想的に設定する。仮定情報は、その場所に関する情報であり、所定の面積の店舗であることを仮定する等の情報であり、その場所の特性を表す情報であればどのような仮定情報でもよい。撮影した画像が、そのような仮定の下で撮影されたとの前提に立つことによって、部分空間を仮想的に設定することができる。店舗であることを仮定すれば、当該店舗の中の部分空間において撮影がなされたはずであるとの前提で部分空間を構成することができる。その際、人物が写っていれば、人物の足が触れている部分は床であろうとの判断等を加えて、最終的なその画像に基づく部分空間を設定することができる。
空間モデル生成部14は、このような部分空間をつなぎ合わせることで、仮想3次元空間モデルを生成する。仮想3次元空間モデル生成の方法は、公知であるため、その詳細な説明はここでは省略する。空間モデル生成部14が生成した仮想3次元空間モデルは、後に説明する人物領域検出部15(検出手段)や表示抽象化レベル管理部16の基礎データとして利用される。
人物領域検出部15は、主に、撮像部10により撮像されて記憶部11に保存された画像を映像解析し、画像中の人物領域を抽出する。人物領域検出部15が実行する人物領域抽出方法は、公知の方法であるため、その詳細な説明は省略する。
実施形態1では、人物領域を検出(抽出)する例を示すが、プライバシ保護等の観点から抽象化が必要なオブジェクト(被処理対象オブジェクト)であれば、人物に限らずどのようなオブジェクトの領域でも検出対象としてよい。例えば、検出対象となる被処理対象オブジェクトは、人物が所有する自動車のナンバープレート、バッグネームタグ、フライトチケット、パスポート、免許証であってもよい。人物が所有する物も、当該人物のプライバシに密接に関連するからである。
表示抽象化レベル管理部16(設定手段)は、主に、人物領域検出部15により抽出された人物領域に対する各種表示抽象化レベルを設定し保持する。すなわち、表示抽象化レベル管理部16は、表示抽象化レベルの設定処理(変更処理を含む)と、表示抽象化レベル設定の保持(変更後の表示抽象化レベル設定の保持を含む)と、を行う。本実施形態においては、ユーザが表示抽象化レベルを選択(決定)する毎に、保持されている表示抽象化レベル設定が変更される。
ユーザの表示抽象化レベルの選択(決定)は、例えば図2に示す入出力部109(入力手段)を介して入力することができる。入出力部109は、ユーザとのインターフェースであり、キーボード(入力手段)やディスプレイ(表示手段)を介してユーザからの決定を入力することや、ユーザに抽象化レベルの例を表示することなどができる。表示抽象化レベル管理部16は、この入出力部109を介して、ユーザに種々の選択肢を提示することや、ユーザからの様々な決定や指示を入力することが可能である。
プライバシ保護画像生成部(以下、「画像生成部」という。)17は、人物領域検出部15が検出した人物領域と、表示抽象化レベル管理部16により設定された表示抽象化レベルと、に基づいて、プライバシ保護画像を生成する。画像生成部17(生成手段)は、検出した人物領域の実画像を、上記表示抽象化レベルに応じた抽象化画像に変更する(置き換える)ことによってプライバシ保護画像を生成する。プライバシ保護画像については図3に基づいて後述する。
合成画像生成部18は、背景生成部13が生成した背景画像と、画像生成部17が生成したプライバシ保護画像とを合成した画像を生成する。
ネットワーク部19は、主に、ネットワークを介して、他のPC(Personal Computer)、スマートフォン、タブレット端末などの端末装置と接続し、コマンドや映像のやり取りを仲介する。ここで、PC、スマートフォン、タブレット端末などは、例えば、ネットワークカメラ1を管理する所定のアプリケーションが稼働しており、そのアプリケーションがコマンドや映像のやり取りを司る。また、ネットワーク部19は、ネットワークを介して、他のネットワークカメラ管理端末等と接続することもできる。このネットワークカメラ管理端末も、ネットワーク部19を介してネットワークカメラ1との間でコマンドや映像のやり取りを実行する。
ネットワーク部19を介して接続しうる他の通信装置としては、映像解析サーバ及びVMS(Video Management Software)等が挙げられる。ネットワーク部19は、例えば、図2に示す通信I/F(Interface)106により構成される。
RTC(Real Time Clock)107は、実時間クロックである。
(プライバシ保護画像)
画像生成部17は、図3においてLv1からLv4で示されている抽象化画像を用いて、人物領域検出部15が検出した人物領域の実画像を抽象化画像に置き換えることによって、プライバシ保護画像を生成する。
図3は、各Lv(レベル)のプライバシ保護画像の例を示す。実施形態1においては、プライバシ画像に対して、抽象度に応じた5つのLvを設定し、Lvに応じて実画像をプライバシ保護画像(抽象化画像)に置き換える。Lv0の抽象度が最も低く、以下、Lv1、〜Lv3と抽象度が高くなり、Lv4の抽象度が最も高い。なお、Lv0は、領域を変更しない(置き換えない)ことを意味する。つまり、Lv0では、実画像がそのまま使用される。
図3において、最も抽象度が高いLv4の場合は、人物領域検出部15が検出した人物領域の実画像は、ドット画像31に置き換えられる。ドッド画像31の位置は、人物領域の重心位置に一致する。ドット画像31は、抽象度が大きく、基本的に人が居るか居ないかのみを示す。ドッド画像31の時間経過による移動を観察すれば、人物がどこ通って移動したかを知ることができる。
Lv3の場合は、人物領域検出部15が検出した人物領域の実画像は、バー画像32に置き換えられる。バー画像32は、人物領域の中心位置に、検出した人物の高さ(身長)に対応したバーの画像を示したものである。なお、バーは棒の意味である。このように、Lv3の場合、実画像と置き換えられる画像(抽象化画像)は、バー画像と呼ばれる。また、このバー画像32には、人物領域中の人物の身長33が付記されていてもよい。図3においては、身長が176cmの場合の数値「176」が付されている。バー画像32の場合は、人物の身長を把握することができる。身長33は人物の属性情報である。属性情報は、画像生成部17により生成される。
Lv2の場合は、人物領域検出部15が検出した人物領域の実画像は、ボックス画像34に置き換えられる。ボックス画像34では、人物領域の実画像に外接する矩形領域が、ボックス画像34と置き換えられる。このように、Lv2の場合は、実画像と置き換えられる画像(抽象化画像)は、ボックス(箱)形状をしているので、ボックス画像と呼ばれる。また、このボックス画像34の中には、人物領域中の人物の検出できた顔の向きを表す矢印35を示してもよい。ボックス画像34によれば、人の身長や肩幅が概ね把握できる。また顔の向きの矢印35を用いれば、ボックス画像34により、人物が向いている方向を把握することができる。
Lv1の場合は、人物領域検出部15が検出した人物領域の実画像が、シルエット画像36に置き換えられる。シルエット画像36は、人物領域の実画像の輪郭である3次元エッジを含む画像である。シルエット画像36は濃淡を異ならせることができる。つまり、シルエット画像36は、実画像の3次元エッジの内部を、人物の影を表すように所定の濃度又は色彩で塗りつぶした画像である。濃度や色彩は、人物によって異ならせてもよい。例えば、性別により塗りつぶす濃度や色彩を異ならせてもよい。シルエット画像36の場合は、人物の大きな動作を把握することができる。また、シルエット画像36の場合、服装の外形(輪郭)を認識することもできる。
また、置き換える画像(抽象化画像)として、人物のエッジのみを用いてもよく、この場合は、人物名をそのエッジに属性情報として付してもよい。エッジの場合は、顔の凹凸や手や足の動きや行動種別が把握できる場合もある。また、エッジを用いれば、個人の識別が比較的容易であり、重複を生じさせずに人数カウントを行う場合にも適用することができる。
エッジとは、3次元エッジの内部を一定の色彩(例えば白)で塗りつぶした画像であり、人物をその輪郭線のみ(内部の情報は用いずに)で表すものである。抽象化画像としてエッジを用いた場合は、例えば歩いている人物を横から見た場合等において、顔の凹凸や手や足の動きや行動種別が把握できる場合もある。
なお、実施形態1においては、図3に示すように、抽象化レベルが5段階であるとしたが、抽象化レベル(抽象度)の段階は、5より少なくてもよいし、多くてもよい。
また、図3では示していないが、人物の輪郭を抽象化画像として用いてもよい。その場合、属性情報として、人物の性別や年齢をその輪郭に付してもよい。輪郭を用いる場合は、手や足の動きが把握でき、また、撮影角度によっては商品を手に取った等の動作も把握することができる。
(合成画像)
図4は、合成画像生成部18が生成した合成画像の例を示す。図4に示す合成画像は、所定の店舗における顧客の人物領域の実画像をLv4のドット画像31で置き換えて生成した合成画像である。図4において、3人の人物の実画像がドット画像41a、42a、43aに置き換えられている。図4においては、ドット画像41a、42a、43aの軌跡41b、42b、43bも表されている。
このように、プライバシ保護を施した画像であっても、人物の位置や店舗における行動軌跡を知ることができ、マーケティングに利用することができる。
図5は、合成画像生成部18が生成した合成画像の他の例を示す。図5に示す合成画像は、図4と同じ店舗における顧客の人物領域の実画像をLv3のバー(棒)画像32で置き換えて生成した合成画像である。図5において、3人の人物の実画像がバー画像51a、52a、53aに置き換えられている。図5においては、バー画像51a、52a、53aに付随して数値51b、52b、53bが描かれている。数値51b、52b、53bは、対応する各バー画像51a、52a、53aで抽象化された人物の身長(属性情報)を表す。
このように、図5に示すバー画像51a、52a、53aを利用したプライバシ保護を施した画像であっても、図4に示すプライバシ保護を施した画像と同様に、顧客のプライバシを守りながら、顧客の位置と移動軌跡を知ることが可能である。
また、図5に示すように、店舗内で顧客がどこを通過したかを確認するための、仮想通過線54を、空間モデル生成部14が生成した仮想3次元空間モデル上に設定することができる。顧客の移動軌跡と、仮想通過線54との交差等を算出すれば、顧客がどの場所を通過したのか確認することが可能であり、確認結果を映像解析に利用することができる。
図6は、合成画像生成部18により生成された合成画像の他の例を示す。図6に示す合成画像は、図4と同じ店舗における顧客の人物領域の実画像をLv2のボックス(箱)画像34で置き換えて生成した合成画像である。図6において、3人の人物の実画像が、ボックス画像61a、62a、63aで置き換えられている。ボックス画像61a、62a、63aの高さは、対応する人物領域の人物の高さ(≒身長)を示す。また、検出した各人物の顔向きを示す矢印61b、62b、63bをボックス画像61a、62a、63aに対して付加している。
このように、Lv2のボックス画像34を利用したプライバシ保護を施した画像であっても、顧客がどこの棚をみているか等を確認することができ、確認結果をマーケティングに利用することができる。
図7は、合成画像生成部18により生成された合成画像の他の例を示す。図7に示す合成画像は、図4と同じ店舗における顧客の人物領域の実画像をLv1のシルエット(エッジ)画像36で置き換えて生成した合成画像である。
図7において、3人の人物の実画像は、輪郭と3次元奥行きを濃淡で現したシルエット(エッジ)画像71、72、73で置き換えられている。このようなシルエット(エッジ)画像71、72、73を用いてプライバシ保護を施した合成画像を作成すれば、各人物がどの商品を見ているか、どの商品を手にとっているかまでわかる場合もあるので、より高度なマーケティングに利用できると考えられる。
上記した合成画像の利用は、マーケティングにおける利用に限定されない。例えば、人物領域の人物と、この合成画像を監視する者とが、知り合いであれば、ある程度その人物を特定し誰であるか予想をすることもできる可能性がある。その結果、図7の合成画像は、それを適用する場所や用途によっては、犯罪抑止効果が期待できる。なお、図7においては、シルエット71、72、73はグレースケールで示されている。シルエット71は、淡い濃度(白に近いグレー)で塗りつぶされている。淡い濃度は、女性を表している。また、シルエット72,73は濃い濃度(濃いグレー)で塗りつぶされている。濃い濃度は、男性を表している。なお、濃度に替えて又は濃度とともに色彩を用いてもよい。また、濃度や色彩で、子供やお年寄りを区別するようにしてもよい。
(ネットワークカメラ1の動作)
図8は、ネットワークカメラ1の動作の一例を表すフローチャートである。以下、ネットワークカメラ1の動作を、図8のフローチャートに基づき説明する。
図8のフローチャートにおいて、ユーザは、ネットワークカメラ1の人物情報生成機能を起動させる。起動したネットワークカメラ1の制御部12は、人物情報生成処理を開始する。この人物情報生成処理は、ネットワークカメラ1の撮像部10で画像を撮像し、記憶部11に保存した画像中の人物領域を検出し、表示抽象化レベル設定に応じた当該人物領域部分のプライバシ保護を行う処理である。なお、図8に示されるネットワークカメラ1の処理動作は、ネットワークカメラ1のCPU101がプログラムを実行することによって実現される。
S1において、制御部12は、ネットワークカメラ1の撮像部10を駆動し、撮像した画像を、記憶部11に一時保存する。次に、制御部12は、記憶部11に保存された画像を背景生成部12に送る。背景生成部13は、送られてきた画像に基づき、背景画像を生成する。
S2において、制御部12は、撮像部10から記憶部11に保存された画像を、空間モデル生成部14に送る。空間モデル生成部14は、現在ネットワークカメラ1が撮像している3次元空間の仮想空間モデルを、撮像した画像の2次元情報と既存知識と予め空間を仮定した仮定情報と、に基づき生成する。
S3において、制御部12は、撮像部10から記憶部11に保存された画像を、人物領域検出部15に送る。人物領域検出部15は、送られてきた画像内に人物が存在する画像領域を検出し、その情報である人物領域情報を生成する。人物領域検出部15は、人物領域情報を記憶部11に保存し、次の処理に移行する。
S4において、制御部12は、抽象化レベル管理部16が管理する表示抽象化レベルを判定する。判定の結果、表示抽象化レベルが設定されていない場合、もしくは、Lv0が設定されている場合(S4:No)は、プライバシ非保護画像生成処理(S5)に移行する。他方、制御部12は、抽象化レベル管理部16が所定の表示抽象化レベル(Lv1〜Lv4)を設定していた場合(S4:Yes)、プライバシ可変保護画像生成処理(S6)に移行する。
なお、表示抽象化レベルは、ネットワークカメラ1の抽象化レベル管理部16が実行する別のタスク処理である表示抽象化レベル設定処理により設定され、設定された表示抽象化レベルは、抽象化レベル管理部16が保持し管理を行う。
図9は、この表示抽象化レベル設定処理を表すフローチャートである。以下、この表示抽象化レベル設定処理のフローを、図9のフローチャートに基づき説明する。図9に示される抽象化レベル管理部16の処理動作は、ネットワークカメラ1のCPU101がプログラムを実行することによって実現される。
制御部12から表示抽象化レベル設定の開始を指示されたネットワークカメラ1の抽象化レベル管理部16は、以下の表示抽象化レベル設定処理を開始する。
S11において、抽象化レベル管理部16は、図3で説明したような抽象化レベルのサンプルを表示する。ユーザは表示されたサンプルから所望のレベルを選択入力する。ユーザが選択入力を行う際のユーザインタフェースは、図2の入出力部109である。
抽象化レベルのサンプルをユーザに表示(提示)するために所定の表示手段は、図2の入出力部109のディスプレイを利用する。また、ユーザの決定を入力する手段として、入出力部109のキーボードやマウスを利用してもよい。また、感圧型のタッチパネルを利用して、ユーザが所望のサンプルにタッチすることによって所望のサンプルを選択し、抽象化レベルを決定してもよい。ネットワークカメラ1が非常に小型である場合は表示手段やキーボード等を備えさせることが困難な場合も想定されるので、外部に接続されたPCやスマートフォンの画面上で抽象化レベルのサンプルを表示させることもできる。また、外部に接続された他の管理装置上の表示手段を利用して表示を行わせてもよい。
S12において、抽象化レベル管理部16は、ユーザが選択した表示抽象化レベル設定を入力し、入力した表示化抽象化レベル設定を記憶部11に保存する。
S13において、抽象化レベル管理部16(設定手段)は、ユーザにより終了を指示された後、表示抽象化レベル設定処理を終了する。なお、抽象化レベル管理部16は、ユーザにより終了が指示されなかった場合は、S12の処理に戻る。
図8のフローチャートに戻って、その説明を続ける。
S4の判定がNoの場合、S5において、制御部12は、プライバシ非保護画像生成処理を実行する。つまり、制御部12は、人物領域検出部15により検出された人物領域情報(人物の実画像)を用いて、背景合成画像生成処理(S7)を行う。そのために、制御部12は、人物領域情報を画像生成部17に送信する。S5の後、S7に進む。
S4の判定がYesの場合、S6において、制御部12は、プライバシ可変保護画像生成処理を実行する。つまり、制御部12は、人物領域検出部15により検出された人物領域情報(人物の実画像)を、画像生成部17に送る。また、制御部12は、抽象化レベル管理部16により設定された表示抽象化レベル設定を、画像生成部17に送る。この結果、前述のように、画像生成部17は、表示抽象化レベル設定に応じたプライバシ保護画像を生成する。S6の後、S7に進む。
S7において、ネットワークカメラ1の制御部12は、背景合成画像生成処理を実行する。その結果、合成画像生成部18は、前述のように、背景合成画像を生成する。生成した背景合成画像は、記憶部11に記憶することができる。
S8において、制御部12は、合成画像生成部18により生成された背景合成画像を、ネットワーク部19を介して、例えば前述のネットワークカメラ管理端末(不図示)に送信する。
このようにして、本実施形態によれば、複数の表示抽象化レベルをユーザに提示し、ユーザが選択した表示抽象化レベルを設定することができる。また、本実施形態のネットワークカメラ1を使用するユーザは、予めネットワークカメラ(またはネットワーク)に登録しておく必要がない。
実施形態2
以下、図10〜図12に基づき、実施形態2に係る画像情報生成装置を説明する。実施形態1ではプライバシ保護画像の表示抽象化レベルをユーザが選択して設定したが、実施形態2では設定時間帯毎に表示抽象化レベルを変更(設定)することができる。
図10は、実施形態2に係る画像情報生成装置であるネットワークカメラ1の機能ブロック図である。このブロック図は、タイマ制御部20が追加された以外は、実施形態1の図1と同じであるので、タイマ制御部20以外の説明は省略する。以下の記載において、実施形態1と同じ構成要素には、実施形態1で使用した参照符号と同じ参照符号を使用している。
タイマ制御部20は、時間帯設定等を管理設定する。タイマ制御部20は、所定の時刻になると、タイマイベントを制御部12に発すること等の機能を備えている。実施形態2において、タイマ制御部20は、制御部12にタイマイベントを発する表示抽象化レベル動的変更手段として機能する。タイマ制御部20は、RTC107を使用して計時をして、所定の動作を行う。
実施形態2のネットワークカメラ1の動作は、実施形態1で説明した図8のフローチャートで示されたものとほぼ同じである。実施形態1と異なるのは、表示抽象化レベル設定処理である(図11)。
図11に示すフローチャートは、表示抽象化レベル設定処理フローを表すものであり、実施形態1で説明した図9に示したフローチャートに相当する。以下、図11に基づき、実施形態2の抽象化レベル設定処理フローを説明する。
制御部12は、ネットワークカメラ1の抽象化レベル管理部16に対して、表示抽象化レベル設定の開始を指示する。指示されたネットワークカメラ1の抽象化レベル管理部16は、図11のフローチャートで示される表示抽象化レベル設定処理を開始する。図11に示される抽象化レベル管理部16の処理動作は、ネットワークカメラ1のCPU101がプログラムを実行することによって実現される。
S21において、抽象化レベル管理部16(設定手段)は、表示抽象化レベル設定処理として、図3のような表示抽象化レベルサンプルをユーザに対して表示する。実施形態2では、時間帯毎に、表示抽象化レベルを設定することができる。例えば、時間帯設定表を表示し、時間帯設定表中の項目に対して、表示抽象化レベルに対応したプルダウンメニューが表示されるように構成する。
S22において、ユーザは、このような時間帯設定表を画面上で見ながら、時間帯毎にプルダウンメニュー等を利用して表示抽象化レベルを選択(決定)することができる。このようにして、時間帯毎に決定された表示抽象化レベルは、抽象化レベル管理部16(設定手段)が、例えば記憶部11に記憶することによって、設定される。
図12は、このような表示抽象化レベル設定の時間帯設定表の例を示す。図12では、朝6時から8時までは表示抽象化レベルはLv1であり、プライバシ保護の程度としては低く設定されている。朝8時から夕方17時までは、表示抽象化レベルはLv4である。また、夕方17時から夜22時まではLv2に設定されている。また、夜22時から翌朝6時までは、プライバシ保護は行わずLv0に設定されている。例えば、オフィスの監視カメラで撮像をする場合、昼間の就業時間帯(8:00〜17:00)は、一般のお客さんが来るため、表示抽象化レベルをLv4に設定し、オフィス内の人物のプライバシ保護の程度をより高くしている。就業前後の時間帯(6:00〜8:00および17:00〜22:00)は、オフィスにいるのは社内関係者がほとんどであるため、表示抽象化レベルをLv1やLv2に下げて、オフィス内の人物の行動をより把握しやすく(観察しやすく)している。深夜の時間帯(22:00〜6:00)は、通常は、オフィス内に人が居ない時間帯の為、表示抽象化レベルを最低のLv0に下げて、正確な監視ができる(人物を正確に把握できる)ようにしている。
本実施形態では、RTC107は、6:00、8:00、17:00、22:00にタイマイベントを発するように設定される。この設定をタイマ設定と称する。
S23において、抽象化レベル管理部16は、表示抽象化レベルの設定が終了したか否か確認する。確認の結果、表示抽象化レベルの設定が終了している場合は、S24に移行し、終了していない場合はS22に戻り、表示抽象化レベルの設定が続行される。
S24において、制御部12は、タイマイベントが発せられているかを判断する。タイマイベントが発せられていない場合は、S26に移行する。他方、タイマイベントが発せられている場合は、S25に移行する。
S25において、抽象化レベル管理部16(変更手段)は、タイマ制御部20が発した(上げた)タイマイベントによって、表示抽象化レベルを動的に変更する。
すなわち、タイマ制御部20は、表示抽象化レベル動的変更手段としての役割を果たしている。このようなタイマ制御部20(RTC107)からのタイマイベントに応じ、制御部12は抽象化レベル管理部16に対して、表示抽象化レベルの変更を指示する。かかる指示を受けた表示抽象化レベル管理部16は、記憶部11に保存されている表示抽象化レベル設定を、図12の時間帯設定表に基づき動的に変更する。
S26において、抽象化レベル管理部16は、表示抽象化レベル設定の時間帯設定表に、タイマ設定があるか否かを確認する。本実施形態では、タイマ設定がある。確認の結果、タイマ設定がある場合は、抽象化レベル管理部16は、タイマ制御部20に、次のタイマ設定時刻(6:00、8:00、17:00、22:00のいずれか)にタイマイベントを発生するようにタイマ制御部の時刻設定をして、S24に移行する。
なお、タイマ制御部20に一度時刻設定をした場合は、表示抽象化レベル設定の時間帯設定表にその旨のフラグを付しておき、次回からはタイマ制御部20に同じ設定をしないように構成してもよい。
前記表示抽象化レベル設定の時間帯設定表に、タイマ設定がない場合(S26:No)は、表示抽象化レベルの設定処理は終了する(END)。
以上説明したように、実施形態2によれば、時間によって表示抽象化レベルを動的に変化させることができる。なお、実施形態2においては、時間帯を設定し、当該時間帯毎に表示抽象化レベルの設定を行う場合を説明したが、単に時間によって(つまり時間帯を設定せずに)動的に表示抽象化レベルが変化するように構成してもよい。
実施形態3
以下、図13および図14に基づき、実施形態3に係る画像情報生成装置(ネットワークカメラ)を説明する。実施形態3に係る画像情報生成装置のブロック構成図は、実施形態1の図1と同じである為、その説明を省略する。以下の記載において実施形態1と同じ構成要素には実施形態1で使用した参照符号と同じ参照符号を使用する。
実施形態2では設定時間帯毎に表示抽象化レベルを変更するとしたが、実施形態3では、撮像画像中の人物の位置(人物領域の位置)に応じて表示抽象化レベルを変更する。
実施形態3のネットワークカメラ1の動作は、実施形態1で説明した図8のフローチャートで示されたものとほぼ同じである。実施形態1と異なるのは、表示抽象化レベル設定処理である(図13)。
図13に示すフローチャートは、表示抽象化レベル設定処理フローを表すものであり、実施形態1で説明した図9に示したフローチャートに相当する。以下、図13のフローチャートに基づき、実施形態3の抽象化レベル設定処理フローを説明する。
制御部12は、ネットワークカメラ1の抽象化レベル管理部16に対して、表示抽象化レベル設定の開始を指示する。指示されたネットワークカメラ1の抽象化レベル管理部16は、図13のフローチャートで示される表示抽象化レベル設定処理を開始する。図13に示される抽象化レベル管理部16の処理動作は、ネットワークカメラ1のCPU101がプログラムを実行することによって実現される。
S31において、抽象化レベル管理部16(設定手段)は、まず、図3に示されているような表示抽象化レベルと、当該表示抽象化レベルを画像内のどこの位置(エリア)に設定するべきかを指定するための(例えば店舗内の)マップを表示手段に表示する。
ユーザは、このようなマップを見ながら、マップ上の各エリアに所望の表示抽象化レベルを設定することができる。このように、実施形態3においては、撮像画像のエリア毎に、表示抽象化レベルを設定することができる。
S32において、抽象化レベル管理部16は、例えば、画面に多角形図形を描いて、そこに表示抽象化レベルを設定することができる。
図14は、各エリアに表示抽象化レベルの設定を行ったプライバシ保護画像を示す図である。
図14では、エリア141に表示抽象化レベルのレベル0(Lv0)が設定され、エリア142に表示抽象化レベルのレベル1(Lv1)が設定され、エリア143に表示抽象化レベルのレベル2(Lv2)が設定されている。また、図14においては、表示抽象化レベルレベル1(Lv1)のエリア142に、人物144が位置している。
このように、各エリアに表示抽象化レベルの設定を行うことにより、重要な場所(例えば重要な扉)に近づくにつれて、動的に表示抽象化レベルを下げること(変更すること)ができる。
さらに、S32において、抽象化レベル管理部16(変更手段)が、その人物領域の位置するエリアに設定されている表示抽象化レベルを、その人物領域の表示抽象化レベルとして設定(変更)する。例えば、当初、撮像画像中の人物の位置(人物領域144の位置)がエリア143内にあれば、当該人物領域144には表示抽象化レベル2が設定される。その後、人物領域144の位置がエリア143からエリア142に移動すると、人物領域144には表示抽象化レベル1が設定される。このように、人物領域144が画像中のどのエリアに位置するかによって、その人物領域144に設定される表示抽象化レベルが動的に変更される。その結果、重要な場所(エリア141)に近づくほど、プライバシの保護レベルを下げて、人物の行動や人物特徴がより見えるように設定することができる。
図13に戻って、説明を続ける。
S33において、抽象化レベル管理部16は、表示抽象化レベル設定処理の終わりがユーザから指示されない場合は、S32に移行する。他方、ユーザから表示抽象化レベル設定処理の終わりが指示された場合は、抽象化レベル管理部16は処理を終了する。
以上説明したように、本実施形態3によれば、人物領域144が位置するエリアに基づき、人物領域144の表示抽象化レベルを動的に変更することができる。なお、本実施形態3においては、画像に3つのエリア141、142、143を規定してエリア毎に表示抽象化レベルを設定したが、画像中の全ての位置に対して表示抽象化レベルを設定してもよい。この場合は、画像中の人物領域の位置に設定されている表示抽象化レベルを、その人物領域に設定する。
実施形態4
実施形態2および3においては、表示抽象化レベルを時間や画像中のエリア等に応じて変更することができた。
実施形態4では、画像を処理する際の処理重要度を設定し、処理重要度に基づいて表示抽象化レベルを変更することができるネットワークカメラ1(画像情報生成装置)を説明する。例えば、ネットワークカメラ1が監視カメラである場合、様々な種類の処理が想定される。それらの処理の重要度としては、例えば以下のような6段階の重要度を定めることができる。下記の記載において、図3を用いて、実施形態2および3との相違点を中心に実施形態4の説明をする。
<混雑>(監視イベント重要度:1(最も低い処理重要度))
混雑している群衆を監視する監視カメラにおいては、その監視のための処理重要度は例えば1とする。この場合、表示抽象化レベルは、Lv1として、人物領域をシルエット画像で置き換える(合成する)処理を行うことができる。表示抽象化レベルがLv1の場合、3次元エッジ36(図3)の中身を塗りつぶしてシルエット画像を形成する。その際、塗りつぶす色彩(又は濃淡)で性別を表す。
<行列>(監視イベント重要度:2(低い処理重要度))
行列を形成している群衆を監視する監視カメラにおいては、その監視のための処理重要度は例えば2とする。この場合、重要度1の「混雑」と同様に、表示抽象化レベルは、Lv1として、人物領域をシルエット画像で置き換える(合成する)処理を行い、かつ、塗りつぶす色彩で性別を表す表示を行う。
さらに、「行列」の場合は、観察している行列の長さをアノテーションとして表示する。これは、図3で説明したLv3のバー画像に付随して表示した身長33と同様に、行列の長さを表示する属性表示であり、行列の監視に有用である。例えば、行列が6人の場合は「6heads」等と表示する。なお、表示する行列の長さは、おおよその人数でも監視の目的には十分な場合もある。
<い集>(監視イベント重要度:3(普通の処理重要度))
群衆が「い集」を形成している場合、これを監視する監視カメラにおいては、その監視のための処理重要度は例えば3とする。この場合、重要度1の「混雑」と同様に、表示抽象化レベルは、Lv1として、人物領域をシルエット画像で置き換える(合成する)処理を行い、かつ、塗りつぶす色彩で性別を表す表示を行う。
さらに、「い集」の場合は、各人物の顔の向きを表す矢印をシルエット画像に付随して表示する。これは、図3で説明したLv2のボックス画像34に付随して表示した顔の向きの矢印35と同様の矢印であり、多くの人物がい集している場合に、各人物の監視のために有用である。
<通過>(監視イベント重要度:4(やや高い処理重要度))
いわゆるVIP(Very Important Person)が所定の通過線を通過したか否かを検知する場合は、これを監視する監視カメラにおいては、その監視のための処理重要度は例えば4とする。この場合、重要度1の「混雑」と同様に、例えば表示抽象化レベルは、Lv1として、人物領域をシルエット画像で置き換える(合成する)処理を行い、かつ、塗りつぶす色彩で性別を表す表示を行う。
さらに、「通過」の場合は、各人物の性別と年齢とをアノテーションとして表示する。これは、図3で説明したLv3のバー画像33に付随して表示した身長33と同様に、その人物の属性を表示する属性表示であり、人物の監視に有用である。例えば、女性で36歳の場合は、「W36」というアノテーションを表示することができる。
<置き去り/持ち去り>(監視イベント重要度:5(高い処理重要度))
重要拠点における手荷物等の置き去り/持ち去りを監視する場合は、これを監視する監視カメラにおいては、その監視のための処理重要度は例えば5とする。この場合、重要度1の「混雑」と同様に、例えば表示抽象化レベルは、Lv1として、人物領域をシルエット画像で置き換える(合成する)処理を行い、かつ、塗りつぶす色彩で性別を表す表示を行う。
さらに、「置き去り/持ち去り」の場合は、「通過」と同様に、各人物の性別と年齢とをアノテーションとして表示する。例えば、男性の31歳の場合はM31と表示することができる。さらに、「置き去り/持ち去り」の場合は、い集と同様に、各人物の顔の向きを表す矢印をシルエット画像に属性表示として表示する。
シルエット画像にこれらの付随的な表示を加えることで、プライバシをある程度確保しながら、各人物の行動を監視することができる。
<進入禁止領域への侵入検知>(監視イベント重要度:6(非常に高い処理重要度))
進入禁止領域への侵入は厳に監視する必要があり、この監視を行う監視カメラにおいては、その監視のための処理重要度は例えば6とする。
この場合、処理重要度5の「置き去り/持ち去り」と同様に、人物領域をシルエット画像で置き換える(合成する)処理を行い、かつ、塗りつぶす色彩で性別を表す表示を行う。
さらに、「置き去り/持ち去り」と同様に、各人物の性別と年齢とをアノテーションとして表示する。例えば、男性の31歳の場合はM31と表示することができる。これに加えて、「置き去り/持ち去り」と同様に、各人物の顔の向きを表す矢印をシルエット画像に属性表示として表示する。
また、「進入禁止領域への侵入検知」の場合は、図3で示したLv3のバー画像33に付随して表示した身長33と同様に、その人物の身長をシルエット画像に付随して表示する。例えば、身長が169cmの人物の場合、「169H」のように、身長を表示する。なお、Hは、Heightを表す。シルエット画像にこれらの属性表示を加えることで、プライバシをある程度確保しながら、各人物の行動を監視することができる。
さらに、「進入禁止領域への侵入検知」の場合は、その人物が当該進入禁止領域に侵入している時間を計測し、侵入時間が一定時間以上になった場合は、シルエット画像に置き換える(合成)する処理を中止し、Lv0にしてもよい。進入禁止領域に長時間滞在していることで、危険性が増加し、プライバシ保護よりも、進入禁止領域の保護の方が優先すると判断されるからである。
実施形態4のネットワークカメラ1の構成は、例えば実施形態2における図10と同様である。
但し、各処理によって表示抽象化レベルを動的に変更するために、抽象化レベル管理部16が、ユーザ等から入力された処理重要度を、記憶部11等に保存・設定する(第二の設定手段)。そして、抽象化レベル管理部16が、設定した処理重要度に基づき、表示抽象化レベルを変更することができる(変更手段)。
さらに、処理重要度が6の場合は、タイマ制御部20とRTC107とによって、その人物領域が、進入禁止領域に滞在している時間を計測することができる。そして、滞在している時間が一定の時間以上にった場合は、抽象化レベル管理部16が、表示抽象化レベルをLv0に設定することができる。
以上説明したように、実施形態4によれば、処理の重要度に基づき、表示抽象化レベルを動的に変更することができる。
実施形態5
実施形態4においては、処理の重要度を入力・設定することによって、処理の重要度に基づき、表示抽象化レベルを設定(変更)することができた。このように設定された表示抽象化レベルを、時間の経過(または時間帯)に応じて動的に変更する場合を実施形態5として説明する。
実施形態4では、抽象化レベル管理部16は、設定した処理の重要度に基づき、表示抽象化レベルを設定する(設定手段)。しかし、ここで設定した表示抽象化レベルは、時間に応じて変更してもよい。したがって、処理の重要度に基づき設定する表示抽象化レベルは、いわば「初期値」である。表示抽象化レベルは、この初期値から、時間(時間帯や時間の経過)に応じて、変更することができる。例えば、図12に示した時間帯と表示抽象化レベルの表のようなものを作成し、当該表に従って表示抽象化レベルを時間とともに変更することができる。
実施形態6
実施形態6では、所定のイベントが発生した場合に、それをトリガとして、表示抽象化レベルを、動的に変化させることができるネットワークカメラ1を説明する。このようなネットワークカメラ1の構成は、実施形態2の図10と同様である。また、抽象化レベル管理部16(設定手段)は、表示抽象化レベルをLv1に設定しており、人物領域をシルエット画像に置き換えた(合成した)画像を生成しているものとする。以下、実施形態1〜5との相違点を中心に説明する。
実施形態6に係る抽象化レベル管理部16(第三の設定手段)は、トリガとなる所定のイベントを設定する。イベントとしては種々のものを設定することができる。例えば、人物が商品を手に取った、商品を棚に戻した、等をイベントとして設定することができる。
次に、設定したイベントが検出された場合は、抽象化レベル管理部16(変更手段)が、表示抽象化レベルを動的に変更する。例えば、人物が商品を手に取ったというイベントが検出された場合、表示抽象化レベルをLv1からLv0にする(塗りつぶしをやめることができる)。その後、一定時間経過した場合には、表示抽象化レベルを、元の表示抽象化レベルLv1に戻すことができる。
このような構成によって、イベントの発生に基づき、表示抽象化レベルを動的に変更することができ、プラバシを保護しつつ、セキュリティーも一定のレベルに維持することもできる。本実施形態によれば、ネットワークカメラ1の目的に合致した効果を奏することができる。例えば監視カメラの場合、何らかのイベントが発生した場合は、表示抽象化レベルを下げて、監視機能を高めるという効果を奏することができる。
実施形態7
実施形態6では、さまざまなイベント(事象)に基づき、表示抽象化レベルを動的に変更する場合を説明した。そのイベントとしては、人物が商品を手に取るという動作の他に、人物の姿勢、行動、顔の向きの動き、手の動き、走り出し動作、歩行軌跡、走行軌跡等の様々な事象を含むことができる。人物の異常行動をイベントとしてもよい。人物が商品を手に取るという動作、顔の向きの動き、手の動き等は、被処理対象オブジェクトの所定部位の動きの例である。歩行軌跡や走行軌跡は移動軌跡の例である。
また、イベントは人物に関するものに限定されない。例えば、被処理対象オブジェクトとして、自動車や自転車等も被処理対象オブジェクトとすることができる。これらの動き、所定領域への侵入、走行軌跡等も、イベントとして利用することができる。
さらに、イベントは、外部イベントでもよい。外部イベントとしては、例えば気温の変化、湿度の変化、気圧の変化等のいわゆる天候の変化等が挙げられる。これら外部イベントをトリガとして、表示抽象化レベルを動的に変更することもできる。
イベントは、緊急イベントでもよい。例えば、地震、事件(強盗など)、火事等をイベントとして、これらイベントをトリガとして表示抽象化レベルを動的に変更することができる。緊急イベントをトリガとして表示抽象化レベルを動的に変更する場合は、表示抽象化レベルを最低のレベルに設定してよい(すなわち実画像を使用することができる)。そして、緊急イベントによって表示抽象化レベルを最低のレベルにした場合、所定の時間が経過した場合であっても、元の表示抽象化レベル(例えばLv1)に戻らないように構成してもよい。
抽象化レベル管理部16(第三の設定手段)は、これらのイベントを表示手段に表示して、ユーザに選択させることによって、表示抽象化レベルを変更するトリガとなるイベントを設定することができる。
実施形態8
実施形態7では、様々なイベントをトリガとして利用して、表示抽象化レベルを動的に変更した。
実施形態8では、複数のイベントを設定した場合に、それらの間に優先度を設定する場合を説明する。複数のイベントが設定されており、且つ、複数のイベントが同時に発生した場合、どのイベントに基づき、表示抽象化レベルを変更するべきかについての優先度を設定しておく。このような優先度をユーザが設定しておくことによって、ユーザの意思をより反映した的確な表示抽象度レベルの変更をすることができる。
抽象化レベル管理部16(第三の設定手段)は、イベントの設定を行う場合に、ユーザに優先度を選択させることによって、各イベントを優先度を含めて設定しておくことができる。イベントに優先度が設定されていれば、抽象化レベル管理部16(変更手段)は、同時に複数のイベントが発生した場合でも、優先度の高いイベントをトリガとして表示抽象化レベルを動的に変更することができる。
実施形態9
実施形態1〜8においては、画像生成部17は、設定されている表示抽象化レベルに基づき、画像中の人物領域の実画像を抽象化画像と置き換えてプライバシ保護画像を生成している。この抽象化画像には、対象となる人物に関する種々の属性情報を付することができる。例えば、図3で示したLv3のバー画像33においては、人物の身長を表す176という数字33が付加表示されている。また、実施形態4においては、シルエット画像にその人物の種々の付加情報、例えば性別や年齢等が付加表示される例が説明されている。このように、人物領域の実画像と置き替えられる(合成される)抽象化画像には、種々の属性情報を付加することができる。
本実施形態9に係る画像生成部17は、その属性情報の範囲・内容を、表示抽象化レベルに応じて可変に決定することができるように構成されている。このような構成によって、表示抽象化レベルによって、表示される属性情報を妥当な内容に調整することができ、利便性の高いネットワークカメラ1(画像情報生成装置)を提供することができる。
表示抽象化レベルが高い場合は、属性情報の範囲を広く取る(属性情報の項目を多くする)ことが考えられる。例えば、表示抽象化レベルが高い場合、性別、年齢、身長等を属性情報として表示してもよい。表示抽象化レベルが低い場合は、属性情報の範囲を狭く取ることが考えられる。例えば、性別および年齢のみを属性情報として表示してもよい。
このように、表示抽象化レベルに応じて、表示する属性情報の範囲を可変に決定することができる。よって、ネットワークカメラ1は、プライバシを保護しつつ、他の目的(例えば監視目的)にも利用可能なプライバシ保護画像を提供することができる。
なお、上記の記載においては主として人物領域について説明したので、属性情報もその人物に関する属性情報を用いた。しかし、人物以外が被処理対象オブジェクトである場合(例えば、当該人物が所有する自動車や自転車などが被処理対象オブジェクトである場合)は、そのオブジェクトの属性情報を表示してよい。人物は、当該人物が所有する物(自動車等)によって特定することができるので、人物以外でもプライバシ保護の対象となり得る。
実施形態10
これまで説明した実施形態1〜9に係るネットワークカメラ1と、ネットワークカメラ1が生成した合成画像やプライバシ保護画像を表示装置に表示させる表示制御手段と、から画像処理システムを構築することができる。表示制御手段は、種々のディスプレイやプロジェクタ装置である表示装置に、画像信号を提供するビデオインターフェース等から構成される。
このような画像処理システムによれば、表示装置上に表示される人物(オブジェクト)についての抽象化画像を、例えば、時系列的に変化させることができる。
他の実施形態
なお、本発明は上記した実施形態に限定されるものではなく、以下のような変形・変更が可能である。
実施形態1〜実施形態10において、撮像部10を内蔵するネットワークカメラ1を説明したが、撮像部10はネットワークカメラ1に内蔵されなくてもよい。例えば脱着可能な外部のカメラ手段を撮像部10として用いてもよい。また、ネットワークカメラ1とは異なる管理装置で実施形態1〜10を実行し、各端末装置に配信してもよい。この場合の管理端末装置のハードウェア構成は、図2の撮像部104を除いた構成となる。また、実施形態1〜実施形態10において、人物領域検出をネットワークカメラ1内で行っているが、ネットワークカメラ1とは別体の人物領域検出装置で人物領域検出を行う構成としてもよい。
実施形態1〜実施形態10において、人物領域検出をネットワークカメラ1のみで行っているが、本発明はこれに限定されない。例えば、撮像部10を備えるネットワークカメラ1と、別の人物領域検出装置とにより、人物領域の検出を実行する構成としてもよい。この場合、撮像部10を備えるネットワークカメラ1と、別の人物領域検出装置とによる人物領域検出の処理は、連携しても連携しなくてもよい。
また、実施形態1〜実施形態10においては画像情報生成装置がネットワークカメラ1または監視カメラであるとしたが、他のカメラ(例えば、マーケティング情報取得カメラ)であってもよい。
実施形態1〜実施形態10においては、人物領域検出部15を利用して、人物領域を検出した。つまり被処理対象オブジェクトは人物であった。しかし、本発明の被処理対象オブジェクトは人物に限定されない。例えば、被処理対象オブジェクトは、自動車のナンバープレート、店舗の店名等であってもよいし、免許証、電柱等の住所表記、クレジットカード等であってもよい。
以上、本発明の実施形態について詳細に説明したが、前述した実施形態は、本発明を実施するにあたっての具体例を示したに過ぎない。本発明の技術的範囲は、前記実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の変更が可能であり、それらも本発明の技術的範囲に含まれる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1・・・ネットワークカメラ、10・・・撮像部、11・・・記憶部、12・・・制御部、13・・・背景生成部、14・・・空間モデル生成部、15・・・人物領域検出部、16・・・抽象化レベル管理部、17・・・プライバシ保護画像生成部、18・・・合成画像生成部、19・・・ネットワーク部、20・・・タイマ制御部

Claims (14)

  1. 画像中の人物の領域を検出する検出手段と、
    複数の表示抽象化レベルのいずれか一つを選択可能な画面を表示手段に表示させる表示制御手段と、
    前記複数の表示抽象化レベルのうち、ユーザによる操作に応じて、1つの表示抽象化レベルを設定する設定手段と、
    前記設定手段により設定された表示抽象化レベルに基づいて、前記人物の領域を抽象化した抽象化画像を生成する生成手段と、
    前記生成手段により生成された抽象化画像を所定の画像に合成する合成手段と、を備え
    前記複数の表示抽象化レベルは、第1表示抽象化レベルと、第2表示抽象化レベルとを含み、
    前記第1表示抽象化レベルに基づき前記生成手段により生成される抽象化画像の形状は、前記人物の領域の形状の変化に応じて変化し、前記第2表示抽象化レベルに基づき前記生成手段により生成される抽象化画像の形状は、前記人物の領域の形状の変化によらず一定であることを特徴とする画像情報生成装置。
  2. 前記表示制御手段は、前記第1表示抽象化レベルに対応するサンプルと、前記第2表示抽象化レベルに対応するサンプルとを含む前記複数の表示抽象化レベルの各々に対応するサンプルを前記表示手段に表示させることを特徴とする請求項1に記載の画像情報生成装置。
  3. 画像中の人物の領域を検出する検出手段と、
    前記検出手段により検出された人物の領域に対して、複数の表示抽象化レベルのうち1つの表示抽象化レベルを設定する設定手段と、
    前記設定手段により設定された表示抽象化レベルに基づいて、前記人物の領域を抽象化した抽象化画像を生成する生成手段と、
    前記生成手段により生成された抽象化画像を所定の画像に合成する合成手段と、
    前記設定手段により設定された表示抽象化レベルを、所定の条件に応じて、前記複数の表示抽象化レベルにおける他の表示抽象化レベルに変更する変更手段と、を備え、
    前記複数の表示抽象化レベルは、第1表示抽象化レベルと、第2表示抽象化レベルとを含み、
    前記第1表示抽象化レベルに基づき前記生成手段により生成される抽象化画像の形状は、前記人物の領域の形状の変化に応じて変化し、前記第2表示抽象化レベルに基づき前記生成手段により生成される抽象化画像の形状は、前記人物の領域の形状の変化によらず一定であり、
    前記変更手段が前記表示抽象化レベルを前記他の表示抽象化レベルに変更した場合、前記生成手段は、前記他の表示抽象化レベルに基づいて、他の抽象化画像を生成し、前記合成手段は、前記他の抽象化画像を前記所定の画像に合成することを特徴とする画像情報生成装置。
  4. 前記設定手段は、前記人物の領域に対して、時間帯に応じて前記表示抽象化レベルを設定可能であり、
    前記変更手段は、前記時間帯の変化に応じて、前記表示抽象化レベルを変更することを特徴とする請求項3に記載の画像情報生成装置。
  5. 前記設定手段は、前記画像内における前記人物域の位置に応じて、前記表示抽象化レベルを設定可能であり、
    前記変更手段は、前記画像内における前記人物域の位置に応じて、前記表示抽象化レベルを変更することを特徴とする請求項3または4に記載の画像情報生成装置。
  6. 前記画像を処理する際の処理重要度を設定する第二の設定手段をさらに備え、
    前記変更手段は、前記第二の設定手段により設定された前記処理重要度に基づいて、前記表示抽象化レベルを変更することを特徴とする請求項3から5のいずれか1項に記載の画像情報生成装置。
  7. 前記変更手段は、前記表示抽象化レベルを、時間の経過に応じて変更することを特徴とする請求項6に記載の画像情報生成装置。
  8. 前記表示抽象化レベルを変更するトリガとなるイベントを設定する第三の設定手段をさらに備え、
    前記変更手段は、前記第三の設定手段により設定された前記イベントが検出されたことに応じて、前記表示抽象化レベルを変更することを特徴とする請求項3から7のいずれか1項に記載の画像情報生成装置。
  9. 前記イベントは、前記人物の所定部位の動き、姿勢、移動軌跡、及び外部イベントの少なくとも1つを含むことを特徴とする請求項8に記載の画像情報生成装置。
  10. 前記第三の設定手段は、前記イベントに対応する優先度を設定可能であり
    複数の前記イベントが同時に検出された場合、前記変更手段は、前記イベントに対応して設定された前記優先度に応じて、前記表示抽象化レベルを変更することを特徴とする請求項8または9に記載の画像情報生成装置。
  11. 前記生成手段は、前記人物の属性情報を生成し、前記合成手段は、前記抽象化画像と共に前記属性情報を前記所定の画像に合成することを特徴とする請求項1から10のいずれか1項に記載の画像情報生成装置。
  12. 画像中の人物の領域を検出するステップと、
    複数の表示抽象化レベルのいずれか一つを選択可能な画面を表示手段に表示させるステップと、
    前記複数の表示抽象化レベルのうち、ユーザによる操作に応じて、1つの表示抽象化レベルを設定するステップと、
    設定された表示抽象化レベルに基づいて、前記人物の領域を抽象化した抽象化画像を生成するステップと、
    生成された前記抽象化画像を所定の画像に合成するステップと、を有し、
    前記複数の表示抽象化レベルは、第1表示抽象化レベルと、第2表示抽象化レベルとを含み、
    前記第1表示抽象化レベルに基づき生成される抽象化画像の形状は、前記人物の領域の形状の変化に応じて変化し、前記第2表示抽象化レベルに基づき生成される抽象化画像の形状は、前記人物の領域の形状の変化によらず一定であることを特徴とする画像情報生成方法。
  13. 画像中の人物の領域を検出するステップと、
    検出された前記人物の領域に対して、複数の表示抽象化レベルのうち1つの表示抽象化レベルを設定するステップと、
    設定された前記表示抽象化レベルに基づいて、前記人物の領域を抽象化した抽象化画像を生成するステップと、
    生成された前記抽象化画像を所定の画像に合成するステップと、
    設定された前記表示抽象化レベルを、所定の条件に応じて、前記複数の表示抽象化レベルにおける他の表示抽象化レベルに変更するステップと、
    前記表示抽象化レベルが前記他の表示抽象化レベルに変更された場合、前記他の表示抽象化レベルに基づいて、他の抽象化画像を生成するステップと、
    前記他の抽象化画像を前記所定の画像に合成するステップと、を有し
    前記複数の表示抽象化レベルは、第1表示抽象化レベルと、第2表示抽象化レベルとを含み、
    前記第1表示抽象化レベルに基づき生成される抽象化画像の形状は、前記人物の領域の形状の変化に応じて変化し、前記第2表示抽象化レベルに基づき生成される抽象化画像の形状は、前記人物の領域の形状の変化によらず一定であることを特徴とする画像情報生成方法。
  14. コンピュータを請求項1から11のいずれか1項に記載の画像情報生成装置の各手段として機能させるためのプログラム。
JP2015167436A 2015-08-27 2015-08-27 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム Active JP6624852B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015167436A JP6624852B2 (ja) 2015-08-27 2015-08-27 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015167436A JP6624852B2 (ja) 2015-08-27 2015-08-27 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム

Publications (3)

Publication Number Publication Date
JP2017046196A JP2017046196A (ja) 2017-03-02
JP2017046196A5 JP2017046196A5 (ja) 2018-09-27
JP6624852B2 true JP6624852B2 (ja) 2019-12-25

Family

ID=58210590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015167436A Active JP6624852B2 (ja) 2015-08-27 2015-08-27 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム

Country Status (1)

Country Link
JP (1) JP6624852B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6832778B2 (ja) * 2017-04-05 2021-02-24 株式会社Pfu 情報処理装置、方法及びプログラム
JP7278735B2 (ja) * 2017-10-06 2023-05-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7134784B2 (ja) * 2018-08-20 2022-09-12 株式会社東芝 監視システム、監視方法、およびプログラム
US11527265B2 (en) 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
JP7297455B2 (ja) 2019-01-31 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7237713B2 (ja) * 2019-04-26 2023-03-13 株式会社東芝 センサシステム、画像センサ、およびセンシング方法
US20230017333A1 (en) * 2019-12-20 2023-01-19 Nec Corporation Event detection device
JP7483433B2 (ja) 2020-03-23 2024-05-15 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP7478630B2 (ja) * 2020-09-15 2024-05-07 株式会社日立製作所 映像解析システムおよび映像解析方法
WO2022074726A1 (ja) * 2020-10-06 2022-04-14 三菱電機株式会社 映像処理装置、映像処理方法及び映像監視システム
WO2023166575A1 (ja) * 2022-03-02 2023-09-07 日本電気株式会社 映像処理装置、防災支援システム、映像処理方法、および記録媒体
JP7502698B2 (ja) 2022-08-23 2024-06-19 ダイキン工業株式会社 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム
JP7502702B2 (ja) 2022-08-23 2024-06-19 ダイキン工業株式会社 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム
JP2024049782A (ja) * 2022-09-29 2024-04-10 グローリー株式会社 監視システム及び監視方法
KR102622523B1 (ko) * 2023-07-21 2024-01-09 주식회사 포딕스시스템 동영상 내 객체 자동 마스킹 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4168940B2 (ja) * 2004-01-26 2008-10-22 三菱電機株式会社 映像表示システム
JP5183054B2 (ja) * 2006-10-12 2013-04-17 中国電力株式会社 防犯装置
JP5707561B1 (ja) * 2014-02-05 2015-04-30 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法

Also Published As

Publication number Publication date
JP2017046196A (ja) 2017-03-02

Similar Documents

Publication Publication Date Title
JP6624852B2 (ja) 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム
AU2021201574A1 (en) Security system and method
JP6253311B2 (ja) 画像処理装置、画像処理方法
WO2014050518A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2020078058A (ja) 画像処理装置、監視システム、画像処理方法、及びプログラム
CN108965982A (zh) 视频录制方法、装置、电子设备和可读存储介质
US11212515B2 (en) Information processing device and information processing method
JP2011060058A (ja) 撮影装置および監視システム
JP7416165B2 (ja) 情報処理装置
WO2022160592A1 (zh) 一种信息处理方法、装置、电子设备及存储介质
JP6206627B1 (ja) 情報処理装置、制御方法、及びプログラム
CN110007832A (zh) 信息终端装置、信息处理系统以及存储有显示控制程序的计算机可读非暂时性的存储介质
KR20190099216A (ko) Rgbd 감지 기반 물체 검출 시스템 및 그 방법
JP2015230616A (ja) 画像処理方法および画像処理装置
JP2021196741A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6536643B2 (ja) 情報処理装置、制御方法、及びプログラム
CN112102018A (zh) 智能试衣镜实现方法及相关装置
CN112419637A (zh) 安防图像数据的处理方法及装置
WO2022059223A1 (ja) 映像解析システムおよび映像解析方法
KR102544147B1 (ko) 영상분석 기반 1인 낙상 감지 시스템 및 방법
TW201839550A (zh) 在虛擬實境環境瀏覽時進行畫面切換之系統及方法,及其相關電腦程式產品
Xu et al. AtHoCare: An intelligent elder care at home system
JP2020113876A (ja) 監視装置、監視システムおよび自動ドア装置
JP2023039504A (ja) パラメータ閲覧システム、パラメータ調整システム、サーバ、及びサーバ制御プログラム
JP5849762B2 (ja) 予測情報提示システム、予測情報提示装置、予測情報提示方法および予測情報提示プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191126

R151 Written notification of patent or utility model registration

Ref document number: 6624852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151