JP6910772B2 - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。

近年、監視カメラの普及が進んでいる。これに伴い、公共の場で監視カメラによって撮像された画像（映像）に映っている個人の容姿を他人が容易に見ることができるようになり、プライバシーの観点から問題となっている。
そこで、カメラによって撮像された画像中の被写体のプライバシーを保護するための技術が提案されている。特許文献１には、撮像画像中における被写体の画像部分を抽出し、抽出した被写体の画像部分に対してプライバシー保護のための画像加工（ぼかし処理）を施した画像をモニタ等の画像表示装置に出力する点が開示されている。

特開２００８−１９１８８４号公報

しかしながら、特許文献１に記載の技術にあっては、一度プライバシー保護のための画像加工が施された領域については、有事の際などに後から画像加工前の元画像を確認する需要がある。
そこで、本発明は、プライバシーを保護しつつ、プライバシー保護のための画像加工が施される前の画像を必要に応じて再現可能とすることを目的としている。

上記課題を解決するために、本発明に係る撮像装置の一態様は、撮像手段と、前記撮像手段により撮像された撮像画像における特定領域に対してプライバシー保護のための画像加工処理を施した第一の画像を生成する第一の生成手段と、前記撮像画像における部分領域の画像であって、前記特定領域の少なくとも一部を含む部分領域の画像である第二の画像を生成する第二の生成手段と、前記第一の生成手段により生成された第一の画像を、ネットワークを介して、外部装置に出力する出力手段と、前記第二の生成手段により生成された第二の画像を記憶する記憶手段と、を備える。

本発明によれば、プライバシーを保護しつつ、プライバシー保護のための画像加工が施される前の画像を必要に応じて再現可能とすることができる。

画像処理システムの一例を示すネットワーク接続構成図である。 撮像装置のハードウェア構成の一例を示す図である。 画像処理装置の機能ブロック図である。 画像処理装置が実施する画像処理の流れを説明する図である。 加工前画像および加工済画像の出力先を説明する図である。 画像処理装置の動作を説明するためのフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
図１は、本実施形態における画像処理システムの動作環境の一例を示したネットワーク接続構成図である。本実施形態では、画像処理システムをネットワークカメラシステムに適用する。
ネットワークカメラシステム１０は、少なくとも１台のネットワークカメラ（以下、単に「カメラ」ともいう）２０と、少なくとも１台の情報処理装置３０とを備える。カメラ２０と情報処理装置３０とは、ネットワーク回線であるＬＡＮ（Local Area Network）４０によって接続されている。なお、ネットワーク回線はＬＡＮに限定されるものではなく、インターネットやＷＡＮ（Wide Area Network）などであってもよい。また、ＬＡＮ４０への物理的な接続形態は、有線であってもよいし、無線であってもよい。さらに、図１において、カメラ２０および情報処理装置３０は、それぞれ２台ずつＬＡＮ４０に接続されているが、接続台数は図１に示す数に限定されない。

カメラ２０は、光学ズーム機能を有し、所定の画角で被写体を撮像する監視カメラ等の撮像装置である。カメラ２０は、撮像画像（以下、単に「画像」ともいう。）から所定の条件に合致した特定物体（例えば、人物の顔など）を検出し、検出した特定物体の画像上における領域を特定領域として抽出する画像解析処理を行う。ここで、画像解析処理は、動体検出、人体検出、顔検出等の処理の少なくとも１つを含む。
また、カメラ２０は、上記画像解析処理の処理結果をもとに、画像中の特定領域に対して画像加工処理を実施する。カメラ２０は、その画像加工処理の処理結果を、ＬＡＮ４０を介して情報処理装置３０に送信することができる。さらに、カメラ２０は、外部からの通信に応じてフォーカスなどのカメラ撮像設定やカメラ画角を変更する機能を有する。なお、カメラ２０は、魚眼カメラや多眼カメラ等であってもよい。

情報処理装置３０は、例えばパーソナルコンピューター（ＰＣ）により構成されており、ユーザ（例えば、監視員）が操作可能である。この情報処理装置３０は、カメラ２０から配信される画像や、画像加工処理の処理結果を表示部（ディスプレイ）に表示させるための表示制御機能を有する。また、情報処理装置３０は、カメラ２０で実行する画像解析処理や画像加工処理に関するパラメータ設定を行うための入力手段の機能を有していてもよい。

図２は、カメラ２０のハードウェア構成の一例を示す図である。
カメラ２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、外部メモリ２４と、撮像部２５と、入力部２６と、通信Ｉ／Ｆ２７と、システムバス２８とを備える。
ＣＰＵ２１は、カメラ２０における動作を統括的に制御するものであり、システムバス２８を介して、各構成部（２２〜２７）を制御する。ＲＯＭ２２は、ＣＰＵ２１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ２４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。つまり、ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

外部メモリ２４は、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶することができる。また、外部メモリ２４は、ＣＰＵ２１がプログラムを用いた処理を行うことにより得られる各種データや各種情報等を記憶することができる。
撮像部２５は、被写体の撮像を行うための構成であり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子を含んで構成される。入力部２６は電源ボタンや各種設定ボタンなどから構成され、カメラ２０のユーザは、入力部２６を介して当該カメラ２０に指示を与えることができるようになっている。通信Ｉ／Ｆ２７は、外部装置（本実施形態では、情報処理装置３０）と通信するためのインタフェースである。通信Ｉ／Ｆ２７は、例えばＬＡＮインタフェースである。システムバス２８は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、外部メモリ２４、撮像部２５、入力部２６および通信Ｉ／Ｆ２７を通信可能に接続する。
なお、情報処理装置３０の場合は、撮像部２５に代えて、表示部や入力部のハードウェア構成を具備する。ここで、表示部は、液晶ディスプレイ（ＬＣＤ）等のモニタにより構成される。また、入力部は、キーボードやマウス等のポインティングデバイスにより構成され、情報処理装置３０のユーザが情報処理装置３０に対して指示を与えることができるように構成される。

図３は、画像処理装置３００の機能構成を示すブロック図である。画像処理装置３００は、上記の画像解析処理および画像加工処理を行い、その処理結果を情報処理装置３０の表示画面に表示させる機能を有する。なお、本実施形態では、カメラ２０が画像処理装置３００として動作する場合について説明するが、情報処理装置３０とは異なる一般のＰＣが画像処理装置３００として動作してもよいし、他の機器が画像処理装置３００として動作してもよい。

画像処理装置３００は、画像中のプライバシー保護すべき特定物体を検出し、検出した特定物体の領域を、プライバシー保護すべき特定領域として抽出する画像解析処理を行う。また、画像処理装置３００は、抽出した特定領域に対してプライバシー保護するための画像加工を施した加工済画像（プライバシー保護処理済画像）を生成する画像加工処理を行う。そして、画像処理装置３００は、生成した加工済画像を情報処理装置３０へ出力する。また、画像処理装置３００は、画像加工処理が施される前の特定領域の少なくとも一部の画像を含む加工前画像（保護画像）を、加工済画像の出力先とは異なる出力先に出力する。
なお、本実施形態においては画像処理装置としているが、映像を取得し、映像中の各フレーム（画像）を１枚ごとに処理しても処理内容は同一であるため、映像処理装置にも適用可能である。

画像処理装置３００は、画像取得部３０１と、物体検出部３０２と、人体検出部３０３と、画像処理部３０４と、背景画像記憶部３０５と、出力制御部３０６と、保護画像処理部３０７と、復元情報処理部３０８と、を備える。本実施形態においては、図３に示す画像処理装置３００の各部の機能は、カメラ２０のＣＰＵ２１がプログラムを実行することで実現され得る。ただし、図３で示す各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、カメラ２０のＣＰＵ２１の制御に基づいて動作する。

画像取得部３０１は、撮像部２５によって撮像された画像（動画像もしくは静止画像）を取得する（図４（ａ））。そして、画像取得部３０１は、取得した画像を順次、物体検出部３０２へ送出する。なお、画像の供給元については特に限定するものではなく、画像取得部３０１は、画像をカメラ２０の外部から取得してもよい。画像の供給元は、有線もしくは無線を介して画像を供給するサーバ装置や別の撮像装置であってもよい。
また、画像取得部３０１は、画像処理装置３００内のメモリ（例えば、外部メモリ２４）から画像を取得するようにしてもよい。以下の説明では、画像取得部３０１が動画像を取得した場合であっても静止画像を取得した場合であっても、画像取得部３０１は、物体検出部３０２へ１枚の画像を送出する場合について説明する。前者の場合は、上記１枚の画像が動画像を構成する各フレームに相当し、後者の場合は、上記１枚の画像が静止画像に相当する。

物体検出部３０２は、画像取得部３０１から取得した画像をもとに、背景差分法等により、画像中の物体（オブジェクト）を検出する（図４（ｂ））。そして、物体検出部３０２は、検出した物体の情報を人体検出部３０３に出力する。ここで、検出された物体の情報は、物体の画像上での位置情報、物体の外接矩形の情報、および物体のサイズを含む。また、物体検出部３０２における物体検出処理を行う領域（物体検出処理領域）は、ＲＯＭ２２やＲＡＭ２３、外部メモリ２４、または通信Ｉ／Ｆ２７により与えられるパラメータにより設定することができる。上記パラメータは、情報処理装置３０のユーザインタフェースを用いて設定することもできる。
なお、本実施形態では、説明を簡略化するため、物体検出処理領域は、領域設定を行わず画像上の全領域とする。また、物体の検出方法は、背景差分法等の特定の方法に限定するものではなく、画像中の物体を検出可能な方法であれば適宜適用可能である。

人体検出部３０３は、予め記憶された照合パターン辞書等を用い、物体検出部３０２が物体を検出した画像上の領域に対し人体検出処理を実施することで、人体を検出する（図４（ｃ））。なお、人体の検出方法は、パターン処理に限定するものではなく、画像から人体を検出可能な方法であれば適宜適用可能である。
さらに、人体検出部３０３により人体検出処理を行う領域（人体検出処理領域）は、必ずしも物体検出部３０２が物体を検出した領域である必要はない。人体検出部３０３は、前述したパラメータ設定により設定された人体検出処理領域に対してのみ人体検出処理を行うようにしてもよい。あるいは、パラメータ設定により、検出対象とする人体の最大サイズと最小サイズとを指定し、この範囲から外れた人体検出処理を行わないようにすることも可能である。このように、人体検出処理の対象に制限を設けることで、人体検出処理を高速化することができる。

また、本実施形態では、特定物体が人体である場合について説明するが、特定物体は人体に限定されるものではない。上記特定物体は、人物の顔、自動車、動物などであってもよい。特定物体が人物以外である場合、人体検出部３０３の代わりに、特定物体を検出する特定物体検出部を設ける。その際、複数種類の特定物体を検出する特定物体検出部を備えてもよく、同時に複数の検出が可能であるならば、複数の特定物体検出処理を実施してもよい。
さらに、特定物体が人物の顔である場合、人体検出部３０３は、人体検出処理後に顔検出処理を行うようにすればよい。この場合、人体検出部３０３は、人体検出処理により検出された人体領域に対して顔検出処理を行うことで顔を検出する。顔検出処理は、例えば、人体領域から、目、口等のエッジを検出して人物の顔の特徴部分を検出する処理とすることができる。つまり、顔検出処理では、顔位置や顔の大きさ、顔の確からしさ等から顔領域を検出する。また、顔検出処理では、検出した顔領域から個人認証に用いる特徴情報を抽出し、抽出した特徴情報と予め記憶した辞書データとをパターンマッチングにより比較して顔認証を行ってもよい。顔検出処理を行う領域は、画像上の全領域としてもよい。
なお、特定物体が人物以外である場合、上記顔検出処理は、特定物体の特徴量（例えば、自動車の場合、ナンバープレート等）を検出する特徴量検出処理とすることができる。

画像処理部３０４は、物体検出部３０２により検出された物体領域と、人体検出部３０３により検出された人体領域または顔領域とから、プライバシー保護すべき特定領域を抽出する。そして、画像処理装置３０４は、画像加工処理として、撮像画像中の特定領域を不鮮明化する不鮮明化処理を行う。ここで、特定領域は、人物を特定可能な物体（オブジェクト）の画像中の領域であり、例えば、人物の顔、服装および歩き方等が含まれる領域とすることができる。画像処理部３０４は、人体検出部３０３により検出された人体領域をそのまま特定領域として設定してもよいし、画像中の所定領域内に位置する物体領域や人体領域、顔領域を特定領域として設定してもよい。

また、どこまでを特定領域として設定するかについては、パラメータ設定により与えることが可能であり、特定物体が人体である場合、人体領域、顔領域、上半身、正面向きのみといった領域を特定領域として設定することができる。一方、特定物体が車両である場合、車両全領域やナンバープレートのみといった領域を特定領域として設定することができる。本実施形態では、特定領域は、人体検出部３０３により検出された人体領域である場合について説明する。
さらに、特定領域を不鮮明化する不鮮明化処理は、シルエット化処理やモザイク処理、ぼかし処理などの抽象化処理やマスク処理を含むことができる。シルエット化処理においては、特定領域を所定の同一色で塗りつぶす方法もあるが、予め取得しておいた背景となる画像（背景画像）を特定領域に所定の比率で合成し、特定領域を半透明化してもよい。本実施形態では、画像加工処理（不鮮明化処理）として、背景画像を用いて特定領域を半透明化する半透明化処理を採用する場合について説明する。

ここで、背景画像は、被写体の映っていない背景のみの画像であり、背景画像記憶部３０５が記憶しておくものとする（図４（ｄ））。画像処理部３０４は、人体検出部３０３により検出された人体領域を特定領域として設定し、撮像画像中の特定領域に背景画像記憶部３０５に記憶された背景画像を所定の比率で合成することで、合成画像を生成する（図４（ｅ））。次に、画像処理部３０４は、撮像画像と合成画像とを合成し、プライバシー保護処理済（画像加工済）の加工済画像を生成する。そして、画像処理部３０４は、生成した加工済画像を、出力制御部３０６に出力する。
出力制御部３０６は、画像処理部３０４から出力された加工済画像を、外部出力部である表示先のディスプレイや録画や表示のための通信先へ出力される。本実施形態では、出力制御部３０６は、加工済画像を情報処理装置３０へ出力する。これにより、情報処理装置３０は、加工済画像を表示画像としてディスプレイに表示することができる（図４（ｆ））。

保護画像処理部３０７は、画像取得部３０１により取得された画像から、画像処理部３０４により特定領域とされた領域の画像加工前の画像（元画像）を取得する。そして、保護画像処理部３０７は、取得した特定領域の元画像をもとに、特定領域の少なくとも一部の元画像を含む保護画像を出力制御部３０６に出力する。本実施形態では、保護画像処理部３０７は、特定領域の元画像をそのまま保護画像として出力制御部３０６に出力する場合について説明する。
このとき、出力制御部３０６は、プライバシー保護のための制御が行える出力先へ保護画像を出力する。プライバシー保護制御が行える出力先は、カメラ２０に着脱可能なＳＤカードなどの記憶媒体とすることができる。
また、プライバシー保護制御は、保護画像が不特定多数から見られることがないようにするための制御である。保護画像の出力先がカメラ２０の着脱可能なＳＤカードである場合、プライバシー保護制御は、ＳＤカードの外装に物理的な鍵をかけ、所定の管理者しかアクセスできないようにする制御とすることができる。このように、出力制御部３０８は、加工前画像である保護画像を加工済画像とは異なる出力先に出力する。

図５は、保護画像および加工済画像の出力先の一例を示す図である。本実施形態のように、カメラ２０が画像処理装置３００として動作する場合、保護画像の出力先は、カメラ２０に内蔵されたＳＤカードなどの記憶媒体５３とすることができる。また、加工済画像の出力先は、保護画像の出力先とは異なる情報処理装置３０とすることができる。
例えば、カメラ２０によって撮像された画像５０に対して画像解析処理を行った結果、プライバシー保護対象とすべき特定領域５１を検出したものとする。この場合、特定領域５１に対してプライバシー保護のための画像加工処理を施す前の保護画像５２は、カメラ２０に内蔵されたＳＤカードなどの記憶媒体５３に出力される。そして、画像５０中の特定領域５１に対してプライバシー保護のための画像加工処理が施された加工済画像５４は、カメラ２０の外部出力先である情報処理装置３０に出力される。

また、ＳＤカードなどの記憶媒体５３には、プライバシー保護制御として物理的な鍵がかけられている。これにより、加工済画像（プライバシー保護処理済画像）の出力先である情報処理装置３０やその他の装置からは、所定の管理者しかプライバシー保護処理前の画像にアクセスすることはできない。したがって、プライバシー保護処理の対象となった被写体のプライバシーを適切に保護することができる。
なお、プライバシー保護制御の方法は、保護画像が不特定多数から見られることがないようにすることができる方法であれば、任意の方法を採用することができる。また、保護画像の出力先は、プライバシー保護制御が可能なＳＤカードに限定されるものではない。例えば、特定の管理者のみがアクセスできるネットワーク上の記憶媒体を、保護画像の出力先としてもよい。

また、本実施形態では、保護画像処理部３０７は、特定領域の元画像をそのまま保護画像とする場合について説明したが、保護画像は、特定領域の元画像の少なくとも一部を含む画像であればよく、保護画像の領域は、任意の画像領域とすることができる。つまり、保護画像の領域は、人体領域の一部である顔領域のように特定領域の一部の領域であってもよい。また、保護画像の領域は、特定領域を包含する、特定領域よりも大きな領域であってもよい。さらに、保護画像は、画像サイズが撮像画像と同じで、特定領域のみを元画像とし他の領域は黒色などで埋めた画像であってもよい。また、保護画像は、少なくとも特定領域を含む領域を撮像画像と同じ元画像の圧縮率とし、それ以外の領域はそれよりも圧縮率を高くした画像であってもよい。

復元情報処理部３０８は、画像処理部３０４により出力された加工済画像と保護画像処理部３０７により出力された保護画像とから、画像加工処理前の元画像（撮像画像）を復元可能とするための復元情報を生成する。ここで、復元情報は、加工済画像と保護画像とを対応付けるための対応情報と、保護画像の撮像画像中の位置を示す位置情報とを少なくとも含む。上記対応情報は、対応する加工済画像と保護画像とのフレーム番号とすることができる。なお、対応情報は、フレーム番号に限定されるものではなく、加工済画像と保護画像との対応付けが可能であれば、時刻情報やその他の情報を用いることもできる。
復元情報処理部３０８は、生成した復元情報を出力制御部３０６に出力する。このとき、出力制御部３０６は、プライバシー保護制御が行える出力先へ復元情報を出力する。例えば、復元情報の出力先は、保護画像と同じ出力先とすることができる。

なお、復元情報は、保護画像を表示するための復号鍵を含んでいてもよい。この場合、保護画像処理部３０７において保護画像を暗号化し、暗号化した保護画像をＳＤカードなどの記憶媒体に記憶するようにする。これにより、復元情報に含まれる復号鍵を用いないと保護画像を再現できないようにすることができる。つまり、保護画像のプライバシー保護制御としては、復号鍵を用いた制御も可能である。
画像の復元処理を行う際には、復元情報に含まれる対応情報を用いることで、出力された加工済画像および保護画像を対応付けることが可能となる。また、復元情報に含まれる位置情報を用いることで、保護画像を加工済画像にはめ込む位置を決定することができる。したがって、復元情報をもとに、特定領域に画像加工処理が施されていない元画像を復元可能である。この復元処理は、必要に応じて画像処理装置３００が実行してもよいし、復元後の元画像を表示する装置が実行してもよい。復元後の元画像を表示する装置は、情報処理装置３０であってもよいし、他のＰＣや他の機器であってもよい。

なお、本実施形態では、保護画像と復元情報とを同一の出力先に出力する場合について説明したが、別々の出力先に出力するようにしてもよい。また、復元情報の出力先のプライバシー保護制御の方法は、保護画像の場合と同様に、復元情報が不特定多数から見られないようにすることができるものであれば、どのような方法であってもよい。復元情報の出力先も、プライバシー保護制御が可能なＳＤカードに限定されるものではなく、例えば、特定の管理者のみがアクセスできるネットワーク上の記憶媒体を、復元情報の出力先としてもよい。
さらに、復元情報の出力先は、プライバシー保護制御が行えない出力先であってもよい。また、プライバシー保護制御が行える出力先に対して復元情報を出力するだけでなく、加工済画像の出力先のような出力先にも別の復元情報を出力し、両方の復元情報が対応可能か否かを別のアクセス管理アプリケーション等で認証するようにしてもよい。

次に、画像処理装置３００の動作について、図６を参照しながら説明する。
図６に示す処理は、例えば画像処理装置３００が画像を取得したタイミングで開始され、ユーザからの処理の終了指示を受け付けるまで、画像を取得するたびに繰り返し実行される。ただし、図６の処理の開始タイミングおよび終了タイミングは、上記のタイミングに限らない。
画像処理装置３００は、ＣＰＵ２１が必要なプログラムを読み出して実行することにより、図６に示す各処理を実現することができる。ただし、上述したように、図３に示す各要素のうち少なくとも一部が専用のハードウェアとして動作することで図６の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

先ずＳ１において、画像取得部３０１は画像を取得し、Ｓ２に移行する。Ｓ２では、物体検出部３０２は、Ｓ１において取得された画像をもとに画像中の物体を検出し、検出された物体を含む物体領域を検出する。次にＳ３では、人体検出部３０３は、Ｓ２の物体検出処理において検出された物体領域に対して人体検出処理および顔検出処理を行う。
Ｓ４では、画像処理部３０４は、Ｓ３において検出された人体領域をプライバシー保護すべき領域である特定領域として抽出し、画像中の特定領域を不鮮明化する画像加工処理を行う。このＳ４では、画像処理部３０４では、Ｓ１において取得された画像と、当該画像中の特定領域に背景画像を合成して得た合成画像とを合成し、加工済画像を作成する。

Ｓ５では、保護画像処理部３０７は、Ｓ４における画像加工処理の対象となった画像のフレーム番号と、Ｓ４において抽出された特定領域の画像上の位置とを取得し、これらの情報をもとに、特定領域に対応する画像加工前の元画像を取得する。そして、保護画像処理部３０７は、取得した特定領域の元画像をもとに、特定領域の元画像の少なくとも一部を含む保護画像を生成する。また、保護画像処理部３０７は、このＳ５において、保護画像を暗号化し復号鍵を取得してもよい。
Ｓ６では、復元情報処理部３０７は、Ｓ４において生成された加工済画像と、Ｓ５において生成された保護画像とをもとに、画像加工前の元画像を復元可能とするための復元情報を生成する。ここで、復元情報は、Ｓ５において取得されたフレーム番号と特定領域の画像上の位置とに関する情報を含む。また、復元情報は、Ｓ５において取得された復号鍵を含んでもよい。

Ｓ７では、出力制御部３０６は、Ｓ４において生成された加工済画像と、Ｓ５において生成された保護画像と、Ｓ６において生成された復元情報とを各々所定の出力先に出力し、Ｓ８に移行する。このＳ７では、出力制御部３０６は、Ｓ４において生成された加工済画像を表示先のディスプレイや録画や表示のための通信先へ出力する。また、Ｓ７では、出力制御部３０６は、Ｓ５において生成された保護画像およびＳ６において生成された復元情報を、カメラ２０に着脱可能であり物理的な外装に設置されているＳＤカードへ出力する。
Ｓ８では、画像処理装置３００は、処理を継続するか否かを判定する。例えば、画像処理装置３００は、処理の終了指示をユーザから受け付けたか否かに応じて処理を継続するか否かを判定することができる。そして、画像処理装置３００は、処理を終了すると判定すると、本処理を終了する。一方、画像処理装置３００は、処理を継続すると判定するとＳ１に戻る。

以上説明したとおり、画像処理装置３００は、画像中（撮像画像中）の特定領域に対してプライバシー保護のための画像加工処理を施した加工済画像（第一の画像）を生成する。そして、画像処理装置３００は、生成した加工済画像を情報処理装置３０（第一の出力先）に出力する。一方で、画像処理装置３００は、画像加工処理が施される前の特定領域の少なくとも一部の画像を含む加工前画像である保護画像（第二の画像）を、第一の出力先とは異なる第二の出力先に出力する。

ここで、画像加工処理は、画像中の特定領域を不鮮明化する不鮮明化処理とすることができる。不鮮明化処理は、撮像画像と背景画像とを所定の比率で合成するシルエット化処理やモザイク処理、ぼかし処理、マスク処理といった、プライバシー保護すべき特定物体を認識不可能にする処理を含む。画像加工処理に際し、画像処理装置３００は、画像中のプライバシー保護すべき特定物体を検出し、検出された特定物体の領域を特定領域として抽出する。そして、画像処理装置３００は、抽出された特定領域に対して不鮮明化処理を行う。上記特定物体は、画像中の人体や顔とすることができ、上記特定領域は、画像中の人体や顔を含む領域とすることができる。

これにより、加工済画像が出力された情報処理装置３０は、プライバシー保護の対象となった被写体のプライバシーを保護するために特定領域に画像加工が施された画像を表示したり録画したりすることができる。また、画像処理装置３００は、画像加工処理が施される前の特定領域の少なくとも一部の画像を含む保護画像を、加工済画像の出力先である情報処理装置３０とは異なる出力先に出力する。したがって、プライバシー保護の対象となった被写体のプライバシーを保護しつつ、必要に応じて元画像を再現可能とすることができる。

つまり、特定の管理者は、有事の際などに、画像加工処理が施された特定領域の画像加工処理前の画像を適切に確認することができる。また、画像中の特定人物に対してのみプライバシー保護のための画像加工処理を施し、それ以外の人物を監視するような場合に、人物の誤検出により監視対象とすべき人物に対してプライバシー保護のための画像加工処理が施されてしまう場合がある。このような場合にも、元画像を復元可能とすることで、監視対象とすべき人物の画像加工処理前の画像を適切に表示し、監視することができる。

また、画像処理装置３００は、第二の出力先に出力された保護画像を保護するプライバシー保護制御を行う。具体的には、画像処理装置３００は、物理鍵、復号鍵、ライセンス、アクセス権などを用いて、保護画像が不特定多数から見られることのないように保護する。このように、画像処理装置３００は、保護画像を保護された出力先に出力するので、プライバシー非保護画像の漏洩を防止することができる。
さらに、画像処理装置３００は、保護画像と加工済画像とから画像加工処理前の元画像を復元可能とするための復元情報を出力する。ここで、復元情報は、保護画像と加工済画像とを対応付ける対応情報と、元画像上における特定領域の位置を示す位置情報とを少なくとも含む。したがって、復元情報をもとに、適切に元画像全体を復元することができる。

また、カメラ２０が画像処理装置３００として動作する場合、保護画像が出力される第二の出力先は、カメラ２０に内蔵されたＳＤカードなどの記憶媒体とすることができる。このように、カメラ２０内部において画像加工処理を行い、カメラ２０内部に保護画像を保存することで、プライバシー非保護画像が不必要にカメラ２０外部に出力されることを防止することができる。
また、保護画像は、元画像の一部の画像であってよい。つまり、保護画像の画像サイズは、撮像画像と比較して小さくすることもできる。したがって、その分、保護画像のデータサイズを小さくすることができる。また、それぞれ異なる出力先に出力された加工済画像と保護画像とを合成することで、元画像全体を復元可能な構成とすることができる。つまり、元画像全体を復元するためには、加工済画像と保護画像と両者を対応付けて合成するための復元情報とを必要とする構成とすることができる。
さらに、保護画像における少なくとも特定領域を含む領域の撮像画像に対する圧縮率は、保護画像におけるそれ以外の領域の圧縮率よりも低くすることもできる。これにより、保護画像のデータサイズを抑えつつ、プライバシー保護処理の対象となった特定領域の画像加工処理前の画像を高精度に再現することができる。

（変形例）
上記実施形態においては、画像処理の対象を物体および人体としているが、人体のみを画像処理の対象とする場合には、画像処理装置３００は、図３の物体検出部３０２を備えていなくてもよい。
また、上記実施形態においては、カメラ２０が監視カメラである場合について説明したが、公共の場での放送映像用のカメラであってもよい。この場合、特定領域内（例えば、画面中央）に位置するアナウンサーだけを表示し、他の物体（人体を含む）はぼかし処理などの画像加工処理を行ってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
さらに、近年のネットワークカメラは、機能を追加するためのアドオン機能を備えたものがあり、本アドオン機能を利用して上述の実施形態の機能を着脱可能とすることもできる。たとえば、本機能を利用して、通常のプライバシー保護機能を持たないネットワークカメラに上述の実施形態のプライバシー保護機能を追加した場合は、通常のネットワーク送出映像ストリームがプライバシー保護加工処理された映像に差し替えて送出される。

１０…ネットワークカメラシステム、２０…カメラ、３０…情報処理装置、４０…ＬＡＮ、３００…画像処理装置、３０１…画像取得部、３０２…物体検出部、３０３…人体検出部、３０４…画像処理部、３０５…背景画像記憶部、３０６…出力制御部、３０７…保護画像処理部、３０８…復元情報処理部

Claims (17)

1. 撮像手段と、
   前記撮像手段により撮像された撮像画像における特定領域に対してプライバシー保護のための画像加工処理を施した第一の画像を生成する第一の生成手段と、
   前記撮像画像における部分領域の画像であって、前記特定領域の少なくとも一部を含む部分領域の画像である第二の画像を生成する第二の生成手段と、
   前記第一の生成手段により生成された第一の画像を、ネットワークを介して、外部装置に出力する出力手段と、
   前記第二の生成手段により生成された第二の画像を記憶する記憶手段と、を備えることを特徴とする撮像装置。
2. 前記画像加工処理は、前記撮像画像中の特定領域を不鮮明化する不鮮明化処理であることを特徴とする請求項１に記載の撮像装置。
3. 前記第一の画像と前記第二の画像とから前記画像加工処理が施される前の前記撮像画像を復元可能とするための復元情報を出力する復元情報出力手段を更に備えることを特徴とする請求項１または２記載の撮像装置。
4. 前記復元情報は、前記第一の画像と前記第二の画像とを対応付ける対応情報と、前記撮像画像上における前記第二の画像の位置を示す位置情報とを少なくとも含むことを特徴とする請求項３に記載の撮像装置。
5. 前記第二の生成手段により生成された第二の画像は、前記画像加工処理が施されていない前記撮像画像における前記特定領域の画像であることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記第二の画像における前記特定領域の圧縮率は、前記第二の画像における前記特定領域以外の領域の圧縮率よりも低いことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
7. 前記撮像画像中の特定物体を検出する検出手段と、
   前記検出手段により検出された特定物体の領域を前記特定領域として抽出する抽出手段と、を更に備えることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記特定領域は、人体を含む領域であることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 撮像画像を撮像する撮像ステップと、
   前記撮像ステップにより撮像された前記撮像画像における特定領域に対してプライバシー保護のための画像加工処理を施した第一の画像を生成するステップと、
   前記撮像画像における部分領域の画像であって、前記特定領域の少なくとも一部を含む部分領域の画像である第二の画像を生成するステップと、
   前記第一の画像を、ネットワークを介して、外部装置に出力するステップと、
   前記第二の画像を記憶するステップと、
   を含むことを特徴とする撮像装置の制御方法。
10. 前記画像加工処理は、前記撮像画像中の特定領域を不鮮明化する不鮮明化処理であることを特徴とする請求項９に記載の撮像装置の制御方法。
11. 前記第一の画像と前記第二の画像とから前記画像加工処理が施される前の前記撮像画像を復元可能とするための復元情報を出力するステップを更に含むことを特徴とする請求項９または１０に記載の撮像装置の制御方法。
12. 前記復元情報は、前記第一の画像と前記第二の画像とを対応付ける対応情報と、前記撮像画像上における前記第二の画像の位置を示す位置情報とを少なくとも含むことを特徴とする請求項１１に記載の撮像装置の制御方法。
13. 前記第二の画像は、前記画像加工処理が施されていない前記撮像画像における前記特定領域の画像であることを特徴とする請求項９から１２のいずれか１項に記載の撮像装置の制御方法。
14. 前記第二の画像における前記特定領域の圧縮率は、前記第二の画像における前記特定領域以外の領域の圧縮率よりも低いことを特徴とする請求項９から１２のいずれか１項に記載の撮像装置の制御方法。
15. 前記撮像画像中の特定物体を検出するステップと、
    検出された前記特定物体の領域を前記特定領域として抽出するステップと、を更に含むことを特徴とする請求項９から１４のいずれか１項に記載の撮像装置の制御方法。
16. 前記特定領域は、人体を含む領域であることを特徴とする請求項９から１５のいずれか１項に記載の撮像装置の制御方法。
17. コンピュータを、請求項１から８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images