JP7491317B2 - 情報処理システム、情報処理方法、撮像装置 - Google Patents

Description

本技術は、情報処理システム、情報処理方法、撮像装置に関し、特には、撮像画像に基づいてターゲットとする被写体の有無を判定するシステムの技術分野に関する。

例えば、監視カメラシステム等、対象となる場所に設置したカメラによる撮像画像を所定の表示装置に表示したり記録したりするシステムが知られている。
この種のシステムにおいて、例えば、監視目的等であれば、対象とする被写体が撮像されたか否か、すなわち、特定の人物等のターゲットとする被写体が現場に出現したか否かを画像解析等によって検知する（判定する）システムを構築することが考えられる。

なお、関連する従来技術については下記特許文献１を挙げることができる。

特開２０１９－５７８８０号公報

上記のようにターゲットとする被写体の有無を判定するシステムの具体的な構成としては、現場に対して設置された一又は複数の撮像装置と、撮像装置から取得した撮像画像を解析してターゲットとする被写体の有無を判定する処理を行う情報処理装置とを備えた構成とすることが考えられる。

しかしながら、このような構成を採る場合には、ターゲットとする被写体の有無を判定するにあたり、撮像装置から情報処理装置に撮像画像を送信することになるため、通信データ量が増大傾向となってしまう。特に、撮像装置を複数用いる場合には、通信データ量がさらに増大化してしまう。

本技術は上記事情に鑑み為されたものであり、撮像画像に基づいてターゲットとする被写体の有無を判定するシステムについて、判定に要する通信データ量の削減を図ることを目的とする。

本技術に係る情報処理システムは、撮像装置と情報処理装置とを備えた情報処理システムであって、前記撮像装置が、被写体を撮像した撮像画像を得る撮像部と、前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、を備える。
そして、前記撮像装置、又は前記情報処理装置が、前記特徴検出部が検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部を備えるものである。

上記のように撮像装置が被写体の特徴検出機能を有することで、ターゲット被写体の有無の判定にあたって、情報処理装置に撮像画像を送信する必要を無くすことが可能とされる。

上記した本技術に係る情報処理システムにおいては、前記撮像部は、可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサを有し、前記特徴検出部が、前記アレイセンサと同一パッケージ内に設けられた構成とすることが考えられる。
被写体の特徴検出のための画像処理をアレイセンサと同一パッケージ内で行うことができるので、該画像処理をセンサパッケージ外で行う場合よりも画像内容の漏洩の可能性を低減することが可能となる。

上記した本技術に情報処理システムにおいては、前記撮像装置が前記判定部を備える構成とすることが考えられる。
これにより、ターゲット被写体の有無の判定に係る処理負担が各撮像装置に分散され、情報処理装置が該判定の処理を実行する必要がなくなる。

上記した本技術に係る情報処理システムにおいては、前記情報処理装置が前記判定部を備える構成とすることが考えられる。
これにより、ターゲット被写体の有無の判定に係る処理を撮像装置側で行う必要がなくなる。

上記した本技術に係る情報処理システムにおいては、前記撮像装置は、前記撮像画像を暗号化する暗号化部と、前記暗号化部により暗号化された前記撮像画像を前記情報処理装置に送信する処理を行う画像送信部と、を備える構成とすることが考えられる。
ターゲット被写体が出現した場合には、ターゲット被写体が出現した際の撮像画像を情報処理装置に送信することが考えられる。上記のように暗号化した撮像画像を情報処理装置に送信する構成とすれば、そのようにターゲット被写体が出現した際の撮像画像を情報処理装置側に送信する際に、画像内容が漏洩してしまうことの防止を図ることが可能となる。

上記した本技術に係る情報処理システムにおいては、前記撮像部は、可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサを有し、前記暗号化部は、前記アレイセンサによる光電変換に基づき得られる乱数である光電乱数に基づき前記撮像画像を暗号化する構成とすることが考えられる。
これにより、疑似乱数を用いる場合よりも解読が困難な暗号化を実現することが可能とされる。

上記した本技術に情報処理システムにおいては、前記暗号化部は、前記アレイセンサにおける前記画素からの読み出し信号に対して前記暗号化を行う構成とすることが考えられる。
画素からの読み出し信号に対して暗号化を行うことで、メモリに平文による撮像画像信号が保存されないようにすることが可能とされる。

上記した本技術に係る情報処理システムにおいては、前記撮像装置は、前記特徴検出部が検出した前記特徴情報を前記情報処理装置に送信する処理を行う特徴送信部を備える構成とすることが考えられる。
これにより、撮像画像内の被写体の特徴を示す情報を情報処理装置に取得させることが可能となる。

上記した本技術に係る情報処理システムにおいては、前記特徴検出部は、前記被写体が有する抽象度の異なる特徴ごとに前記特徴情報の検出を行う構成とすることが考えられる。
抽象度の異なる特徴の例として、例えば、被写体が人物の場合であれば、身長や性別等といった高抽象度の特徴と、服装の色や髪の色等の低抽象度の特徴（つまりより具体的な特徴）とを挙げることができる。或いは、被写体が車両の場合であれば、車両の色や普通車／大型車等の高抽象度の特徴と、具体的な車種やナンバプレートのナンバ等の低抽象度の特徴とを挙げることができる。特徴情報を利用するアプリケーションによっては、例えば高抽象度の特徴情報のみが必要とされ低抽象度の特徴情報は不要とされる場合もある。上記のように抽象度の異なる特徴ごとに特徴情報の検出を行うことで、検出した特徴情報のうち特定の抽象度による特徴情報のみを選択的に出力したり、検出した特徴情報を抽象度を問わず全て出力したりすることが可能となる。

上記した本技術に情報処理システムにおいては、前記撮像装置を複数備えた構成とすることが考えられる。
これにより、複数の視点からの撮像画像に基づいてターゲット被写体の有無を判定することが可能とされる。

上記した本技術に係る情報処理システムにおいては、前記判定部により前記ターゲット被写体が存在すると判定されたことに応じて通知情報を出力する処理を行う通知処理部を備える構成とすることが考えられる。
これにより、ターゲット被写体が出現したことをユーザに対して通知することが可能とされる。

上記した本技術に係る情報処理システムにおいては、前記撮像装置を複数備え、前記情報処理装置が、前記判定部の判定結果に基づき、異なる前記撮像装置による撮像画像内に前記ターゲット被写体が物理的にあり得ないタイミングで検出されたか否かを判定する異常検出判定部を備えた構成とすることが考えられる。
「物理的にあり得ないタイミングで検出される」とは、撮像画像内にターゲット被写体が検出された二つの撮像装置について、それら撮像装置間でのターゲット被写体の検出時間差が、それら撮像装置の設置位置間をターゲット被写体としての物体が移動するのに要する最小の時間よりも短くなっていることを意味する。異なる撮像装置が物理的にあり得ないタイミングでターゲット被写体を検出した場合には、ターゲット被写体の検出精度に問題があるか、或いはターゲット被写体としての物体の偽物が出回っている等、ターゲット被写体の検出アルゴリズムに係る異常、又はターゲット被写体としての物体に係る異常の何れか生じていると推定できる。

本技術に係る情報処理方法は、撮像装置と情報処理装置とを備えた情報処理システムにおける情報処理方法であって、前記撮像装置が、被写体を撮像した撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出し、前記撮像装置、又は前記情報処理装置が、前記検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する情報処理方法である。
このような情報処理方法によっても、上記した本技術に係る情報処理システムと同様の作用が得られる。

また、本技術に係る撮像装置は、被写体を撮像した撮像画像を得る撮像部と、前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、前記特徴検出部が検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部と、を備えるものである。

さらに、本技術に係る情報処理装置は、被写体を撮像した撮像画像を得る撮像部と、前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、を有する撮像装置より、前記特徴検出部が検出した前記特徴情報である検出特徴情報を取得し、取得した前記検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部を備えるものである。

これら本技術に係る撮像装置、情報処理装置によっても、上記した本技術に係る情報処理システムと同様の作用が得られる。

実施形態としての情報処理システムの概略構成例を示したブロック図である。 実施形態としての撮像装置の内部構成例を示したブロック図である。 実施形態における情報処理装置の内部構成例を示したブロック図である。 光電乱数に基づき暗号化フィルタ(暗号鍵）を生成する手法の例を示した図である。 実施形態における振幅制御回路による読み出し信号の暗号化のイメージを示した図である。 デジタル信号による読み出し信号に対して暗号化を施す場合の撮像装置の構成例を示した図である。 実施形態としての撮像用センサ部の構造例を示した図である。 実施形態としての撮像用センサ部の構造の別例を示した図である。 実施形態としての撮像用センサ部の構造のさらに別例を示した図である。 実施形態としての画像暗号化を実現するために実行すべき処理の手順を示したフローチャートである。 ターゲットのクラスが人物である場合におけるレベル別暗号化のイメージを示した図である。 ターゲットのクラスが車両である場合におけるレベル別暗号化のイメージを示した図である。 レベル別暗号化の具体的手法の例を説明するための図である。 秘匿レベルの変化例についての説明図である。 レベル別暗号化の具体的な手法の例を説明するための図である。 ＲＯＩの変形例について説明するための図である。 レベル別暗号化を行う場合におけるシードフレームの撮像から暗号鍵の元となる乱数の保存までに対応した処理を示しフローチャートである。 レベル別暗号化を行う場合において、生成した暗号鍵に基づき対象画像を暗号化するための処理を示したフローチャートである。 実施形態における通常モードの説明図である。 通常モード時における特徴情報の記録に係る処理の例を示したフローチャートである。 通常モード時における特徴情報と撮像画像の送信に係る処理の例を示したフローチャートである。 第一例としての情報処理システムにおけるターゲットサーチモード時の動作を説明するための図である。 第一例としての情報処理システムがターゲットサーチモード時に実行すべき具体的な処理手順の例を示したフローチャートである。 第二例としての情報処理システムのターゲットサーチモードに係る機能構成、及び動作の説明図である。 第二例としての情報処理システムがターゲットサーチモード時に実行すべき具体的な処理手順の例を示したフローチャートである。 第三例としての情報処理システムの概略構成例を示したブロック図である。 第三例としての情報処理システムのターゲットサーチモードに係る機能構成、及び動作の説明図である。 ターゲット被写体の異常検出判定に係る変形例における情報処理システムの機能構成を説明するための図である。 ターゲット被写体の異常検出判定に係る処理を説明するためのフローチャートである。

以下、実施の形態を次の順序で説明する。
＜１．情報処理システムの構成＞
［1-1．システム全体構成］
［1-2．撮像装置の構成］
［1-3．情報処理装置の構成］
＜２．セキュリティ対策について＞
［2-1．暗号化に用いる乱数について］
［2-2．暗号化対象とする信号について］
［2-3．耐タンパー化について］
［2-4．画像暗号化のための処理手順］
［2-5．レベル別暗号化］
［2-6．レベル別暗号化のための処理手順］
＜３．特徴情報に係る処理（通常モード）＞
＜４．特徴情報に係る処理（ターゲットサーチモード）＞
［4-1．第一例］
［4-2．第二例］
［4-3．第三例］
＜５．変形例＞
＜６．実施形態のまとめ＞
＜７．本技術＞

＜１．情報処理システムの構成＞
［1-1．システム全体構成］

図１は、本技術に係る実施形態としての情報処理システム１００の概略構成例を示したブロック図である。
図示のように情報処理システム１００は、複数の撮像装置１と、フォグサーバ２と、クラウドサーバ３と、ユーザ端末４とを少なくとも備える。本例では、フォグサーバ２、クラウドサーバ３、及びユーザ端末４は、例えばインターネットとされたネットワークＮｔを介した通信を行うことが可能に構成されている。
フォグサーバ２、クラウドサーバ３、及びユーザ端末４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、及びＲＡＭ( Random Access Memory)を有するマイクロコンピュータを備えた情報処理装置として構成されている。ここで、ユーザ端末４は、情報処理システム１００を用いたサービスの受け手であるユーザによって使用されることが想定される情報処理装置である。

撮像装置１は、イメージセンサによる撮像を行ってデジタルデータとしての画像データ（撮像画像データ）を得る。
フォグサーバ２は、各撮像装置１との間でデータ通信を行うことが可能に構成され、撮像装置１より例えば撮像画像データ等の各種データを受信したり、撮像装置１に対し指示データ等の各種データを送信することが可能とされる。

ここで、図１に示す情報処理システム１００は、各撮像装置１による撮像画像データをフォグサーバ２やクラウドサーバ３に保存（録画）し、録画データをユーザ端末４を介してユーザに閲覧させるといった監視カメラシステムとして機能させることができる。
一例として、例えば店舗における監視カメラシステムが考えられ、その場合には、各撮像装置１を店舗内のそれぞれ所定位置に配置して、ユーザが来店客の客層や店舗内での行動（動線）等を確認できるようにする。
或いは、街中等の屋外の監視用途や、ＦＡ（ファクトリーオートメーション）における製造のラインの監視用途等も考えられる。
なお、撮像装置１のアプリケーションとしては種々考えられ、例えばセキュリティカメラ、顧客情報を収集するために用いられる店内カメラ、顔認証入退出管理システム、ドライブレコーダ、車内カメラ、交通監視カメラ、店舗におけるレジやＰＯＳシステム、ロボット（例えばＦＡで用いられるロボット等）等を挙げることができる。

店舗における監視カメラシステムとする場合、フォグサーバ２は、各撮像装置１と共に監視対象の店舗内に設置されることが想定される。例えば、監視対象とする店舗が複数ある場合には、店舗ごとに複数の撮像装置１を設置することが想定されるが、そのような場合に店舗ごとにフォグサーバ２を設けることで、各店舗における複数の撮像装置１からの送信データをクラウドサーバ３が直接受信する必要がなくなり、クラウドサーバ３の処理負担軽減が図られる。

後述するように、本例の情報処理システム１００においては、撮像装置１が撮像画像データを送信する際には、秘匿性を高めるため、撮像画像データの暗号化を行う。以降で説明するように、本実施形態の撮像装置１は、このように撮像画像データを暗号化するための各種処理を実行する。

［1-2．撮像装置の構成］

図２は、撮像装置１の内部構成例を示したブロック図である。
図示のように撮像装置１は、撮像用センサ部１０、画像プロセッサ２１、センサ部２２、制御部２３、メモリ部２４、及び通信部２５を備えている。

撮像用センサ部１０は、撮像装置１に設けられた不図示のカメラ光学系を介して入射する光を画素ごとに受光し、光電変換を行って撮像画像データを得る。
ここでの図示は省略するが、撮像用センサ部１０は、ハードウェアとしては、イメージセンサデバイス、ＤＲＡＭ（Dynamic Random Access Memory）等のメモリデバイス、及びプロセッサとしての構成部位を有している。そして、これら三つが３レイヤ積層構造とされたり、１レイヤでいわゆる平置き構成とされたり、或いは２レイヤ（例えばメモリデバイスとプロセッサが同一レイヤ）積層構造とされたりするなどして一体型のデバイスとされている。
本例の撮像用センサ部１０は、画像解析による物体検出機能を備えるものとし、インテリジェントアレイセンサと呼ぶことのできる装置とされる。

図示のように撮像用センサ部１０は、アレイセンサ１２、振幅制御回路１９、ＡＤＣ（Analog to Digital Converter）／ピクセルセレクタ１３、バッファ１４、ロジック部１５、メモリ１６、インタフェース部１７、及び演算部１８を有している。

アレイセンサ１２は、可視光又は非可視光の受光素子を有する画素が１次元又は２次元に複数配列されて構成されている。例えば、行方向及び列方向の２次元に多数の画素が配列され、各画素の受光素子における光電変換により二次元画像信号を出力する構成とされる。

振幅制御回路１９は、アレイセンサ１２によって光電変換された電気信号（アナログ信号）の振幅制御を行う。本例では、振幅制御回路１９は、演算部１８からの指示に基づき増幅率を変更可能に構成されているが、この点については後に改めて説明する。

ＡＤＣ／ピクセルセレクタ１３には、アレイセンサ１２によって光電変換された電気信号が振幅制御回路１９を介して入力される。ＡＤＣ／ピクセルセレクタ１３は、入力したアナログ信号としての電気信号をデジタルデータ化し、デジタルデータとしての画像信号（画像データ）を出力する。
また、ＡＤＣ／ピクセルセレクタ１３は、アレイセンサ１２の画素（受光素子）に対するピクセル選択の機能を持つ。これにより、アレイセンサ１２における選択した画素のみについて、光電変換信号を取得してデジタルデータ化して出力することが可能とされている。つまりＡＤＣ／ピクセルセレクタ１３は、通常は１フレームの画像を構成する有効な画素の全てについて光電変換信号のデジタルデータ化出力を行うが、選択した画素のみについての光電変換信号のデジタルデータ化出力を行うことも可能とされている。

ＡＤＣ／ピクセルセレクタ１３によって、フレーム単位で画像データが取得されるが、この各フレームの画像データはバッファ１４に一時記憶され、適切なタイミングで読み出されてロジック部１５の処理に供される。

ロジック部１５では、入力される各フレーム画像信号に対して各種必要な信号処理（画像処理）を行うことが可能とされる。
例えばロジック部１５では、色補正、ガンマ補正、色階調処理、ゲイン処理、輪郭強調処理等の処理により画質調整を行うことが可能とされる。またロジック部１５ではデータ圧縮処理、解像度変換、フレームレート変換など、データサイズを変更する処理を行うことも考えられる。
これらロジック部１５で行われる各処理については、それぞれの処理に用いるパラメータが設定される。例えば色や輝度の補正係数、ゲイン値、圧縮率、フレームレートなどの設定値がある。ロジック部１５では、それぞれの処理について設定されたパラメータを用いて必要な処理を行う。本実施形態では、これらのパラメータを演算部１８が設定する場合がある。

ロジック部１５で処理された画像データは例えばＤＲＡＭ等で構成されたメモリ１６に記憶される。
メモリ１６に記憶された画像データは、必要なタイミングでインタフェース部１７により画像プロセッサ２１や制御部２３、メモリ部２４に送信出力される。

画像プロセッサ２１では、撮像用センサ部１０から送信されてきた画像データについて、所定の画像信号処理を行うことが可能とされる。画像プロセッサ２１は、センサ部２２の検出情報を参照することもできる。

また、撮像用センサ部１０において、演算部１８は、例えば一つのＡＩ（Artificial Intelligence）プロセッサとして構成される。そして、実行可能な演算機能として図示のようにキーフレーム選択部８１、物体領域認識部８２、クラス識別部８３、暗号化制御部８４、特徴検出部８５、及び判定部８６を備える。なおこれらの演算機能が複数のプロセッサにより構成されてもよい。

キーフレーム選択部８１は、所定のアルゴリズム又は指示に応じて、動画としての画像データのフレームの内からキーフレームを選択する処理を行う。

物体領域認識部８２は、アレイセンサ１２で光電変換され、ＡＤＣ／ピクセルセレクタ１３によって取得される画像データのフレームに対して、検出の候補となる物体の領域の検出や、検出対象の物体について画像（フレーム）内での当該物体を囲う領域（バウンディングボックス）の認識処理を行う。
ここで言う「検出対象の物体」とは、画像からの認識を目的として検出対象となり得る物体のことを指す。情報処理システム１００の用途等に応じて、どのような物体が検出対象とされるかは異なるが、あらゆる物体が、ここで言う検出対象の物体とされる可能性がある。あくまで一部であるが例示すると、人を含む動物、移動体（自動車、自転車、航空機等）、自然物（野菜、植物等）、工業製品／部品、建造物、施設、山、海、川、星、太陽、雲など、あらゆる物体が該当する可能性がある。
また、本例における物体領域認識部８２は、バウンディングボックスに基づいて、処理の対象とすべき領域（関心領域）を示す領域情報であるＲＯＩ（Region of Interest）を算出する処理を実行する。

クラス識別部８３は、物体領域認識部８２が検出した物体についてクラス分類を行う。
クラスとは、物体のカテゴリを表す情報であり、例えば「人」「自動車」「飛行機」「船」「トラック」「鳥」「猫」「犬」「鹿」「蛙」「馬」などのように、検出すべき物体をクラス分けしたものである。

パラメータ選択部８４は、各クラスに応じた信号処理用のパラメータを記憶しており、クラス識別部８３が識別した検出物体のクラスやバウンディングボックス等を用いて、対応する１又は複数のパラメータを選択する。そしてその１又は複数のパラメータをロジック部１５に設定する。

暗号化制御部８５は、アレイセンサ１２での撮像により得られる画像信号について暗号化が行われるように制御する。なお、このような画像信号の暗号化のために暗号化制御部８５が行う処理の具体例については改めて説明する。

特徴検出部８５は、アレイセンサ１２で光電変換されＡＤＣ／ピクセルセレクタ１３によって取得される画像データに基づき、撮像画像内の被写体の特徴を示す情報である特徴情報を検出する。
特徴検出部８５が検出する特徴情報の例としては多様に考えられる。
一例として、対象とする被写体が人物である場合には、身長、性別、年齢といった特徴や、歩き方などの動きに関する特徴の情報が挙げられる。或いは、対象とする被写体が自動車等の車両である場合には、色、普通車／大型車等の車両タイプ、ナンバプレートに記載されるナンバや乗車人数等の情報が挙げられる。
また、対象とする被写体がＦＡ（Factory Automation）で扱われる部品とされる場合には、部品の種類や、部品に印字されたナンバ又はバーコード等の部品識別子等の情報が挙げられる。
なお、上記した歩き方などの被写体の動きについての特徴情報については、例えば動きの特徴をコード化した情報として生成することが考えられる。

本例の特徴検出部８５は、被写体の特徴情報の検出を、被写体が有する抽象度の異なる特徴ごとに行う。具体的に、本例の特徴検出部８５は、被写体の特徴情報として、高抽象度特徴情報と低抽象度特徴情報の検出を行う。
例えば、対象とする被写体が人物の場合であれば、高抽象度特徴情報としては、上述した身長や性別等の情報を検出し、低抽象度特徴情報としては、服装の色や髪の色の情報等、高抽象度特徴情報よりも具体的な特徴を示す情報を検出する。
或いは、対象とする被写体が車両の場合であれば、高抽象度特徴情報としては車両の色や普通車／大型車等の車両タイプの情報を検出し、低抽象度特徴情報としてはより具体的な特徴となる車種やナンバプレートのナンバ等の情報を検出する。
また、対象とする被写体がＦＡで扱われる部品である場合には、高抽象度特徴情報としては部品の種類の情報等を検出し、低抽象度特徴情報としては部品に印字されたナンバ又はバーコード等の部品識別子等の情報を検出する。

特徴検出部８５は、上記のような特徴情報を検出する処理を、ＡＤＣ／ピクセルセレクタ１３で得られる撮像画像データに基づく画像解析によって行うが、後述するように、本例の情報処理システム１００では、ＡＤＣ／ピクセルセレクタ１３で得られる撮像画像データは暗号化されている。このため特徴検出部８５は、上記のような特徴情報の検出処理を、ＡＤＣ／ピクセルセレクタ１３で得られる撮像画像データを逐次復号化しながら行う。

判定部８６は、特徴検出部８５が検出した特徴情報である検出特徴情報と、ターゲットとする特徴情報であるターゲット特徴情報とに基づき、検出特徴情報がターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が撮像画像内に存在するか否かを判定する。なお、この判定部８６の処理については後に改めて説明する。

ここで、上記した演算部１８による各種機能の処理は、通常イメージセンサ内では行わなかった処理であり、本実施形態では、物体検出やクラス認識、及びこれらに基づく制御をイメージセンサ内で実行する構成となっている。

制御部２３は、例えばＣＰＵ、ＲＯＭ、及びＲＡＭを有するマイクロコンピュータを備えて構成され、ＣＰＵがＲＯＭに記憶されているプログラム、又はＲＡＭにロードされたプログラムに従って各種の処理を実行することで、撮像装置１の全体制御を行う。
例えば、制御部２３は、撮像用センサ部１０に対する指示を行って撮像画像データの取得処理等の各種処理の実行制御を行う。同様に、画像プロセッサ２１についても各種処理の実行制御を行う。
また、制御部２３は、メモリ部２４に対する各種データの書き込みや読み出しについての制御を行う。メモリ部２４は、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリ装置等の不揮発性の記憶デバイスとされ、例えば撮像用センサ部１０により得られた撮像画像データ等の各種のデータの保存先（記録先）として用いられる。
さらに、制御部２３は、通信部２５を介して外部装置との間で各種データ通信を行う。本例における通信部２５は、図１に示したフォグサーバ２との間でのデータ通信を行うことが可能に構成されている。

［1-3．情報処理装置の構成］

図３は、クラウドサーバ３としての情報処理装置の内部構成例を示したブロック図である。なお、図１に示したフォグサーバ２及びユーザ端末４のハードウェア構成は図３に示すものと同様となるため、重複説明は避ける。

図示のようにクラウドサーバ３は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、バス３４、入出力インタフェース３５、入力部３６、出力部３７、記憶部３８、通信部３９を備えている。
ＣＰＵ３１、ＲＯＭ３２、及びＲＡＭ３３は、バス３４を介して相互に接続されている。このバス３４には、入出力インタフェース３５も接続されている。ＣＰＵ３１は、ＲＯＭ３２に記憶されているプログラム、又は記憶部３８からＲＡＭ３３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ３３にはまた、ＣＰＵ３１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

入出力インタフェース３５には、入力部３６、出力部３７、記憶部３８、及び通信部３９が接続されている。
入力部３６は、ユーザからの操作入力情報を検出する例えばキーボード、マウス、タッチパネル等の操作入力検出デバイスを包括的に表している。
出力部３７は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electroluminescence）パネル等よりなるディスプレイ、並びにスピーカ等により構成される。
記憶部３８はＨＤＤ（Hard Disk Drive）やフラッシュメモリ装置等により構成される。
通信部３９は、ネットワークＮｔを介しての通信処理や機器間通信を行う。

＜２．セキュリティ対策について＞
［2-1．暗号化に用いる乱数について］

ここで、本実施形態の撮像装置１では、撮像画像データについての暗号化を行うが、本例では、この暗号化に光電乱数を用いる。すなわち、撮像画像データの暗号化に用いる暗号鍵を光電乱数に基づき生成する。
ここで、光電乱数とは、アレイセンサ１２による光電変換に基づき得られる乱数を意味する。具体的に、本例では、アレイセンサ１２の光電変換により得られる画素ごとの電気信号の値を光電乱数として取得し、暗号鍵を生成する。

図４は、光電乱数に基づき、画像データについての暗号化フィルタ(暗号鍵）を生成する手法の例を示している。
先ず、図中左側は、アレイセンサ１２の光電変換により得られる画素ごとの電気信号の値を例示している。本例において、光電乱数としては、アレイセンサ１２での撮像により得られる画像（静止画）の各画素値（輝度値）を用いる。
ここで以下、光電乱数を得るために撮像されたフレーム画像、換言すれば、光電乱数の元となったフレーム画像のことを「シードフレーム」と表記する。

本例では、このような画素ごとの電気信号の値そのものを光電乱数とするのではなく、図中の右側に例示するように、画素ごとの電気信号の値の少なくとも一部を、該電気信号の値が得られた画素位置とは異なる画素位置に割り当てた形式による光電乱数を生成する。換言すれば、画素ごとの電気信号の値について、画素位置をシャッフルさせて光電乱数を生成する。そして、本例では、このように生成した光電乱数を、撮像画像データについての暗号鍵（暗号化フィルタ）として用いる
上記のように画素位置をシャッフルさせた形式による光電乱数とすることで、画素ごとの電気信号の値をそれら電気信号の値が得られた画素位置にそのまま割り当てた光電乱数を用いる場合と比較して、暗号鍵の解読が困難とされ、セキュリティを高めることができる。

ここで、暗号鍵の生成にあたっては、画素ごとの電気信号の値を所定のアルゴリズムにより変調して用いることもできる。例えば、画素ごとの電気信号の値に所定の係数を乗じて得た値をその画素に割り当てた形式による光電乱数とすることが挙げられる。或いは、画素ごとの電気信号の値が小数点以下の値を含む場合において、小数下数桁の値を整数化して光電乱数とするなどの手法を採ることもできる。
なお、暗号鍵の生成にあたっては、上記のような画素位置のシャッフルを行うことは必須でなく、画素ごとの電気信号の値そのものを暗号鍵として用いることもできる。

ここで、従来、暗号化に用いる乱数としては多くの場合、ソフトウェアで生成した疑似乱数が用いられている。しかしながら、疑似乱数は数値を計算するアルゴリズムで生成されるものであり、真の乱数を生成することはできないため、暗号鍵が解読され複製されるリスクがあった。
これに対し、上記の光電乱数は真の乱数となり得るものであり、光電乱数に基づき暗号鍵を生成することで暗号鍵の解読を困難化することが可能となる。

［2-2．暗号化対象とする信号について］

従来、アレイセンサ１２での撮像により得られる画像信号について暗号化を行う場合には、アレイセンサ１２から読み出された画像信号を一旦平文の状態でメモリに保存し、該保存した画像信号に対し暗号化を施すことが通常とされている。
しかしながら、このような暗号化手法を採った場合には、マルウェアなどを使って暗号化のタイミングで意図的にエラーを起こし、メモリ内容をダンプファイルで出力させ、メモリに置かれた平文をコピーするというハッキングが可能となってしまう。

そこで本実施形態では、アレイセンサ１２の画素からの読み出し信号に対して暗号化を行うことで、メモリに平文による画像信号が保存されないようにする。
具体的に、本例では、図２に示した振幅制御回路１９により、アレイセンサ１２の画素からの読み出し信号に対し図４に示した暗号鍵（暗号化フィルタ）に応じた係数による振幅制御を実行させることで、読み出し信号に対する暗号化を実現する。

図５は、振幅制御回路１９による読み出し信号の暗号化のイメージを示した図である。
図示のようにアレイセンサ１２における各画素からの読み出し信号（この場合は電荷信号）に対し、振幅制御回路１９が備えるアンプによって暗号鍵に応じた係数を乗じる。 図２に示した撮像装置１では、このように画素ごとの読み出し信号がアナログ信号の段階で振幅制御された上で、ＡＤＣ／ピクセルセレクタ１３によりＡ／Ｄ変換され、バッファ１４及びロジック部１５を介してメモリ１６に保存（記録）される。

暗号化制御部８５は、暗号鍵に応じた係数を上記のアンプに設定することで、アレイセンサ１２における各画素からの読み出し信号に対する暗号化が行われるようにする。

なお、図５はあくまでもイメージ図であり、振幅制御回路１９において、アンプが画素ごとに設けられることは必須ではない。例えば、ＣＣＤ（Charged-coupled devices）イメージセンサのように一括読み出しが行われる場合、振幅制御回路１９が備えるアンプは各画素に共通の一つとされる場合もある。なおその場合、画素ごとの振幅制御は時分割により行う。

上記では、読み出し信号に対する暗号化の例として、アナログ信号による読み出し信号に暗号化を施す例を挙げたが、Ａ／Ｄ変換後のデジタル信号による読み出し信号に対して暗号化を施すこともできる。

図６は、デジタル信号による読み出し信号に対して暗号化を施す場合の撮像装置１の構成例を示している。
この場合の撮像装置１では、撮像用センサ部１０内において、振幅制御回路１９に代えて、ＡＤＣ／ピクセルセレクタ１３によりデジタル信号に変換された読み出し信号について振幅制御を行う振幅制御回路１９Ａが設けられる。

なお、この場合における暗号化制御部８５による処理は、暗号鍵に応じた画素ごとの係数の設定対象が振幅制御回路１９から振幅制御回路１９Ａに変更される以外は同様となるため、重複説明は避ける。

ここで、上述のようにアナログの読み出し信号に対する暗号化を施すものとすれば、アナログ信号を外部から不正取得することは非常に困難であるため、セキュリティの向上が図られる。

なお、アナログ読み出し信号に対する暗号化を施す場合には、暗号化画像を復号化して得た画像について、画像の再現性が低下することが懸念される。
しかしながら、例えば対象とする画像が人物等のターゲットの特徴、属性や行動の分析に用いられる場合には、画像の再現性としてはターゲットの検出や分析が可能な程度であればよく、実用上の問題は生じないと考えられる。

一方で、デジタル読み出し信号に対する暗号化を施す場合には、暗号化処理の正確性が向上し、画像の再現性の向上を図ることができる。

ここで、上記のように読み出し信号に対して行う暗号化は、ストリーム暗号方式による暗号化の一種である。ストリーム暗号方式は、平文をビット単位やバイト単位等の所定のデータ単位で暗号化する暗号方式である。
ストリーム暗号方式では、暗号化の対象信号についてデータの長さを揃える必要がなく、そのため、対象信号に対する暗号化の前処理が不要とされる。従って、ストリーム暗号方式の採用により、暗号化処理の高速化を図ることができる。

ここで、アナログの読み出し信号に対して暗号化を施した場合であっても、暗号化された撮像画像データが得られることに変わりは無い。この点より、本明細書においてアナログ信号の段階で暗号化を施すことは、撮像画像データの暗号化を行うことの範疇に含まれるとする。

［2-3．耐タンパー化について］

本例の撮像用センサ部１０は、ハードウェア面での耐タンパー化を図るべく、図７に例示するようにアレイセンサ１２、メモリ１６、演算部１８の各チップが１パッケージ化されている。すなわち、各チップが同一の半導体パッケージ内に形成されている。
図７の例では、演算部１８としてのチップ上にメモリ１６としてのチップが積層され、さらにメモリ１６としてのチップ上にアレイセンサ１２としてのチップが積層されている。
本例において、読み出し信号に対する暗号化を施す暗号化部は、例えばアレイセンサ１２としてのチップ内に形成されている。
また、光電乱数に基づく暗号鍵を生成し、上記の暗号化部に該暗号鍵に基づく暗号化を実行させる暗号化制御部８５は、演算部１８としてのチップに含まれている。

本例では、各チップの電気的な接続がＣｕ（銅）製のパッド同士を接続するＣｕ－Ｃｕ接続により行われており、撮像用センサ部１０の分解を試みるとこれらの電気的接続部分が破壊される。つまりこれにより、ハードウェア面での耐タンパー化が図られている。

図８は、撮像用センサ部１０の構造の別例を示しており、図７との差は演算部１８とメモリ１６との上下関係が入れ替わった点である。
図９は、撮像用センサ部１０の構造のさらに別例を示しており、図７との差はメモリ１６としてのチップが複数積層された点（図の例では２層）である。
なお、図示は省略したが、撮像用センサ部１０としては、メモリ１６を演算部１８と同レイヤに形成して２レイヤの構造としたり、アレイセンサ１２、メモリ１６、及び演算部１８を同レイヤに形成した１レイヤの構造とすることもできる。

図７から図９で例示したような１パッケージ化の構成を採ることで、上記したＣｕ－Ｃｕ接続など、分解によるメモリ１６からの不正な情報取得に対する耐性を高めるための対策を施すことが可能となり、ハードウェア面での耐タンパー化を図ることが可能とされる。

［2-4．画像暗号化のための処理手順］

続いて、上記により説明した画像暗号化を実現するために演算部１８が実行する処理の手順について、図１０のフローチャートを参照して説明する。
なお、以下で説明する処理のうち少なくとも一部についてはハードウェアによる処理として実現することもできる。

先ず前提として、本例の演算部１８は、図１０に示す処理を、例えば起動時に開始する。
なお、図１０に示す処理は、撮像用センサ部１０に対する不正アクセス（例えば、メモリ１６に対する不正アクセス）の検知に応じて開始することもできる。そうすることで、光電乱数の取得（Ｓ１０１）や暗号鍵の生成（Ｓ１０５）が不正アクセスの検知に応じて実行される、すなわち、不正アクセスの検知に応じて光電乱数が再取得され、再取得された光電乱数に基づき暗号鍵が再生成される。これにより、ソフトウェア面での耐タンパー化が図られる。
或いは、図１０に示す処理は、外部からの指示（例えば操作入力に応じた指示）に応じて開始したり、一定時間おきに開始したりする等、他の条件に基づき開始することもできる。

図１０において、演算部１８はステップＳ１０１で、静止画撮像処理を実行する。この静止画撮像処理は、暗号鍵の生成の元となる静止画を撮像するための処理であり、演算部１８はアレイセンサ１２を制御して１フレーム分の画像の撮像（画素ごとの電荷の読み出し）を実行させる。
ステップＳ１０１の静止画撮像処理が実行されることで、メモリ１６にシードフレームとしての画像データが保存される。

ステップＳ１０１に続くステップＳ１０２で演算部１８は、画素値の均一性チェック処理を実行する。この均一性チェック処理は、シードフレームについて画素ごとの輝度値の均一性をチェックする処理であり、具体的に演算部１８は、輝度値がゼロや飽和値（最大値）となっている画素の数をカウントする。
なお、画素値の均一性チェック処理としては、読み出し信号の値を対象とした均一性のチェック処理として実行することもできる。

ステップＳ１０２に続くステップＳ１０３で演算部１８は、均一性が過剰であるか否かを判定する。具体的には、ステップＳ１０２でカウントした画素の数が所定閾値（例えば、有効画素数の３０％～５０％に対応した値）以上であるか否かを判定する。
ステップＳ１０２でカウントした画素の数が上記閾値以上であり、均一性が過剰であるとの判定結果を得た場合、演算部１８はステップＳ１０４に進んでシードフレームを消去する処理、すなわちメモリ１６に保存されたシードフレームとしての画像データを消去する処理を実行した上で、ステップＳ１０１に戻る。
これにより、シードフレームの画素値のランダム性が低い場合に対応して、シードフレームを撮像し直すことができる。すなわち、光電乱数のランダム性が低い場合に対応して、光電乱数を取得し直すことができる。
従って、ランダム性の低い乱数に基づく暗号鍵により暗号化が行われてしまうことの防止を図ることが可能とされ、セキュリティの向上を図ることができる。

一方、ステップＳ１０３において、カウントした画素の数が上記閾値以上ではなく、均一性が過剰ではないとの判定結果を得た場合、演算部１８はステップＳ１０５に進んで暗号鍵を生成する。具体的に本例では、シードフレームにおける各画素の輝度値に基づき、振幅制御回路１９（又は１９Ａ）における各アンプに設定すべき係数を表す暗号鍵を生成する。

ここで、本例おいて、ステップＳ１０５の処理では、画素ごとの輝度値をそれら輝度値が得られた画素位置にそのまま割り当てた形式の光電乱数に基づき暗号鍵を生成するものとはせず、画素ごとの輝度値の少なくとも一部を、該輝度値が得られた画素位置とは異なる画素位置に割り当てた形式による光電乱数に基づき、暗号鍵を生成する。
これにより、暗号鍵の解読が困難とされ、セキュリティの向上を図ることができる。

ステップＳ１０５に続くステップＳ１０６で演算部１８は、シードフレームを消去する処理、すなわち、ステップＳ１０１の撮像処理によりメモリ１６に保存されたシードフレームとしての画像データを消去する処理を実行する。
このシードフレームの消去処理を行うことで、光電乱数の元となった画像が流出して光電乱数が推定されてしまうことの防止を図ることができる。

なお、例えば演算部１８の処理能力が高い場合やシードフレームの画像サイズが小さい場合等には、シードフレームを一旦メモリ１６に保存させることは必須ではない。その場合、演算部１８（暗号化制御部８５）は、例えば振幅制御回路１９（又は１９Ａ）から光電乱数を受け取り、ステップＳ１０２及びＳ１０３の処理を経由してステップＳ１０５で暗号鍵の生成を行う。この場合には、ステップＳ１０６の消去処理は不要である（勿論、ステップＳ１０４の消去処理も不要である）。

続くステップＳ１０７で演算部１８は、既存鍵があれば消去する。例えば、図１０に示す処理が一定時間ごとに開始される等の場合には、過去に行われたステップＳ１０８の処理により、メモリ１６には暗号鍵が保存されている。ステップＳ１０７の処理は、このようにメモリ１６に既存の暗号鍵が保存されている場合に、該暗号鍵を消去する処理となる。
このような既存鍵の消去処理を行うことで、過去に暗号化に用いた暗号鍵の流出防止を図ることが可能とされ、過去に暗号化した信号が不正に復号化されてしまうことの防止を図ることができる。

続くステップＳ１０８で演算部１８は、暗号鍵の保存処理を実行する。すなわち、ステップＳ１０５で生成した暗号鍵をメモリ１６に保存する処理を実行する。
ステップＳ１０８の保存処理を実行したことに応じ、演算部１８は図１０に示す一連の処理を終える。

撮像装置１においては、ステップＳ１０８で保存された暗号鍵を用いて、アレイセンサ１２での撮像により得られる画像データ（撮像画像データ）の暗号化が行われる。具体的に、演算部１８（暗号化制御部８５）は、図１０に示した処理の終了後、保存された暗号鍵に基づく画素ごとの係数を振幅制御回路１９（又は１９Ａ）における各アンプに設定して、アレイセンサ１２での撮像により得られる画像信号に該保存された暗号鍵に基づく暗号化が施されるようにする。
本例では、アレイセンサ１２は動画像の撮像を行うものとされ、振幅制御回路１９（又は１９Ａ）による暗号化は動画像を構成する各フレーム画像に対して行われる。

本例において、上記のように暗号化が施された動画像としての撮像画像データは、制御部２３の制御に基づき、メモリ部２４に保存される。制御部２３は、このようにメモリ部２４に保存された撮像画像データを、通信部２５を介してフォグサーバ２に送信することが可能とされる。

ここで、上記説明から理解されるように、本例では、画像データの暗号化は、暗号化対象の画像データとは異なるフレーム期間に得た光電乱数に基づき行うものとしている。
これにより、暗号化画像から暗号鍵が推定されることの困難性が高められ、セキュリティの向上を図ることができる。
なお、暗号化対象の画像データと同一フレーム期間に得た光電乱数に基づき画像データの暗号化を行うことも可能である。

［2-5．レベル別暗号化］

本例の撮像装置１では、画像データにおける所定のターゲット領域を対象とした暗号化を行う。具体的には、画像全体とターゲット領域とで異なる暗号鍵に基づく暗号化を行うと共に、ターゲット領域については、特定部位の領域とそれ以外の領域とで異なる暗号鍵に基づく暗号化を行うことで、画像の受け手側に保有させる復号鍵の別によって、情報の秘匿レベルを段階的に変化させる（レベル別暗号化）。

図１１、図１２は、レベル別暗号化のイメージを説明するための図である。
図１１は、ターゲットのクラスが人物である場合におけるレベル別暗号化のイメージを示している。
図１１Ａは暗号化前の画像を示している。この場合、ターゲット領域ＡＴは、画像内で人物が映し出されている部分の全域とされる。またこの場合、特定部位の領域である特定領域ＡＳは、人物の顔の領域とされる。
図１１Ｂは、特定領域ＡＳのみが暗号化された画像、図１１Ｃは特定領域ＡＳを含むターゲット領域ＡＴのみが暗号化された画像、図１１Ｄは画像全域が暗号化された画像を示している。

図１２は、ターゲットのクラスが車両である場合におけるレベル別暗号化のイメージを示しており、図１２Ａは、暗号化前の画像を示している。
この場合、ターゲット領域ＡＴは、画像内で車両が映し出されている部分の全域とされ、特定領域ＡＳは、車両の搭乗者、及びナンバープレートの領域とされる。
図１２Ｂは、特定領域ＡＳのみが暗号化された画像、図１２Ｃは特定領域ＡＳを含むターゲット領域ＡＴのみが暗号化された画像、図１２Ｄは画像全域が暗号化された画像である。

これら図１１、図１２の例の場合、暗号鍵としては、画像全域の暗号化に対応した第一暗号鍵と、ターゲット領域ＡＴのみの暗号化に対応した第二暗号鍵と、特定領域ＡＳのみの暗号化に対応した第三暗号鍵の３種を少なくとも生成する。

図１３は、段階的な暗号化の具体的手法の例を説明するための図である。
本例では、対象の画像に対し第一、第二、第三暗号鍵に基づく暗号化をそれぞれ個別に施すことはせず、これら複数の暗号鍵を合成した合成鍵に基づき対象の画像に対する暗号化を行う。

先ず、特定領域ＡＴを暗号化するための第三暗号鍵、ターゲット領域ＡＴ全域を暗号化するための第二暗号鍵、画像全域を暗号化するための第一暗号鍵をそれぞれ用意する。これら３種の暗号鍵を生成するにあたっては、３種の光電乱数を得る（つまりシードフレームを３種撮像する）ようにしてもよいが、本例では、暗号鍵生成に要する時間の短縮化のため、共通の光電乱数から３種の暗号鍵を生成する。具体的に、本例では、３種の暗号鍵の生成にあたっては、先ず、共通の光電乱数における画素ごとの数値の配置をそれぞれ異ならせた３種の乱数（以下、それぞれ第一乱数、第二乱数、第三乱数と表記する）を生成する。
そして、第三暗号鍵については、第三乱数の数値のうち、特定領域ＡＳの各画素の数値を抽出した暗号鍵として生成する。
また、第二暗号鍵については、第二乱数の数値のうち、ターゲット領域ＡＴの各画素の数値を抽出した暗号鍵として生成する。
第一暗号鍵については、第一乱数をそのまま適用した暗号鍵として生成する。

その上で、合成鍵として、図示のようにこれら第一、第二、及び第三暗号鍵を合成した暗号鍵を生成する。
そして、該合成鍵に基づき、対象の画像の暗号化が行われるようにする。

上記のような段階的な暗号化を行うことで、画像の受け手側（受信装置３側）が保有する復号鍵の別によって、情報の秘匿レベルを変化させることが可能とされる。
図１４は、秘匿レベルの変化例についての説明図である。
ここでは、鍵の保有に関するレベルとして、レベル０からレベル３までの４レベルを定義する。図示のようにレベル０は鍵なし、レベル１は第一暗号鍵のみ保有、レベル２は第一、第二暗号鍵の合成鍵を保有、レベル３は第一、第二、及び第三暗号鍵の合成鍵を保有、をそれぞれ意味する。

レベル０の場合には、画像の受け手側において暗号化画像を復号化できず、全域が暗号化された画像が得られる。
レベル１の場合、画像の受け手側では第一暗号鍵を用いてターゲット領域ＡＴ以外の領域を復号化することができ、従ってターゲット領域ＡＴのみが暗号化された画像が得られる。

レベル２の場合、画像の受け手側では第一、第二暗号鍵の合成鍵を用いて特定領域ＡＳ以外の領域を復号化することができ、ターゲットにおける特定領域ＡＳのみが暗号化された画像が得られる。
レベル３の場合、画像の受け手側では第一、第二、及び第三暗号鍵の合成鍵を用いて画像全域を復号化することができ、この場合には情報の秘匿のない画像を得ることができる。

ここで、本例では、暗号化対象の画像は動画像とされるため、画像内に映し出されるターゲットとしての物体は時間経過と共に画像内で変位する可能性がある。このため、上記のようなターゲット領域ＡＴを対象とした暗号化を行う場合には、ターゲットの追尾を行うことを要する。

以下、このようなターゲットの追尾を含む、レベル別暗号化の具体的な手法の例について、図１５を参照して説明する。
なお、図１５において、ターゲットのクラスは「人物」であるとする。また、図１５では説明の便宜上、ターゲット領域ＡＴにおいて特定領域ＡＣとそれ以外の領域とを区別せず、画像内のターゲット領域ＡＴとそれ以外の領域とについてのみ暗号化し分ける例を挙げる。

先ず、図１５Ａに示すフレームＦ１は、ターゲットクラスである人物が未だフレームインしていない状態を示している。なお、ここでは、画像内にターゲットクラスではない「木」としての物体が識別されている例としている。

ここで、画像全域に対する暗号化は、ターゲットの有無に拘わらず行われるものである。つまり、本例では、各フレームＦの画像は、画像全域に対応した第一暗号鍵に基づき振幅制御回路１９（又は１９Ａ）において暗号化された後、メモリ１６に保存される。図１５の各分図に示す白抜きの鍵マークは、出力画像として、このような画像全域を対象とした暗号化が施されていることを表している。

ターゲットの追尾のためには、演算部１８は、画像内における物体の領域の検出やクラス識別を行うことになる（前述した物体領域認識部８２やクラス識別部８３の処理）。これらの処理を行うために、演算部１８は、上記のように暗号化されて保存されたフレーム画像を復号化する。すなわち、演算部１８は、ターゲット追尾のための処理を、第一暗号鍵に基づき暗号化されたフレーム画像を復号化しながら実行する。
演算部１８は、この際の復号化をオンザフライ方式により行う。これにより、ターゲットの追尾を行う際に平文状態の画像信号が流出してしまう可能性を低減することが可能とされ、セキュリティの向上を図ることができる。

図１５Ｂに示すフレームＦ２は、ターゲットクラスである「人物」がフレームインした状態を示している。この状態では、既に識別されている「木」と共に、ターゲットクラスである「人物」が識別される。
このようにターゲットクラスとしての物体を識別した場合、演算部１８（物体領域認識部８２）は、当該物体のエリアを囲う正確な位置座標のバウンディングボックス４０の算出を行う。
例えば図１５Ｃにターゲットクラスである人物の画像についてのバウンディングボックス４０の例を示している。すなわちバウンディングボックス４０はターゲットクラスに該当する物体のより正確な領域として計算される。
さらに演算部１８（物体領域認識部８２）は、バウンディングボックス４０を元に、関心領域であるＲＯＩ４１を算出する。

図１５Ｄに、ＲＯＩ４１とバウンディングボックス４０を示している。ＲＯＩ４１は、例えばバウンディングボックス４０の縦横サイズ（ｘ×ｙ）を拡大（ａｘ×ｂｙ）して計算される。拡大の縮尺ａ，ｂは縦横別に設定でき、拡大率は固定でもよいが、撮像用センサ部１０の外部（例えば画像プロセッサ２１など）より指定されるようにすることも考えられる。

本例では、このＲＯＩ４１をターゲット領域ＡＴとして、画像全域とは異なる暗号鍵を用いた暗号化を行う。

ここで、フレームＦ２は、画像内にターゲットクラスが新たに識別されたフレームであり、ターゲットクラス発見フレームと換言することができる。
本例では、画素からの読み出し信号に対して暗号化を施す手法を採るため、ターゲットクラス発見フレームについては、ＲＯＩ４１に対し第二暗号鍵に基づく暗号化を施すことができない。ターゲットクラス発見フレームについては、既に第一暗号鍵のみに基づく暗号化が施されてメモリ１６に保存されている。このように第一暗号鍵のみに基づく暗号化が施されたターゲットクラス発見フレームがそのまま出力されてしまうと、第一暗号鍵のみの保有者に対し、ＲＯＩ４１の画像領域が秘匿されずに開示されてしまうことになる。

そこで、本例では、ターゲットクラス発見フレームについてはメモリ１６から消去するものとし、画像の受け手側が保有する復号鍵の別に応じた適切な情報秘匿レベルが実現されるようにする。

図１５Ｅは、フレームＦ２の次のフレームであるフレームＦ３を表している。
ターゲットクラス発見フレームの次のフレームＦより、ＲＯＩ４１を対象とした第二暗号鍵に基づく暗号化を施す。ここでのＲＯＩ４１は、ターゲットクラス発見フレームであるフレームＦ２の時点で算出されたＲＯＩ４１である。
ターゲットクラスとしての「人物」が移動している場合には、フレームＦ３では、フレームＦ２よりも人物が移動方向側に進むことになるが、ＲＯＩ４１がバウンディングボックス４０よりも大きな範囲とされることで、フレームＦ３においてＲＯＩ４１内にターゲットクラスとしての人物が収まることになる。すなわち、ターゲットクラスとしての人物が第二暗号鍵に基づく暗号化の対象範囲内に収まる。

フレームＦ３以降においても、同様にターゲットクラスについてのバウンディングボックス４０及びＲＯＩ４１の算出を行い、これによりターゲットクラスが追尾されるようにする（図１５Ｆ参照）。
そして、フレームＦ４以降では、フレームＦ３と同様に、一つ前のフレームＦで算出されたＲＯＩ４１を対象として、第二暗号鍵に基づく暗号化が施されるようにする（図１５Ｇ参照）。

図１５Ｈは、ターゲットクラスとしての「人物」がフレームアウトした後のフレームＦｎを表している。ターゲットクラスがフレームアウトしたことで、ＲＯＩ４１は算出されなくなる。このため、フレームＦｎの画像については、第一暗号鍵のみに基づく暗号化が行われる。

なお、上記説明では、バウンディングボックス４０を拡大した矩形の領域をＲＯＩ４１とする例を述べたが、ＲＯＩ４１は矩形の領域に限られるものではない。
例えばセマンティックセグメンテーション、すなわち画素レベルでの物体エリア検出を用いて、そのターゲットクラスの物体のエリアからＲＯＩ４１を計算してもよい。

図１６は、セマンティックセグメンテーションに基づくＲＯＩ４１を示している。これは物体（例えば人物）としての画素領域を広げて、非矩形のＲＯＩ４１を設定した例である。
例えば突起物のあるトラック、自転車に乗っている人など、矩形のＲＯＩ４１では一部が含まれなかったり、或いは大きすぎる状態になってしまうことがある。画素レベルの物体位置に応じて非矩形のＲＯＩ４１を生成すれば、ターゲットに係る秘匿領域を過不足なく適切に設定することが可能となる。

［2-6．レベル別暗号化のための処理手順］

上記により説明した第二実施形態としての画像暗号化を実現するために演算部１８が実行する処理の手順について、図１７及び図１８のフローチャートを参照して説明する。
図１７は、シードフレームの撮像から暗号鍵の元となる乱数の保存までに対応した処理を示している。なお、図１７において、既に図１０で説明した処理と同様となる処理については同一ステップ番号を付して説明を省略する。
図１０の処理と同様、図１７の処理は、起動時に開始することができる。或いは、撮像用センサ部１０に対する不正アクセスの検知に応じて開始したり、一定時間おきに開始する等、他の条件に基づき開始することもできる。
なお、図１７及び図１８で説明する処理のうち少なくとも一部についてはハードウェアによる処理として実現することもできる。

図１７において、この場合の演算部１８は、ステップＳ１０３で均一性が過剰と判定した場合に、ステップＳ１５１に進んで各レベルの乱数を生成する。ここでは、ターゲット領域ＡＴにおいて特定領域ＡＳを区別しないため、乱数としては前述した第一乱数と第二乱数の２種を生成する。
なお、シードフレームの光電乱数に基づき各種の乱数を生成する手法については既に説明したため重複説明は避ける。

この場合の演算部１８は、ステップＳ１５１の乱数生成処理を実行したことに応じ、ステップＳ１０６でシードフレームの消去処理を実行する。
そして、ステップＳ１０６の消去処理を実行したことに応じ、演算部１８はステップＳ１５２で既存乱数があれば消去する処理を実行する。すなわち、過去に実行されたステップＳ１５３の処理でメモリ１６に保存された各レベルの乱数（第一乱数と第二乱数）があれば、それらの乱数を消去する処理である。
ステップＳ１５２に続くステップＳ１５３で演算部１８は、ステップＳ１５１で生成した各レベルの乱数をメモリ１６に保存する処理を行い、図１７に示す一連の処理を終える。

図１８は、生成した暗号鍵に基づき対象画像を暗号化するための処理を示している。
先ず、演算部１８はステップＳ４０１で、暗号化対象とする画像の撮像開始を待機しており、撮像開始となったら、ステップＳ４０２で第一暗号鍵による暗号化処理を実行する。すなわち、振幅制御回路１９（又は１９Ａ）に第一暗号鍵に基づく画素ごとの係数を指示してアレイセンサ１２の読み出し信号に対する暗号化を実行させる。先の説明から理解されるように、本例では、第一暗号鍵は、第一乱数をそのまま適用した暗号鍵とされる。

ステップＳ４０２に続くステップＳ４０３で演算部１８は、物体領域認識処理を実行し、さらに続くステップＳ４０４でクラス識別処理を実行する。ステップＳ４０３の物体領域認識処理は、前述した物体領域認識部８２の処理であり、現フレームの画像から候補となる物体の検出及びその物体領域の認識処理を行う。また、ステップＳ４０４のクラス識別処理は、前述したクラス識別部８３の処理であり、上記の物体領域認識処理で検出された物体についてクラス識別を行う。複数の物体や複数種類の物体が検出された場合、それぞれについてクラス識別が行われ、各クラスに分類される。例えば、先の図１５Ｂの場合、「木」というクラスの物体が１つ、「人物」というクラスの物体が１つというようにクラス識別及び分類が行われる。
なお、演算部１８は、ステップＳ４０３及びＳ４０４の処理については、ステップＳ４０２や後述するステップＳ４１３で暗号化されたフレーム画像をオンザフライ方式で復号化しながら実行する。

ステップＳ４０４に続くステップＳ４０５で演算部１８は、ターゲットクラスが存在するか否かを判定する。すなわち、ステップＳ４０４で識別されたクラスのうちにターゲットクラスが存在したか否かを判定する。
ターゲットクラスが存在しなければ、演算部１８はステップＳ４０６で次のフレームを待機（次のフレーム期間の到来を待機）した上で、ステップＳ４０２に戻る。すなわち、ターゲットクラスが検出されるまで、ステップＳ４０２による画像全域の暗号化処理、ステップＳ４０３の物体領域認識処理、及びステップＳ４０４のクラス識別処理がフレームごとに繰り返し実行される。

ステップＳ４０５でターゲットクラスが存在すると判定した場合、演算部１８はステップＳ４０７に進んでバウンディングボックス４０の算出を行い、続くステップＳ４０８でＲＯＩ４１の算出を行う。
さらに、続くステップＳ４０９で演算部１８は、ＲＯＩ４１のみに第二乱数の数値を適用した第二暗号鍵と、第一暗号鍵とを合成した合成鍵を生成する。

ステップＳ４０９で合成鍵を生成したことに応じ、演算部１８はステップＳ４１０でターゲットクラス発見フレームであるか否かを判定する。現フレームがターゲットクラス発見フレームであれば、演算部１８はステップＳ４１１でターゲットクラス発見フレームを消去する処理を実行する。これにより、ターゲットクラス発見フレームについて、鍵の保有レベルがレベル１であるにも拘わらずターゲットの画像部分が秘匿されなくなってしまうことの防止が図られる。

ステップＳ４１０において、現フレームがターゲットクラス発見フレームでなければ、演算部１８はステップＳ４１１の消去処理をパスして、ステップＳ４１２で次のフレームを待機する処理を行う。また、演算部１８は、ステップＳ４１１の消去処理を実行した場合も、ステップＳ４１２で次のフレームを待機する処理を行う。

ステップＳ４１２の待機処理を実行したことに応じ、演算部１８はステップＳ４１３で一つ前のフレームで生成した合成鍵による暗号化処理を実行する。すなわち、振幅制御回路１９（又は１９Ａ）に当該合成鍵に基づく画素ごとの係数を指示してアレイセンサ１２の読み出し信号に対する暗号化を実行させる。

ステップＳ４１３に続くステップＳ４１４で演算部１８は、撮像終了か否か、すなわち、例えば外部からの撮像終了指示が行われる等、暗号化対象の画像の撮像を終了すべき状態となったか否かを判定する。
撮像終了でなければ、演算部１８はステップＳ４０３に戻る。これにより、撮像終了となるまで、これまで説明した処理が繰り返される。すなわち、引き続きターゲットクラスが存在すれば、該ターゲットクラスについてのＲＯＩ４１の算出、及び算出したＲＯＩ４１に基づく合成鍵の生成、及び一つ前のフレームで生成した合成鍵に基づく暗号化処理が行われ、ターゲットクラスが存在しなくなった場合は、合成鍵による暗号化処理が行われず、第一暗号鍵による暗号化処理が実行される。

撮像終了であれば、演算部１８は図１８に示す一連の処理を終える。

なお、本例では、ＲＯＩ４１については、次のフレームにおいてターゲットとしての物体を包含できるようにバウンディングボックス４０を広げた領域として設定しているが、縦横サイズ（ｘ×ｙ）を拡大（ａｘ×ｂｙ）するときの拡大の縮尺ａ、ｂは、フレームレートに応じたものとすることも考えられる。
例えば、フレームレートが低いと、フレーム間隔の時間が長くなり人物などの物体の移動量も大きくなるため、フレームレートが高い場合よりもＲＯＩ４１を広くすることが考えられる。

なお、ターゲット領域ＡＴについて、特定部位とそれ以外の領域とを区別して暗号化を行う場合には、特定部位について、上記で説明した手法と同様の手法によりバウンディングボックス４０及びＲＯＩ４１を算出し、算出したＲＯＩ４１に第三乱数の数値を適用した第三暗号鍵を生成する。その上で、第一、第二、第三暗号鍵を合成した合成鍵を生成し、次のフレームの画像の暗号化に用いるようにすればよい。

＜３．特徴情報に係る処理（通常モード）＞

先に述べたように、本実施形態の撮像装置１は、特徴検出部８５によって撮像画像内の被写体についての特徴情報を検出可能とされている。具体的に本例の特徴検出部８５は、前述したクラスのうちターゲットとするクラスの物体（被写体）について、その特徴を示す特徴情報を検出することが可能とされている。
例えば、アレイセンサ１２での撮像により得られる画像が店内の監視画像である場合において、ターゲットクラスとして人物（顧客）が設定されていれば、前述した人物についての特徴情報に基づき、ユーザに顧客の性別や年齢、身長等といった顧客の属性を把握させたり、店内における顧客の移動軌跡（動線）や姿勢の変化等といった顧客の動作を把握させることが可能となる。
或いは、アレイセンサ１２での撮像により得られる画像が道路を通行する車両の監視画像である場合において、ターゲットクラスとして車両が設定されていれば、車両の車種や色、搭乗者数、搭乗者の性別等といった属性や、道路上での動線、車速等の動作に係る情報をユーザに把握させることが可能とされる。

本例の情報処理システム１００は、特徴情報に係る動作モードとして、各撮像装置１が撮像動作と被写体の特徴検出とを継続しながら、撮像画像及び特徴情報をクラウドサーバ３に送信する通常モードを有している。

図１９は、通常モードの説明図である。
通常モード時には、各撮像装置１が図１０や図１７及び図１８に示した処理を行うことで得られる暗号化された撮像画像（図中「暗号化画像」と表記）と、特徴検出部８５が検出した被写体の特徴情報とが各撮像装置１からフォグサーバ２及びネットワークＮｔを経由してクラウドサーバ３にアップロードされる。
クラウドサーバ３は、このようにアップロードされた撮像画像と特徴情報を例えば記憶部３８（図３参照）に保存する。

ユーザ端末４は、クラウドサーバ３に対し撮像画像や特徴情報の送信要求を行うと共に、クラウドサーバ３から受信した撮像画像や特徴情報をユーザに閲覧させるための処理を行う。ユーザ端末４には、クラウドサーバ３に保存された撮像画像と特徴情報を閲覧可能とするためのアプリ（アプリケーションプログラム）がインストールされており、ユーザは該アプリを利用して撮像画像や特徴情報の閲覧を行うことが可能とされている。本例では、撮像画像は暗号化された状態でクラウドサーバ３に保存されているため、該アプリには、暗号化された撮像画像を復号化する機能が与えられている。例えば、撮像画像に対する暗号化として、前述した第一暗号鍵のみに基づく暗号化が行われる場合（つまり図１０に示した処理による暗号化が行われる場合）には、ユーザ端末４には第一暗号鍵に対応する復号鍵が記憶されており、上記アプリは該復号鍵を用いて撮像画像についての暗号化復号を行う。或いは、撮像画像に対する暗号化として前記したレベル別暗号化が行われる場合には、ユーザ端末４には、ユーザの鍵の保有レベルに応じた復号鍵が記憶されており、上記アプリは該復号鍵を用いて撮像画像についての暗号化復号を行う。

図２０及び図２１は、通常モード時に撮像装置１が実行する処理を説明するためのフローチャートであり、図２０は、特徴情報の記録に係る処理、図２１は特徴情報と撮像画像の送信に係る処理をそれぞれ示している。
図２０の処理は演算部１８が実行し、図２１の処理は制御部２３が実行する。

図２０において、演算部１８はステップＳ５０１で、ターゲットクラスが指定されているか否かを判定する。すなわち、前述した人物や車両等といったターゲットとするクラスの指定が行われているか否かを判定する。ターゲットクラスが指定されていなければ、演算部１８はステップＳ５０２でデフォルトのクラス（例えば「人」）をターゲットクラスとする処理を実行し、ステップＳ５０３に進む。一方、ターゲットクラスが指定されていれば、演算部１８はステップＳ５０２の処理をパスしてステップＳ５０３に進む。

ステップＳ５０３で演算部１８は、画像内にターゲットクラスが検出されるまで待機する。すなわち、前述した物体領域認識部８２としての処理により現フレームの画像から候補となる物体の検出及びその物体領域の認識処理を行うと共に、クラス識別部８３としての処理により検出物体についてのクラス識別を行い、識別されたクラスにターゲットクラスが存在するか否かの判定を、ターゲットクラスが存在するとの判定結果が得られるまで実行する。

ステップＳ５０３において、ターゲットクラスが検出されたとの判定結果が得られた場合、演算部１８はステップＳ５０４でターゲットクラスについての特徴情報検出処理を行う。すなわち、ターゲットクラスとしての被写体について、前述した特徴検出部８５としての処理を行って特徴情報を検出する。
ここで、検出した特徴情報には、検出対象としたターゲットクラスのＩＤを対応づける。本例において、演算部１８は、画像内から新たなターゲットクラスが検出されるごとに、検出したターゲットクラスにＩＤ（以下「被写体ＩＤ」と表記する）を割り当てる。そして、演算部１８は、ステップＳ５０４で特徴情報の検出を行ったことに応じ、検出した特徴情報に対し、検出対象としたターゲットクラスの被写体ＩＤを対応づける。

ステップＳ５０４に続くステップＳ５０５で演算部１８は、特徴情報の記録処理として、ステップＳ５０４で検出された特徴情報（被写体ＩＤが対応づけられている）をメモリ１６に記録する（保存する）処理を行う。
なお、特徴情報を記録する際には、撮像画像データ側との時間同期がとられるように、特徴情報にタイムスタンプ等の撮像画像側との同期管理のための情報を付すことが望ましい。

ステップＳ５０５に続くステップＳ５０６で演算部１８は、ターゲットクラスが画像内から消失したか否かを判定する。ターゲットクラスが画像内から消失していなければ、演算部１８はステップＳ５０４に戻る。これにより、画像内にターゲットクラスが検出され続ける限り、該ターゲットクラスについての特徴情報の検出、及びメモリへの記録が繰り返される。このとき、前述した身長や性別、車両の色や普通車／大型車の別等といった被写体の属性に係る特徴情報については、繰り返しの検出及び記録を行う必要はない。一方で、被写体の動きに係る特徴情報（例えば被写体の位置の情報）については、繰り返しの検出及び記録を実行することが有効である。

ステップＳ５０６において、ターゲットクラスが画像内から消失したと判定した場合、演算部１８は図２０に示す一連の処理を終える。

続いて、図２１の処理を説明する。
先ず、制御部２３はステップＳ５１０で、サーバ（クラウドサーバ３）への特徴情報送信設定がＯＮになっているか否かを判定する。該送信設定がＯＮになっていれば、制御部２３はステップＳ５１１に進み、記録された未送信の特徴情報をサーバに送信する処理を行う。このとき、特徴情報の送信先は、フォグサーバ２とすることもできる。その場合、フォグサーバ２は、撮像装置１から特徴情報を受信したことに応じ、受信した特徴情報をクラウドサーバ３に送信する。或いは、特徴情報の送信先をクラウドサーバ３とすることもできる。その場合、フォグサーバ２は、送信先情報に基づいて、撮像装置１から受信した特徴情報をクラウドサーバ３に送信する。
ステップＳ５１１に続くステップＳ５１２で制御部２３は、送信済みとなった特徴情報をメモリ１６から消去する処理を実行し、ステップＳ５１３に処理を進める。

一方、ステップＳ５１０で特徴情報送信設定がＯＮになっていないと判定した場合、制御部２３はステップＳ５１１及びＳ５１２の処理をパスしてステップＳ５１３に処理を進める。

ステップＳ５１３で制御部２３は、サーバへの録画データ送信設定がＯＮになっているか否かを判定する。すなわち、メモリ１６に記録された暗号化撮像画像のクラウドサーバ３への送信設定がＯＮになっているか否かを判定する。
録画データ送信設定がＯＮになっていれば、制御部２３はステップＳ５１４に進み、未送信の特徴情報をサーバに送信する処理を行う。ここでの送信手法は、先のステップＳ５１１での特徴情報の送信手法と同様である。これにより、メモリ１６に記録された未送信の暗号化撮像画像データがクラウドサーバ３に送信される。
そして、続くステップＳ５１５で制御部２３は、送信済みとなった録画データをメモリ１６から消去する処理を実行し、図２１に示す一連の処理を終える。

また、制御部２３は、ステップＳ５１３で録画データ送信設定がＯＮになっていないと判定した場合は、ステップＳ５１４及びＳ５１５の処理をパスして図２１に示す一連の処理を終える。

クラウドサーバ３では、上記のような通常モード時の処理により撮像装置１から送信された撮像画像や特徴情報が保存される。ユーザは、ユーザ端末４によりクラウドサーバ３にアクセスしてこのように保存された撮像画像や特徴情報を閲覧することができる。このとき、ユーザ端末４のソフトウェアにより、特徴情報そのものの閲覧のみでなく、或る特徴条件にマッチする人物の数や割合等といった統計データの閲覧や、動線を表す画像等の閲覧が可能となるようにすることもできる。

なお、上記では暗号化された撮像画像、特徴情報の保存先をクラウドサーバ３とする例を挙げたが、これらの保存先はフォグサーバ２とすることもできる。或いは、保存先はフォグサーバ２とクラウドサーバ３の双方とすることもできる。
また、撮像装置１において、送信済みとなった暗号化撮像画像、特徴情報をメモリから消去することは必須ではない。

＜４．特徴情報に係る処理（ターゲットサーチモード）＞
［4-1．第一例］

本実施形態の情報処理システム１００は、特徴情報に係る動作モードとして、上述した通常モード以外にターゲットサーチモードを有する。ターゲットサーチモードは、撮像装置１の撮像画像に基づき、ターゲットとする被写体の有無を判定するモードである。換言すれば、撮像視野内からターゲットとする被写体を探索するモードである。
このターゲットサーチモードの用途としては種々考えられる。代表的な一例としては、撮像対象とする現場における人探しの用途を挙げることができる。例えば、店舗における万引き犯のサーチ用途として、或る店舗が万引き被害にあった場合に、犯人が再度その店舗に訪れて撮像画像に捉えられたことに応じ、ユーザにその旨を通知するという機能を実現することが考えられる。
或いは、他の用途としては、交通監視システムにおける特定車両のサーチ用途を挙げることができる。具体的には、特定の車両が撮像画像に捉えられたことに応じ、ユーザにその旨を通知するという機能を実現するものである。

ここで、本実施形態では、各撮像装置１が特徴検出部８５を備えている。換言すれば、各撮像装置１は、撮像画像内でターゲットクラスとして検出された被写体について、特徴情報を検出する機能を有している。この点から、本実施形態では、サーチターゲットとする被写体の有無の判定を、各撮像装置１が検出する特徴情報に基づいて行うという手法を採る。具体的に、サーチターゲットとする被写体の有無の判定は、特徴検出部８５が検出した特徴情報である「検出特徴情報」と、サーチターゲットとする被写体の特徴情報である「ターゲット特徴情報」とを比較した結果に基づき行う。
なお以下、「サーチターゲットとする被写体」は「ターゲット被写体」と表記することもある。

そして、本例では、このように「検出特徴情報」と「ターゲット特徴情報」とに基づいてターゲット被写体の有無を判定するための判定部８６が、各撮像装置１に設けられている（図２参照）。つまり本例では、各撮像装置１が指定された「ターゲット特徴情報」に基づいてターゲット被写体の有無の判定までを行う。

図２２は、このように各撮像装置１に判定部８６を設けた第一例としての情報処理システム１００におけるターゲットサーチモード時の動作を説明するための図である。
図示のように各撮像装置１は、特徴検出部８５、判定部８６、及び第一通知処理部５１を備えている。また、クラウドサーバ３は、ターゲット特徴情報送信部５０と第二通知処理部５２を備えている。
なお図２２において、実際には、各撮像装置１とクラウドサーバ３との間の通信はフォグサーバ２及びネットワークＮｔを介して行われ、クラウドサーバ３とユーザ端末４との間の通信はネットワークＮｔを介して行われるが、ここでは図示の都合からフォグサーバ２とネットワークＮｔの図示は省略している。

クラウドサーバ３において、ターゲット特徴情報送信部５０は、クラウドサーバ３におけるＣＰＵ３１が有する機能の一つであり、各撮像装置１にターゲット特徴情報を送信する。ここで、ターゲット特徴情報は、ユーザ端末４に対するユーザ操作に基づき設定される。
例えば、前述した万引き犯のサーチ用途の場合であれば、ユーザは、犯行推定時刻付近の撮像画像を閲覧しながら、犯人の特定を行うことが考えられる。この場合には、ユーザ端末４は、撮像画像の閲覧時にユーザから犯人としての被写体の指定操作（例えば画面に対するタッチ操作等）を受け付け、該指定操作により指定された被写体のＩＤ（被写体ＩＤ）をクラウドサーバ３に指示する。クラウドサーバ３（ＣＰＵ３１）は、指示された被写体ＩＤに対応づけられた特徴情報をターゲット特徴情報としてターゲット特徴情報送信部５０により各撮像装置１に送信する。
このとき、ターゲット特徴情報としては、被写体ＩＤに対応づけられた全ての特徴情報とすることもできるし、一部の特徴情報のみとすることもできる。また、「ターゲット特徴情報」として用いる特徴情報をユーザが選択できるようにしてもよい。

なお、ターゲット特徴情報は、上記のような被写体の指定操作に基づき設定することに限定されず、ユーザによる特徴情報の指定操作に基づき設定することもできる。例えば、車両のナンバ等の特徴情報については、該ナンバの入力操作をターゲット特徴情報の入力操作として受け付けるようにすることが考えられる。

各撮像装置１において、判定部８６は、「検出特徴情報」と「ターゲット特徴情報」とに基づき、検出特徴情報がターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が撮像画像内に存在するか否かを判定する。

ここで、ターゲット特徴情報として例えば性別、年齢、服の色等の複数の特徴情報を用いる場合において、特徴情報が一致するとは、全ての特徴情報が一致することを意味する。
また、ターゲット特徴情報として複数の特徴情報を用いる場合において、特徴情報が類似するとは、複数の特徴情報のうち所定数以上の特徴情報が一致する場合（全ての特徴情報が一致する場合は除く）、或いは、全ての特徴情報の類似度が一定度合い以上である場合、或いは類似度が一定度合い以上の特徴情報が所定数以上である場合などを含む。
このように判定部８６による判定処理は、「検出特徴情報」と「ターゲット特徴情報」との一致／不一致の判定や類似度に基づいた判定として行われる。

第一通知処理部５１は、判定部８６によってターゲット被写体が存在するとの判定結果が得られたことに応じ、通知信号をクラウドサーバ３に送信する。この第一通知処理部５１としての処理は、判定部８６による判定結果に基づき制御部２３が行う。

クラウドサーバ３において、第二通知処理部５２は、第一通知処理部５１による通知信号、すなわち、ターゲット被写体が存在するとの判定結果を示す信号が受信されたことに応じて、ユーザ端末４に通知信号を送信する。この第二通知処理部５２としての処理は、クラウドサーバ３におけるＣＰＵ３１が実行する。

第二通知処理部５２からの通信信号が受信されたことに応じ、ユーザ端末４はユーザに対する通知処理を行う。これにより、サーチターゲットとしての被写体が出現したことがユーザに通知される。

図２３は、第一例としての情報処理システム１００がターゲットサーチモード時に実行すべき具体的な処理手順の例を示したフローチャートである。なお図２３において、ユーザ端末４として示す処理、クラウドサーバ３として示す処理は、それぞれユーザ端末４のＣＰＵ３１、クラウドサーバ３のＣＰＵ３１が実行する。また、撮像装置１として示す処理は制御部２３が実行する。

図２３において、ユーザ端末４は、先ずステップＳ７０１で、サーチターゲットの指定受付を行う。例えば、先に例示したような画面に対するタッチ操作等による被写体の指定操作を受け付ける。
続くステップＳ７０２でユーザ端末４は、サーチターゲットの被写体ＩＤをターゲットＩＤとしてサーバに送信する。すなわち、ステップＳ７０１で受け付けた指定操作によって指定された被写体についての被写体ＩＤをターゲットＩＤとしてクラウドサーバ３に送信する処理を行う。

クラウドサーバ３は、ユーザ端末４からのターゲットＩＤの受信をステップＳ６０１で待機しており、ターゲットＩＤが受信された場合は、ステップＳ６０２でターゲットＩＤに対応する特徴情報をターゲット特徴情報として各撮像装置１に送信する処理を行う。

撮像装置１（制御部２３）は、クラウドサーバ３からのターゲット特徴情報の受信をステップＳ５２０で待機しており、ターゲット特徴情報を受信した場合は、ステップＳ５２１でターゲット特徴情報を判定部８６に指示する処理を行う。
ターゲット特徴情報が指示された判定部８６は、特徴検出部８５が検出する検出特徴情報とターゲット特徴情報とに基づき、前述したターゲット被写体が存在するか否かを判定する処理を行う。

撮像装置１は、ステップＳ５２１でターゲット特徴情報を指示する処理を行ったことに応じ、ステップＳ５２２でターゲット被写体が存在するとの判定結果が得られるまで待機する。そして、判定部８６によりターゲット被写体が存在すると判定結果が得られた場合は、ステップＳ５２３に進んでサーバ（クラウドサーバ３）に発見通知を送信する処理を行い、図２３に示す一連の処理を終える。

クラウドサーバ３は、ステップＳ５２３で送信される発見通知の受信を、前述したステップＳ６０２に続くステップＳ６０３で待機しており、該発見通知が受信された場合は、ステップＳ６０４でユーザ端末４に発見通知を送信する処理を行い、図２３に示す一連の処理を終える。

ユーザ端末４は、クラウドサーバ３からの発見通知の受信を、前述したステップＳ７０２に続くステップＳ７０３で待機しており、該発見通知が受信された場合は、ステップＳ７０４でユーザに対する通知処理を行い、図２３に示す一連の処理を終える。
ここで、ステップＳ７０４の通知処理としては、例えば出力部３７におけるディスプレイを介した通知のための画像情報の出力処理や、スピーカを介した通知音の出力処理等とすることができる。

［4-2．第二例］

図２４は、第二例としての情報処理システム１００のターゲットサーチモードに係る機能構成、及び動作の説明図である。なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号や同一ステップ番号を付して説明を省略する。

第二例では、判定部８６をフォグサーバ２に設ける。すなわち、フォグサーバ２が各撮像装置１から送信される検出特徴情報に基づいてターゲット被写体の有無の判定を行う。

このために、第二例における各撮像装置１には、特徴検出部８５と共に、特徴検出部８５が検出した特徴情報をフォグサーバ２に送信する特徴情報送信部５３が設けられる。
またこの場合、クラウドサーバ３におけるターゲット特徴情報送信部５０は、ターゲット特徴情報をフォグサーバ２に送信する。

図２５は、第二例としての情報処理システム１００がターゲットサーチモード時に実行すべき具体的な処理手順の例を示したフローチャートである。なお図２５において、フォグサーバ２として示す処理は、フォグサーバ２のＣＰＵ３１が実行する。

ユーザ端末４の処理は、図２３に示したものと同様となるため重複説明は避ける。
この場合、クラウドサーバ３は、ステップＳ６０１でユーザ端末４からのターゲットＩＤを受信したことに応じ、ステップＳ６１０でターゲットＩＤに対応する特徴情報をターゲット特徴情報としてフォグサーバ２に送信する処理を行う。

フォグサーバ２は、クラウドサーバ３からのターゲット特徴情報の受信をステップＳ８０１で待機しており、ターゲット特徴情報を受信した場合は、先ず、ステップＳ８０２で各撮像装置１にサーチ開始通知を行う。

撮像装置１においては、サーチ開始通知の受信をステップＳ５３０で待機しており、サーチ開始通知を受信した場合は、ステップＳ５３１でフォグサーバ２に対する特徴情報の送信を開始する。すなわち、特徴検出部８５が検出する特徴情報のフォグサーバ２に対する送信処理を開始する。

フォグサーバ２は、ステップＳ８０２に続くステップＳ８０３で、各撮像装置１から送信される特徴情報（検出特徴情報）とステップＳ８０１で受信したターゲット特徴情報とに基づき、ターゲット被写体の判定処理を開始する。すなわち、ターゲット被写体が存在するか否かの判定処理を開始する。
そして、フォグサーバ２は、ステップＳ８０３に続くステップＳ８０４で、ターゲット被写体が存在するとの判定結果が得られるまで待機し、ターゲット被写体が存在するとの判定結果が得られた場合は、ステップＳ８０５でサーバ（クラウドサーバ３）に発見通知を行う。さらにフォグサーバ２は続くステップＳ８０６で、先のステップＳ８０３で開始した判定処理を終了し、ステップＳ８０７で各撮像装置１に対するサーチ終了通知を行い、図２５に示す一連の処理を終える。

撮像装置１は、ステップＳ８０７のサーチ終了通知を受信した場合には、フォグサーバ２に対する特徴情報の送信を終了し、図２５に示す一連の処理を終える（ステップＳ５３２、Ｓ５３３を参照）。

クラウドサーバ３は、ステップＳ８０５の発見通知の受信を、前述したステップＳ６１０に続くステップＳ６０３で待機しており、該発見通知が受信された場合は、ステップＳ６０４に進んでユーザ端末４に発見通知を送信し、図２５に示す一連の処理を終える。

ここで、フォグサーバ２が判定部８６を備えることで、ターゲット被写体の有無の判定に係る処理を撮像装置１側で行う必要がなくなる。
従って、撮像装置１の処理負担軽減により撮像装置１の回路規模の縮小化及び小型化を図ることができ、例えば監視カメラ用途等、撮像装置１の小型化が求められる場合に好適となる。

一方で、第一例のように各撮像装置１が判定部８６を備える構成とした場合には、ターゲット被写体の有無の判定に係る処理負担が各撮像装置１に分散され、フォグサーバ２としての情報処理装置側の処理負担軽減を図ることができる。また、各撮像装置１から情報処理装置側への特徴情報の送信を不要とすることができ、通信データ量の削減を図ることができる。

なお、上記では判定部８６をフォグサーバ２に設ける例を挙げたが、判定部８６をクラウドサーバ３に設けることも可能である。

［4-3．第三例］

図２６は、第三例としての情報処理システム１００’の概略構成例を示したブロック図である。
図示のように第三例としての情報処理システム１００’は、複数の撮像装置１と、ユーザ端末４とを備えており、図１に示したフォグサーバ２及びクラウドサーバ３は省略されている。この場合における各撮像装置１は、ネットワークＮｔ介してユーザ端末４との間でデータ通信を行うことが可能に構成されている。

図２７は、第三例としての情報処理システム１００’のターゲットサーチモードに係る機能構成、及び動作の説明図である。
第三例においても、ユーザ端末４において、ユーザ操作に基づきサーチターゲットとする被写体の被写体ＩＤが指定される。

この場合の各撮像装置１は、このようにユーザ端末４において指定されたサーチターゲットの被写体ＩＤ（ターゲットＩＤ）に基づき、ターゲット特徴情報を取得するターゲット特徴情報取得部５４を備えている。この場合の撮像装置１は、過去に検出した特徴情報を保持し続けており、ターゲット特徴情報取得部５４は、このように保持されている特徴情報のうち、ターゲットＩＤが対応づけられている特徴情報をターゲット特徴情報として取得する。

なお、この場合もユーザ端末４においては、ターゲットＩＤの指定ではなく、ターゲットとする被写体の特徴情報の指定を直接受け付けることもでき、その場合、撮像装置１におけるターゲット特徴情報取得部５４は、ユーザ端末４で指定された特徴情報をターゲット特徴情報として受信し、取得する。

各撮像装置１において、この場合の判定部８６は、ターゲット特徴情報取得部５４が取得したターゲット特徴情報と、特徴検出部８５が検出する特徴情報とに基づいてターゲット被写体が存在するか否かの判定を行う。
そして、この場合の各撮像装置１は、第二通知処理部５２を備えており、第二通知処理部５２は、判定部８６によりターゲット被写体が存在するとの判定が得られたことに応じて、ユーザ端末４に通知信号を出力する。

このようにターゲットとする被写体が出現したことをユーザ端末４に通知するシステムとしては、フォグサーバ２やクラウドサーバ３が介在しない形態もあり得る。
なお、図２６に示した情報処理システム１００’の構成において、ユーザ端末４に判定部８６を設けることもできる。この場合には、図２４の場合と同様に、撮像装置１に特徴情報送信部５３を設け、特徴検出部８５が検出した特徴情報をユーザ端末４に送信するようにする。

＜５．変形例＞

なお、実施形態としては、これまでに説明した具体例に限定されるものではなく、多様な変形例が考えられる。
例えば、上記では、アレイセンサ１２の画素からの読み出し信号に対して暗号化を行う手法、及びターゲット領域を対象とした暗号化を行う手法に関して、暗号化に光電乱数を用いる例を挙げたが、これらの手法に関して、暗号化に用いる乱数は光電乱数に限定されない。例えば、疑似乱数を用いることもできる。或いは、真の乱数を用いるのであれば、例えば熱や音の変化など、予測や再現が実質的に不可能な自然現象を対応するセンサで検知して、その値を基に乱数を生成する手法を挙げることができる。

また、これまでの説明では、特徴情報には暗号化を施さない前提としたが、特徴情報に暗号化を施すこともできる。具体的に、特徴情報の暗号化は、通常モード時において、撮像装置１からフォグサーバ２に送信される特徴情報を対象として施すことが考えられる。或いは、ターゲットサーチモードにおいて、例えば第二例（図２４参照）のように撮像装置１から外部装置への特徴情報の送信を要する場合に、撮像装置１から外部装置に送信される特徴情報を対象として施すことが考えられる。
特徴情報の暗号化については、光電乱数に基づく暗号化とすることができる。或いは、疑似乱数に基づく暗号化を行うものとしてもよい。

また、上記では特に言及しなかったが、ターゲット被写体が存在するか否かの判定については、高抽象度特徴情報、低抽象度特徴情報の何れか一方のみに基づく判定とすることもできる。高抽象度特徴情報のみに基づく判定としては、例えば、性別と身長が一致するか否かの判定等として行うことが考えられる。また、低抽象度特徴情報のみに基づく判定としては、例えば、顔の特徴情報（特徴量）が類似するか否かの判定等として行うことが考えられる。

また、上記では、判定部８６を撮像装置１ではなくクラウドサーバ３に備える例を説明したが、その場合には、クラウドサーバ３が撮像装置１から受信し保存した過去の特徴情報に基づいてターゲット被写体の有無の判定を行うことも可能である。
例えば、ユーザがユーザ端末４に対して、判定対象とする日付けや期間、及びターゲット特徴情報をクラウドサーバ３に指定するための操作を行う。クラウドサーバ３は、保存された特徴情報のうち、指定された日付けや期間において検出された特徴情報に基づいて、指定されたターゲット特徴情報と一致又は類似する特徴情報を有する被写体のＩＤを探索する。この場合において、ターゲット特徴情報としては、高抽象度特徴情報のみ、低抽象度特徴情報のみ、又は双方の組み合わせの何れかとすることができる。
また、ターゲット被写体が存在すると判定された場合には、ターゲット被写体に関する情報をユーザに提示するが、その際の提示情報としては、該当する被写体のＩＤに限らず、例えば、該当する被写体の数（例えば、人数）、該当する被写体の画像等を提示することもできる。

ここで、ターゲットサーチモードにおいて、各撮像装置１がそれぞれ異なる国や地域に設置されるなど十分に離間して設置されている場合には、複数の撮像装置１が同時的にターゲット被写体を発見する（発見通知を行う）ということは考え難い。
しかしながら、例えば判定部８６における判定の精度（つまりターゲット被写体の検出精度）が低い場合には、例えばターゲット被写体としての同一人物についての発見通知が複数の撮像装置１から同時的に行われる可能性がある。
或いは、ターゲット被写体が例えば一点物の美術品であるとして、その偽物（贋作）が出回っている場合においては、該美術品としてのターゲット被写体についての発見通知が複数の撮像装置１から同時的に行われる可能性がある。

そこで、そのようなターゲット被写体の検出精度に係る異常、又はターゲット被写体としての物体側に係る異常の発生有無を判定可能とするために、以下のような情報処理システム１００Ａとしての構成を採る考えられる。

図２８は、情報処理システム１００Ａの機能構成を説明するための図である。
先の図２２に示した情報処理システム１００との相違点は、クラウドサーバ３に代えてクラウドサーバ３Ａが設けられた点である。
クラウドサーバ３Ａは、クラウドサーバ３と比較して、前述したターゲット特徴情報送信部５０と第二通知処理部５２としての機能に加え、異常検出判定部５５としての機能を有する点が異なる。

異常検出判定部５５は、判定部８６の判定結果に基づき、異なる撮像装置１による撮像画像内にターゲット被写体が物理的にあり得ないタイミングで検出されたか否かを判定する。
ここで、「物理的にあり得ないタイミングで検出される」とは、撮像画像内にターゲット被写体が検出された二つの撮像装置１について、それら撮像装置１間でのターゲット被写体の検出時間差が、それら撮像装置１の設置位置間をターゲット被写体としての物体が移動するのに要する最小の時間よりも短くなっていることを意味する。
このような判定を行うことで、ターゲット被写体の検出精度に係る異常、又はターゲット被写体としての物体側に係る異常の発生有無を適切に判定することができる。

図２９のフローチャートを参照し、異常検出判定部５５が行う具体的な処理について説明する。
この場合、撮像装置１、ユーザ端末４は、それぞれ図２３に示した処理と同様の処理を行う。
クラウドサーバ３Ａは、ステップＳ６０３の判定処理で撮像装置１からの発見通知があったと判定した以降において、ステップＳ６２０の処理を実行する。具体的に本例では、ステップＳ６０３で発見通知があったと判定した場合において、ステップＳ６０４の通知処理を実行したことに応じてステップＳ６２０の処理を実行する。

ステップＳ６２０でクラウドサーバ３Ａは、複数の撮像装置１から物理的にあり得ないタイミングで発見通知が行われたか否かを判定する。
ここで、ステップＳ６２０の判定の具体的な手法としては、次のような二種の例が考えられる。
第一の手法は、物理的にあり得ないタイミングであるかを推し量るための閾値時間を固定値とするものである。具体的には、先ず、過去所定時間（＝閾値時間：例えば１時間等の固定値）以内に同一のターゲット被写体について複数の撮像装置１が発見通知を行ったか否かを判定し、該当する撮像装置１があった場合に、それら撮像装置１の設置位置間距離が所定距離（例えば５００ｋｍ）を超えているか否かを判定する。この判定の結果、所定距離を超えていなければステップＳ６２０の判定結果として否定結果（つまり物理的にあり得ないタイミングで発見通知が行われてはいない）を得、一方、所定距離を超えていればステップＳ６２０の判定結果として肯定結果を得る。
第二の手法は、上記の閾値時間を設置位置間距離に応じて可変設定する手法である。先ず、例えば過去２４時間以内等、十分に長い対象期間内において複数の撮像装置１が同一のターゲット被写体について発見通知を行っていたか否かを判定し、該当する撮像装置１がある場合は、それら撮像装置１間の設置位置間距離を求めると共に、それら撮像装置１が発見通知を行ったタイミング間の時間差（以下「通知時間差」と表記）を求める。求めた設置位置間距離に基づき、閾値時間を設定する。この閾値時間は、求めた設置位置間距離をターゲット被写体としての物体が移動するのに要する最小の時間よりも短い時間に設定する。そして、このように設定した閾値時間を用いて、通知時間差が該閾値時間以下であるか否かを判定する。通知時間差が閾値時間以下でなければステップＳ６２０の判定結果として否定結果を得、通知時間差が閾値時間以下であればステップＳ６２０の判定結果として肯定結果を得る。
なお、ステップＳ６２０の判定手法は上記手法に限定されるものではない。例えば、どの撮像装置１の組み合わせにおいても設置位置間距離が十分に離れていることが前提であれば、ステップＳ６２０の判定処理は、同一のターゲット被写体の発見通知を行った各撮像装置１について、それらの通知時間差が所定時間以下であるか否かの判定として行うことも考えられる。又は、或る撮像装置１からの発見通知があった場合に、当該発見通知が行われたタイミングから所定時間以内に別の撮像装置１からの発見通知があったか否かの判定として行うことも考えられる。

ステップＳ６２０の判定処理で肯定結果を得た場合、クラウドサーバ３ＡはステップＳ６２１に進んで異常発見フラグをＯＮとし、図２９に示す一連の処理を終える。異常発見フラグは、ターゲット被写体の検出精度に係る異常、又はターゲット被写体としての物体側に係る異常の発生有無を表すためのフラグであり、ＯＮが異常の発生有りを表し、初期値はＯＦＦである。
このような異常発見フラグに基づき、クラウドサーバ３Ａは、異常の発生を例えばクラウドサーバ３Ａのユーザやユーザ端末４のユーザに対して通知する（アラートする）ことができる。異常の発生が認められた場合、ユーザは、ターゲット被写体の検出精度の改善を図ったり、或いは、贋作が発見されたことへの対応策を講じたりすることができる。

一方、ステップＳ６２０の判定処理で否定結果を得た場合、クラウドサーバ３ＡはステップＳ６２１の処理をパスして図２９に示す一連の処理を終える。

なお、上記では情報処理システム１００Ａの適用例として第一例のように撮像装置１が判定部８６を備える場合への適用例を説明したが、情報処理システム１００Ａのようにターゲット被写体についての異常検出判定を行う構成は、前述した第二例（図２４、図２５）のようにフォグサーバ２が判定部８６を備える場合にも適用可能である。

＜６．実施形態のまとめ＞

上記のように実施形態の情報処理システム（同１００又は１００’又は１００Ａ）は、撮像装置（同１）と情報処理装置（フォグサーバ２、クラウドサーバ３、３Ａ、又はユーザ端末４）とを備えた情報処理システムであって、撮像装置が、被写体を撮像した撮像画像を得る撮像部（アレイセンサ１２等）と、撮像画像に基づき、被写体の特徴を示す情報である特徴情報を検出する特徴検出部（同８５）と、を備えている。
そして、撮像装置、又は情報処理装置が、特徴検出部が検出した特徴情報である検出特徴情報と、ターゲットとする特徴情報であるターゲット特徴情報とに基づき、検出特徴情報がターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が撮像画像内に存在するか否かを判定する判定部（同８６）を備えるものである。

上記のように撮像装置が被写体の特徴検出機能を有することで、ターゲット被写体の有無の判定にあたって、情報処理装置に撮像画像を送信する必要を無くすことが可能とされる。
従って、撮像画像に基づいてターゲットとする被写体の有無を判定するシステムについて、判定に要する通信データ量の削減を図ることができる。

また、実施形態としての情報処理システムにおいては、撮像部は、可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサ（同１２）を有し、特徴検出部が、アレイセンサと同一パッケージ内に設けられている（図１２参照）。
被写体の特徴検出のための画像処理をアレイセンサと同一パッケージ内で行うことができるので、該画像処理をセンサパッケージ外で行う場合よりも画像内容の漏洩の可能性を低減することが可能となる。
従って、セキュリティの向上を図ることができる。

さらに、実施形態としての情報処理システムにおいては、撮像装置が判定部を備えている。
これにより、ターゲット被写体の有無の判定に係る処理負担が各撮像装置に分散され、情報処理装置が該判定の処理を実行する必要がなくなる。
従って、情報処理装置の処理負担軽減を図ることができる。また、各撮像装置から情報処理装置への特徴情報の送信を不要とすることができ、通信データ量の削減を図ることができる。

さらにまた、実施形態としての情報処理システムにおいては、情報処理装置が判定部を備えている。
これにより、ターゲット被写体の有無の判定に係る処理を撮像装置側で行う必要がなくなる。
従って、撮像装置の処理負担軽減により撮像装置の回路規模の縮小化及び小型化を図ることができ、例えば監視カメラ用途等、撮像装置の小型化が求められる場合に好適である。

また、実施形態としての情報処理システムにおいては、撮像装置は、撮像画像を暗号化する暗号化部と、暗号化部により暗号化された撮像画像を情報処理装置に送信する処理を行う画像送信部と、を備えている。
ターゲット被写体が出現した場合には、ターゲット被写体が出現した際の撮像画像を情報処理装置に送信することが考えられる。上記のように暗号化した撮像画像を情報処理装置に送信する構成とすれば、そのようにターゲット被写体が出現した際の撮像画像を情報処理装置側に送信する際に、画像内容が漏洩してしまうことの防止を図ることが可能となる。
従って、セキュリティの向上を図ることができる。

さらに、実施形態としての情報処理システムにおいては、撮像部は、可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサ（同１２）を有し、暗号化部は、アレイセンサによる光電変換に基づき得られる乱数である光電乱数に基づき撮像画像を暗号化している。
これにより、疑似乱数を用いる場合よりも解読が困難な暗号化を実現することが可能とされる。
従って、セキュリティの向上を図ることができる。

さらにまた、実施形態としての情報処理システムにおいては、暗号化部は、アレイセンサにおける画素からの読み出し信号に対して暗号化を行っている。
画素からの読み出し信号に対して暗号化を行うことで、メモリに平文による撮像画像信号が保存されないようにすることが可能とされる。
従って、セキュリティの向上を図ることができる。

また、実施形態としての情報処理システムにおいては、撮像装置は、特徴検出部が検出した特徴情報を情報処理装置に送信する処理を行う特徴送信部（制御部２３）を備えている（図２１参照）。
これにより、撮像画像内の被写体の特徴を示す情報を情報処理装置に取得させることが可能となる。
従って、情報処理装置に被写体の特徴情報を取得させるにあたり、情報処理装置側で撮像画像に基づく特徴情報の検出処理を行う必要がなくなる、換言すれば、情報処理装置に撮像画像を送信する必要を無くすことが可能となり、通信データ量の削減を図ることができる。或いは、情報処理装置に被写体の特徴情報と共に撮像画像を取得させることが要請される場合であっても、情報処理装置が撮像画像に基づき特徴情報の検出処理を行う必要がないため、撮像装置が撮像画像を暗号化して送信することを許容することができ、セキュリティを高めることができる。

さらに、実施形態としての情報処理システムにおいては、特徴検出部は、被写体が有する抽象度の異なる特徴ごとに特徴情報の検出を行っている。
抽象度の異なる特徴の例として、例えば、被写体が人物の場合であれば、身長や性別等といった高抽象度の特徴と、服装の色や髪の色等の低抽象度の特徴（つまりより具体的な特徴）とを挙げることができる。或いは、被写体が車両の場合であれば、車両の色や普通車／大型車等の高抽象度の特徴と、具体的な車種やナンバプレートのナンバ等の低抽象度の特徴とを挙げることができる。特徴情報を利用するアプリケーションによっては、例えば高抽象度の特徴情報のみが必要とされ低抽象度の特徴情報は不要とされる場合もある。上記のように抽象度の異なる特徴ごとに特徴情報の検出を行うことで、検出した特徴情報のうち特定の抽象度による特徴情報のみを選択的に出力したり、検出した特徴情報を抽象度を問わず全て出力したりすることが可能となる。
従って、出力する特徴情報の選択自由度を高めることができる。
例えば、必要とされる抽象度による特徴情報のみを選択的に出力する場合には、特徴情報の通信データ量を削減することができる。
また、抽象度の異なる特徴ごとに特徴情報の検出を行うものとすれば、抽象度が異なる特徴情報に基づくターゲット被写体の判定処理を行うことも可能となる。具体的には、例えば、身長や性別等の高抽象度の特徴情報に基づいた第一判定処理を行って被写体を絞った上で、服装の色や髪の色等といった低抽象度の特徴情報に基づいた第二判定処理を行って最終的な判定結果を得るといったことが可能となる。

さらにまた、実施形態としての情報処理システムにおいては、撮像装置を複数備えている。
これにより、複数の視点からの撮像画像に基づいてターゲット被写体の有無を判定することが可能とされる。
従って、ターゲットとする被写体のサーチ範囲を広げることができる。

また、実施形態としての情報処理システムにおいては、判定部によりターゲット被写体が存在すると判定されたことに応じて通知情報を出力する処理を行う通知処理部（第一通知処理部５１、第二通知処理部５２）を備えている。
これにより、ターゲット被写体が出現したことをユーザに対して通知することが可能とされる。
従って、ユーザがターゲット被写体の出現を知る上でシステムに逐次問合せを行う必要がなくなり、ユーザの負担軽減を図ることができる。

さらに、実施形態としての情報処理システム（同１００Ａ）においては、撮像装置を複数備え、情報処理装置（クラウドサーバ３Ａ、又はフォグサーバ２）が、判定部の判定結果に基づき、異なる撮像装置による撮像画像内にターゲット被写体が物理的にあり得ないタイミングで検出されたか否かを判定する異常検出判定部（同５５）を備えている。
「物理的にあり得ないタイミングで検出される」とは、撮像画像内にターゲット被写体が検出された二つの撮像装置について、それら撮像装置間でのターゲット被写体の検出時間差が、それら撮像装置の設置位置間をターゲット被写体としての物体が移動するのに要する最小の時間よりも短くなっていることを意味する。異なる撮像装置が物理的にあり得ないタイミングでターゲット被写体を検出した場合には、ターゲット被写体の検出精度に問題があるか、或いはターゲット被写体としての物体の偽物が出回っている等、ターゲット被写体の検出アルゴリズムに係る異常、又はターゲット被写体としての物体に係る異常の何れか生じていると推定できる。
従って、上記構成によれば、これらターゲット被写体の検出精度に係る異常、又はターゲット被写体としての物体側に係る異常の何れかの発生有無を適切に判定することができる。

また、実施形態の情報処理方法は、撮像装置と情報処理装置とを備えた情報処理システムにおける情報処理方法であって、撮像装置が、被写体を撮像した撮像画像に基づき、被写体の特徴を示す情報である特徴情報を検出し、撮像装置、又は情報処理装置が、検出した特徴情報である検出特徴情報と、ターゲットとする特徴情報であるターゲット特徴情報とに基づき、検出特徴情報がターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が撮像画像内に存在するか否かを判定する情報処理方法である。
このような情報処理方法によっても、上記した実施形態としての情報処理システムと同様の作用及び効果を得ることができる。

また、実施形態の撮像装置（同１）は、被写体を撮像した撮像画像を得る撮像部と、撮像画像に基づき、被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、特徴検出部が検出した特徴情報である検出特徴情報と、ターゲットとする特徴情報であるターゲット特徴情報とに基づき、検出特徴情報がターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が撮像画像内に存在するか否かを判定する判定部と、を備えるものである。

また、実施形態としての情報処理装置（フォグサーバ２、クラウドサーバ３、又はユーザ端末４）は、被写体を撮像した撮像画像を得る撮像部と、撮像画像に基づき、被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、を有する撮像装置より、特徴検出部が検出した特徴情報である検出特徴情報を取得し、取得した検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、検出特徴情報がターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が撮像画像内に存在するか否かを判定する判定部を備えるものである。

これらの撮像装置、情報処理装置によっても、上記した実施形態としての情報処理システムと同様の作用及び効果を得ることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

ここで、本技術は、いわゆる「物のインターネット」であるＩｏＴ（Internet of things）と呼ばれる技術へ応用可能である。ＩｏＴとは、「物」であるＩｏＴデバイスが、他のＩｏＴデバイス、インターネット、クラウド、フォグなどに接続され、情報交換することにより相互に制御する仕組みである。ＩｏＴは、農業、家、自動車、製造、流通、エネルギー、など様々な産業に利用できる。

＜７．本技術＞

本技術は以下のような構成も採ることができる。
（１）
撮像装置と情報処理装置とを備えた情報処理システムであって、
前記撮像装置が、
被写体を撮像した撮像画像を得る撮像部と、
前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、を備え、
前記撮像装置、又は前記情報処理装置が、
前記特徴検出部が検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部を備える
情報処理システム。
（２）
前記撮像部は、
可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサを有し、
前記特徴検出部が、前記アレイセンサと同一パッケージ内に設けられた
前記（１）に記載の情報処理システム。
（３）
前記撮像装置が前記判定部を備える
前記（１）又は（２）に記載の情報処理システム。
（４）
前記情報処理装置が前記判定部を備える
前記（１）又は（２）に記載の情報処理システム。
（５）
前記撮像装置は、
前記撮像画像を暗号化する暗号化部と、
前記暗号化部により暗号化された前記撮像画像を前記情報処理装置に送信する処理を行う画像送信部と、を備える
前記（１）から（４）の何れかに記載の情報処理システム。
（６）
前記撮像部は、
可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサを有し、
前記暗号化部は、
前記アレイセンサによる光電変換に基づき得られる乱数である光電乱数に基づき前記撮像画像を暗号化する
前記（５）に記載の情報処理システム。
（７）
前記暗号化部は、
前記アレイセンサにおける前記画素からの読み出し信号に対して前記暗号化を行う
前記（６）に記載の情報処理システム。
（８）
前記撮像装置は、
前記特徴検出部が検出した前記特徴情報を前記情報処理装置に送信する処理を行う特徴送信部を備える
前記（１）から（７）の何れかに記載の情報処理システム。
（９）
前記特徴検出部は、
前記被写体が有する抽象度の異なる特徴ごとに前記特徴情報の検出を行う
前記（１）から（８）の何れかに記載の情報処理システム。
（１０）
前記撮像装置を複数備えた
前記（１）から（９）の何れかに記載の情報処理システム。
（１１）
前記判定部により前記ターゲット被写体が存在すると判定されたことに応じて通知情報を出力する処理を行う通知処理部を備える
前記（１）から（１０）の何れかに記載の情報処理システム。
（１２）
前記撮像装置を複数備え、
前記情報処理装置が、
前記判定部の判定結果に基づき、異なる前記撮像装置による撮像画像内に前記ターゲット被写体が物理的にあり得ないタイミングで検出されたか否かを判定する異常検出判定部を備えた
前記（１）から（１１）の何れかに記載の情報処理システム。
（１３）
撮像装置と情報処理装置とを備えた情報処理システムにおける情報処理方法であって、
前記撮像装置が、
被写体を撮像した撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出し、
前記撮像装置、又は前記情報処理装置が、
前記検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する
情報処理方法。
（１４）
被写体を撮像した撮像画像を得る撮像部と、
前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、
前記特徴検出部が検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部と、を備える
撮像装置。
（１５）
被写体を撮像した撮像画像を得る撮像部と、前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、を有する撮像装置より、前記特徴検出部が検出した前記特徴情報である検出特徴情報を取得し、取得した前記検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部を備える
情報処理装置。

１００，１００’，１００Ａ 情報処理システム
１ 撮像装置
２ フォグサーバ
３，３Ａ クラウドサーバ
４ ユーザ端末
１０ 撮像用センサ部
１２ アレイセンサ
１８ 演算部
１９，１９Ａ 振幅制御回路
８２ 物体領域認識部
８３ クラス識別部
８４ 暗号化制御部
８５ 特徴検出部
８６ 判定部
２３ 制御部
２５ 通信部
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ バス
３５ 入出力インタフェース
３６ 入力部
３７ 出力部
３８ 記憶部
３９ 通信部
５０ ターゲット特徴情報送信部
５１ 第一通知処理部
５２ 第二通知処理部
５３ 特徴情報送信部
５４ ターゲット特徴情報取得部
５５ 異常検出判定部

Claims (12)

1. 撮像装置と情報処理装置とを備えた情報処理システムであって、
   前記撮像装置が、
   可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサを有し、被写体を撮像した撮像画像を得る撮像部と、
   前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、を備え、
   前記撮像装置、又は前記情報処理装置が、
   前記特徴検出部が検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部を備え、
   前記撮像装置は、
   前記撮像画像を暗号化する暗号化部と、
   前記暗号化部により暗号化された前記撮像画像を前記情報処理装置に送信する処理を行う画像送信部と、をさらに備え
   前記暗号化部は、
   前記アレイセンサの各画素による光電変換に基づき得られる乱数である光電乱数に基づき前記撮像画像を暗号化する
   情報処理システム。
2. 前記撮像部は、
   前記特徴検出部が、前記アレイセンサと同一パッケージ内に設けられた
   請求項１に記載の情報処理システム。
3. 前記撮像装置が前記判定部を備える
   請求項１に記載の情報処理システム。
4. 前記情報処理装置が前記判定部を備える
   請求項１に記載の情報処理システム。
5. 前記暗号化部は、
   前記アレイセンサにおける前記画素からの読み出し信号に対して前記暗号化を行う
   請求項１に記載の情報処理システム。
6. 前記撮像装置は、
   前記特徴検出部が検出した前記特徴情報を前記情報処理装置に送信する処理を行う特徴送信部を備える
   請求項１に記載の情報処理システム。
7. 前記特徴検出部は、
   前記被写体が有する抽象度の異なる特徴ごとに前記特徴情報の検出を行う
   請求項１に記載の情報処理システム。
8. 前記撮像装置を複数備えた
   請求項１に記載の情報処理システム。
9. 前記判定部により前記ターゲット被写体が存在すると判定されたことに応じて通知情報を出力する処理を行う通知処理部を備える
   請求項１に記載の情報処理システム。
10. 前記撮像装置を複数備え、
    前記情報処理装置が、
    前記判定部の判定結果に基づき、異なる前記撮像装置による撮像画像内に前記ターゲット被写体が物理的にあり得ないタイミングで検出されたか否かを判定する異常検出判定部を備えた
    請求項１に記載の情報処理システム。
11. 撮像装置と情報処理装置とを備えた情報処理システムにおける情報処理方法であって、
    前記撮像装置が、
    可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサによって被写体を撮像した撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出し、
    前記撮像装置、又は前記情報処理装置が、
    前記検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定し、
    前記撮像装置は、さらに、
    前記撮像画像を暗号化し、暗号化された前記撮像画像を前記情報処理装置に送信する処理を行うと共に、前記撮像画像の暗号化として、前記アレイセンサの各画素による光電変換に基づき得られる乱数である光電乱数に基づく暗号化を行う
    情報処理方法。
12. 可視光又は非可視光の受光素子を有する画素が一次元又は二次元に複数配列されたアレイセンサを有し、被写体を撮像した撮像画像を得る撮像部と、
    前記撮像画像に基づき、前記被写体の特徴を示す情報である特徴情報を検出する特徴検出部と、
    前記特徴検出部が検出した前記特徴情報である検出特徴情報と、ターゲットとする前記特徴情報であるターゲット特徴情報とに基づき、前記検出特徴情報が前記ターゲット特徴情報と一致又は類似する被写体であるターゲット被写体が前記撮像画像内に存在するか否かを判定する判定部と、
    前記撮像画像を暗号化する暗号化部と、
    前記暗号化部により暗号化された前記撮像画像を情報処理装置に送信する処理を行う画像送信部と、を備え、
    前記暗号化部は、
    前記アレイセンサの各画素による光電変換に基づき得られる乱数である光電乱数に基づき前記撮像画像を暗号化する
    撮像装置。

Images