JP6957374B2 - 画像センサ、センシングシステム、センシング方法およびプログラム - Google Patents

Description

本発明の実施形態は、画像センサ、センシングシステム、センシング方法およびプログラムに関する。

ビデオカメラにより撮影された画像を利用して不審者などを監視するための、監視システムが知られている。例えば、複数のカメラからの映像をサーバで画像処理して、物体を追跡する侵入者監視システムが提案されている。

ところで近年、プロセッサとメモリとを有する画像センサが開発され、市場に投入され始めている。この種の画像センサはいわばレンズ付きの組み込みコンピュータであり、高度な機能を備える。このような画像センサを用いることでクラウドへの依存を低減し、エッジやデバイス側で不審者を検知可能なシステムを構築することが検討されている。

特許第５８７２３０６号公報

画像センサは、現時点では技術的な成熟への途上にある。例えば、照度異常の有無を検知できたとしても、その情報から不審人物を検知可能な画像センサは知られておらず、そのようなニーズに応えられる画像センサが要望されている。少なくとも、撮影禁止エリアへのカメラの持ち込みや、撮影行為等を検知可能な画像センサが求められている。

そこで、目的は、特定のエリアへの不審者の侵入を検知可能な画像センサ、センシングシステム、センシング方法およびプログラムを提供することにある。

実施形態によれば、画像センサは、対象空間を撮像して画像データを出力する撮像素子と、画像解析部および検知部を具備する。画像解析部は、画像データを解析して、対象空間の人間の活動量と、対象空間の物品に係わる特徴量とを抽出する。検知部は、活動量および特徴量に基づいて、対象空間へのカメラの持ち込みを検知する。

図１は、実施形態に係わるセンシングシステムを適用可能な監視エリアの一例を示す図である。 図２は、図１に示されるセンシングシステムの一例を示すブロック図である。 図３は、画像センサ３の一例を示すブロック図である。 図４は、図２に示されるサーバ２００の一例を示すブロック図である。 図５は、画像センサ３の処理手順の一例を示すフローチャートである。 図６は、サーバ２００のディスプレイ２８０に表示されるメッセージの一例を示す図である。

この発明の一つの実施形態を、図面を参照して説明する。この実施形態では、画像センサを用いた新たなサービスの形態について説明する。実施形態に係わる画像センサは、視野内に捕えた映像を撮影して得た画像データを処理して、例えば環境情報および人物情報を作成することができる。

環境情報は、制御対象の空間（対象空間）の環境に関する情報であり、その一例として対象空間における照度の分布、あるいは温度の分布などを挙げることができる。人物情報は対象空間における人間に関する情報であり、その一例として、人の存在または不在（在／不在）、人数、人の行動、人の活動量などを挙げることができる。画像センサのメモリ容量とプロセッサの処理能力が十分であれば、環境情報、および人物情報のいずれもリアルタイムで取得されることができる。

環境情報および人物情報は、対象空間ごとに算出することができる。あるいは、対象空間を複数に分割した小領域（エリア）毎に、環境情報および人物情報を算出することもできる。この実施形態では、特に、対象空間における人間の活動量に着目する。

図１は、実施形態に係わるセンシングシステムを適用可能な監視エリアの一例を示す図である。この実施形態に係わるセンシングシステムは、例えばオフィスビル等に適用され、ビル中央監視システム（例えば、ＢＥＭＳ：Building Energy Management System）と連携させて利用されることができる。図１に示されるように、対象空間としての監視エリアの例えば天井に、照明器具１、空調器具２の吹き出し口、および画像センサ３が配設される。

監視エリアは、例えばセキュリティレベルに応じて複数のブロック３００，３１０，３２０に分けることができる。ブロック３００は例えば、サーバルームの入口、未公開物品の一時保管場所、写真撮影を禁じられた展示場所など、機密漏えいに厳重に注意しなくてはならない場所とする。このような場所のセキュリティレベルは特に高く設定され、不審者の立ち入りが厳重に制限される。一方、ブロック３００の周囲のブロック３１０，３２０は、相対的にセキュリティレベルがそれ程高くない領域とする。

図２は、図１に示されるセンシングシステムの一例を示すブロック図である。図２において、ビル監視装置５およびサーバ２００が、基幹ネットワークとしてのビル内ネットワーク５００に接続される。例えばＢＡＣｎｅｔ（登録商標）、ＤＡＬＩ、ＺｉｇＢｅｅ（登録商標）、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）等を、ビル内ネットワーク５００の通信プロトコルとして採用することができる。

照明器具１、空調器具２、および画像センサ３は信号線１００を介して接続される。このうち、例えば画像センサ３がゲートウェイ（ＧＷ）４１を介してビル内ネットワーク５００に接続される。これにより画像センサ３は、ビル内ネットワーク５００経由でサーバ２００およびビル監視装置５と通信できる。また、照明器具１および空調器具２も、ビル監視装置５の配下に置かれる。

さらに、ユーザ端末６１〜６ｎがゲートウェイ４２を介してビル内ネットワーク５００に接続される。これによりユーザ端末６１〜６ｎも、ビル内ネットワーク５００経由でサーバ２００およびビル監視装置５と通信できる。

サーバ２００は、プロセッサおよびメモリを備えるコンピュータであり、人物のセンシングに係わる機能を備える。その機能は、記憶部２４０からメモリにロードされたプログラム２４０ａと、ハードウェアとの協調的な動作により実現される。画像センサ３によるセンシングの結果は、サーバ２００のディスプレイに時々刻々と表示される。

図３は、画像センサ３の一例を示すブロック図である。画像センサ３は、カメラ部３１、メモリ３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。

カメラ部３１は、魚眼レンズ３１ａ、絞り機構３１ｂ、撮像素子３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、対象空間としての会議室の室内を、例えば天井から見下ろす形で視野に捕えて撮像素子３１ｃに結像する。撮像素子３１ｃへの入射光量は絞り機構３１ｂにより調節される。

撮像素子３１ｃは、ＣＭＯＳ（相補型金属酸化膜半導体）に代表されるイメージセンサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。

レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部３１に関する情報、あるいは画像センサ３それ自体に関する情報である。

メモリ３２は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、あるいはＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）などの不揮発性メモリであり、カメラ部３１により取得された画像データ３２ａ、および、実施形態に係わる各種の機能をプロセッサ３３に実行させるためのプログラム３２ｂなどを記憶する。

プロセッサ３３は、メモリ３２に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。

通信部３４は、信号線１００に接続可能で、サーバ２００を含む通信相手先（ビル監視装置５、他の画像センサ３等）とのデータの授受を仲介する。

ところで、プロセッサ３３は、実施形態に係る処理機能として、画像解析部３３ａと、検知部３３ｂと、警報部３３ｃとを備える。画像解析部３３ａ、検知部３３ｂおよび警報部３３ｃは、メモリ３２に記憶されたプログラム３２ｂがプロセッサ３３のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ３３が演算処理を実行することで生成されるプロセスとして、理解され得る。

画像解析部３３ａは、メモリ３２に蓄積された画像データ３２ａを所定のアルゴリズムで解析して、視野内に捕えた対象に係わる特徴量を抽出する。例えば、画像データに含まれるフレームの輝度の変化をピクセルごとにトレースし、その時系列を分析することで動き特徴量を計算することができる。例えば、輝度勾配方向ヒストグラム（histograms of oriented gradients：ＨＯＧ）特徴量、コントラスト、解像度、Ｓ／Ｎ比、および色調などの特徴量が知られている。また、輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ−ＨＯＧ）特徴量、Haar-Like特徴量なども特徴量として知られている。画像解析部３３ａは、特に、画像データ３２ａを画像処理して、監視エリアの人間の活動量と、監視エリアの物品に係わる特徴量とを抽出する。物品に係わる特徴量として、実施形態では照度値を採りあげる。

検知部３３ｂは、上記抽出された人間の活動量と照度値とに基づいて、例えばルールベースによる識別処理、あるいは機械学習による識別処理により、対象空間としての監視エリアへのカメラの持ち込みを検知する。例えば、フラッシュによる閃光は、カメラによる撮影行為の証左となる。そこで、例えば、画像フレームを構成する各ピクセルの照度値が、時系列の中で特異な変化を示した場合に、検知部３３ｂは、カメラによる撮影行為として検知する。つまり画像解析部３３ａで得られた照度値の時間に対する変化が規定値以上になると、検知部３３ｂは、そのピクセルに対応する位置で撮影行為が行われたと見做す。

警報部３３ｃは、検知部３３ｂによりカメラの持ち込みが検知された場合に、検知信号を発生させる。この検知信号は、通信部３４から例えばサーバ２００に通知される。

なお、プログラム３２ｂは、画像解析プログラム、検知プログラムおよび警報プログラムを含む。画像解析プログラムは、プロセッサ３３を画像解析部３３ａとして機能させる命令を含む。検知プログラムは、プロセッサ３３を検知部３３ｂとして機能させる命令を含む。警報プログラムは、プロセッサ３３を警報部３３ｃとして機能させる命令を含む。

図４は、図２に示されるサーバ２００の一例を示すブロック図である。サーバ２００は、ＣＰＵやＭＰＵ等のプロセッサ２５０と、ＲＯＭ（Read Only Memory）２２０およびＲＡＭ（Random Access Memory）２３０を備えるコンピュータである。サーバ２００は、さらに、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）などの記憶部２４０、光学メディアドライブ２６０、通信部２７０、およびディスプレイ２８０を備える。

ＲＯＭ２２０は、ＢＩＯＳ（Basic Input Output System）やＵＥＦＩ（Unified Extensible Firmware Interface）などの基本プログラム、および各種の設定データ等を記憶する。ＲＡＭ２３０は、記憶部２４０からロードされたプログラムやデータを一時的に記憶する。

光学メディアドライブ２６０は、ＣＤ−ＲＯＭ２８０などの記録媒体に記録されたディジタルデータを読み取る。サーバ２００で実行される各種プログラムは、例えばＣＤ−ＲＯＭ２８０に記録されて頒布される。このＣＤ−ＲＯＭ２８０に格納されたプログラムは光学メディアドライブ２６０により読み取られ、記憶部２４０にインストールされる。

通信部２７０は、通信機能を備え、ビル監視装置５、画像センサ３、およびユーザ端末６１〜６ｎ等との通信を制御する。サーバ２００で実行される各種プログラムを、例えば通信部２７０を介してサーバからダウンロードし、記憶部２４０にインストールすることもできる。通信部２７０を介してクラウドサーバから最新のプログラムをダウンロードし、インストール済みのプログラムをアップデートすることもできる。
特に、通信部２７０は、受信部２７０ａを備える。受信部２７０ａは、例えば画像センサ３から送信された検知信号を受信する。

記憶部２４０は、プロセッサ２５０により実行されるプログラム２４０ａを記憶する。プロセッサ２５０は、ＯＳ（Operating System）および各種のプログラムを実行する。

ところで、プロセッサ２５０は、実施形態に係る処理機能として表示制御部２５０ａを備える。表示制御部２５０ａは、記憶部２４０に記憶されたプログラム２４０ａがＲＡＭ２３０にロードされ、当該プログラムの進行に伴ってプロセッサ２５０が演算処理を実行することで生成されるプロセスとして、理解され得る。

表示制御部２５０ａは、画像センサ３の検知部３３ｂによりカメラの持ち込みが検知された場合に、そのことをディスプレイ２８０に表示する。例えば、通信部３４から通知された検知信号が受信部２７０ａで受信されると、表示制御部２５０ａは、図６に示されるような『不審者を検知しました』という警報メッセージをディスプレイ２８０に表示し、管理者等に注意を促す。次に、上記における作用を説明する。

図５は、画像センサ３の処理手順の一例を示すフローチャートである。画像センサ３は、画像データ３２ａを取得し（ステップＳ１）、画像解析を行って、撮像視野内における照度値および活動量を算出する（ステップＳ２、Ｓ３）。

次に、画像センサ３は、算出された照度値に異常が生じているか否かを判定する（ステップＳ４）。ここでは照度値の特異な変化、あるいは、照度値の絶対値の異常などが、既定の閾値を用いた２値判定により判定される。異常が無ければ（Ｎｏ）、画像センサは照度値に異常のないことを示す信号をサーバ２００に向け出力する（ステップＳ５）。

照度値に異常が有れば（ステップＳ４でＹｅｓ）、画像センサ３は、算出された活動量に異常が生じているか否かを判定する（ステップＳ６）。異常が無ければ（Ｎｏ）、画像センサ３は、照度値に異常があり活動量に異常のないことを示す信号をサーバ２００に向け出力する（ステップＳ７）。

活動量に異常が有れば（ステップＳ６でＹｅｓ）、画像センサ３は、照度値に異常があり活動量にも異常の有ることを示す信号をサーバ２００に向け出力し（ステップＳ８）、不審者が侵入したことを検知する（ステップＳ９）。そして画像センサ３は、検知信号をサーバ２００に出力し（ステップＳ１０）、これによりサーバ２００のディスプレイ２８０に、警報メッセージが表示される。

以上説明したようにこの実施形態では、照度値の異常の有無に加え、活動量の異常の有無を組み合わせて不審者の侵入の有無を判別する。これにより、写真撮影禁止エリアでの撮影の検知と不審人物の検知が可能になる。例えば、撮像された人物一人一人の活動量をセンシングし、活動量が非常に低い（従って動いていない）にも拘わらず、その人物の座標近傍で照度値の異常が生じた場合には、不審人物による撮影行為とみなすことができる。

これらのことから、実施形態によれば、特定のエリアへの不審者の侵入を検知可能な画像センサ、センシングシステム、センシング方法およびプログラムを提供することが可能となる。

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…照明器具、２…空調器具、３…画像センサ、５…ビル監視装置、１５…プロセッサ、３０…レジスタ、３０ａ…カメラ情報、３１…カメラ部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…撮像素子、３２…メモリ、３２ａ…画像データ、３２ｂ…プログラム、３３…プロセッサ、３３ａ…画像解析部、３３ｂ…検知部、３３ｃ…警報部、３４…通信部、３５…内部バス、４１，４２…ゲートウェイ、６１〜６ｎ…ユーザ端末、１００…信号線、２００…サーバ、２２０…ＲＯＭ、２３０…ＲＡＭ、２４０…記憶部、２４０ａ…プログラム、２５０…プロセッサ、２５０ａ…表示制御部、２６０…光学メディアドライブ、２７０…通信部、２７０ａ…受信部、２８０…ディスプレイ、３００，３１０，３２０…ブロック、５００…ビル内ネットワーク。

Claims (7)

1. 対象空間を撮像して画像データを出力する撮像素子と、
   前記画像データを解析して、前記対象空間の人間の活動量と、前記対象空間の物品に係わる特徴量とを抽出する画像解析部と、
   前記活動量および前記特徴量に基づいて、前記対象空間へのカメラの持ち込みを検知する検知部とを具備する、画像センサ。
2. 前記カメラの持ち込みが検知された場合に検知信号を発生させる警報部をさらに具備する、請求項１に記載の画像センサ。
3. 前記画像解析部は、前記対象空間における照度を抽出し、
   前記検知部は、前記照度の特異な変化を前記カメラによる撮影行為として検知する、請求項１に記載の画像センサ。
4. 前記撮影行為が検知された場合に検知信号を発生させる警報部をさらに具備する、請求項３に記載の画像センサ。
5. 画像センサと、この画像センサと通信可能なサーバとを具備し、
   前記画像センサは、
   対象空間を撮像して画像データを出力する撮像素子と、
   前記画像データを解析して、前記対象空間の人間の活動量と、前記対象空間の物品に係わる特徴量とを抽出する画像解析部と、
   前記活動量および前記特徴量に基づいて、前記対象空間へのカメラの持ち込みを検知する検知部とを備え、
   前記サーバは、
   ディスプレイと、
   前記検知部により前記カメラの持ち込みが検知された場合に、そのことを前記ディスプレイに表示する表示制御部とを備える、センシングシステム。
6. 撮像素子、メモリおよびプロセッサを具備する画像センサのセンシング方法であって、
   前記プロセッサが、前記撮像素子により対象空間を撮像して得られた画像データを前記メモリに記憶させる過程と、
   前記プロセッサが、前記メモリに記憶された画像データを解析して、前記対象空間の人間の活動量と、前記対象空間の物品に係わる特徴量とを抽出する過程と、
   前記プロセッサが、前記活動量および前記特徴量に基づいて、前記対象空間へのカメラの持ち込みを検知する過程とを具備する、センシング方法。
7. 対象空間を撮像して画像データを出力する撮像素子およびプロセッサを具備する画像センサの前記プロセッサを、
   前記画像データを解析して、前記対象空間の人間の活動量と、前記対象空間の物品に係わる特徴量とを抽出する画像解析部、および
   前記活動量および前記特徴量に基づいて、前記対象空間へのカメラの持ち込みを検知する検知部として機能させる命令を含む、プログラム。

Images