JP6792112B1 - 画像解析通信装置 - Google Patents

Abstract

【課題】本発明の課題は、取得した画像データがそのまま装置自身の外部へ誤送信すること、外部からハッキングにより不正取得されること等の画像流出に対する防御機能を備え、その画像データの認識結果だけを外部に送信する画像解析通信装置を提供することである。【解決手段】撮影ユニットと、前記撮影ユニットで撮影された画像データに含まれる人間の顔もしくは他の生体部位を、ディープラーニングによる認識モデルを使用して、認識をする認識プロセッサを含む認識ユニットと、前記認識ユニットの認識結果であるメタデータを送出する通信ユニットと、前記画像データの伝送をフィルターする画像ブロッキングプロセッサを含む画像ブロッキングユニットとを含む画像解析通信装置。【選択図】図１

Description

本発明は、所定の撮影エリアの画像データを取得し、その画像データを解析して撮像エリアに係る事項を認識し、その認識結果を送信する画像解析通信装置に関する。

近年、所定の撮影エリアを撮影した画像データの認識結果を利用して、撮影エリアに係る施設の入退場をチェックすること、個人認証することなどのサービスが普及している。

しかしながら、個人を特定できる画像データは、個人のプライバシーに係る個人情報を含むものであり、その画像データを適切なセキュリティの元に保護する社会的要求が高まっている。

そうした社会的要求に答える形で個人情報を外部ネットワークに接続された装置に置かないといった対策が取られているシステムも存在しているが、上記のような撮影エリアに係る施設の入退場をチェックすること、個人認証することなどのサービスを行うシステムに利用される装置の場合、外部ネットワークとの通信接続を完全に遮断するとサービスそのものが成り立たないという問題がある。
サービスに必要な通信接続を保ちつつ、取得した画像データを適切に保護できる画像解析通信装置を提供することが課題となっていた。

特許文献１には、クライアント側で取得した情報の特徴量を抽出した上で、パブリックネットワークの入り口となる複数のエッジサーバから１つを選択して特徴量辞書との照合を行い、照合結果のみをパブリックネットワークを介してクラウドに送信するシステムが記載されている。

ここで、特に人物画像や声等を送信する場合は、パブリックネットワークに上る前に、データから個人情報を落とすことに加え、エッジサーバの接続先が動的に変更されることにより個人情報の漏えいリスクを低減できるとも、記載されている。
しかしながら、人物画像等の情報が存在するクライアントマシン自体を防御する事項についての記載はなく、情報を取得するクライアント側の個人情報等漏洩の危険への対処という課題がある。

特開２０１９−２８７４４号公報

本発明の課題は、内部関係者等の悪意または過誤による装置自身の外部ネットワークへ画像データを漏洩すること、あるいは外部の不正者からハッキングにより不正取得されること等の画像流出に対する防御機能を備え、その画像データの認識結果だけを外部ネットワークに送信する画像解析通信装置を提供することである。

本発明の第一の観点では、撮影ユニットと、前記撮影ユニットで撮影された画像データに含まれる生物の全体もしくは部位を、ディープラーニングを使用して、認識をする認識プロセッサを含む認識ユニットと、前記認識ユニットの認識結果であるメタデータを送出する通信ユニットと、前記画像データをブロッキングし前記メタデータを伝送するように規定された画像ブロッキングユニットとを含む画像解析通信装置であって、
ａ）前記画像ブロッキングユニットは、前記認識ユニットからのAPI呼出を受けて、又は、外部ネットワークからのAPI呼出への返信として、前記通信ユニットへ前記メタデータの伝送を行うことと、
ｂ）前記認識ユニットと前記通信ユニットとの間のデータ伝送路が前記画像ブロッキングユニットで分離されていることと、
を特徴とする画像解析通信装置が提供される。

ここでAPIは、アプリケーションプログラムインタフェース（Application Programmi
ng Interface）であって、画像ブロッキング機能を本願装置外部のシステム等や本願装置
内部のアプリケーションに対して提供し、自由な通信を阻害する。例えば、API呼出に対
する返信として送出するデータの属性、取得先等が規定されることにより、内部関係者が
上記メタデータのテキスト配列にエンコードした画像を入れてデータ漏洩することを阻止
するようにAPIが機能する。

前記認識が、個人認識である、としてもよい。

前記認識が、生体数認識である、としてもよい。

前記認識が、動作検知である、としてもよい。

前記画像ブロッキングユニットが稼働中であることを装置外部に知らしめる表示装置を具備する、としてもよい。

図１は、本実施例の画像解析通信装置のハードウエア構成図である。 図２は、本実施例の画像解析通信装置の論理構成図である。 図３は、本実施例の画像解析通信装置の機能構成を示したブロック図である。 図４は、本実施例の画像解析通信装置の動作を示したフローチャートである。 図５は、本実施例の画像解析通信装置を適用した出席管理システムを示す模式図である。 図６は、画像解析通信装置に係る深層学習と認識モデルの組み込みの手順を示した模式図である。 図７は、本実施例の出席管理システムの出席管理動作を示したフローチャートである。 図８は、本実施例の画像解析通信装置を適用した混雑管理システムを示す模式図である。 図９は、画像解析通信装置に係る深層学習と認識モデルの組み込みの手順を示した模式図である。 図１０は、本実施例の画像解析通信装置を適用したスイッチシステムを示す模式図である。 図１１は、画像解析通信装置に係る深層学習と認識モデルの組み込みの手順を示した模式図である。

以下、本発明の具体例につき図面を用いた実施例において説明する。

（ハードウエア構成）
図１は、本実施例の画像解析通信装置のハードウエア構成図である。
画像解析通信装置１００１は、ＣＰＵ（Central Processing Unit）１００２、メモリ１００３、ストレージ１００４、カメラインタフェース１００５、イメージセンサ１００６、通信インタフェース１００７、機器インタフェース１００８、表示装置１００９そしてこれらを直接または間接的に接続するデータバス１０１０というハードウエアをそれぞれ少なくとも１つ含んでいる。

ＣＰＵ１００２は、メモリ１００３やストレージ１００４に格納されたプログラムを実行し、他のデバイスと協働して、後で示す画像解析通信装置の機能を実現する。

メモリ１００３は、後で示すプログラムを格納したり、これらプログラムに係るデータを格納したりすることが可能なＣＰＵの作業領域であり、ＲＡＭ（Random Access Memory）が採用される。

ストレージ１００４は、通信プログラムを含む少なくとも１つのシステムプログラムとシステム制御に係るデータを格納するシステムプログラム領域１０１１、少なくとも１つの画像ブロッキングプログラムと画像ブロッキングに係るルール等を格納する画像ブロッキングプログラム領域１０１２、そして少なくとも１つの認識プログラムと認識モデルデータ等を格納する認識プログラム領域１０１３を備えている。

本発明に係るプログラムやデータの格納方式は、ここで例示したストレージへの格納に限定されるものではなく、例えば、ＲＯＭ（Read Only Memory）に格納する方式、特にストレージを設けずメモリに格納する方式などが、本発明の趣旨に沿ったものであれば適宜採用されうる。

イメージセンサ１００６は、例えば、USB接続可能なWebカメラ、ネットワーク接続可能なネットワークカメラ、デジタルカメラで利用されるイメージセンサ等でよい。また、赤外線センサやレーザーセンサなどの特殊なセンサを用いてもよい。画像解析通信装置１００１を設置する場所や画像取得する対象に応じて、イメージセンサのタイプが適宜選択されうる。
カメラインタフェース１００５として、イメージセンサとして選択した機器の接続可能なインタフェースが適宜採用される。
イメージセンサ１００６としてネットワークカメラを採用した場合、このネットワークカメラは画像解析通信装置が接続するネットワークと同一ネットワーク上にあればよい。

通信インタフェース１００７は、所定の通信プロトコルをサポートし、ＣＰＵ１００２によって実行された通信プログラムと協働して、画像解析通信装置１００１を外部ネットワーク１０００に通信接続させる。
ここで、上記通信プロトコルとして、例えばTCP/IPが採用されうる。

表示装置１００９は、例えば、ＬＥＤ（light emitting diode）ライトでよいし、「画像ブロッキング動作中」等の画面表示する液晶ディスプレイでもよい。また、「画像ブロッキング動作中」であることを示す音声を出力する音声発声装置であってもよい。

（論理構成）
図２は、本実施例の画像解析通信装置の論理構成図である。
画像解析通信装置１００１の主要な論理構成要素は、通信インタフェースモジュール２００１、ユーザインタフェース２００２、システム制御モジュール２００３、画像ブロッキングバーチャルマシン（以下、画像ブロッキングVMという。）２００４、画像ブロッキングVMをリソースとするＡＰＩエンドポイント２００５、認識バーチャルマシン（以下、認識VMという。）２００６、画像取得モジュール２００８、表示モジュール２００９である。

通信インタフェースモジュール２００１は、ＣＰＵ１００２がシステムプログラム領域１０１１に格納された通信プログラムを実行し、通信インタフェース１００７と協働することにより実現された仮想ルーター２０１０と仮想スイッチ２０１１から構成される。
仮想ルーター２０１０は、所定の通信プロトコルによる通信により外部ネットワークとの接続をサポートする。ここで、所定の通信プロトコルとして、例えばTCP/IPが採用されうる。
仮想スイッチ２０１１は、所定の通信プロトコルによる通信により内部ネットワークをサポートする。ここで、所定の通信プロトコルとして、例えばTCP/IPが採用されうる。

ユーザインタフェース２００２は、ＣＰＵ１００２がシステムプログラム領域１０１１に格納されたシステムプログラムを実行することにより、外部ネットワーク１０００上のノードからアクセスしてくるユーザシステムあるいはユーザ端末に対して、本画像解析通信装置のシステム制御モジュール２００３に係る設定画面を提供する。

（画像ブロッキングバーチャルマシン）
画像ブロッキングVM２００４は、ＣＰＵ１００２が画像ブロッキングプログラム領域１０１２に格納された画像ブロッキングプログラムを実行することにより実現された仮想フィルタリング回路である。
この仮想フィルタリング回路は、認識VMの認識によって生成された認識結果データを画像データと分離して受信し、通信インタフェースモジュールに送信するフィルタリング・プロセスを実行する。

また、画像ブロッキングVM２００４は、所定の認識対象を認識した認識VMからの呼出に対して、認識により画像データから分離された認識結果データのみを通信インタフェースモジュールに送信する画像ブロッキング機能を提供するＡＰＩとして構成される。
ここでは、認識VMの画像認識をトリガとする呼出で機能する方式を採用したが、本願発明の画像ブロッキング機能呼出のトリガはこれに限定されるものではない。例えば、外部ネットワーク１０００からの呼出に応じて、認識VMから認識データのみを分離して受信し、通信インタフェースモジュールに送信する方式などが適宜採用されうる。

ＡＰＩエンドポイント２００５は、内部ネットワークの認識VMあるいは外部ネットワーク上のノードからのＡＰＩ呼出の宛先であり、上記フィルタリング・プロセスにより認識結果データを出力するゲートウェイとなる。画像ブロッキングVMから通信インタフェースモジュール２００１へのデータ伝送は、仮想スイッチ２０１１にサポートされた内部ネットワークを経由して伝送される。説明の便宜のために、この内部ネットワークにより形成される伝送路２０１６を第１の伝送路と呼ぶこととする。

ここで提供されるＡＰＩは、引数を限定した呼出に応じて、認識結果データで構成されたレスポンスデータを通信インタフェースモジュールに送信するストリクトＡＰＩとして提供されている。
このＡＰＩの規定により、レスポンスデータのデータフォーマット及びデータ構造が定められており、外部のユーザ等は勿論のこと、内部関係者がＡＰＩの規定に含まれないデータをレスポンスデータに含ませることもブロッキングされている。
内部関係者が画像解析通信装置内に不正のプログラム等を入れても、ＡＰＩがブロッキングポイントとなって、画像データが漏洩されることを防ぐ効果がある。
また、引数を限定したＡＰＩは、引数に悪意のコマンドを注入するなどの外部からの攻撃により画像ブロッキング機能が無効化される危険も未然に防ぐ効果を有する。

また、上記フィルタリング回路には、表示装置ドライバー２０１０がバーチャルに備えられており、フィルタリング・プロセスの動作中において、表示モジュール２００９に表示命令を送信される。

（認識バーチャルマシン）
認識VM２００６は、ＣＰＵ１００２が認識プログラム領域１０１３に格納された認識プログラムを実行することによりエミュレートされた仮想プロセッサ２０１１、認識命令セット２０１４及び認識モデルデータ２０１５を記憶した第２の仮想メモリ２０１２そしてカメラドライバー２０１３により動作する。
ここで、認識VM２００６は、ＣＰＵ１００２によって実行中のプロセスであるが、他のプログラム領域のプログラムのプロセスとは、論理的に分離独立して存在するバーチャルマシンである。

認識VMと画像ブロッキングVMとの間は、プロセス間通信によって接続している。この接続によるデータ伝送路２００７を第２の伝送路と呼ぶこととする。
先に説明した第1の伝送路２０１６と第２の伝送路２００７とにより、通信インタフェースモジュールから認識VMへの伝送路が形成されている。そして、第1の伝送路と第２の伝送路の間に画像ブロッキングVMが存在し、２つの伝送路が分離されている。
ここで、プロセス間通信の方式として、例えば、プロセスとしての画像ブロッキングVMと認識VMとのそれぞれに専用のメモリ空間を割り当てる方式が採用されうる。それぞれのバーチャルマシンに係るメモリが分離されるので、バーチャルマシン同士の分離独立性が強くなる。
上記プロセス間通信に代えて、TCP/IP等のプロトコルによるネットワーク通信によって、第2の伝送路２００７が構成されるとしてもよい。

仮想プロセッサ２０１１は、認識命令セット２０１４を実行することにより、認識モデル２０１５を使って、画像取得モジュール２００８から受信した画像データを解析し、その画像データに含まれる対象を認識する。

ここで認識モデル２０１５は、予め設定した認識対象を深層学習させた多層ニューラルネットワークから構成される。この多層ニューラルネットは、認識命令セットの実行による認識プロセスにおいて、認識プロセスから画像データの入力を受けて画像データに含まれる認識対象に係る特徴を解析し、さらに解析結果を判断して認識対象に対する認識結果データを生成し、画像データのメタデータとして、認識プロセスに出力する。
ここで認識として、例えば、認識対象を人や動物として個体数を認識する生体数認識、認識対象を顔や生体部位として個人認証等をする個人認識、認識対象を動作として認識する動作検知など様々なタイプの認識が採用されうる。画像データの認識結果データの構成は、画像解析通信装置を適用する目的に応じて、適宜変更されうる。

（画像取得モジュール）
画像取得モジュール２００８は、イメージセンサ１００６とカメラインタフェース１００５から構成され、所定の撮影エリアの画像データを取得し、カメラドライバー２０１３を介して、画像認識VM２００６に送信する。

（表示モジュール）
表示モジュール２００９は、表示装置１００９と機器インタフェース１００８から構成され、表示装置ドライバー２０１０を介して、画像ブロッキングVM２００４からの表示命令を受信して、所定の表示動作を実行する。

（機能構成）
図３は、本実施例の画像解析通信装置の画像処理に係る機能構成を示したブロック図である。
画像解析通信装置１００１は、通信ユニット３００１、第１の伝送路３００２、画像ブロッキングユニット３００３、第２の伝送路３００４、認識ユニット３００５、撮影ユニット３００６そして表示ユニット３００７という機能ブロックから構成される。

通信ユニット３００１は、通信インタフェースモジュール２００１とユーザインタフェース２００２から構成され、装置外部の外部ネットワーク１０００との通信接続を実行し、さらにシステム制御のためのユーザインタフェース機能を提供する。

第１の伝送路３００２は、先の論理構成の説明で示した通り、通信インタフェースモジュール２００１を構成する仮想スイッチ２０１１にサポートされた、ＡＰＩエンドポイント２００５と仮想スイッチ２０１１とを結ぶ内部ネットワークの通信で構成される。ＡＰＩ呼出を受けて、通信ユニット３００１に対して認識結果データを出力する伝送路となる。
通信ユニット側から見ると、画像ブロッキングユニットはＡＰＩとして構成されており、画像ブロッキングユニット内のプロセスは、通信ユニットと分離されている。

画像ブロッキングユニット３００３は、画像ブロッキングVM２００４によって構成され、フィルタリング・プロセスにより画像データから分離された認識結果データのみを認識ユニット３００５から受信して通信ユニット３００１に伝送する。
フィルタリング・プロセスの実行時において、画像ブロッキングユニット３００３は、表示ユニット３００７に表示命令を送信する。
本実施例では、画像ブロッキングユニットとして画像ブロッキングVMによる構成が採用されているが、本発明の画像ブロッキングユニットの構成は適宜変更されうる。本発明の画像ブロッキングユニットとして、物理的に構成されたフィルタリング回路等が適宜採用されうる。

第２の伝送路３００４は、プロセス間通信によって構成される論理的伝送路であり、先の論理構成の説明で示した通りである。認識ユニット３００５と画像ブロッキングユニット３００３との間のデータ伝送路となる。
また、プロセス間通信に代えて、ネットワーク通信によって第２の伝送路が構成されるとしてもよい。

認識ユニット３００５は、認識VM２００６によって構成される。認識VMによって、撮影ユニット３００６が取得した画像データが解析され、所定の認識対象が認識される。認識結果は、ＡＰＩとして提供された画像ブロッキングユニット３００３の機能によってフィルタリングされて、認識結果データのみが通信ユニット３００１に送信される。
認識結果データの送信は、認識VM自身よる認識をトリガとする呼出又は外部ネットワークからの呼出をトリガに実行される。
本実施例では、認識ユニットとして認識VMによる構成を採用しているが、本発明の認識ユニットとして物理的プロセッサと物理的メモリによるリアルなコンピュータによる構成を採用するなど、本発明の認識ユニットの構成を適宜変更してもよい。

撮影ユニット３００６は、画像取得モジュール２００８から構成され、予め設定したエリアの画像データを取得し、認識ユニット３００５に送信する。

表示ユニット３００７は、表示モジュール２００９から構成され、画像ブロッキングユニットからの表示命令に従って表示動作をする。

（画像認識をトリガに認識結果を送信する構成の動作）
図４は、認識VMの画像認識をトリガに認識結果を送信する構成を採用した場合における画像解析通信装置の動作を示したフローチャートである。
画像解析通信装置の動作が開始されると、画像取得ステップ４００１となり、認識ユニット３００５は、撮影ユニット３００６から、所定の間隔で画像データを取得する。

解析・認識ステップ４００２において、認識ユニット３００５は、画像データを解析し、予め設定した認識対象が存在する場合、解析の結果を判断し、画像のメタデータとして認識結果データを生成し、画像データと分離する。

認識対象の認識が無い場合、画像解析通信装置の動作は、画像取得ステップ４００１に戻る。
認識が有る場合、その動作は、呼出ステップ４００３に移る。

呼出ステップ４００３において、認識ユニット３００５は、画像ブロッキングユニット３００３に対してＡＰＩ呼出をする。

画像ブロッキングステップ４００４において、画像ブロッキングユニット３００３は、認識ユニットにおけるデータから認識結果データのみを分離して、第１の伝送路３００２を介し通信ユニット３００１に認識結果データを出力する。

送信ステップ４００５において、通信ユニット３００１は、外部ネットワーク１０００における所定の送信先に認識結果データを送信する。

以上のようなステップに従って、外部ネットワーク１０００のユーザが認識結果データのみを取得するように、画像解析通信装置を動作させることができる。

ここでは、認識結果データを送信するトリガを装置内部における認識とする構成を採用したが、本願発明の装置の構成として、外部からの呼出をトリガに認識結果を送信する構成も採用されうる。

（外部からの呼出をトリガに認識結果を送信する構成の動作）
外部からの呼出をトリガとする場合、画像解析通信装置の動作が開始されると、画像解析通信装置を構成する各ユニットが起動して、外部ネットワークからのＡＰＩ呼出を受けられる状態になる。

次に、通信ユニット３００１がＡＰＩ呼出を受信すると、画像ブロッキングユニット３００３は、認識ユニット３００５に対して認識開始の依頼を送信する。
上記依頼を受信した認識ユニット３００５は、撮影ユニット３００６から、画像データを取得し、画像データを解析し、解析の結果を判断し、画像のメタデータとして認識結果データを生成し、画像データと分離する。

次に、画像ブロッキングユニット３００３は、分離された認識結果データのみを第２の伝送路３００４を介し認識ユニット３００５から受信し、ＡＰＩ呼出の返信として認識結果データを通信ユニット３００１に出力する。当該データを受けた通信ユニットは、呼出元に当該データを返信する。

以上のように、外部ネットワーク１０００のユーザが認識結果データのみを取得するように、画像解析通信装置を動作させることもできる。

いずれの構成を採用しても、認識ユニットから通信ユニットへのデータ伝送という観点から見ると、認識結果データを送信する伝送路は画像ブロッキングユニット３００３によって第１の伝送路３００２と第２の伝送路３００４とに分離されている。
ここで、撮影ユニットから認識ユニットに送信される画像データは、画像ブロッキングユニットによって認識ユニット側に閉じ込められている。つまり、撮影した画像データが画像ブロッキングユニットの内側に閉じ込められるサンドボックス効果を有する。

（出席管理システムへの適用）
実施例２は、出席管理向けに構成した画像解析通信装置を利用した出席管理システムの例である。
ここでは、実施例１で説明した画像解析通信装置の構成の一部が本システムの目的に沿って最適化され、変形されている。そうした最適化や変形を除く、実施例1と共通する部分については、以下の説明では省略される。

図５は、本実施例の画像解析通信装置を適用した出席管理システムを示す模式図である。
会議室５０００、会議室の入口５００１、入室済みの会議メンバー５００２、画像ブロッキング動作中は点灯するLEDライト５００３を備えた画像解析通信装置５００４、入室しようとする会議メンバー５００５、外部ネットワーク５００６、出席管理サーバ５００７、出席管理者５００８そして出席管理者の通信端末５００９というシステム構成である。

画像解析通信装置５００４は、その撮影エリアが入口を入ろうとする人の顔が含まれるように設定されている。また、この画像解析通信装置は、実施例１で説明した画像認識をトリガに認識結果を送信する画像解析通信装置と同様の構成が採用されており、予め深層学習することにより会議メンバーの顔を認識するように作成された学習モデルが組み込まれており、画像データを取得し、画像データに含まれる顔領域から会議メンバーの個人認識をして、画像データのメタデータである認識結果として「認識された会議メンバー」の識別情報を出席管理サーバに送信する。

図６は、画像解析通信装置５００４に係る深層学習と認識モデルの組み込みの手順を示した模式図である。認識対象となる会議メンバー６００１の画像をイメージセンサ６００２により複数回取得し、多層ニューラルネットワークを格納するトレーニングコンピュータ６００３に、会議メンバーの識別情報と取得画像をペアとした教師データとして読み込ませ、学習する。ここで認識の頑健さを担保するため会議メンバーとは異なる人や事物の画像に係るデータも教師データに含ませるなどの手法を採用してもよい。

トレーニングコンピュータ６００３における深層学習によって生成された認識モデル６００４は、画像解析通信装置５００４におけるストレージ６００５の認識プログラム領域６００６に記憶される。

出席管理サーバ５００７は、画像解析通信装置５００４から送信された認識結果データに対応する会議メンバーの出欠情報を更新する。
出席管理者５００８は、通信端末５００９によって出席管理サーバ５００７にアクセスし、会議メンバーの出欠情報を閲覧し、会議の現場である会議室に居なくても、遠隔で会議の出席状況を把握することができる。

図７は、本実施例の出席管理システムの出席管理動作を示したフローチャートである。
画像取得ステップ７００１において、画像解析通信装置５００４によって、撮影エリアの画像が取得される。
解析・認識ステップ７００２において、画像解析通信装置５００４によって、取得された画像が解析され、その画像領域に会議メンバーが存在すれば、認識される。

認識が無い場合、システムの動作は、画像取得ステップ７００１に移り、所定の間隔で画像取得が繰り返される。
認識が有る場合、システムの動作は、認識結果送信ステップ７００３に移る。

認識結果送信ステップ７００３において、画像解析通信装置５００４によって、会議メンバーについての個人認識の結果が出席管理サーバ５００７に送信される。このとき、LEDライト５００３が点灯する。
出欠情報更新ステップ７００４において、出席管理サーバ５００７によって、出欠管理情報が更新される。

以上のような動作フローにより、会議メンバーが認識される毎に出欠管理情報が更新される。出席管理者５００８は、通信端末５００９により出席管理サーバ５００７にアクセスすることにより、最新の出席状況を把握して管理することができる。また、会議メンバーの方でも、出席管理のために取得された自身の画像データがブロッキングされて、個人データがガードされていることを表示ユニットであるLEDライト５００３の点灯動作により確認することができる。

（混雑管理システムへの適用）
実施例３は、混雑把握向けに構成した画像解析通信装置を利用した混雑管理システムの例である。ここでは、実施例１で説明した画像解析通信装置の構成の一部が本システムの目的に沿って最適化され、変形されている。そうした最適化や変形を除く、実施例1と共通する部分については、以下の説明では省略される。

図８は、本実施例の画像解析通信装置を適用した混雑管理システムを示す模式図である。
部屋８０００、部屋の利用者８００１、画像ブロッキング動作中は点灯するLEDライト８００２を備えた画像解析通信装置８００３、外部ネットワーク８００４、混雑管理者８００５そして混雑管理者の通信端末８００６というシステム構成である。

画像解析通信装置８００３は、部屋８０００の内部が撮影エリアに含まれるように設定されている。また、この画像解析通信装置は、実施例１で説明した外部からの呼出をトリガに認識結果を送信する構成の画像解析通信装置と同様の構成が採用されており、予め深層学習することにより撮影エリア内の人間の生体数を認識するように作成された学習モデルが組み込まれている。この画像解析通信装置は、通信端末８００６からのＡＰＩ呼出に応じて画像データを取得し、画像データに含まれる人間を認識して、画像データのメタデータである認識結果として生体数を通信端末に送信する。
混雑管理者８００５は、所望の時間に通信端末８００６を操作して、画像解析通信装置のＡＰＩ呼出をすることにより、部屋８０００の混雑の指標となる生体数を返信として取得することができる。
画像ブロッキングユニットが稼働中である場合、表示ユニットが表示動作をするので、室内にいる人間は、自身の画像データが外部に流出されるのがブロッキングされて個人情報保護されていることを確認することができる。

図９は、画像解析通信装置８００３に係る深層学習と認識モデルの組み込みの手順を示した模式図である。認識モデル生成用に準備した部屋９０００に認識対象となる人間９００１の画像をイメージセンサ９００２により複数回取得し、多層ニューラルネットワークを格納するトレーニングコンピュータ９００３に、正解となる人数と取得画像をペアとした教師データとして読み込ませ、学習する。ここで認識の頑健さを担保するため家具等の人間でない物が含まれる画像に係るデータも教師データに含ませるなどの手法を採用してもよい。

トレーニングコンピュータ９００３における深層学習によって生成された認識モデル９００４は、画像解析通信装置８００３におけるストレージ９００５の認識プログラム領域９００６に記憶される。

ここでは、人間の混雑を把握するシステムとしているが、人間に限らず動物を対象として、例えば、動物園の飼育室の密集度を把握するシステムとしてもよい。

（スイッチシステム）
実施例４は、動作検知向けに構成した画像解析通信装置を利用したスイッチシステムの例である。
ここでは、実施例１で説明した画像解析通信装置の構成の一部が本システムの目的に沿って最適化され、変形されている。そうした最適化や変形を除く、実施例1と共通する部分については、以下の説明では省略される。
本実施例のシステムは、画像解析通信装置による認識結果データを部屋の設備をコントロールするスイッチ動作のトリガとして利用する。

図１０は、本実施例の画像解析通信装置を適用したスイッチシステムを示す模式図である。
室内１００００、体の部位の所定の動作１０００２をするユーザ１０００１、画像ブロッキング動作中は点灯するLEDライト１０００３を備えた画像解析通信装置１０００４、外部ネットワーク１０００５、室内設備コントローラ１０００６、ブラインド１０００７、照明１０００８そして空調装置１０００９というシステム構成である。
ユーザ１０００１は、画像解析通信装置１０００４に向けて、所定の動作をしているところである。ここで画像解析通信装置１０００４は、動作中は常に画像撮影し、認識し、認識結果データを、外部ネットワーク１０００５を介して、室内設備コントローラ１０００６に送信するように設けられている。

ブラインド１０００７は、例えば、電動式巻き上げ機能を備えたブラインドであり、外部ネットワーク１０００５を介して接続した室内設備コントローラ１０００６からの動作命令により動作する。照明機器１０００８も同様に室内設備コントローラからの命令により点灯／消灯動作する。さらに、正面の壁上部には、空調設備１０００９が備えられ、同様に室内設備コントローラからの命令により動作する。

画像解析通信装置１０００４の機能を構成する第１の伝送路は、プロセス間通信によって構成されている。通信ユニットは、通信インタフェースモジュールを含むシステム制御バーチャルマシンとして構成され、画像ブロッキングユニットとは、プロセス間通信により内部通信する。
ここで、プロセス間通信に代えて、ネットワーク通信により内部通信が構成されるとしてもよい
認識ユニットにおける認識は手という生体部分についての動作検知であり、撮影ユニットに用いるイメージセンサとして、例えば、赤外線センサを採用してもよい。
赤外線センサを採用することにより、室内が暗い場合でもスイッチ機能を損なわれない効果がある。
ここでは手という人の部位の動作をスイッチシステムで利用する動作として採用しているが、本発明で採用可能な生体部位はこれに限定されるものではない。例えば、首の動作、足の動作あるいは頭の動作などが適宜採用されうる。

画像解析通信装置１０００４は、室内のユーザの動作が撮影エリアに含まれるように設定されている。また、この画像解析通信装置は、実施例１で説明した画像認識をトリガに認識結果を送信する画像解析通信装置と同様の構成が採用されており、予め深層学習することにより所定の動作を認識するように作成された学習モデルが組み込まれており、動作中は常に画像データを取得し、画像データから動作検知をして、画像データのメタデータである認識結果として動作の識別情報を室内設備コントローラに送信する。

図１１は、画像解析通信装置１０００４に係る深層学習と認識モデルの組み込みの手順を示した模式図である。認識対象となる動作をする人１１００１の画像をイメージセンサ１１００２により複数回取得し、多層ニューラルネットワークを格納するトレーニングコンピュータ１１００３に、動作の識別情報と取得画像をペアとした教師データとして読み込ませ、学習する。ここで認識の頑健さを担保するため予め設定した動作とは異なる動作の画像に係るデータも教師データに含ませるなどの手法を採用してもよい。

トレーニングコンピュータ１１００３における深層学習によって生成された認識モデル１１００４は、画像解析通信装置１０００４におけるストレージ１１００５の認識プログラム領域１１００６に記憶される。

室内設備コントローラ１０００６は、画像解析通信装置１０００４による動作検知による動作の識別情報を受信し、動作の識別情報に対応する「室内設備の動作命令」を送信する。
ユーザ１０００１は、所定の動作によって室内設備の動作をコントロールすることができる。また、ユーザは、画像ブロッキング動作中は点灯するLEDライト１０００３によって、画像解析通信装置によって取得された画像データが装置外部に流出しないようにブロッキングしていることを確認することができるので、プライバシーが保護されているという安心感を得ることができる。

以上のように装置の利用を図ることにより、会議出席管理システム、混雑管理システム、スイッチシステムあるいは人間の代わりに動物を検知対象とした同様のシステムにおける画像認識により利便性を図る一方で、個人情報等を含む画像データについての情報保護を強化することができる。

本発明は、個人情報等のセキュリティ管理が必要な画像データを取得する業界、例えば施設管理サービス業界、社内管理サービス業界、動物調査サービス業界等の業界において適用可能である。

１００１ 画像解析通信装置
１００２ ＣＰＵ
１００３ メモリ
１００４ ストレージ
１００５ カメラインタフェース
１００６ イメージセンサ
１００７ 通信インタフェース
１００８ 機器インタフェース
１００９ 表示装置
１０１０ データバス

Claims (5)

1. 撮影ユニットと、前記撮影ユニットで撮影された画像データに含まれる生物の全体もしく
   は部位を、ディープラーニングを使用して、認識をする認識プロセッサを含む認識ユニッ
   トと、前記認識ユニットの認識結果であるメタデータを送出する通信ユニットと、前記画像データをブロッキングし前記メタデータを伝送するように規定された画像ブロッキングユニットとを含む画像解析通信装置であって、
   ａ）前記画像ブロッキングユニットは、前記認識ユニットからのAPI呼出を受けて、又は、外部ネットワークからのAPI呼出への返信として、前記通信ユニットへ前記メタデータの伝送を行うことと、
   ｂ）前記認識ユニットと前記通信ユニットとの間のデータ伝送路が前記画像ブロッキングユニットで分離されていることと、
   を特徴とする画像解析通信装置。
2. 前記認識が、個人認識であることを特徴とする請求項1に記載の画像解析通信装置。
3. 前記認識が、生体数認識であることを特徴とする請求項1に記載の画像解析通信装置。
4. 前記認識が、動作検知であることを特徴とする請求項1に記載の画像解析通信装置。
5. 前記画像ブロッキングユニットが稼働中であることを装置外部に知らしめる表示装置を具
   備することを特徴とする請求項1に記載の画像解析通信装置。

Images