JP6151085B2 - サービス提供システム、サービス提供方法およびサービス提供管理装置 - Google Patents

Description

本発明の実施形態は、画像処理技術に関する。

顔認証技術は、画像センサで取得された画像データを処理して人間の顔を抽出し、人物を個別に識別可能とする技術である。この技術を応用して特定の人物を検索したり、人間の分布を表すデータを作成することなどが考えられている。顔認証技術は、エネルギーやコミュニティをスマートに管理しようとする将来の社会ではキーテクノロジーの一つになり得る技術として注目されている。

特開２０１０−２５７４５０号公報 特開平４−１３１６００号公報 特開２０１１−１７０７１１号公報 特開２００７−４７６７号公報 特開２００７−２４９９５３号公報 特開２００３−１４１５５１号公報 特開平０９−１４７１１９号公報 特開平１０−２６０７７２号公報 特開２０１２−３６２３号公報 特許第４９０１６７６号公報

三田雄志ほか、「顔検出に適した共起に基づくJoint Haar-like特徴」、電子情報通信学会論文誌（D), vol. J89-D, 8, pp1791-1801(2006) Tomoki Watanabe, Satoshi Ito, and Kentaro Yokoi: "Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection, In Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology" (PSIVT2009), pp. 37-47. 福井和広、山口修、「形状抽出とパタン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（D), vol. J80-D-ll, No. 8, pp2170-2177(1997) 福井和広、山口修、前田賢一、「動画像を用いた顔認識システム」、電子情報通信学会研究報告PRMU, vol97, No, 113, pp17-24(1997) 伊藤聡、「新たなカラー特徴を用いた画像認識技術」、東芝レビュー、株式会社東芝 TOSHIBA CORPORATION，Vol. 66 No. 01 (2011)，第54-55ページ

顔認証技術は、人物認識システムや人物検索システムなどの種々のシステムに利用されている。しかしながら現在のところ、各々のシステムにより提供されるサービスはシステムごとに固定的である。例えば既存の顔認証システムは、画像データから抽出された顔データにマッチする人物をデータベースから検索する、「検索」というサービスに特化したものであった。

つまり既存のシステムは、特定のサービスが専用のハードウェアリソースにより提供される、いわゆるクローズド型ビジネス、あるいはコンポーネント型ビジネスと称される形態にとどまる。このような旧来の枠組みから脱却し、多様なサービスを柔軟に提供することができ、ユーザにとって使い勝手の良いシステムの提供が待たれている。

目的は、サービスを柔軟に提供することの可能なサービス提供システム、サービス提供方法およびサービス提供管理装置を提供することにある。

実施形態によれば、サービス提供システムは、認識エンジンと、複数のアプリケーションモジュールと、選択部と、割り当て部と、サービス提供部とを具備する。認識エンジンは、画像センサにより取得された画像データを処理して対象の認識データを生成する。各アプリケーションモジュールは、認識データを利用してそれぞれ異なるサービスを提供する。選択部は、提供すべきサービスに応じたアプリケーションモジュールを選択する。割り当て部は、選択されたアプリケーションモジュールに応じた機能を画像センサに割り当てる。サービス提供部は、選択されたアプリケーションモジュールに基づきサービスを提供する。

また実施形態によれば、サービス提供システムは、認識エンジンと、データベースと、取得部と、サービス提供部とを具備する。認識エンジンは、画像センサにより取得された画像データを処理して対象の認識データを生成する。データベースは、認識データを蓄積する。取得部は、提供すべきサービスに応じた認識データをデータベースから取得する。サービス提供部は、取得された認識データに基づきサービスを提供する。

図１は、実施形態に係わるサービス提供システムの一例を示すシステム図である。 図２は、顔認証クラウド１００に備わる機能の一例を示す機能ブロック図である。 図３は、認識エンジン１００ａおよびサービス提供部１００ｄに係わる詳細を示す機能ブロック図である。 図４は、第１の実施形態に係わる処理手順の一例を示すシーケンスチャートである。 図５は、サービス内容と、アプリケーションと、画像センサへの機能割り当てとの関係の一例を示す図である。 図６は、サービス内容と、アプリケーションと、画像センサへの機能割り当てとの関係の他の例を示す図である。 図７は、サービスの柔軟性の一例について説明するための図である。 図８は、顔認証技術について説明するための図である。 図９は、実施形態に係わるサービス提供システムの一例を示す図である。 図１０は、実施形態に係わるサービス提供システムの他の例を示す図である。 図１１は、顔認証クラウド１００に備わる機能の他の例を示す機能ブロック図である。 図１２は、第２の実施形態に係わる処理手順の一例を示すシーケンスチャートである。 図１３は、例えば或る日付における、或る地点の人口分布の時間推移の集計値の一例を示す図である。 図１４は、グラフデータの一例を示す図である。 図１５は、グラフデータの他の例を示す図である。 図１６は、グラフデータの他の例を示す図である。 図１７は、第３の実施形態に係わるサービス提供管理装置の一例を示す機能ブロック図である。 図１８は、管理テーブル２００ｄの一例を示す図である。 図１９は、管理テーブル２００ｄの一例を示す図である。

図１は、実施形態に係わるサービス提供システムの一例を示すシステム図である。図１に示されるシステムは複数の画像センサＣ１〜Ｃｎを備える。画像センサＣ１〜Ｃｎは地理的領域であるＭエリアおよびＫエリアに分散して配置され、それぞれ、その視野内に捉えた画像をセンシングして画像データを生成する。

画像センサＣ１〜Ｃｎはクラウドコンピューティングシステム（以下、顔認証クラウドと称する）１００に接続される。画像センサＣ１〜Ｃｎでそれぞれ生成された画像データは顔認証クラウド１００に送られる。顔認証クラウド１００は、画像データを処理して認識データを生成する認識エンジン１００ａと、画像データおよび認識データを始めとする各種のデータを累積的に蓄積するデータベース部２００を備える。

Ｍエリアは例えば超高層のオフィスビルが立ち並ぶビル街を含むコミュニティであり、Ｋエリアは例えば住宅街を含むコミュニティである。従ってそれぞれのエリアにおいて求められるサービスの種別や形態、クオリティなどは自ずと異なるものになる。

ここで、Ｍエリアはエリアサーバ１０Ｍを備える。エリアサーバ１０ＭはＭエリアの管理事業者などにより使用され、Ｍエリアと顔認証クラウド１００との通信インタフェース機能や、Ｍエリアの管理機能などを備える。Ｋエリアも、同様の役割を担うエリアサーバ１０Ｋを備える。

［第１の実施形態］
図２は、顔認証クラウド１００に備わる機能の第１の実施形態を示す機能ブロック図である。顔認証クラウド１００は認識エンジン１００ａと、選択部１００ｂ、機能割り当て部１００ｃ、サービス提供部１００ｄ、データベース部２００、アプリケーションライブラリ３００およびファンクションライブラリ４００を備える。これらの機能ブロックは、例えば単一のサーバコンピュータに備わる処理機能やストレージユニットを利用して実現可能である。あるいは、コンピュータネットワーク上に分散配置された機能オブジェクトとして実現されることも可能である。

要するに顔認証クラウド１００のユーザから見れば、認識エンジン１００ａ、選択部１００ｂ、機能割り当て部１００ｃ、サービス提供部１００ｄ、データベース部２００、アプリケーションライブラリ３００およびファンクションライブラリ４００は、仮想化されたサーバコンピュータにより実現されるように見える機能である。

認識エンジン１００ａから出力される認識データ２００ｃは、画像データ２００ａ、顔写真データ２００ｂなどのデータとともにデータベース部２００に記憶される。画像データ２００ａは、画像センサＣ１〜Ｃｎの各々により取得されるデータである。つまり画像センサＣ１〜Ｃｎにより取得された画像データ２００ａは、データベース部２００に蓄積される。

顔写真データ２００ｂは、人物認識アプリケーションが起動された場合などに利用されるデータである。例えば、画像データ２００ａと顔写真データ２００ｂとを照合して認識データ２００ｃが生成される。これに限らず、建物や車両、自然物（例えば山や川）なども画像認識処理の対象とすることができる。つまり認識データ２００ｃは、画像センサＣ１〜Ｃｎからの画像データ２００ａを処理して得られるデータである。

なお、画像データと顔データとの照合に代えて、人間のシルエットや動きの情報を用いて人物の存在を認識することも可能である。顔認証クラウド１００は人間だけでなく、車両(車、電車)、飛行機、船、河川、土手、山、海、道路など、画像センサの撮影対象となる全ての映像を認識することが可能である。

アプリケーションライブラリ３００は、複数のアプリケーションモジュールＡＰＬ１、ＡＰＬ２、…、ＡＰＬＮを記憶する。各アプリケーションモジュールは単独で、あるいは複数組み合わせて起動されてそれぞれ固有のサービスを提供する。サービスを提供するために各アプリケーションモジュールは、認識データ２００ｃを利用する。

ファンクションライブラリ４００は、複数の機能モジュールＦＮＣ１、ＦＮＣ２、…、ＦＮＣＭを記憶する。各機能モジュールは、提供すべきサービスの実現のために画像センサＣ１〜Ｃｎに動的に割りつけられる。つまり画像センサＣ１〜Ｃｎは、アドオンされた機能モジュールに基づいて処理したデータを出力し、顔認証クラウド１００に渡す。

選択部１００ｂは、提供すべきサービスに応じたアプリケーションモジュールを選択する。すなわち選択部１００ｂは、例えば人間、またはコンピュータにより要求されたサービスに応じたアプリケーションモジュールを選択する。あるいは選択部１００ｂは、１日の中での時間帯に応じたアプリケーションモジュールを選択する。または選択部１００ｂは、画像センサＣ１〜Ｃｎのそれぞれの設置箇所（ロケーション）に応じたアプリケーションモジュールを選択する。これにより適切なアプリケーションモジュールが選択され、提供すべきサービスは、選択されたアプリケーションモジュールによって実現される。

機能割り当て部１００ｃは、選択部１００ｂにより選択されたアプリケーションモジュールの実現に要する機能モジュールをファンクションライブラリ４００から読み出し、画像センサＣ１〜Ｃｎのそれぞれに割り当てる。例えば機能割り当て部１００ｃは、画像センサＣ１〜Ｃｎの相関関係、あるいはコミュニティの特性（道路や建物などの属性情報）などに基づいて機能モジュールを読み出すとともに、画像センサＣ１〜Ｃｎに対する機能モジュールの配置を自動的、あるいは半自動的（オペレータの介入を含む）に決定する。

サービス提供部１００ｄは、アプリケーションを実行する主体であり、例えばコンピュータを備える処理系である。この処理系にアプリケーションモジュールがロードされ提供されることで、所要のサービスが提供される。すなわちサービス提供部１００ｄは、選択されたアプリケーションモジュールに基づいて、提供すべきサービスを実行する。

さらに、顔認証クラウド１００は課金サーバ５００を備える。課金サーバ５００は、選択部１００ｂにより選択されたアプリケーションモジュールに応じて、サービスの受益者に課金する。サービスの受益者は、例えばサービスをリクエストした人間であったり、あるいはエリアサーバ１０Ｍ、１０Ｋであって良い。エリアサーバ１０Ｍ、１０Ｋへの課金は、各エリア（Ｍエリア、Ｋエリア）に居住する人間への課金に代えても良い。

図３は、認識エンジン１００ａおよびサービス提供部１００ｄに係わる詳細を示す機能ブロック図である。図３において、複数の入力部はそれぞれ画像センサＣ１〜Ｃｎからの画像データを取得する。画像データは、認識エンジン１００ａの検出部１０にそれぞれ送られる。検出部１０は画像データから認識すべき対象を検出し、その結果を認識部２０に渡す。認識エンジン１００ａの認識部２０は、検出された対象を認識し、認識データ２００ｃをデータベース部２００に記憶する。

サービス推奨部３０、サービス要求入力部４０および出力部５０は、サービス提供部１００ｄに係わる機能ブロックである。
サービス推奨部３０は、例えば画像センサＣ１〜Ｃｎのロケーションや、入力部を介して入力された情報などに基づいて、提供すべきサービスを判別する。判別されたサービスはリストアップされ、例えばメニュー形式でユーザに提示される。このメニューには、リストアップされたサービスコンテンツや、画像センサに対する機能モジュールの配置などを推奨案として提示しても良い。そして、いずれかのサービスが選択されると、その旨がサービス要求入力部４０を介してサービス提供部１００ｄに通知される。

ここで、サービス提供部１００ｄにより提供可能なサービスの一例を列挙する。

＜人物に関するあらゆる情報の把握＞
（例）人物の検出、追跡、特定人物の検索、属性情報、人数情報、挙動解析
上記したこれらの情報は認識エンジン１００ａにより生成される情報の一例である。つまり認識エンジン１００ａは、人物の検出、追跡、特定人物の検索、属性情報、人数情報および挙動解析の少なくともいずれかに係わる認識データを画像データ２００ａから生成する。

＜人物の属性情報の特定＞
（例）
属性情報（属人）：年齢、性別、人種、身長、髪型、富裕度
属性情報（着用）：アクセサリ（マスク、メガネ、サングラス、帽子、服装）
属性情報（動作）：表情、目つぶり、会話中、挙動、顔向き、目線
上記したこれらの属性情報は、人物に属する情報、人物の着用物に関する情報、および、人物の動作に係わる情報の少なくともいずれかを含む情報である。

＜人以外への拡張＞
（例）車両（車、電車）、飛行機、船、河川、土手、山、海、道路
つまり認識エンジン１００ａは、車両、列車、飛行機、船、河川、土手、山、海および道路の少なくともいずれかに係わる認識データを画像データから生成する。

このほか、人を対象とするサービスの例として以下のものが挙げられる。
［人を対象とするサービスの例］
・本人認証（ｅコマース・入退室）
・人物監視（迷子・ＢＬ・ＶＩＰ・俳個老人）
・人物属性判別（デジタルサイネージ）
・人物存在検知（照明空調制御）
・人物進入検知（重要施設監視）
・人数カウント（注目度判定、機器制御）
・人流解析（マーケティング、施設設計）
・属性＋人数（顧客分析）
車両を対象とするサービスの例として以下のものが挙げられる。
［車両を対象とするサービスの例］
・車両検知（侵入検知、駐車場管理）
・車種判別（料金課金、駐車場管理）
・車両個体検知（顧客管理、ＶＩＰ検知、不審車両検知）
物を対象とするサービスの例として以下のものが挙げられる。
［物を対象とするサービスの例］
・物体検知（監視）
・物体変化検知（崩落検知など）
・所持品検知（所持品チェック、分析）
サービス要求入力部４０によりサービスを要求されたサービス提供部１００ｄは、アプリケーションを起動し、認識データ２００ｃを処理して所望のサービスを提供し、その結果を出力部５０に出力する。出力部５０は例えばＧＵＩ（Graphical User Interface）を介してサービス内容を表示したり、通信機能によりサービス要求者に結果を通知したりする。このほか、ユーザの保持するモバイル端末、あるいはタブレット端末の画面に情報を表示するようにしても良い。

なお画像認識の具体的な方法については、例えば上記した先行技術文献により既に既知であるので詳しい説明は省略する。以下では、実施形態に特有の、画像認識の結果を利用したサービスの提供の手法について詳しく説明する。

図４は、実施形態に係わる処理手順の一例を示すシーケンスチャートである。図４においてはエリアサーバ１０Ｍと顔認証クラウド１００との処理について説明するが、エリアサーバ１０Ｋについても同様である。顔認証クラウド１００は、サービスコンテンツ及びその単価をリストアップしたサービスメニューを、エリアサーバ１０Ｍに提示する（ステップＳ１）。エリアサーバ１０Ｍは例えばオペレータの選択操作、あるいは自動判定によりいずれかのサービスを選択し、選択したサービスの提供を要求するリクエスト信号を顔認証クラウド１００に通知する（ステップＳ２）。

顔認証クラウド１００は、要求されたサービスコンテンツを提供するためのアプリケーションを選択し（ステップＳ３）、このアプリケーションを実行するのに必要となる、画像センサＣ１〜Ｃｎへの機能割り当てを算出する（ステップＳ４）。選択されたアプリケーションはアプリケーションライブラリ３００から読み出されてサービス提供部１００ｄにロードされる。顔認証クラウド１００はファンクションライブラリ４００から、算出された割り当てに応じた機能モジュールを読み出し、各画像センサＣ１〜Ｃｎに個別に割り当てる。

例えば、選択部１００ｂにより、サービスＡＡというサービスを提供するためにはアプリケーションＡＰＬ２０を要することが判断されたとする。そうすると図５に示されるように、サービス提供部１００ｄにアプリケーションＡＰＬ２０がロードされる。そして、このアプリケーションＡＰＬ２０を実行するために、画像センサＣ３にファンクションＦＮＣ３，ＦＮＣ１２が割り当てられ、画像センサＣ４にファンクションＦＮＣ３，ＦＮＣ１３，ＦＮＣ２０が割り当てられる。

一方、別のサービスであるサービスＢＢが要求されたとすると、図６に示されるように、別のアプリケーションＡＰＬ３０がサービス提供部１００ｄにロードされる。そして、アプリケーションＡＰＬ３０を実行するために、画像センサＣ３にファンクションＦＮＣ３が、画像センサＣ４にファンクションＦＮＣ２が、画像センサＣ６にファンクションＦＮＣ１０とＦＮＣ１５が、画像センサＣ７にファンクションＦＮＣ１５が、それぞれアサインされる。このように、サービスと、アプリケーションと、画像センサへの機能割り当てとの間には密接な関係がある。実施形態では要求されたサービスに応じて、それらの組み合わせをダイナミックに可変する。

図４に戻り、機能を割り当てられた画像センサＣ１〜Ｃｎは、それぞれ取得した画像データを顔認証クラウド１００に送信する。画像データの画質、圧縮率、検知対象、あるいは送信タイミングなどの各種パラメータは、割り当てられた機能に応じて異なっていても良い。

顔認証クラウド１００は受信した画像データを処理して認識処理を実行し（ステップＳ５）、生成された認識データをデータベース２００に記録する。そして、この認識データを用いて、サービス提供部１００ｄはサービスを提供する（ステップＳ６）。そうすると、要求された情報の表示、警告、あるいは通知など、リクエストされたサービスがエリアサーバ１０Ｍに提供される（ステップＳ７）。

要求されたサービスの期限がタイムアウトしたり、サービス終了を求められた場合などには、サービスを終了することが顔認証クラウド１００により判定される（ステップＳ８でＹｅｓ）。そうすると機能開放処理が実行され（ステップＳ９）、画像センサＣ１〜Ｃｎに割り当てられた各ファンクションが、開放要求メッセージの送信に伴って開放される。

次に、課金サーバ５００による課金処理が実行される（ステップＳ１０）。すなわち課金サーバ５００は要求されたサービス、あるいは選択されたアプリケーションモジュールに基づいて課金データを算出し、サービスの受益者（エリアサーバ１０ＭやエリアＭの居住者など）に課金要求メッセージを送信する。

図７は、サービスの柔軟性の一例について説明するための図である。或るコミュニティにおいて、建物に対する距離を基準として境界部、および共用エリアが設定されているとする。境界部、共用エリアおよび建物では、それぞれ求められるサービスが異なる。例えば境界部では（ブラックリスト検索）というサービスが推奨される。このサービスでは境界部に存在する人の顔を認識してデータベース検索を行い、その人をコミュニティに入れて良いか否かが判定される。

共用エリアでは、人物ごとの属性を特定する（属性判別）サービスが推奨される。このサービスでは性別や、男性であればその年齢などが特定される。例えば（或る年齢層の、何人くらいの集団が何処に向かって移動中。性別比は男性：女性＝６０：４０）などといったデータが算出される。得られたデータは共用エリアの店舗などに通知され、マーケティングなどに利用される。

建物においては、入退室管理アプリケーションにより、建物に入れて良いか否かが人物ごとに判定される。判定の結果がＮＧであればその旨がエリアサーバから建物のローカルサーバに通知されて、ゲートがロックされるなどの対応がなされる。

このように境界部、共用エリアおよび建物では要求されるサービスが異なる。また、場所が違えばその場所を受け持つ画像センサも異なる。そこで実施形態では、顔認証クラウド１００において画像センサへの機能割り当てを動的に可変し、これによりサービスを場所、時間、あるいはリクエストなどに応じて柔軟に可変できるようにした。

このようにロケーションに応じて異なるサービスを実現することで、働きやすい街づくり、安全・安心な街づくり、快適・便利な街づくり、あるいは災害に強い街づくりに資することが可能になる。同様の技術思想により、時間に応じて異なるサービスを実現することもできるし、他のそのような観点からも、あらゆるサービスを自在に実現することが可能になる。

このほか、時間帯に応じて異なるサービスを提供することもできる。例えば店舗に対しては、昼間はマーケティング情報を供給するサービスを提供し、夜間には不審者情報を提供するサービスを提供するようにしても良い。マーケティング情報、不審者情報のいずれも、認識データを利用して生成することができる情報である。さらに、場所、人の数、課金体系などに応じてサービスを切り替えることもできる。

図８は、顔認証技術について説明するための図である。歩行中の人物の顔を画像センサＣ１〜Ｃ３から得られる画像データから検出し、以下のような処理を行うことができる。

（１）顔検出…顔を記録、簡易人数計測、映像検索効率化、冗長な映像記録の削減
（２）属性判別…顔の情報による年齢・性別判別等の推定
防災・ＢＣＰ（日時別の通行人数、災害時の残留人数確認）
マーケティング（年齢・性別別の人数カウント、注目視線検出）
セキュリティ（不審人物＝サングラスやマスク着用者の検知）
（３）顔検索…個人識別（顔写真ＤＢ内からの候補者検索）
特定人物（ＶＩＰ／不審者の検出）、人物の所在管理・出入り管理
認識エンジン１００ａは、画像センサ（カメラ）Ｃ１〜Ｃｎからの画像データを取得し、顔検出・追跡処理、あるいは顔特徴量計算などの処理を実施し、認識データを作成する。認識データはサーバ５１により、顔画像データベースの検索処理、顔画像データベースの管理（登録・削除）、履歴保存（ファイル保存）などの処理に利用される。その際、顔写真データベース５２に記憶される顔写真データを利用することも可能である。

図９は、実施形態に係わるサービス提供システムの一例を示す図である。サービス提供システムは、例えばオフィス６０内において、顔写真データベース５２にアクセス可能な顔検出サーバ５３にソフトウェアをインストールして実現可能である。システムの拡充に応じて、既設ＩＰカメラ（画像センサ）に新設ＩＰカメラを追加することが可能である。このシステムを発展させたものとして図１０に示されるように、データセンタ５０にサーバ装置５１および顔写真データベース５２を備えるようにしたシステムも考えられる。

以上説明したようにこの実施形態では、画像センサＣ１〜Ｃｎにより取得された画像データを収集し、認識エンジン１００ａによる顔認証処理により認識データを生成する。そして、ユーザのニーズや画像センサの設置場所（ロケーション）に応じた機能を画像センサごとに動的に割り当てることで、認識データを利用して種々のサービスを提供することが可能になる。つまり、画像センサから得られるデータを利用して、１つの画像センサで多様なサービスを切り替えて提供することができる。

すなわち、センシングされた人物の情報を利用してサービスを動的に切り替え、提供することができる。サービスを実施するための画像センサの機能は、ユーザ側からのニーズ、あるいは画像センサの位置などによってサービスを動的に割り当てる。つまり画像データを顔認証クラウド１００に集約することで、画像データを利用するサービスコンテンツを動的に切り替えることができる。

サービスの切り替えは、ユーザ（オペレータ）が手動で選択することが可能である。あるいは、画像センサの位置や判別内容に応じて、サービスを自動的に（バックグラウンドで）実行することも可能である。

つまり実施形態によれば、本発明はセンシングされた人物の情報を利用してサービスを動的に提供できるようになる。サービスおよび画像センサへの機能の割り当ては、ユーザ側からのニーズ、画像センサの位置などにより動的に変化させることができる。このように、コアとなる機能（認識エンジン１００ａ）をクラウドコンピューティングシステムに設けることで、画像センサのインテリジェント化（認識機能の割り付け）をコントロールできるようになる。これにより、画像センサＣ１〜Ｃｎにテンポラリに機能を割り付けたり、異なる機能の同時起動が可能になったりする。また、クローズド型、あるいはコンポーネント型とは異なり、ハードウェアリソースを任意に増加／減少させることができ、コストメリットを得ることも可能になる。

さらに、顔認証クラウド１００に課金サーバ５００を設けることで、課金サーバ５００による課金制御を実現することもできる。すなわち、サービス内容に応じた金額を課金することや、逆に、サポートされるサービスの機能／グレードを支払い金額に応じてコントロールするといった制御を実現することもできる。

システムの管理者は、ユーザに提供するサービスの機能、性能、ロケーション、サポート画像センサ台数などに応じて、適宜サービスフィーを設定することができる。もちろん、複数のユーザが同じ１台の画像センサを利用しても良いし、この場合にはユーザの数だけ料金を倍増しても良い。

このほか、ユーザのニーズに応じて、画像認識処理を組み合わせて結果を出力するようにしてもよい。また、画像データの集計単位（時間）も種々に設定可能である。さらに、認識エンジン１００ａは、画像センサからの画像データを並列もしくはシーケンシャルに処理し、映像内に生じた変化点を抽出し、ユーザが設定した認識サービスに依存して、ユーザに認識処理の結果をレポートする。出力情報は瞬時値(アラート情報)だけでなく、Daily/Weekly/Monthly/Annualy等などの集計単位でレポート化するようにしても良い。

また、顔認証クラウド１００に異種のシステム（例えば、ＳＮＳサービスや各種イベントサービス、天気予報や交通情報）からのデータを与えれば、複数のシステムを連携した多様なサービスを実現することも可能になる。またユーザは、クラウドシステムに対してテンポラリなサービスの起動を要求することが可能である。

例えば、遠隔地に設置される画像センサを連携させるサービスとして、人物を全地球の範囲で追跡するというサービスが考えられる。例えば、或る指名手配犯人が北半球のＸＸＸ地点の画像センサで捕捉されると、このことをトリガとして全世界の画像センサに「人物捕捉機能」を割り付け、クラウドコンピューティングシステム１００に「犯人追跡アプリケーション」を起動する。そして、例えば南半球のＹＹＹ空港の画像センサでこの犯人が認識されると、警備会社のサーバにそのことを直ちに通知し、当該人物を待ち構える。その後、犯人が拘束されると画像センサに割り付けられた機能を開放し、次のサービスに備えて待機する、といった応用事例を考えることができる。

これらのことから、サービスを柔軟に提供することの可能なサービス提供システム、サービス提供方法およびサービス提供管理装置を提供することが可能となる。

［第２の実施形態］
第１の実施形態では、提供すべきサービスに応じて、画像センサにアサインすべき機能を動的に変更し、また、アプリケーションを選択するという例を開示した。第２の実施形態では画像データの取得と認識データの生成とを同時並行的に実施し、データベースに蓄積されたデータをサービスの提供に活かすという例を開示する。

図１１は、顔認証クラウド１００に備わる機能の第２の実施形態を示す機能ブロック図である。図１１において図２と共通する箇所には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。図１１に示される顔認証クラウド１００は、認識エンジン１００ａと、取得部１００ｅ、データ加工部１００ｆ、サービス提供部１００ｄおよびデータベース部２００を備える。

認識エンジン１００ａは、画像センサＣ１〜Ｃｎから送られた画像データ２００ａを取得すると直ちに認識データ２００ｃを生成し、データベース部２００に蓄積する。つまり第２の実施形態では、画像データ２００ａの取得と認識データ２００ｃの生成とが同時進行的に実施され、画像データ２００ａおよび認識データ２００ｃは時間の経過とともに累積的にデータベース２００に蓄積される。

画像データ２００ａから認識データ２００ｃを生成し、データベース部２００に蓄積するという、認識エンジン１００ａの処理は、非構造化データから構造化データを生成し、データベースに記憶するという処理の一例である。

認識データ２００ｃとしては例えば属性情報、人数データ、人数分布データ、性別分布データ、人流データ、マーケティング情報、不審者情報、アラート情報、車両データ、乗り物データ、建物データ、等、ありとあらゆるデータや情報が考えられる。

取得部１００ｅは、提供すべきサービスに応じた認識データをデータベース部２００から取得する。すなわち取得部１００ｅは、例えば人間、またはコンピュータにより要求されたサービスに応じた認識データを取得する。あるいは取得部１００ｅは、１日の中での時間帯に応じた認識データを取得する。または取得部１００ｅは、画像センサＣ１〜Ｃｎのそれぞれの設置箇所（ロケーション）に応じた認識データを取得する。これにより適切な認識データが取得される。

サービス提供部１００ｄは、取得された認識データを利用してサービスを提供する。サービスの種別によっては、データベース部２００から取得されたデータを加工する必要がある。そこでデータ加工部１００ｆは、取得された認識データ２００ｃをサービスの種別に応じて加工し、サービス提供部１００ｄに渡す。

図１２は、第２の実施形態に係わる処理手順の一例を示すシーケンスチャートである。図１２において、画像センサＣ１〜Ｃｎはそれぞれ取得した画像データを顔認証クラウド１００にリアルタイム送信する（ステップＳ１１）。送信された画像データはデータベース２００に蓄積されるとともに認識エンジン１００ａに与えられ、認識処理により画像データから認識データ２００ｃが生成される（ステップＳ１２）。生成された各種の認識データ２００ｃはデータベースに蓄積される。

エリアサーバ１０Ｍからサービスを要求されると（ステップＳ１４）、顔認証クラウド１００はリクエスト信号の到来を認識し（ステップＳ１５でＹｅｓ）、リクエスト信号に含まれるサービスコード（ＩＤ：IDentification）を解読する（ステップＳ１６）。顔認証クラウド１００の取得部１００ｅは、データベース２００を検索して（ステップＳ１７）、解読されたサービスコードのサービスを提供するのに必要な認識データを取得する（ステップＳ１８）。

その後、取得された認識データは必要に応じて加工され（ステップＳ１９）、エリアサーバ１０Ｍに送信されてサービスが提供される（ステップＳ２０）。要求されたサービスが人物追跡サービスであれば人物追跡データが送信され、マーケティングサービスであればマーケティングデータが送信され、統計サービスであれば例えば図１３に示される集計データや、図１４〜図１６に示されるグラフデータが送信されるであろう（ステップＳ２１）。

図１３は、例えば或る日付における、或る地点の人口分布の時間推移の集計値の一例を示す図である。このテーブルも認識データの一つの形態であり、画像センサで取得された画像データを解析して生成することが可能である。つまり図１３に示されるようなデータ（人流データと称することもある）は顔認証クラウド１００の画像処理により既に生成されてデータベース２００に蓄積されているので、リクエストに応じて読み出すことでサービスを提供することができる。

図１４はグラフデータの一例を示す図であり、例えば図１３に示される人流データをデータ加工部１００ｆによりグラフ形式に加工して得られるグラフを示す。図１５は人口分布の男女比を時間別に示すグラフであり、例えば、より高いグレードのサービスに対応する。

つまり基本サービスでは図１４のグラフだけが示され、そのワンランク上を要求すれば図１５のグラフが示され、さらにその上のグレードのサービスを要求すれば、図１６の年齢別グラフが示される。図１６は、例えば図１４および図１５と同じ日の、１６：００における、性別ごとの人数の分布を世代別に示すグラフである。図１４〜図１６のいずれのグラフも図１３の人流データから生成することが可能である。

このように、サービスのグレードに応じて異なる認識データを示すことが可能であり、例えばグレードがアップするにつれてより詳細なデータを示す、といったかたちでサービスを提供することが可能になる。サービスのグレードはサービスの対価として、例えば課金データに反映させることができる。サービスフィーがアップするにつれて、示されるデータの詳細度もアップする、といったかたちのサービスも可能である。なおサービスおよびそのグレードは、サービスコード（ＩＤ）により区別できる。

図１２に戻り、課金サーバ５００はサービスのグレードに応じてエリアサーバ１０Ｍに課金し（ステップＳ２２）、顔認証クラウド１００は画像データの受信および認識処理を継続するとともに、サービスリクエストの到来を待ち受ける。

なお、予め既定の料金（サービスフィー）をシステムに納入しておき、その金額に見合ったサービスを受ける、という形態も可能である。つまりサービスの提供後でなく、提供前に納入された金額に応じたグレードのサービスを与える、という形態である。この形態では要するに、サービスフィーに応じた認識データをデータベース２００から取得するようにすれば良い。

さらに、必要な時に、必要なだけのサービスフィーを支払うことで、それに見合ったサービスの提供を受けられるようにすることも可能である。

以上述べたように第２の実施形態によれば、画像センサＣ１〜Ｃｎによる画像データの取得と認識データの生成とを同時進行的に実行し、得られたデータをデータベース２００に累積的に蓄積する。そして、リクエストされたサービスの種別やグレードに応じた認識データをデータベース２００から取得し、リクエスト元に送信する。

第２の実施形態では、構造化データ、非構造化データを問わず、考え得るあらゆるデータをビッグデータ（Big Data）に蓄積し、要求に応じてデータを取り出すようにしている。つまりサービスを提供するのに必要になるデータを予め作成してデータベース２００に蓄積しているので、リクエストから提供までに掛かる時間を短縮できるなどのメリットを得られる。また、元になる画像データや周辺データが失われサービスリクエストに応えられないといった事態を招く虞もない。

また、納入されるサービスフィーの金額に応じて、顧客（サービスの受益者）に提示される情報を制御することも可能である。例えば金額が多ければ多いほど、詳細な情報を提供するようにすることができる。図１３〜図１５に示されるように、例えば或る場所を通過した人物を分析し、高額の支払者には年齢や性別ごとに細かいグループ単位で傾向分析を出力し、低額の支払者には人数だけを出力する（年齢や性別の情報は隠して出す）、という形態も可能である。このように、提供するサービス（情報）をサービス対象によって変えることができるし、さらには、金額の追加に応じて分析レポートなども追加する、といった形態も可能である。
これらのことから、第２の実施形態によっても、サービスを柔軟に提供することの可能なサービス提供システム、サービス提供方法およびサービス提供管理装置を提供することが可能となる。

［第３の実施形態］
第３の実施形態では、第２の実施形態に係わる処理を、単一のコンピュータ（サーバ装置）に実装する形態について説明する。
図１７は、第３の実施形態に係わるサービス提供管理装置の一例を示す機能ブロック図である。図１７において図２または図１１と共通する箇所には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。

図１７に示されるサービス提供管理装置１は、ＣＰＵ（Central Processing Unit）２、プログラムメモリ３、インタフェース部４、表示部５、データベース部２００および入出力部６を備える。ＣＰＵ２は、プログラムメモリ３に記憶される認識プログラム３ａ、取得プログラム３ｂ、データ加工プログラム３ｃ、サービス提供プログラム３ｄおよび管理プログラム３ｅに記載されたコマンド列に基づいて、図１１に示される認識エンジン１００ａ、取得部１００ｅ、データ加工部１００ｆ、サービス提供部１００ｄの機能と、管理部１００ｇの機能とを実現する。

管理部１００ｇは、管理プログラム３ｅに基づいて、サービス提供部１００ｄによるサービス提供機能の有効／無効を管理する。その際、管理部１００ｇは、管理テーブル２００ｄを参照し、サービス提供機能の有効／無効を決定する。

図１８および図１９は、管理テーブル２００ｄの内容の一例を示す図である。図１８を参照すると、サービス提供プログラムの実行が許可されており、詳しくは車両検知サービス、および所持品検知サービスだけが実行を許可されていることがわかる。図１９によれば、サービス提供プログラムの実行が許可されていない状態が示される。管理テーブルの内容は、別途設けられるコンピュータとしての管理端末（図示せず）からリモートで設定することが可能である。

このように、クラウドコンピューティングシステム１００に設けた機能をサーバコンピュータ、あるいはデータセンタにインプリメントすることができる。サーバコンピュータにはサービスの提供に係る機能や動作の有効／無効を管理するための管理テーブルを持たせることで、実施形態に係る機能の有効／無効を設定することができる。

図１７には、図１１に示される第２の実施形態に係わる機能ブロックを備えるコンピュータを示したが、図２に示される、第１の実施形態に係わる機能ブロックを備えるコンピュータも同様に実現可能である。もちろん、サービス提供管理装置１が課金サーバ５００の機能を備えることも可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Ｃ１〜Ｃｎ…画像センサ、１００…クラウドコンピューティングシステム（顔認証クラウド）、１００ａ…認識エンジン、１０Ｍ，１０Ｋ…エリアサーバ、１００ｂ…選択部、１００ｃ…機能割り当て部、１００ｄ…サービス提供部、２００…データベース部、３００…アプリケーションライブラリ、４００…ファンクションライブラリ、２００ａ…画像データ、２００ｂ…顔写真データ、２００ｃ…認識データ、５００…課金サーバ、３０…サービス推奨部、４０…サービス要求入力部、５０…出力部、５１…サーバ装置、５２…顔写真データベース、５３…顔検出サーバ、６０…オフィス、１００ｅ…取得部、１００ｆ…データ加工部、１…サービス提供管理装置、２…ＣＰＵ、１００ｇ…管理部、３…プログラムメモリ、３ａ…認識プログラム、３ｂ…取得プログラム、３ｃ…データ加工プログラム、３ｄ…サービス提供プログラム、３ｅ…管理プログラム、２００ｄ…管理テーブル、４…インタフェース部、５…表示部、６…入出力部

Claims (33)

1. 画像センサにより取得された画像データを処理して対象の認識データを生成する認識エンジンと、
   複数の画像センサからの画像データに基づく前記認識データを利用してそれぞれ異なるサービスを提供する複数のアプリケーションモジュールと、
   提供すべきサービスに応じたアプリケーションモジュールを選択する選択部と、
   前記選択されたアプリケーションモジュールに応じた機能を前記複数の画像センサのそれぞれに割り当てる割り当て部と、
   前記選択されたアプリケーションモジュールに基づき前記サービスを提供するサービス提供部とを具備する、サービス提供システム。
2. 複数の画像センサからの画像データに基づく前記認識データを蓄積するデータベースと、
   提供すべきサービスに応じた認識データを前記データベースから取得する取得部とをさらに具備し、
   前記サービス提供部は、前記取得された認識データに基づき前記サービスを提供する、請求項１に記載のサービス提供システム。
3. 前記認識エンジンは、人物の検出、追跡、特定人物の検索、属性情報、人数情報および挙動解析の少なくともいずれかに係わる認識データを前記画像データから生成する、請求項１および２のいずれか１項に記載のサービス提供システム。
4. 前記属性情報は、前記人物に属する情報、前記人物の着用物に関する情報、および、前記人物の動作に係わる情報の少なくともいずれかを含む、請求項３の記載のサービス提供システム。
5. 前記認識エンジンは、車両、列車、飛行機、船、河川、土手、山、海および道路の少なくともいずれかに係わる認識データを前記画像データから生成する、請求項１および２のいずれか１項に記載のサービス提供システム。
6. 前記選択部は、要求されたサービスに応じたアプリケーションモジュールを選択する、請求項１に記載のサービス提供システム。
7. 前記選択部は、時間帯に応じたアプリケーションモジュールを選択する、請求項１に記載のサービス提供システム。
8. 前記選択部は、前記画像センサのロケーションに応じたアプリケーションモジュールを選択する、請求項１に記載のサービス提供システム。
9. さらに、前記選択されたアプリケーションモジュールに応じて前記サービスの受益者に課金する課金処理部を具備する、請求項１に記載のサービス提供システム。
10. 前記取得部は、要求されたサービスに応じた認識データを取得する、請求項２に記載のサービス提供システム。
11. さらに、前記取得された認識データに応じて前記サービスの受益者に課金する課金処理部を具備する、請求項２に記載のサービス提供システム。
12. 前記取得部は、事前に納入されたサービスフィーに見合う認識データを取得する、請求項２に記載のサービス提供システム。
13. クラウドコンピューティングシステムに設けられる認識エンジンが、画像センサにより取得された画像データを処理して対象の認識データを生成し、
    複数の画像センサからの画像データに基づく前記認識データを利用してそれぞれ異なるサービスを提供する複数のアプリケーションモジュールから、提供すべきサービスに応じたアプリケーションモジュールを選択し、
    前記選択されたアプリケーションモジュールに応じた機能を前記複数の画像センサのそれぞれに割り当て、
    前記選択されたアプリケーションモジュールに基づき前記サービスを提供する、サービス提供方法。
14. さらに、複数の画像センサからの画像データに基づく前記認識データをデータベースに蓄積し、
    提供すべきサービスに応じた認識データを前記データベースから取得し、
    前記取得された認識データに基づき前記サービスを提供する、請求項１３に記載のサービス提供方法。
15. さらに、前記選択されたアプリケーションモジュールに応じて前記サービスの受益者に課金する、請求項１３に記載のサービス提供方法。
16. 前記選択することは、要求されたサービスに応じたアプリケーションモジュールを選択する、請求項１３に記載のサービス提供方法。
17. 前記選択することは、時間帯に応じたアプリケーションモジュールを選択する、請求項１３に記載のサービス提供方法。
18. 前記選択することは、前記画像センサのロケーションに応じたアプリケーションモジュールを選択する、請求項１３に記載のサービス提供方法。
19. 前記取得することは、要求されたサービスに応じた認識データを取得する、請求項１４に記載のサービス提供方法。
20. さらに、前記取得された認識データに応じて前記サービスの受益者に課金する、請求項１４に記載のサービス提供方法。
21. 前記取得することは、事前に納入されたサービスフィーに見合う認識データを取得する、請求項１４に記載のサービス提供方法。
22. 画像センサにより取得された画像データを処理して対象の認識データを生成する認識エンジンと、
    複数の画像センサからの画像データに基づく前記認識データを利用してそれぞれ異なるサービスを提供する複数のアプリケーションモジュールと、
    提供すべきサービスに応じたアプリケーションモジュールを選択する選択部と、
    前記選択されたアプリケーションモジュールに応じた機能を前記複数の画像センサのそれぞれに割り当てる割り当て部と、
    前記選択されたアプリケーションモジュールに基づき前記サービスを提供するサービス提供部と、
    前記サービス提供部によるサービス提供機能の有効／無効を管理する管理部とを具備する、サービス提供管理装置。
23. 複数の画像センサからの画像データに基づく前記認識データを蓄積するデータベースと、
    提供すべきサービスに応じた認識データを前記データベースから取得する取得部と、
    前記サービス提供部によるサービス提供機能の有効／無効を管理する管理部とをさらに具備し、
    前記サービス提供部は、前記取得された認識データに基づき前記サービスを提供する、請求項２２に記載のサービス提供管理装置。
24. 前記認識エンジンは、人物の検出、追跡、特定人物の検索、属性情報、人数情報および挙動解析の少なくともいずれかに係わる認識データを前記画像データから生成する、請求項２２および２３のいずれか１項に記載のサービス提供管理装置。
25. 前記属性情報は、前記人物に属する情報、前記人物の着用物に関する情報、および、前記人物の動作に係わる情報の少なくともいずれかを含む、請求項２４の記載のサービス提供管理装置。
26. 前記認識エンジンは、車両、列車、飛行機、船、河川、土手、山、海および道路の少なくともいずれかに係わる認識データを前記画像データから生成する、請求項２２および２３のいずれか１項に記載のサービス提供管理装置。
27. 前記選択部は、要求されたサービスに応じたアプリケーションモジュールを選択する、請求項２２に記載のサービス提供管理装置。
28. 前記選択部は、時間帯に応じたアプリケーションモジュールを選択する、請求項２２に記載のサービス提供管理装置。
29. 前記選択部は、前記画像センサのロケーションに応じたアプリケーションモジュールを選択する、請求項２２に記載のサービス提供管理装置。
30. さらに、前記選択されたアプリケーションモジュールに応じて前記サービスの受益者に課金する課金処理部を具備する、請求項２２に記載のサービス提供管理装置。
31. 前記取得部は、要求されたサービスに応じた認識データを取得する、請求項２３に記載のサービス提供管理装置。
32. さらに、前記取得された認識データに応じて前記サービスの受益者に課金する課金処理部を具備する、請求項２３に記載のサービス提供管理装置。
33. 前記取得部は、事前に納入されたサービスフィーに見合う認識データを取得する、請求項２３に記載のサービス提供管理装置。

Images