JP6572535B2 - 画像認識システム、サーバ装置及び画像認識方法 - Google Patents

Description

本発明は画像認識システム、サーバ装置及び画像認識方法に関する。

通信環境の発達に伴い、クラウドコンピューティングサービス又は単にクラウドサービスと呼ばれるサービス事業が一般的になってきている。クラウドサービスはユーザがインターネットの向こう側からサービスを受け、サービス料金を支払う形態のサービスである。また近年、画像に写っている人物を識別したり、写っている物体の一般的な名称を認識したりする画像認識の処理アルゴリズムの開発が進んでいる。

特許文献１には、画像認識処理を利用して、画像データに関連する広告情報を取得する広告管理システムの発明が開示されている。特許文献２には、実際の商品陳列棚に陳列されている商品を、複数のカメラで撮像および画像認識して棚卸管理する方法と画像認識による棚卸システムの発明が開示されている。特許文献３には、様々なネットワークにおいて、画像情報を多目的に活用できるオープンなビジネスプラットホームを提供するビデオサーバシステムの発明が開示されている。

しかしながら従来の技術では、様々な画像認識処理を利用したサービスを提供するためには、サービス毎にシステムを構築する必要があった。

本発明は、上記に鑑みてなされたものであって、様々な画像認識処理を利用したサービスをより簡易に提供することができる画像認識システム、サーバ装置及び画像認識方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、少なくとも１つのカメラと、サーバ装置と、を含む画像認識システムであって、前記カメラは、撮影画像を取得する撮影部と、前記撮影画像を前記サーバ装置に送信する第１通信部と、前記撮影画像を記憶する第１記憶部と、を備え、前記サーバ装置は、前記カメラを識別する第１識別情報と、画像認識処理を識別する第２識別情報と、を含む画像認識要求を受信すると、前記第１識別情報により識別される前記カメラに画像撮影要求を送信することにより、前記第１識別情報により識別される前記カメラから前記撮影画像を受信する第２通信部と、受信された前記撮影画像に、前記第２識別情報により識別される画像認識処理を行う認識部と、複数の前記撮影画像を含む学習画像を使用して、前記撮影画像が正常画像であることを特定する学習結果情報を取得する学習部と、を備え、前記認識部は、前記学習結果情報と、前記撮影画像と、を比較することにより、前記撮影画像が異常画像であるか否かを認識し、前記第２通信部は、前記第２識別情報により識別される画像認識処理の結果を示す情報を、指定された装置に送信し、前記認識部が前記異常画像を認識したときに、前記異常画像として検出された前記撮影画像を撮影したカメラに画像記憶要求を送信し、前記異常画像として検出された前記撮影画像を撮影したカメラは、前記第１通信部が前記画像記憶要求を受信すると、前記撮影画像を前記第１記憶部に記憶する。

本発明によれば、様々な画像認識処理を利用したサービスをより簡易に提供することができるという効果を奏する。

図１は実施形態の画像認識システムの構成の例を示す図である。 図２は実施形態のカメラの構成の例を示す図である。 図３は実施形態の画像認識サーバ装置の構成の例を示す図である。 図４Ａは学習画像の例を示す図である。 図４Ｂは学習画像の例を示す図である。 図４Ｃは学習画像の例を示す図である。 図５Ａは正常画像の例を示す図である。 図５Ｂは異常画像の例を示す図である。 図５Ｃは異常画像の例を示す図である。 図６は異常画像の例を示す図である。 図７は実施形態の画像認識サーバ装置の画像認識方法の例を示すフローチャートである。 図８は実施形態のカメラの撮影画像の撮影方法の例を示すフローチャートである。 図９は実施形態の画像認識サーバ装置の画像学習方法の例を示すフローチャートである。 図１０は実施形態のカメラの学習画像の撮影方法の例を示すフローチャートである。 図１１は実施形態の画像認識サーバ装置の画像認識方法の例を示すフローチャートである。 図１２は実施形態のカメラの撮影画像の記憶方法の例を示すフローチャートである。 図１３は実施形態のカメラのハードウェア構成の例を示す図である。 図１４は実施形態の画像認識サーバ装置のハードウェア構成の例を示す図である。

以下に添付図面を参照して、画像認識システム及び画像認識方法の実施形態を詳細に説明する。

図１は実施形態の画像認識システム１００の構成の例を示す図である。実施形態の画像認識システム１００は、カメラ１０−１、カメラ１０−２、・・・、カメラ１０−Ｎ（Ｎは１以上の整数）、画像認識サーバ装置２０、サービス提供サーバ装置３０、データサーバ装置４０及び情報処理装置５０を備える。

カメラ１０−１、カメラ１０−２、・・・、及びカメラ１０−Ｎは、画像認識サーバ装置２０と互いに通信できるように接続されている。以下、カメラ１０−１、カメラ１０−２、・・・、及びカメラ１０−Ｎを区別しない場合は単にカメラ１０という。カメラ１０の数は任意でよい。また画像認識サーバ装置２０、サービス提供サーバ装置３０及びデータサーバ装置４０は、互いに通信できるように接続されている。またサービス提供サーバ装置３０、データサーバ装置４０及び情報処理装置５０は、互いに通信できるように接続されている。

なおカメラ１０−１、カメラ１０−２、・・・、カメラ１０−Ｎ、画像認識サーバ装置２０、サービス提供サーバ装置３０、データサーバ装置４０及び情報処理装置５０を、同一のネットワークに接続することにより、互いに通信できるようにしてもよい。また通信方式は、無線方式でも有線方式でもよく、また無線方式及び有線方式を組み合わせてもよい。

カメラ１０は、カメラ１０が設置された場所の周囲を撮影することにより、撮影画像を取得する。なおカメラ１０の撮影方式は任意でよい。カメラ１０は、例えばカラーの撮影画像を取得するカメラ、モノクロの撮影画像を取得するカメラ、分光撮影画像を取得するカメラ、偏光撮影画像を取得するカメラ、距離情報を取得するステレオカメラ、又は、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）を計測するカメラ等である。カメラ１０の構成の詳細については後述する。

画像認識サーバ装置２０は、サービス提供サーバ装置３０から画像認識要求を受信すると、当該画像認識要求に応じて撮影画像に画像認識処理を行う。画像認識処理は、撮影画像から情報を認識する処理である。画像認識処理は、例えば撮影画像に写っている車両の数を認識する処理、及び、撮影画像に写っている人の顔の数を認識する処理等である。画像認識サーバ装置２０は、画像認識処理の結果を示す情報を、サービス提供サーバ装置３０又はデータサーバ装置４０等の指定された装置に送信する。画像認識サーバ装置２０の構成の詳細については後述する。

サービス提供サーバ装置３０は、情報処理装置５０のユーザにサービスを提供する。サービス提供サーバ装置３０により提供されるサービスは任意でよい。サービスは、例えば道路を走る車両の交通量を調査するサービス、及び、周囲に人がいるか否かを認識するサービス等である。

データサーバ装置４０は、画像認識サーバ装置２０による画像認識処理の結果を記憶する。

情報処理装置５０は、サービス提供サーバ装置３０又はデータサーバ装置４０から、画像認識サーバ装置２０による画像認識処理の結果を示す情報を取得する。

まずカメラ１０の構成について具体的に説明する。

図２は実施形態のカメラ１０の構成の例を示す図である。実施形態のカメラ１０は、第１通信部１１、撮影部１２、生成部１３及び第１記憶部１４を備える。

＜画像撮影要求を受信した場合の動作＞
第１通信部１１は、画像認識サーバ装置２０から画像撮影要求を受信すると、当該画像撮影要求を撮影部１２に入力する。画像撮影要求は、画像認識処理を識別する認識処理ＩＤ（第２識別情報）、及び、撮影画像を撮影するタイミングを示すタイミング情報を含む。

タイミング情報は、撮影指定時刻及び撮影周期等を含み、撮影画像を動画として撮影する場合は撮影時間等も含む。撮影周期は、例えば１０秒等である。撮影時間は、例えば３０分等である。なお画像撮影要求にタイミング情報を含めずに、撮影画像を撮影するタイミングで、その都度、画像認識サーバ装置２０から画像撮影要求を受信してもよい。

撮影部１２は、第１通信部１１から画像撮影要求を受け付けると、画像撮影要求に含まれるタイミング情報により示されるタイミングで撮影を行うことにより、撮影画像を取得する。このとき撮影部１２は、画像撮影要求に含まれる認識処理ＩＤに応じて撮影方式を決定する。撮影部１２は、例えば認識処理ＩＤに応じて撮影画像を動画又は静止画として撮影する。撮影部１２は、画像撮影要求に含まれる認識処理ＩＤとともに、撮影画像を生成部１３に入力する。

生成部１３は、撮影部１２から認識処理ＩＤ及び撮影画像を受け付けると、認識処理ＩＤに応じて撮影画像のデータ形式を変更、又は、撮影画像から特徴量を抽出することにより、撮影画像に基づく情報を生成する。なお生成部１３は、認識処理ＩＤに応じて、撮影画像のデータ形式の変更と、特徴量の抽出の両方を行うことにより、撮影画像に基づく情報を生成してもよい。また撮影画像に基づく情報は、撮影画像そのものであってもよい。

まず認識処理ＩＤに応じて撮影画像のデータ形式を変更することにより、撮影画像に基づく情報を生成する場合について説明する。

具体的には、生成部１３は、送信対象とする撮影画像の領域、撮影画像の諧調、撮影画像の解像度、撮影画像のフレーム数、及び、撮影画像の圧縮率（ｂｍｐ形式（非圧縮）、ｔｉｆ形式（可逆圧縮）及びｊｐｅｇ形式（非可逆圧縮）等の撮影画像のファイルフォーマット）等を認識処理ＩＤに応じて変更することにより、撮影画像に基づく情報を生成する。これにより画像認識処理に応じて適切に、撮影画像に係る情報の圧縮又は削減を行うことができる。

なお撮影画像に係る情報の圧縮又は削減を行わない撮影画像を、カメラ１０から画像認識サーバ装置２０に送信する場合、撮影画像に含まれる全ての情報を失わないため、どのような認識処理にも対応することが可能である。しかしながらカメラ１０から画像認識サーバ装置２０に送信される撮影画像のデータ量が多いため、画像認識サーバ装置２０がサービス提供サーバ装置３０から画像認識要求を受信してから返答するまでのレイテンシが大きくなる。また通信回線を通るデータ量が多くなり、通信コストが上がる。そのため撮影画像を送信する前に、当該撮影画像に係る情報の圧縮又は削減を行うことが望ましい。

例えば認識処理ＩＤにより示される画像認識処理が、撮影画像に含まれる人を認識する認識処理である場合、生成部１３は、撮影画像のデータ形式を、撮影画像の諧調が２値又はグレースケールで表されたモノクロの撮影画像に変更することにより、撮影画像に基づく情報を生成する。

また例えば認識処理ＩＤにより示される画像認識処理が、撮影画像に含まれる物体の名称を認識する一般物体認識処理である場合、生成部１３は、撮影画像の諧調は、カラーの撮影画像のまま情報を削減せずに、撮影画像に基づく情報を生成する。

また例えば認識処理ＩＤにより示される画像認識処理が、常に同じ場所（方向）を撮影することにより得られる撮影画像の認識処理である場合、生成部１３は、撮影画像から撮影画像の一部の領域を切り出すことにより、撮影画像に基づく情報を生成する。撮影画像の一部の領域は、例えば背景等のほぼ変化がない領域を除いた領域、又は、認識処理に使用される予め定められた領域等である。

また例えば認識処理ＩＤにより示される画像認識処理が、高い解像度の情報が必要ない認識処理である場合、生成部１３は、撮影画像の圧縮率を高めたり、撮影画像の解像度を低くしたりすることにより、撮影画像に基づく情報を生成する。

また例えば認識処理ＩＤにより示される画像認識処理が、人が手を振る動作を認識する認識処理である場合、生成部１３は、撮影画像のデータ形式を、動画又は複数の静止画とし、当該動画又は複数の静止画に適切な圧縮処理を行うことにより、撮影画像に基づく情報を生成する。

次に認識処理ＩＤに応じて撮影画像の特徴量を抽出することにより、撮影画像に基づく情報を生成する場合について説明する。

具体的には、生成部１３は、認識処理ＩＤに応じて、撮影画像からＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量、Ｓｕｒｆ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）特徴量、Ｈａａｒ−ｌｉｋｅ特徴量又はＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量等を抽出する。

例えば認識処理ＩＤにより示される画像認識処理が、撮影画像に含まれる人を認識する認識処理である場合、生成部１３は、撮影画像からＨＯＧ特徴量を抽出することにより、撮影画像に基づく情報を生成する。

生成部１３は、撮影画像に基づく情報を第１通信部１１に入力する。第１通信部１１は、生成部１３から撮影画像に基づく情報を受け付けると、当該撮影画像に基づく情報を暗号化して画像認識サーバ装置２０に送信する。

＜学習画像撮影要求を受信した場合の動作＞
第１通信部１１は、画像認識サーバ装置２０から学習画像撮影要求を受信すると、当該学習画像撮影要求を撮影部１２に入力する。学習画像撮影要求は、画像認識処理を識別する認識処理ＩＤ（第２識別情報）、及び、学習画像を撮影するタイミングを示すタイミング情報を含む。

撮影部１２は、第１通信部１１から学習画像撮影要求を受け付けると、学習画像撮影要求に含まれるタイミング情報により示されるタイミングで撮影を行うことにより、学習画像を取得する。撮影部１２は、例えば１０秒間隔で６０分間撮影することにより、複数の撮影画像を、学習画像として撮影する。撮影部１２は、画像撮影要求に含まれる認識処理ＩＤとともに、学習画像を生成部１３に入力する。

生成部１３は、撮影部１２から認識処理ＩＤ及び学習画像を受け付けると、認識処理ＩＤに応じて学習画像のデータ形式を変更、又は、学習画像から特徴量を抽出することにより、学習画像に基づく情報を生成する。なお生成部１３は、認識処理ＩＤに応じて、学習画像のデータ形式の変更と、特徴量の抽出の両方を行うことにより、学習画像に基づく情報を生成してもよい。データ形式の変更、及び、特徴量の抽出は、学習画像に含まれる複数の撮影画像のそれぞれについて行う。なお学習画像に基づく情報は、学習画像そのもの（複数の撮影画像）でもよい。

生成部１３は、学習画像に基づく情報を第１通信部１１に入力する。第１通信部１１は、生成部１３から学習画像に基づく情報を受け付けると、当該学習画像に基づく情報を暗号化して画像認識サーバ装置２０に送信する。

＜画像記憶要求を受信した場合の動作＞
第１通信部１１は、画像認識サーバ装置２０から画像記憶要求を受信すると、当該画像記憶要求を撮影部１２に入力する。画像記憶要求は、撮影画像を撮影するタイミングを示すタイミング情報、及び、撮影画像のフレームレート等を含む。

撮影部１２は、第１通信部１１から画像記憶要求を受け付けると、画像記憶要求に含まれるタイミング情報により示されるタイミングで撮影を行うことにより、撮影画像を取得する。タイミング情報により示されるタイミングは、撮影指定時刻から３０分間等である。撮影部１２は、撮影画像を第１記憶部１４に記憶する。

第１記憶部１４は、第１通信部１１が画像認識サーバ装置２０から画像記憶要求を受信すると、撮影部１２により取得された撮影画像を記憶する。

次に画像認識サーバ装置２０の構成について具体的に説明する。

図３は実施形態の画像認識サーバ装置２０の構成の例を示す図である。実施形態の画像認識サーバ装置２０は、第２通信部２１、認識部２２、学習部２３及び第２記憶部２４を備える。

＜画像認識要求を受信した場合の動作＞
第２通信部２１は、カメラ１０を識別するカメラＩＤ（第１識別情報）と、画像認識処理を識別する認識処理ＩＤ（第２識別情報）と、を含む画像認識要求を、サービス提供サーバ装置３０から受信する。具体的には、画像認識要求は、サービス提供サーバ装置３０から、画像認識サーバ装置２０のＷｅｂＡＰＩの呼び出し（実行）により実現される。ここで画像認識要求のＷｅｂＡＰＩの例について説明する。

例えば第２通信部２１が、サービス提供サーバ装置３０から「ｈｔｔｐ：／／ｘｘｘ．ｙｙｙ．ｃｏｍ／ｍｙｓｉｔｅ／ｃｇｉ−ｂｉｎ／ｃａｍｅｒａ１−ｆａｃｅ．ｃｇｉ」を受け付けた場合、ｃａｍｅｒａ１は、カメラＩＤが１であることを示し、ｆａｃｅは、撮影画像から顔の数を認識する画像認識処理を示す。ｃａｍｅｒａ１−ｆａｃｅ．ｃｇｉは、撮影画像から顔の数を認識する画像認識処理を実行するＣＧＩ（Ｃｏｍｍｏｎ Ｇａｔｅｗａｙ Ｉｎｔｅｒｆａｃｅ）プログラムであり、当該画像認識処理に使用されるパラメータ等の情報を含む。

また例えば第２通信部２１が、サービス提供サーバ装置３０から「ｈｔｔｐ：／／ｘｘｘ．ｙｙｙ．ｃｏｍ／ｍｙｓｉｔｅ／ｃｇｉ−ｂｉｎ／ｃａｍｅｒａ２−ｈｕｍａｎ．ｃｇｉ」を受け付けた場合、ｃａｍｅｒａ２は、カメラＩＤが２であることを示し、ｈｕｍａｎは、撮影画像から人の数を認識する画像認識処理を示す。ｃａｍｅｒａ２−ｈｕｍａｎ．ｃｇｉは、撮影画像から人の数を認識する画像認識処理を実行するＣＧＩプログラムであり、当該画像認識処理に使用されるパラメータ等の情報を含む。

また例えば第２通信部２１が、サービス提供サーバ装置３０から「ｈｔｔｐ：／／ｘｘｘ．ｙｙｙ．ｃｏｍ／ｍｙｓｉｔｅ／ｃｇｉ−ｂｉｎ／ｃａｍｅｒａ３−ｇｏｄ．ｃｇｉ」を受け付けた場合、ｃａｍｅｒａ３は、カメラＩＤが３であることを示し、ｇｏｄは、撮影画像に含まれる物体の名称を認識する画像認識処理を示す。ｃａｍｅｒａ３−ｇｏｄ．ｃｇｉは、撮影画像に含まれる物体の名称を認識する画像認識処理を実行するＣＧＩプログラムであり、当該画像認識処理に使用されるパラメータ等の情報を含む。

第２通信部２１は、サービス提供サーバ装置３０から画像認識要求（ＷｅｂＡＰＩの呼び出し）を受信すると、当該画像認識要求に含まれるカメラＩＤにより識別されるカメラ１０に上述の画像撮影要求を送信する。このとき第２通信部２１は、カメラ１０が撮影画像を取得するときの設定情報、及び、撮影画像を取得する上述のタイミング情報等を撮影画像要求に含めてもよい。設定情報は、例えばカメラ１０が暗い場所を撮影するカメラである場合、カメラ１０に備えられているライトを、撮影画像を取得するときに点灯させることを示す情報等である。これにより撮影画像を取得するとき以外は、カメラ１０のライトを消灯させることができるので、カメラ１０の消費電力を削減することができる。またタイミング情報は、画像認識要求のＷｅｂＡＰＩに応じて画像撮影要求に設定されてもよいし、所定のタイミング情報が画像撮影要求に設定されてもよい。

第２通信部２１は、画像撮影要求の応答として、カメラ１０から暗号化された上述の撮影画像に基づく情報を受信すると、暗号化された撮影画像に基づく情報を復号し、当該撮影画像に基づく情報を、カメラＩＤ及び認識処理ＩＤとともに認識部２２に入力する。

認識部２２は、第２通信部２１から撮影画像に基づく情報と、カメラＩＤと、認識処理ＩＤと、を受け付けると、当該認識処理ＩＤにより識別される画像認識処理を行う。このとき認識部２２は、カメラ１０の撮影方式に応じて最適な画像認識処理を行う。具体的には、認識部２２は、例えばカメラＩＤとカメラの撮影方式とが関連付けられた撮影方式情報と、カメラの撮影方式とパラメータとが関連付けられたパラメータ情報と、を保持する。これにより認識部２２は、撮影方式情報と、第２通信部２１から受け付けたカメラＩＤとから、カメラ１０の撮影方式を特定する。そして認識部２２は、パラメータ情報と、特定されたカメラ１０の撮影方式とから、当該カメラ１０により撮影された撮影画像の画像認識処理に使用される最適なパラメータを決定することにより、カメラ１０の撮影方式に応じて最適な画像認識処理を行う。

認識部２２は、画像認識処理の結果を示す情報を第２通信部２１に入力する。このとき認識部２２は、認識処理の結果を示す情報に、撮影画像に含まれる個人情報を特定できる情報を含めないようにする。例えば認識部２２は、画像認識処理の結果として撮影画像に含まれる人の数が得られた場合、当該撮影画像は画像認識処理の結果に含めずに、人の数を示すテキスト情報のみを画像認識処理の結果に含める。これにより撮影画像に含まれる人のプライバシーの侵害を防ぐことができる。

第２通信部２１は、認識部２２から画像認識処理の結果を示す情報を受け付けると、当該画像認識処理の結果を示す情報を、サービス提供サーバ装置３０又はデータサーバ装置４０等の指定された装置に送信する。具体的には、第２通信部２１は画像認識処理の結果を示す情報をＷｅｂＡＰＩにより、サービス提供サーバ装置３０又はデータサーバ装置４０等の指定された装置に送信する。

なお画像認識処理の結果の送信先となる装置は、画像認識サービスの種類、又は、サービスの提供を受けるユーザ等に応じて任意に定めてよい。また画像認識処理の結果を示す情報を送信するＷｅｂＡＰＩのフォーマットは任意でよい。画像認識処理の結果を示す情報を送信するＷｅｂＡＰＩのフォーマットは、例えばｘｍｌ形式、ＪＳＯＮ形式又はＣＳＶ形式等である。サービス提供サーバ装置３０は、画像認識サーバ装置２０から画像認識処理の結果を示す情報を受信すると、画像認識処理の結果を示す情報に応じた処理を行う。画像認識処理の結果を示す情報に応じた処理は任意でよい。画像認識処理の結果を示す情報に応じた処理は、例えばユーザにより予め登録されたメールアドレスにメールを送信する処理、及び、ドアの鍵を解錠するようにメカを駆動する処理等である。

＜学習要求を受信した場合の動作＞
また第２通信部２１は、カメラ１０を識別するカメラＩＤ（第１識別情報）と、学習画像を取得するタイミングを示すタイミング情報と、学習結果情報を識別する学習結果識別ＩＤと、を含む学習要求を、サービス提供サーバ装置３０から受信する。具体的には、学習要求はサービス提供サーバ装置３０から、画像認識サーバ装置２０のＷｅｂＡＰＩの呼び出し（実行）により実現される。ここで学習要求のＷｅｂＡＰＩの例について説明する。

例えば第２通信部２１が、サービス提供サーバ装置３０から「ｈｔｔｐ：／／ｘｘｘ．ｙｙｙ．ｃｏｍ／ｍｙｓｉｔｅ／ｃｇｉ−ｂｉｎ／ｌｅａｒｎｉｎｇ？ｃａｍｅｒａ＝１＆ｔｉｍｅ＝１＆ｔｉｍｅｗｉｄ＝６００＆ｒｅｓｕｌｔ＝１」を受け付けた場合について説明する。ｃａｍｅｒａ＝１はカメラＩＤが１であることを示す。ｔｉｍｅ＝１は撮影周期が１秒であることを示す。ｔｉｍｅｗｉｄ＝６００は学習画像を取得する時間が６００分間であることを示す。ｒｅｓｕｌｔ＝１は学習結果情報を識別する学習結果識別ＩＤが１であることを示す。学習結果識別ＩＤを、後述の環境情報と関連付けることにより、カメラ１０の周囲の環境に応じて学習画像を使い分けることが可能になる。

第２通信部２１は、サービス提供サーバ装置３０から学習要求（ＷｅｂＡＰＩの呼び出し）を受信すると、カメラＩＤにより識別されるカメラ１０に上述の学習画像撮影要求を送信する。そして第２通信部２１は、カメラ１０から暗号化された上述の学習画像に基づく情報を受信すると、暗号化された学習画像に基づく情報を復号し、当該学習画像に基づく情報を学習部２３に入力する。

学習部２３は、第２通信部２１から学習画像に基づく情報を受け付けると、当該学習画像に基づく情報を使用して、撮影画像が正常な画像であることを示す正常画像を特定する学習結果情報を取得する。ここで学習結果情報の例として、学習画像に基づく情報が、学習画像そのもの（複数の撮影画像）である場合について説明する。

まず学習部２３は、学習画像に含まれる複数の撮影画像の１枚を取得し、当該撮影画像を６４ｘ６４ピクセルのメッシュに分割する。次に学習部２３は、メッシュ毎にＲＧＢの輝度ヒストグラムを算出する。次に学習部２３は、学習画像に含まれる全ての撮影画像について、メッシュ毎にＲＧＢの輝度ヒストグラムを積算する。学習部２３は、メッシュ毎に積算されたＲＧＢの輝度ヒストグラムを、学習結果情報とする。

なお学習部２３は、認識部２２による画像認識が、学習に使用された学習画像のみに過適応しないように、学習画像として使用される複数の撮影画像に、所定のノイズを付加してから、撮影画像が正常な画像であることを示す正常画像の学習を行ってもよい。

次に学習画像の例について説明する。

図４Ａ乃至図４Ｃは学習画像の例を示す図である。図４Ａ乃至図４Ｃの例は、複数（例えば５０枚）の撮影画像を含む学習画像のうち、３枚の撮影画像を例示した場合の例である。撮影画像に含まれる扇風機は、首を左右に振る状態で動作している。学習部２３は、複数の撮影画像を含む学習画像により、この状態を正常画像として学習する。

図３に戻り、学習部２３は、学習結果情報を識別する学習結果識別ＩＤと、正常画像を特定する学習結果情報と、複数の撮影画像を含む学習画像と、学習画像が取得されたときのカメラ１０の周囲の環境を示す環境情報と、を関連付けて、第２記憶部２４に記憶する。環境情報は、例えば学習画像が取得された撮影時刻、時間帯及び季節等である。時間帯は、例えば昼、夜、午前又は午後等である。カメラ１０により撮影された撮影画像は、撮影時刻及び季節により周囲の環境が異なるため、学習部２３は学習画像及び学習結果情報を環境情報に関連付けて第２記憶部２４に記憶する。

次に学習画像を使用した画像認識処理について説明する。

＜学習画像を使用した画像認識処理＞
第２通信部２１は、カメラ１０を識別するカメラＩＤ（第１識別情報）と、画像認識処理を識別する認識処理ＩＤ（第２識別情報）と、学習結果情報を識別する学習結果識別ＩＤと、を含む画像認識要求を、サービス提供サーバ装置３０から受信する。ここで学習画像を使用した画像認識要求のＷｅｂＡＰＩの例について説明する。

例えば第２通信部２１が、サービス提供サーバ装置３０から「ｈｔｔｐ：／／ｘｘｘ．ｙｙｙ．ｃｏｍ／ｍｙｓｉｔｅ／ｃｇｉ−ｂｉｎ／ａｎｏｍａｌｙ＿ｄｅｔｅｃｔ？ｃａｍｅｒａ＝１＆ｒｅｓｕｌｔ＝１」を受け付けた場合、ａｎｏｍａｌｙ＿ｄｅｔｅｃｔは、学習画像を使用した画像認識処理を示し、ｃａｍｅｒａ＝１は、カメラＩＤが１であることを示し、ｒｅｓｕｌｔ＝１は、上述の学習結果識別ＩＤが１である学習結果情報を使用することを示す。

また例えば第２通信部２１が、サービス提供サーバ装置３０から「ｈｔｔｐ：／／ｘｘｘ．ｙｙｙ．ｃｏｍ／ｍｙｓｉｔｅ／ｃｇｉ−ｂｉｎ／ａｎｏｍａｌｙ＿ｄｅｔｅｃｔ？ｃａｍｅｒａ＝２＆ｒｅｓｕｌｔ＝３＆ｔｉｍｅ＝１０」を受け付けた場合、ａｎｏｍａｌｙ＿ｄｅｔｅｃｔは、学習画像を使用した画像認識処理を示し、ｃａｍｅｒａ＝２は、カメラＩＤが２であることを示し、ｒｅｓｕｌｔ＝３は、上述の学習結果識別ＩＤが３である学習結果情報を使用することを示す。ｔｉｍｅ＝１０は、１０秒毎に学習画像を使用した画像認識処理を行うことを示す。

上述のような画像認識要求（ＷｅｂＡＰＩ）が用いられることにより、カメラ１０を任意の場所に設置するだけで、様々な外乱等を含む環境に対応した異常検出サービスを、より簡易に実現できる。

第２通信部２１は、サービス提供サーバ装置３０から上述の画像認識要求（ＷｅｂＡＰＩの呼び出し）を受信すると、当該画像認識要求に含まれるカメラＩＤにより識別されるカメラ１０に上述の画像撮影要求を送信する。

第２通信部２１は、画像撮影要求の応答として、カメラ１０から暗号化された上述の撮影画像に基づく情報を受信すると、暗号化された撮影画像に基づく情報を復号し、当該撮影画像に基づく情報を、カメラＩＤ及び認識処理ＩＤとともに認識部２２に入力する。

認識部２２は、認識処理ＩＤにより識別される画像認識処理が、撮影画像が異常な画像であることを示す異常画像の認識処理である場合、正常画像を示す学習結果情報と、撮影画像に基づく情報と、を比較することにより、撮影画像に基づく情報が異常画像であるか否かを認識する。

ここで異常画像であるか否かを認識する方法の例について、撮影画像に基づく情報が撮影画像そのものである場合を例にして具体的に説明する。

まず認識部２２は、撮影画像の１枚を取得し、当該撮影画像を６４ｘ６４ピクセルのメッシュに分割する。次に認識部２２は、メッシュ毎にＲＧＢの輝度ヒストグラムを算出する。次に認識部２２は、画像認識要求に含まれる学習結果識別ＩＤにより識別される上述の学習結果情報を第２記憶部２４から取得する。次に認識部２２は、撮影画像から算出されたＲＧＢの輝度ヒストグラムと、学習結果情報に含まれるＲＧＢの輝度ヒストグラムとを用いてＬＯＦ（Ｌｏｃａｌ Ｏｕｔｌｉｅｒ Ｆａｃｔｏｒ）値を算出する。次に認識部２２は、撮影画像のメッシュのうち、ＬＯＦ値が所定の閾値以上の値が算出されたメッシュがある場合、当該撮影画像が異常画像であると認識する。

このとき認識部２２が、画像認識対象の撮影画像の撮影時期又は季節等に応じた環境情報に関連付けられた上述の学習結果識別ＩＤにより識別される学習結果情報を使用することにより、最適な画像認識処理を行うことができる。例えば撮影画像が屋外画像等である場合に、カメラ１０の周囲の環境に合わせた最適な画像認識処理を行うことができる。

なお上述の例では、認識部２２は、異常画像を認識する方法として、半教師あり異常検出のアルゴリズムであるＬＯＦを用いた。ＬＯＦは識別するサンプルの周辺に、既知のサンプルの密度がどのくらいあるかにより異常値（はずれ値）を検出する方法である。単に最近傍のサンプルまでの距離を用いる方法と比較して、はずれ値をうまく検出できることが知られている。

認識部２２は、ＬＯＦ以外の任意の方法で異常画像を認識してもよい。認識部２２は、例えば１ ｃｌａｓｓ ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を使用してもよい。１ ｃｌａｓｓ ＳＶＭは識別器としてよく知られているＳＶＭの評価関数を変更し、半教師あり異常検知を用いた識別器として使えるようにしたものである。うまく学習を行うことができれば、サポートベクターのみで識別が可能であるため、ＬＯＦと比べて高速に識別が可能である。

また認識部２２は、異常画像も学習結果情報として扱うようにして、ＳＶＭ等の教師あり学習アルゴリズムを異常画像を認識する方法に用いてもよい。

ここで異常画像の認識処理について、図４Ａ乃至図４Ｃにより示される学習画像を使用する場合を例にして具体的に説明する。

図５Ａは正常画像の例を示す図である。図５Ａは、扇風機が首を左右に振る動作をしている状態で撮影された撮影画像であるが、図４Ａ乃至図３Ｃにより示される学習画像により、この状態は学習されているため、認識部２２は図５Ａの撮影画像を正常画像として認識する。

図５Ｂ及び図５Ｃは異常画像の例を示す図である。図５Ｂ及び図５Ｃは、人が撮影範囲にいる状態で撮影された撮影画像であるが、この状態は学習されていないため、認識部２２は図５Ｂ及び図５Ｃの撮影画像を異常画像として認識する。具体的には、認識部２２は、図５Ｂのメッシュ領域１０１により示されるブロック、及び、図５Ｃのメッシュ領域１０２により示されるブロックで異常を検出することにより、当該撮影画像を異常画像として認識する。

図６は異常画像の例を示す図である。図６は、扇風機の位置を左にずらした状態で撮影された撮影画像であるが、この状態は学習されていないため、認識部２２は図６の撮影画像を異常画像として認識する。具体的には、認識部２２は、図６のメッシュ領域１０３により示されるブロックで異常を検出することにより、当該撮影画像を異常画像として認識する。

一般に、図５Ａ乃至図６のように扇風機が動いている場合では、前フレームの撮影画像と比較して動きがある場合に異常と判定する方法は使用することはできず、扇風機の領域を対象除外として異常の判定が行われることが多い。しかしながら、その場合には事前に除外する領域を設定する必要がある上、図６の例のように、扇風機自体の位置が動いた場合には、異常の検出が不可能である。

また前フレームの撮影画像と比較して動きがあるときに異常と判定する場合、屋外で太陽が雲に隠れた場合、屋外の樹木の風によるゆれ、及び、屋内で照明を消した瞬間等も前フレームの撮影画像との差分が大きいので、異常画像として誤検出されてしまう。しかしながら学習部２３が、これらのシーンが撮影された撮影画像を含む学習画像を学習することにより、画像認識処理のパラメータの設定等を行うことなく、撮影環境に応じた最適な画像認識を行うことができる。なお上述の説明では扇風機が動いている情報を例にして説明したが、実際の例では、例えばサービス提供サーバ装置３０がセキュリティーサービス及びアラートサービス等を提供する場合に、上述の学習画像を使用した画像認識処理が行われる。

具体的には、セキュリティーサービスの場合、学習部２３は、屋外のカメラ１０により人がいない状態で平常時に撮影された学習画像（複数の撮影画像）を使用して正常画像を学習する。そして、例えば当該カメラ１０により夜間に撮影された撮影画像から人が認識された場合、認識部２２は当該撮影画像を異常画像として認識する。またアラートサービスの場合、学習部２３は、屋内のカメラ１０によりロボットアームの動きを撮影することにより得られた学習画像（複数の撮影画像）を使用して正常画像を学習する。そして、例えば当該カメラ１０により撮影された撮影画像から、ロボットアームの近くに人がいることが認識された場合、認識部２２は当該撮影画像を異常画像として認識する。

第２通信部２１は、撮影画像が異常画像であることが、認識部２２による画像認識処理により認識された場合、当該画像認識処理の結果を示す情報を、サービス提供サーバ装置３０又はデータサーバ装置４０等の指定された装置に送信するとともに、当該撮影画像を撮影したカメラ１０に上述の画像記憶要求を送信する。

これにより認識部２２により異常画像が認識された場合に、例えば異常画像が認識されてから一定時間の高フレームレートの動画として、撮影画像をカメラ１０に記憶することができる。例えば不審者が現れた後の撮影画像を細かい時系列で記憶できるため、ユーザが後ほど時間をかけて解析を行うことができる。

次に実施形態の画像認識方法について説明する。

図７は実施形態の画像認識サーバ装置２０の画像認識方法の例を示すフローチャートである。はじめに、第２通信部２１が、カメラ１０を識別するカメラＩＤ（第１識別情報）と、画像認識処理を識別する認識処理ＩＤ（第２識別情報）と、を含む画像認識要求を、上述のＷｅｂＡＰＩによりサービス提供サーバ装置３０から受信する（ステップＳ１）。

次に、第２通信部２１が、画像認識要求に含まれるカメラＩＤにより識別されるカメラ１０に、画像認識要求に含まれる認識処理ＩＤ（第２識別情報）、及び、撮影画像を撮影するタイミングを示すタイミング情報を含む画像撮影要求を送信する（ステップＳ２）。タイミング情報は、画像認識要求のＷｅｂＡＰＩに応じて第２通信部２１により画像撮影要求に設定されてもよいし、所定のタイミング情報が第２通信部２１により画像撮影要求に設定されてもよい。また画像撮影要求にタイミング情報を含めずに、撮影画像を撮影するタイミングで、その都度、画像認識サーバ装置２０から画像撮影要求を受信してもよい。

次に、第２通信部２１が、画像撮影要求の応答として、カメラ１０から暗号化された上述の撮影画像に基づく情報を受信する（ステップＳ３）。第２通信部２１は、暗号化された撮影画像に基づく情報を復号し、当該撮影画像に基づく情報を、カメラＩＤ及び認識処理ＩＤとともに認識部２２に入力する。

次に、認識部２２が、第２通信部２１から撮影画像に基づく情報と、カメラＩＤと、認識処理ＩＤと、を受け付けると、当該認識処理ＩＤにより識別される画像認識処理を行う（ステップＳ４）。このとき認識部２２は、カメラＩＤからカメラ１０の撮影方式に応じた最適な画像認識処理を特定し、当該撮影画像に基づく情報に最適な画像認識処理を行う。

次に、第２通信部２１が、画像認識処理の結果を示す情報を、サービス提供サーバ装置３０又はデータサーバ装置４０等の指定された装置に送信する（ステップＳ５）。

図８は実施形態のカメラ１０の撮影画像の撮影方法の例を示すフローチャートである。はじめに、第１通信部１１は、画像認識サーバ装置２０から画像撮影要求を受信する（ステップＳ１１）。画像撮影要求は、認識処理ＩＤ（第２識別情報）、及び、撮影画像を撮影するタイミングを示すタイミング情報を含む。

次に、撮影部１２が、第１通信部１１から画像撮影要求を受け付けると、画像撮影要求に含まれるタイミング情報により示されるタイミングで撮影を行うことにより、撮影画像を取得する（ステップＳ１２）。次に、生成部１３が、撮影部１２から認識処理ＩＤ及び撮影画像を受け付けると、認識処理ＩＤに応じて撮影画像のデータ形式を変更、又は、撮影画像から特徴量を抽出することにより、撮影画像に基づく情報を生成する（ステップＳ１３）。次に、第１通信部１１が、生成部１３から撮影画像に基づく情報を受け付けると、当該撮影画像に基づく情報を暗号化して画像認識サーバ装置２０に送信する（ステップＳ１４）。

図９は実施形態の画像認識サーバ装置２０の画像学習方法の例を示すフローチャートである。はじめに、第２通信部２１が、カメラ１０を識別するカメラＩＤ（第１識別情報）と、学習画像を取得するタイミングを示すタイミング情報と、学習結果情報を識別する学習結果識別ＩＤと、を含む学習要求を、上述のＷｅｂＡＰＩによりサービス提供サーバ装置３０から受信する（ステップＳ２１）。

次に、第２通信部２１が、学習要求に含まれるカメラＩＤにより識別されるカメラ１０に、画像認識処理を識別する認識処理ＩＤ（第２識別情報）、及び、学習画像を撮影するタイミングを示すタイミング情報を含む学習画像撮影要求を送信する（ステップＳ２２）。

次に、第２通信部２１が、カメラ１０から暗号化された上述の学習画像に基づく情報を受信する（ステップＳ２３）。第２通信部２１は、暗号化された学習画像に基づく情報を復号し、当該学習画像に基づく情報を学習部２３に入力する。

次に、学習部２３が、第２通信部２１から学習画像に基づく情報を受け付けると、当該学習画像に基づく情報を使用して学習処理を実行することにより、撮影画像が正常な画像であることを示す正常画像を特定する学習結果情報を取得する（ステップＳ２４）。

次に、学習部２３が、学習結果情報を識別する学習結果識別ＩＤと、正常画像を特定する学習結果情報と、複数の撮影画像を含む学習画像と、学習画像が取得されたときのカメラ１０の周囲の環境を示す環境情報と、を関連付けて、第２記憶部２４に記憶する（ステップＳ２５）。

図１０は実施形態のカメラ１０の学習画像の撮影方法の例を示すフローチャートである。はじめに、第１通信部１１が、画像認識サーバ装置２０から学習画像撮影要求を受信する（ステップＳ３１）。学習画像撮影要求は、画像認識処理を識別する認識処理ＩＤ（第２識別情報）、及び、学習画像を撮影するタイミングを示すタイミング情報を含む。

次に、撮影部１２が、第１通信部１１から学習画像撮影要求を受け付けると、学習画像撮影要求に含まれるタイミング情報により示されるタイミングで撮影を行うことにより、学習画像を取得する（ステップＳ３２）。次に、生成部１３が、撮影部１２から認識処理ＩＤ及び学習画像を受け付けると、認識処理ＩＤに応じて学習画像のデータ形式を変更、又は、学習画像から特徴量を抽出することにより、学習画像に基づく情報を生成する（ステップＳ３３）。次に、第１通信部１１が、生成部１３から学習画像に基づく情報を受け付けると、当該学習画像に基づく情報を暗号化して画像認識サーバ装置２０に送信する（ステップＳ３４）。

図１１は実施形態の画像認識サーバ装置２０の画像認識方法の例を示すフローチャートである。はじめに、第２通信部２１が、カメラ１０を識別するカメラＩＤ（第１識別情報）と、画像認識処理を識別する認識処理ＩＤ（第２識別情報）と、学習結果情報を識別する学習結果識別ＩＤと、を含む画像認識要求を、上述のＷｅｂＡＰＩによりサービス提供サーバ装置３０から受信する（ステップＳ４１）。

次に、第２通信部２１が、画像認識要求に含まれるカメラＩＤにより識別されるカメラ１０に、画像認識要求に含まれる認識処理ＩＤ（第２識別情報）、及び、撮影画像を撮影するタイミングを示すタイミング情報を含む画像撮影要求を送信する（ステップＳ４２）。タイミング情報は、画像認識要求のＷｅｂＡＰＩに応じて第２通信部２１により画像撮影要求に設定されてもよいし、所定のタイミング情報が第２通信部２１により画像撮影要求に設定されてもよい。

次に、第２通信部２１が、画像撮影要求の応答として、カメラ１０から暗号化された上述の撮影画像に基づく情報を受信する（ステップＳ４３）。次に、ステップＳ４１で受信した画像認識要求に含まれる学習結果識別ＩＤにより識別される学習結果情報を、第２記憶部２４から読み出す（ステップＳ４４）。

次に、認識部２２が、正常画像を示す学習結果情報と、撮影画像と、を比較することにより、撮影画像が異常画像であるか否かを認識する（ステップＳ４５）。

撮影画像に基づく情報が異常画像である場合（ステップＳ４６、Ｙｅｓ）、第２通信部２１が、当該撮影画像に基づく情報を送信したカメラ１０に、撮影画像を撮影するタイミングを示すタイミング情報、及び、撮影画像のフレームレート等を含む画像記憶要求を送信するとともに（ステップＳ４７）、当該画像認識処理の結果を示す情報を、サービス提供サーバ装置３０又はデータサーバ装置４０等の指定された装置に送信する（ステップＳ４８）。

撮影画像に基づく情報が異常画像でない場合（ステップＳ４６、Ｎｏ）、当該画像認識処理の結果を示す情報を、サービス提供サーバ装置３０又はデータサーバ装置４０等の指定された装置に送信する（ステップＳ４８）。

図１２は実施形態のカメラ１０の撮影画像の記憶方法の例を示すフローチャートである。はじめに、第１通信部１１が、画像認識サーバ装置２０から画像記憶要求を受信する（ステップＳ５１）。画像記憶要求は、撮影画像を撮影するタイミングを示すタイミング情報、及び、撮影画像のフレームレート等を含む。次に、撮影部１２が、第１通信部１１から画像記憶要求を受け付けると、画像記憶要求に含まれるタイミング情報により示されるタイミングで撮影を行うことにより、撮影画像を取得する（ステップＳ５２）。次に、第１記憶部１４が、撮影部１２により取得された撮影画像を記憶する（ステップＳ５３）。

最後に、実施形態のカメラ１０及び画像認識サーバ装置２０のハードウェア構成の例について説明する。

図１３は実施形態のカメラ１０のハードウェア構成の例を示す図である。実施形態のカメラ１０は、撮影光学系２０１、メカシャッタ２０２、モータドライバ２０３、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０４、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路２０５、Ａ／Ｄ変換器２０６、タイミング信号発生器２０７、画像処理回路２０８、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２０９、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１２、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び通信回路２１７を備える。

画像処理回路２０８、ＣＰＵ２１０、ＲＡＭ２１１、ＲＯＭ２１２、ＳＤＲＡＭ２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び通信回路２１７はバス２２０を介して接続されている。

撮影光学系２０１は被写体が反射した光を集光する。メカシャッタ２０２は所定の時間、開くことにより、撮影光学系２０１により集光された光をＣＣＤ２０４に入射させる。モータドライバ２０３は撮影光学系２０１及びメカシャッタ２０２を駆動する。

ＣＣＤ２０４は、メカシャッタ２０２を介して入射した光を被写体の像として結像し、当該被写体の像を示すアナログの画像データをＣＤＳ回路２０５に入力する。ＣＤＳ回路２０５はＣＣＤ２０４からアナログの画像データを受け付けると、当該画像データのノイズ成分を除去し、ノイズ成分が除去されたアナログの画像データをＡ／Ｄ変換器２０６に入力する。Ａ／Ｄ変換器２０６はＣＤＳ回路２０５からアナログの画像データを受け付けると、当該アナログの画像データをデジタルの画像データに変換する。Ａ／Ｄ変換器２０６はデジタルの画像データを画像処理回路２０８に入力する。タイミング信号発生器２０７はＣＰＵ２１０からの制御信号に応じて、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６にタイミング信号を送信することにより、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６が動作するタイミングを制御する。

画像処理回路２０８はＡ／Ｄ変換器２０６からデジタルの画像データを受け付けると、
ＳＤＲＡＭ２１３を使用して、当該デジタルの画像データの画像処理を行う。画像処理は、例えばＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理及び色変換処理等である。ホワイトバランス制御処理は、画像データの色の濃さを調整する画像処理である。コントラスト補正処理は、画像データのコントラストを調整する画像処理である。エッジ強調処理は、画像データのシャープネスを調整する処理である。色変換処理は、画像データの色合いを調整する画像処理である。

画像処理回路２０８は上述の画像処理が行われた画像データをＬＣＤ２０９、又は、圧縮伸張回路２１４に入力する。ＬＣＤ２０９は画像処理回路２０８から受け付けた画像データを表示する液晶ディスプレイである。

ＣＰＵ２１０はプログラムを実行することによりカメラ１０の動作を制御する。ＲＡＭ２１１はＣＰＵ２１０がプログラムを実行するときのワーク領域、及び、各種データの記憶等に使用される読取及び書込が可能な記憶領域である。ＲＯＭ２１２はＣＰＵ２１０により実行されるプログラム等を記憶する読取専用の記憶領域である。

ＳＤＲＡＭ２１３は画像処理回路２０８が画像処理を行うときに、画像処理対象の画像データを一時的に記憶する記憶領域である。

圧縮伸張回路２１４は画像処理回路２０８から画像データを受け付けると、当該画像データを圧縮する。圧縮伸張回路２１４は圧縮された画像データをメモリ２１５に記憶する。また圧縮伸張回路２１４はメモリ２１５から画像データを受け付けると、当該画像データを伸張する。圧縮伸張回路２１４は伸張された画像データをＳＤＲＡＭ２１３に一時的に記憶する。メモリ２１５は圧縮された画像データを記憶する。

操作部２１６はカメラ１０のユーザからの操作を受け付ける。通信回路２１７は、カメラ１０から上述の撮影画像に基づく情報、及び、上述の学習画像に基づく情報等を画像認識サーバ装置２０に送信する。

上述の図２の第１通信部１１は、通信回路２１７に対応する。また上述の生成部１３は、画像処理回路２０８及び圧縮伸張回路２１４に対応する。なお第１通信部１１の一部の機能（ハードウェアとして実現しなければならない通信ＩＦを除く）、及び、生成部１３の両方又は一方をプログラムにより実現してもよい。

実施形態のカメラ１０（ＣＰＵ２１０）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

なお実施形態のカメラ１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態のカメラ１０で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また実施形態のカメラ１０のプログラムを、ＲＯＭ２１２等に予め組み込んで提供するように構成してもよい。

なお実施形態のカメラ１０で実行されるプログラムにより、第１通信部１１及び生成部１３を実現する場合、第１通信部１１及び生成部１３は、ＣＰＵ２１０がＲＯＭ２１２又は上記記憶媒体等からプログラムを読み出して実行することによりＲＡＭ２１１に実現される。

次に実施形態の画像認識サーバ装置２０、サービス提供サーバ装置３０、データサーバ装置４０及び情報処理装置５０のハードウェア構成の例について説明する。画像認識サーバ装置２０、サービス提供サーバ装置３０、データサーバ装置４０及び情報処理装置５０のハードウェア構成は同様なので、画像認識サーバ装置２０の場合を例にして説明する。

図１４は実施形態の画像認識サーバ装置２０のハードウェア構成の例を示す図である。実施形態の画像認識サーバ装置２０は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して互いに接続されている。

制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２はＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置３０３はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や光学ドライブ等である。

表示装置３０４は画像認識サーバ装置２０の状態等を表示する。表示装置３０４は、例えば、液晶ディスプレイである。入力装置３０５は画像認識サーバ装置２０を操作するためのインタフェースである。入力装置３０５は、例えばキーボードやマウス等である。通信装置３０６はネットワークに接続するためのインタフェースである。

実施形態の画像認識サーバ装置２０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

また実施形態の画像認識サーバ装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態の画像認識サーバ装置２０で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また実施形態の画像認識サーバ装置２０のプログラムを、主記憶装置３０２のＲＯＭ等に予め組み込んで提供するように構成してもよい。

実施形態の画像認識サーバ装置２０で実行されるプログラムは、上述した図３の第２通信部２１、認識部２２及び学習部２３を含むモジュール構成となっている。第２通信部２１、認識部２２及び学習部２３は、制御装置３０１が上記記憶媒体からプログラムを読み出して実行することにより、主記憶装置３０２上にロードされる。すなわち第２通信部２１、認識部２２及び学習部２３は主記憶装置３０２上に生成される。なお上述した図３の第２通信部２１、認識部２２及び学習部２３の一部又は全部をソフトウェアにより実現せずに、ＩＣ等のハードウェアにより実現してもよい。

以上説明したように、実施形態の画像認識システム１００では、画像認識サーバ装置２０の第２通信部２１が、カメラ１０を識別するカメラＩＤ（第１識別情報）と、画像認識処理を識別する認識処理ＩＤ（第２識別情報）と、を含む画像認識要求（ＷｅｂＡＰＩの呼び出し）を受信すると、当該カメラＩＤにより識別されるカメラ１０に画像撮影要求を送信することにより、当該カメラＩＤにより識別されるカメラ１０から撮影画像を受信する。そして認識部２２が、受信された撮影画像に、当該認識処理ＩＤにより識別される画像認識処理を行うと、第２通信部２１が、当該認識処理ＩＤにより識別される画像認識処理の結果を示す情報を、指定された装置に送信する。

これにより実施形態の画像認識システム１００によれば、様々な画像認識処理を利用したサービスをより簡易に提供することができる。

例えば交通量を調査するサービスを提供する場合、従来技術では車両の検出等が可能な専用の認識処理を行う高価なカメラ等を用いてシステムを構成する必要があった。このような高価なカメラは、毎回、場所を変えて行う交通量調査には盗難のリスク等から使用することができなかった。

しかしながら実施形態の画像認識システム１００を適用すれば、標準化した安価な通信機能を有するカメラ１０を交通量の計測地点に置くことにより、交通量を調査するサービスを提供することができる。すなわちサービス提供サーバ装置３０から、当該カメラＩＤと、車両を認識する画像認識処理を識別する認識処理ＩＤと、を含む画像認識要求（ＷｅｂＡＰＩの呼び出し）を画像認識サーバ装置２０に送信することにより車両の台数をより簡易に計測できる。

例えばサービス提供サーバ装置３０から、５秒おきに当該画像認識要求（ＷｅｂＡＰＩの呼び出し）を送信するように設定し、当該画像認識処理の結果を示す情報をデータサーバ装置４０に送信するように設定すれば、交通量を調査する統計アプリケーション（統計サービス）を容易に実現できる。また画像認識要求に含まれる認識処理ＩＤを変えることにより、計測地点に設置されたカメラ１０を、容易に別のサービスに利用することもできる。

なお上述の説明では、第２記憶部２４が学習結果情報を環境情報に関連付けて記憶し、認識部２２が、撮影時刻及び季節等を示す環境情報を特定する学習結果識別ＩＤ（特定情報）に応じて学習結果情報を読み出す場合について説明した。しかしながら撮影時刻及び季節等を示す環境情報を、学習結果情報の特徴量の次元として含ませることにより、認識部２２が同一の学習結果情報を用いて画像認識処理を行ってもよい。

１０ カメラ
１１ 第１通信部
１２ 撮影部
１３ 生成部
１４ 第１記憶部
２０ 画像認識サーバ装置
２１ 第２通信部
２２ 認識部
２３ 学習部
２４ 第２記憶部
３０ サービス提供サーバ装置
４０ データサーバ装置
５０ 情報処理装置
１００ 画像認識システム

特開２０１１−９０３４８号公報 特開２００１−８８９１２号公報 特許第４０６１８２１号公報

Claims (12)

1. 少なくとも１つのカメラと、サーバ装置と、を含む画像認識システムであって、
   前記カメラは、
   撮影画像を取得する撮影部と、
   前記撮影画像を前記サーバ装置に送信する第１通信部と、
   前記撮影画像を記憶する第１記憶部と、を備え、
   前記サーバ装置は、
   前記カメラを識別する第１識別情報と、画像認識処理を識別する第２識別情報と、を含む画像認識要求を受信すると、前記第１識別情報により識別される前記カメラに画像撮影要求を送信することにより、前記第１識別情報により識別される前記カメラから前記撮影画像を受信する第２通信部と、
   受信された前記撮影画像に、前記第２識別情報により識別される画像認識処理を行う認識部と、
   複数の前記撮影画像を含む学習画像を使用して、前記撮影画像が正常画像であることを特定する学習結果情報を取得する学習部と、を備え、
   前記認識部は、前記学習結果情報と、前記撮影画像と、を比較することにより、前記撮影画像が異常画像であるか否かを認識し、
   前記第２通信部は、前記第２識別情報により識別される画像認識処理の結果を示す情報を、指定された装置に送信し、前記認識部が前記異常画像を認識したときに、前記異常画像として検出された前記撮影画像を撮影したカメラに画像記憶要求を送信し、
   前記異常画像として検出された前記撮影画像を撮影したカメラは、前記第１通信部が前記画像記憶要求を受信すると、前記撮影画像を前記第１記憶部に記憶する、
   画像認識システム。
2. 前記画像撮影要求は、前記第２識別情報を含み、
   前記カメラは、前記第２識別情報に応じて前記撮影画像のデータ形式を変更することにより、前記撮影画像に基づく情報を生成する生成部を更に備え、
   前記第１通信部は、前記撮影画像に基づく情報を前記サーバ装置に送信し、
   前記認識部は、受信された前記撮影画像に基づく情報に、前記第２識別情報により識別される画像認識処理を行う、
   請求項１に記載の画像認識システム。
3. 前記生成部は、送信対象とする前記撮影画像の領域、前記撮影画像の諧調、前記撮影画像の解像度、前記撮影画像のフレーム数、及び、前記撮影画像の圧縮率のうち、少なくともいずれか１つを前記第２識別情報に応じて変更することにより、前記撮影画像に基づく情報を生成する、
   請求項２に記載の画像認識システム。
4. 前記生成部は、前記撮影画像から前記第２識別情報に応じた特徴量を抽出することにより、前記撮影画像に基づく情報を生成する、
   請求項２又は３に記載の画像認識システム。
5. 前記画像認識処理の結果を示す情報は、前記撮影画像に含まれる個人情報を特定できる情報を含まない、
   請求項１乃至４のいずれか１項に記載の画像認識システム。
6. 前記画像認識要求は、前記撮影画像を撮影するタイミングを示すタイミング情報を更に含み、
   前記撮影部は、前記タイミング情報により示されるタイミングで、前記撮影画像を取得する、
   請求項１乃至５のいずれか１項に記載の画像認識システム。
7. 前記第２通信部は、前記第１識別情報を含む学習要求を受信すると、前記第１識別情報により識別される前記カメラに学習画像撮影要求を送信し、
   前記第１識別情報により識別されるカメラの前記撮影部は、前記第１通信部が前記学習画像撮影要求を受信したときに、複数の前記撮影画像を撮影し、
   前記第１識別情報により識別されるカメラの前記第１通信部は、撮影された前記複数の撮影画像を、前記学習画像として前記サーバ装置に送信する、
   請求項１に記載の画像認識システム。
8. 前記サーバ装置は、
   前記学習画像が取得されたときの前記カメラの周囲の環境を示す環境情報と、前記学習画像と、前記学習結果情報と、を関連付けて記憶する第２記憶部を更に備え、
   前記画像認識要求は、前記環境情報を特定する特定情報を更に含み、
   前記認識部は、前記画像認識要求に含まれる前記特定情報により特定される前記環境情報に関連付けられた前記学習結果情報と、前記撮影画像と、を比較することにより、前記撮影画像が異常画像であるか否かを認識する、
   請求項１又は７に記載の画像認識システム。
9. 前記学習部は、前記学習画像として使用される複数の前記撮影画像に、所定のノイズを付加してから、前記正常画像の学習を行う、
   請求項１、７又は８に記載の画像認識システム。
10. 前記認識部は、前記学習結果情報の輝度のヒストグラムと、前記撮影画像の輝度のヒストグラムと、を比較することにより、前記撮影画像が異常画像であるか否かを認識する、
    請求項１、又は７乃至９のいずれか１項に記載の画像認識システム。
11. 少なくとも１つのカメラと接続されたサーバ装置であって、
    前記カメラを識別する第１識別情報と、画像認識処理を識別する第２識別情報と、を含む画像認識要求を受信すると、前記第１識別情報により識別される前記カメラに画像撮影要求を送信することにより、前記第１識別情報により識別される前記カメラから撮影画像を受信する通信部と、
    受信された前記撮影画像に、前記第２識別情報により識別される画像認識処理を行う認識部と、
    複数の前記撮影画像を含む学習画像を使用して、前記撮影画像が正常画像であることを特定する学習結果情報を取得する学習部と、を備え、
    前記認識部は、前記学習結果情報と、前記撮影画像と、を比較することにより、前記撮影画像が異常画像であるか否かを認識し、
    前記通信部は、前記第２識別情報により識別される画像認識処理の結果を示す情報を、指定された装置に送信し、前記認識部が前記異常画像を認識したときに、前記異常画像として検出された前記撮影画像を撮影したカメラに画像記憶要求を送信する、
    サーバ装置。
12. 少なくとも１つのカメラと、サーバ装置と、を含む画像認識システムの画像認識方法であって、
    サーバ装置が、前記カメラを識別する第１識別情報と、画像認識処理を識別する第２識別情報と、を含む画像認識要求を受信するステップと、
    サーバ装置が、前記第１識別情報により識別される前記カメラに画像撮影要求を送信するステップと、
    サーバ装置が、前記第１識別情報により識別される前記カメラから撮影画像を受信するステップと、
    サーバ装置が、受信された前記撮影画像に、前記第２識別情報により識別される画像認識処理を行うステップと、
    サーバ装置が、複数の前記撮影画像を含む学習画像を使用して、前記撮影画像が正常画像であることを特定する学習結果情報を取得するステップと、
    サーバ装置が、前記学習結果情報と、前記撮影画像と、を比較することにより、前記撮影画像が異常画像であるか否かを認識するステップと、
    サーバ装置が、前記第２識別情報により識別される画像認識処理の結果を示す情報を、指定された装置に送信するステップと、
    サーバ装置が、前記異常画像を認識したときに、前記異常画像として検出された前記撮影画像を撮影したカメラに画像記憶要求を送信するステップと、
    前記異常画像として検出された前記撮影画像を撮影したカメラが、前記画像記憶要求を受信すると、前記撮影画像を記憶するステップと、
    を含む画像認識方法。

Images