JP6471934B2 - 画像認識方法、カメラシステム - Google Patents

Description

本発明は、画像認識の技術分野に属する。

画像認識では、認識対象になるべき画像を解析することで、当該画像中の被写体を特徴付けるパターンを抽出し、抽出したパターンが、既存の学習で得られたサンプル集合と同一集合群に分類されるかどうかを判断する。カメラ装置によって捉えられる被写体を認識する技術としては、機械学習を利用した顔検出技術や顔識別技術、ナンバープレート識別技術などがあげられる。

例えば、顔検出技術や顔識別技術ではカメラ装置より得られた画像を検出器関数へ入力し、その中に顔が含まれているかいないかを判断する。このような検出器関数の利用にあたっては、検出器関数を使用する前に、機械学習によって検出器関数の訓練を行うことが一般的である。

特許第５１９７７３７号 特開２０１３-３７５１号 特許第４１５７３２２号

施設や郊外の複数の箇所のそれぞれにカメラ装置が設置され、各カメラ装置が同一人物の歩行を捉えた場合、従来の検出器関数を用いたパターン認識では、各画像に表れた人物を全く別々の被写体であると、判断結果を下してしまうケースが少なからず存在する。それは、検出器関数によるパターン認識では、認識の成否が、カメラの仰角・方位角や周囲の明るさに左右されることが多く、これらが違えば、認識結果は全く異なるものになるからである。

そこで、検出器関数によるパターン認識にあたっては、カメラ装置の設置場所や画像認識の用途に応じた追加学習を行うことが一般的である。しかし、かかる追加学習には、ある程度の学習期間が必要になるから、その学習がなされている間、画像認識は、充分な機能を発揮し得ない。
画像認識が防犯等の用途で使用されている場合、パターン認識が充分な機能を発揮し得ない状況になることは、決して許容されるものではない。パターン認識が防犯等の用途で使用されている場合等では、追加学習のための訓練期間の短縮が強く要請される。しかし、従来の画像認識技術には、かかる要請に応えることができる認識方法は存在しない。

本発明の目的は、同じ被写体が複数のカメラ装置で撮像された場合に、各カメラ装置で撮像された画像に対する画像認識結果の同一性を維持することができる画像認識方法、カメラ装置を提供することである。

上記課題は、複数のカメラ装置を含むカメラシステムにおける画像認識方法であって、前記複数のカメラ装置の中の第１カメラ装置から、当該第１カメラ装置により撮像された第１画像及び前記第１画像を撮像した際の前記第１カメラ装置の第１撮像環境を示す第１撮像環境情報を前記第１カメラ装置から取得し、
前記複数のカメラ装置の中の各カメラ装置が過去に画像を撮像した際の各撮像環境を示す撮像環境情報と、前記各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを管理するパラメータテーブルを用いて、各認識制御パラメータの中から、前記第１カメラ装置から取得された第１撮像環境情報に示される第１撮像環境と同一又は類似の撮像環境に対応する第１検出器関数を示す第１認識制御パラメータを選択し、
前記選択された第１認識制御パラメータで示された第１検出器関数を用いて前記第１カメラ装置から取得した第１画像を認識するものにより解決される。

撮像環境に適合した認識制御パラメータの選択に、パラメータテーブルを用いるから、それまでのシステム運用で培われた様々な認識制御パラメータを、新たに得られた画像の認識に利用することができる。既存の認識制御パラメータ利用により、認識制御パラメータの学習は必要最低限のものになるから、認識制御パラメータの学習のため、システムがその能力を充分に発揮しえない空白期間は短くなる。これにより、防犯等の公共性が高い分野での、画像認識の利用が促進される。

カメラシステムの構成を示す。 実施の形態１におけるカメラシステムの全体構成を示した概略図である。 特定パターン認識装置１１０の内部構成を示した図である。 パラメータテーブル記憶部１３０で保持されるパラメータテーブルの一例を表した図である。 図５（ａ）は図１のカメラシステムにおけるカメラ１１により撮像された画像の一例を示す。 図５（ｂ）は図１のカメラシステムにおけるカメラ１２により撮像された画像の一例を示す。 図５（ｃ）は図１のカメラシステムにおけるカメラ１３により撮像された画像の一例を示す。 図６（ａ）は、任意のカメラ装置により撮像がなされた場合における、照明方向の取得の過程の一例を示す。図６（ｂ）は、任意のカメラ装置により撮像がなされた場合における、オブジェクトサイズの取得の過程の一例を示す。図６（ｃ）は、任意のカメラ装置により撮像がなされた場合におけるオブジェクトの向きの取得の過程の一例を示す。 図７（ａ）は、屈折率変化を示す変化曲線の一例を示す。図７（ｂ）は、レンズ揺れ情報が対象としている３次元座標系を示す。 検出器関数の内部構成と、この検出器関数の構成要件に対する処理の過程とを示す図である。 実例空間Xの一例である二次元特徴ベクトル空間を示す。 追加学習による決定境界の変化を示す。 特徴ベクトルの部分集合化(クラスタリング)を示す。 パラメータ管理装置１４０の内部構成を示した図である。 カメラ装置に対する認識制御パラメータの設定時において、端末装置のユーザに提示される対話画面を示す。 撮像画像を対象にした画像識別手順を示すフローチャートである。 パラメータ管理装置１４０による認識制御パラメータの取得手順の一例を示したフローチャートである。 追加学習の処理手順の一例を示したフローチャートである。 実施の形態２における特定パターン認識装置１１０の構成図である。 カメラ設定を伴った画像認識の全体手順を示すフローチャートである。 カメラ設定の算出手順を示すフローチャートである。 照明方向の計算及び特徴空間へのマッピング手順の一例を示すフローチャートである。 実施の形態３におけるパラメータ管理装置１４０の構成図である。 部分集合化関数を用いた部分集合化の処理手順の一例を示すフローチャートである。 個人の特徴ベクトルに対応付ける形で管理されている複数のパラメータテーブルを示す。 図２３のパラメータテーブルの検索により得られた撮影環境をユーザに提示するための対話画面の一例を示す。 認識制御パラメータにおける小分類を示す図である。

(実施形態の序章)
画像認識によるパターン認識機能を具備したカメラシステムの実施化にあたって、発明者らは以下の考察をおこなった。検出器関数に対して訓練データを与えて学習を行うことは公知の技術である。このような顔の学習では一般環境条件を仮定し、一般環境条件下における顔モデルと非顔モデルのサンプル集合を訓練データとして定めると、学習によって得られる検出器関数は一般環境条件において十分な性能を満たすものとなる。しかしながら、仮定した環境条件やサンプル集合が実際の撮像環境と大きく異なる場合には環境および目標の変化により、検出器関数が所望の性能を満たさないことが十分に考えられる。例えば、大幅な光線照射の変化は顔のモデルを大きく改変し、一般環境条件下における顔モデルから大きく逸脱したモデルとなってしまう。また、訓練データとして定めたサンプル集合と同様の対象モデルが写るようにカメラ装置を設置しなければ、所望の性能が得られないことは言うまでもない。

このような、実際にカメラ装置から得た映像と、仮定した一般環境条件やサンプル集合との差異による影響を低減し、ロバスト性を高める方法としては、二つの解決策がある。
一つは、カメラ装置の設置環境を最適化し、学習時に仮定した一般環境条件と同等の環境条件を再現する方法である。専用のカメラ装置を設置し、特定パターンを識別する際にはこの対策を行うことが一般的である。

二つ目は、追加で機械学習を行い、仮定した一般環境条件ではなく現状の環境条件に合わせて、顔の検出器関数や顔の特徴量などの認識制御パラメータを最適化していくことである。この方法では、変動へのロバスト性を維持しつつ追加学習を行うことによって特定の目標物や撮像条件に特化した認識制御パラメータを生成し、識別性能を向上させることが期待できる。例えば、カメラ装置の設置環境条件におけるサンプル集合の不足分を追加学習で補い、検出器関数のロバスト性を向上させる手法としては特許文献１が提案されている。

また、近年ではネットワーク経由で動的にアプリケーションを追加することができるカメラ装置が発売され始めている。この仕組みを利用して、遠隔地から特定のパターンを認識するアプリケーションを追加した場合には、カメラ装置の設置環境をその場で確認、変更することが出来ない場合が多く、仮定した一般環境条件と実際の撮像環境との差異を前記一つ目の解決策によって人手で改善することは困難である。

同様に、多数のカメラ装置を利用した大規模なカメラシステムでは個々のカメラ装置をそれぞれ一般環境条件に合わせて最適に設置していくことは困難であり、前記一つ目の解決策に比べて、前記二つ目の解決策が有望であることは容易に判断が出来る。
しかしながら、前記のように追加学習を行う従来の構成では、撮像環境が刻々と変化するため、常に追加学習を行わなければならない。このため、追加学習の手法によっては過大な負荷がかかることが想定され、学習に多くの時間を費やしてしまうことが問題となっている。

特に、複数のカメラ装置を用いて追加学習を行う際には追加学習を個々のカメラ装置毎に行うこととなり、カメラ装置の数と同じ数の学習装置が必要となる。このため、カメラシステムが追加学習の仕組みを導入することによってカメラシステム全体がさらに大規模化してしまうことも問題である。また、複数のカメラ装置を利用する場合には装置毎に追加学習の訓練データが異なってくることから、同様の撮像環境でも学習結果が異なることも考えられる。

特許文献２では、カメラ装置毎に環境毎の認識制御パラメータを計算してテーブルを作成し、撮像環境の変化に対応した特定パターンの認識を行っているが、複数のカメラ装置間で計算した認識制御パラメータを共有することが出来ないため、前記従来の構成ではカメラ装置毎に認識制御パラメータを計算しなければならず、カメラ装置の数が増えるほど認識制御パラメータの計算回数が増えることや、追加学習によってパターン認識システム全体がさらに大規模化してしまう問題を解決することは出来ない。

これに対して、特許文献３では、端末から得た情報を元に認識制御パラメータを決定し、同様のグループとして設定した端末に対して同じ認識制御パラメータを適用する仕組みを提案しているため、端末毎に学習をしなくても問題は無い。しかしながら、前記の手法では学習器の数を削減することは出来るが、過去の認識制御パラメータの管理を行っていないため、端末から情報を得るたびに常に認識制御パラメータの計算を行わなければならない点が課題である。

本願は、上記課題を解決することができる画像認識方法、カメラシステムの様々な態様を含む。かかる複数の態様は、以下の１．、２．、３．・・・という技術的思想の体系を形成する。
（１．基本的態様）
１．は、技術的思想の体系の根幹であり、それは、前記複数のカメラ装置の中の第１カメラ装置から、当該第１カメラ装置により撮像された第１画像及び前記第１画像を撮像した際の前記第１カメラ装置の第１撮像環境を示す第１撮像環境情報を前記第１カメラ装置から取得し、
前記複数のカメラ装置の中の各カメラ装置が過去に画像を撮像した際の各撮像環境を示す撮像環境情報と、前記各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを管理するパラメータテーブルを用いて、各認識制御パラメータの中から、前記第１カメラ装置から取得された第１撮像環境情報に示される第１撮像環境と同一又は類似の撮像環境に対応する第１検出器関数を示す第１認識制御パラメータを選択し、
前記選択された第１認識制御パラメータで示された第１検出器関数を用いて前記第１カメラ装置から取得した第１画像を認識するという態様の画像認識方法である。

本態様によれば、カメラ装置の設置された撮像環境に対応する認識制御パラメータを、パラメータテーブルから選択して利用し、仮定した一般環境条件との差異による影響を抑えて特定パターンの認識を行うことが出来る。これにより、個々のカメラ装置の設置環境を人手で調整することや、機械学習によって常に認識制御パラメータの計算をすることなく識別性能を向上させることが出来る。

(２．画像認識の下位概念化)
画像認識については、以下の下位概念化が可能である。その下位概念化とは、前記第１画像の認識は、前記第１画像から抽出された前記第１画像の特徴ベクトルを示すパターン情報に対して、前記選択された第１認識制御パラメータに示される第１検出器関数を用いて行われるというものである。第１画像から抽出された特徴ベクトルに対して第１検出器関数を適用することで、第１画像に所望の対象物が表れているかどうかの検出を行うから、画像認識の精度を向上させることができる。

(３．撮像環境が変動した際の処理)
画像認識方法については、撮像環境が変動した際の処理を追加することができる。その撮像環境が変化した際の処理とは、第１カメラ装置で撮像した第２画像及び前記第２画像を撮像した際の前記第１カメラ装置の第２撮像環境を示す第２撮像環境情報を前記第１カメラ装置から取得し、
前記第１環境情報と前記第２環境情報とが異なる場合、前記パラメータテーブルを用いて、第２撮像環境情報に示される第２撮像環境と同一又は類似の撮像環境に対応する第２検出器関数を示す第２認識制御パラメータを選択し、
前記選択された第２認識制御パラメータで示された第２検出器関数を用いて前記第１カメラ装置から取得した第２画像を認識するというものである。同じカメラで異なる撮像環境が撮像された場合、その異なる撮像環境に対応する第２検出器関数が選択されるから、画像認識の精度を高めることができる。

(４．対応する認識制御パラメータが存在しない場合の処理)
画像認識方法については、対応する認識制御パラメータが存在しない場合の処理を追加することができる。その認識制御パラメータが存在しない場合の処理とは、前記パラメータテーブルの中に前記第１画像の撮像時の第１撮像環境と同一又は類似の撮像環境に対応する第１検出器関数を示す第１認識制御パラメータが存在しない場合、更に、所定の学習アルゴリズムを用いて前記第１認識制御パラメータを生成し、前記生成された第１認識制御パラメータを用いて前記パラメータテーブルを更新するというものである。

認識制御パラメータの生成は、パラメータテーブルに、対応する撮像環境情報が存在しない場合に限られるから、認識制御パラメータ生成は必要最低限に抑制される。パラメータ生成の回数が少なくなるので、システムの負荷を低減することができる。
(５．第２認識制御パラメータが存在しない場合の処理)
画像認識方法については対応する認識制御パラメータが存在しない場合の処理を追加することができる。その認識制御パラメータが存在しない場合の処理とは前記第１撮像環境とは異なる第２撮像環境で第１カメラ装置が第２画像を撮像した場合、前記画像認識方法は、第２画像及び前記第２画像を撮像した際の前記第１カメラ装置の第２撮像環境を示す第２撮像環境情報を前記第１カメラ装置から取得し、前記パラメータテーブルを用いて、第２撮像環境と同一又は類似の撮像環境に対応する第２検出器関数を示す第２認識制御パラメータをサーチし、
前記パラメータテーブルの中に前記第２認識制御パラメータが存在しない場合、所定の学習アルゴリズムを用いて前記第２認識制御パラメータを生成し、前記生成された第２認識制御パラメータを用いて前記パラメータテーブルを更新するというものである。

認識制御パラメータの生成は、パラメータテーブルに、撮像環境が変化した後の撮像環境情報が存在しない場合に限られるから、認識制御パラメータ生成は必要最低限に抑制される。パラメータ生成の回数が少なくなるので、システムの負荷を低減することができる。
(６．第１カメラに対する処理)
前記画像認識方法については、カメラに対する処理を追加することができる。その処理とは、前記第１認識制御パラメータが前記第１撮像環境と同一ではなく類似の撮像環境に対応する第１検出器関数を示す場合、更に、前記類似の撮像環境で画像の撮像をさせるために前記第１カメラ装置の設定を変更する指示を前記第１カメラ装置に送信し、
前記第１カメラ装置から、前記類似環境で撮像された第３画像を取得し、
前記第１認識制御パラメータで示された第１検出器関数を用いて前記第１カメラ装置から取得した第３画像を認識するというものである。第１認識制御パラメータが前記第１撮像環境と同一ではなく類似の撮像環境に対応している場合、カメラの撮影環境を当該類似の撮影環境に変更して、以降の撮像で得た画像の認識に用いるから、同じ撮像環境そのものがみつからなくても、認識制御パラメータに示される検出器関数を基として相応の認識精度を維持することができる。

(７．類似度の導入)
認識制御パラメータを選択するにあたっては、類似度を導入することができる。類似度を基礎にした認識制御パラメータの選択とは、前記第１撮像環境を示す撮像環境情報と、前記パラメータテーブルに管理されている前記各撮像環境を示す撮像環境情報との差分から類似度を算出し、
当該類似度が所定の閾値を上回る類似度を持つ撮像環境を示す撮像環境情報が前記パラメータテーブルに複数存在する場合、最も類似度が高い撮像環境に対応する検出器関数を示す認識制御パラメータを、前記第１認識制御パラメータとして選択するというものである。認識制御パラメータの差分から算出された類似度を認識制御パラメータ選択の基礎とするから、認識制御パラメータの選択が適切になる。

（８．認識制御パラメータ生成の基礎となるパラメータ選択）
認識制御パラメータ生成にあたっては、既存の認識制御パラメータを基礎にすることができる。既存の認識制御パラメータを基礎にした認識制御パラメータ生成とは、前記第１画像の撮像時の撮像環境を示す第１撮像環境情報と、前記パラメータテーブルに管理されている前記各撮像環境を示す撮像環境情報との差分から類似度を算出し、
当該類似度が所定の閾値を上回る類似度を持つ撮像環境を示す撮像環境情報が前記パラメータテーブルに存在しない場合、当該類似度が所定の閾値を下回る類似度の中で最も類似度が高い撮像環境に対応する検出器関数を示す第３認識制御パラメータを選択し、前記生成された第３認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて、新たに取得した画像の認識に用いる認識制御パラメータを生成するというものである。

パラメータテーブルに示される既存の認識制御パラメータのうち、最も類似度が高いものを、新たな認識制御パラメータ生成の基礎にするから、学習アルゴリズムによる学習が収束するまでの期間を短縮することができる。
(９．認識制御パラメータ生成の基礎となる特徴ベクトルの選択)
認識制御パラメータ生成の基礎となる特徴ベクトルを選択することができる。その選択が行える画像認識方法の態様とは、前記所定の学習アルゴリズムを用いて前記第１認識制御パラメータを生成する際、前記第１画像、及び前記第１撮像環境情報に示される第１撮像環境と同一の撮像環境下で前記第１カメラ装置と異なる第２カメラ装置で撮像された第２画像から抽出された特徴ベクトルを基礎として用いるというものである。

同一の撮像環境の他のカメラで撮像された画像を、認識制御パラメータ生成の基礎とするから、カメラ装置で撮像された画像の認識に適合した認識制御パラメータを容易に得ることができる。
(１０．撮像環境情報の分類)
前記パラメータテーブルでは、複数の認識制御パラメータを分類して管理することができる。その分類とは、前記各カメラ装置が過去に撮像した各画像の特徴ベクトル、又は 前記各カメラ装置が過去に撮像した際に検知された撮像環境を示す情報に基づいて前記各撮像環境を示す撮像環境情報を分類し、
前記分類された前記各撮像環境を示す撮像環境情報に対応させて前記各検出器関数を示す各認識制御パラメータを前記パラメータテーブル上で管理させるというものである。複数の認識制御パラメータは、パラメータテーブル上で、特徴ベクトル、又は、撮像環境情報自身に従い分類されているから、画像の認識にあたって、その画像に適合した認識制御パラメータを選ぶことができる。

(１１．撮像環境情報の下位概念化)
撮像環境情報については、撮像に関する具体的な情報を用いて具体化することができる。その具体化とは、前記検知された撮像環境を示す情報は、前記各カメラ装置が過去に撮像した際の周辺照度を表す情報、前記各カメラ装置の照明方向を表す情報、前記各カメラ装置に取り付けられた各レンズに起因する歪 を表す情報、前記各カメラの揺れに起因する前記各画像の揺れを表す情報、前記各画像における対象オブジェクトのサイズを表す情報、前記各画像における対象オブジェクトの向きを表す情報、のいずれかを含むというものである。撮像環境情報に含まれる情報要素により、カメラ装置の状態の詳細が把握されるから、認識制御パラメータの選択が確からしいものとなる。
(１２．カメラシステムとしての局面)
上記目的は、画像認識方法と同様の構成要件を具備した一個のカメラシステムにより達成することができる。それは、複数のカメラ装置を含むカメラシステムであって、前記複数のカメラ装置の中の第１カメラ装置で第１画像が撮像された場合、前記第１画像及び前記第１画像を撮像した際の前記第１カメラ装置の第１撮像環境を示す第１撮像環境情報を前記第１カメラ装置から取得する取得手段と、前記複数のカメラ装置の中の各カメラ装置が過去に画像を撮像した際の各撮像環境を示す撮像環境情報と、前記各撮像環境を示す撮像環境情報に対応する各検出器関数を示す各認識制御パラメータとを管理するパラメータテーブルを用いて、前記第１カメラ装置から取得した第１画像の撮像時における第１撮像環境情報に示される第１撮像環境と同一又は類似の撮像環境に対応する第１検出器関数を示す第１認識制御パラメータを選択する選択手段と、前記選択された第１認識制御パラメータで示された第１検出器関数を用いて前記第１カメラ装置から取得した第１画像を認識する認識手段とを備えたカメラシステムである。

このカメラシステムでは、撮像を行ったカメラ装置は違ったとしても、同一又は類似の撮像環境で撮像された画像については、同じ認識制御パラメータを画像認識に使用するので、認識される被写体の同一性を高い水準に維持することができる。 かかる撮像環境のサーチには、追加学習を必要としないか、また、追加学習に要する期間を短縮するから、画像認識が機能不全になる期間を最小化することができる。

なお、本発明は、識別対象となる特定パターンを限定せず、様々な特定パターンの識別（個人認証、顔検出、人物検出、車検出、バイク検出、移動体検出、文字認識、物体認識、ナンバープレート認識、シーン分類、ジェスチャー認識など）に対して適応が可能であるが、本実施の形態については顔検出を用いた場合を例として説明する。また、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップの順序などは、一例であり、本発明を限定する趣旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については任意の構成要素として説明される。

（実施の形態１）
以下、本発明の実施の形態について図面を参照しながら説明する。実施の形態１が前提としているカメラシステムについて説明する。ここでカメラシステムは、カメラ装置と接続されたコンピュータシステムを指し、1つ以上のコンピュータから構成されれば足りる。例えば、クラウドサーバが端末に対してゲストOSを起動し、かかるゲストOS上で起動したアプリケーションにより情報提供を行うクラウドコンピュータシステムのほか、クライアントからの要求に応じて、サーバが情報提供を行うクライアント−サーバシステム、コンピュータ同士がピアツーピア接続を行うコンピュータシステム、コンピュータがグリッドとして機能し、分散処理を行うグリッドコンピュータシステムを広く含む。実施の形態１におけるカメラシステムの構成の一例を図１に示す。図１におけるカメラシステムは、データ提供センター１０１、データ運営センター１０２を含み、ビルのエントランス、駅のホーム、コンビニエンストアの出入口に設置されているカメラ１１、１２、１３、１４により撮像された画像を処理する。図１のin1,in2,in3,in4は、カメラ１１、１２、１３、１４で撮像された画像のカメラシステムへの供給を示す。

データ提供センター１０１は、ユーザの窓口となるサービスプロバイダネットワークであり、社内のイントラネットワークと、このイントラネットワーク内のコンピュータに対して、様々な機能を提供するサーバ(画像サーバ１、照会サーバ２、アプリケーション提供サーバ(APS)３)から構成される。カメラ１１、１２、１３、１４により撮像された画像は画像サーバに蓄積される。 データ運営センター１０２は、クラウドネットワークにより構成される。クラウドネットワークは、integrated Elastic Cloud Computing(iEC2)アーキテクチャ等の採用によりデータ提供センターにおけるサービスプロバイダネットワークと一体的に扱われる仮想ローカルエリアネットワーク(VLAN)であり、1つ以上のクラウドサーバ４と、クラウドネットワークにおいて要求元ノード(カスタマープライベートネットワークにおける要求元)として機能する論理カスタマエッジ５と、クラウドサーバ間の相互接続のためのスイッチ群６と、クラウドサーバにおけるインスタンスの所在、及び、クラウドサーバと接続するスイッチの所在を、要求元ノード−要求先ノードのIPアドレス及びMACアドレスの組みに対応付けて管理するディレクトリサーバ７とから構成される。パターン認識の観点から、図１のハードウェア構成のシステムを機能的に表現すると、当該システムは、図２の概略図のように表現される。

図２は、実施の形態１におけるカメラシステムの全体構成を示した概略図である。図２において、カメラシステムは、複数の特定パターン認識装置１１１〜１１４と、認識制御パラメータ計算部１２１、１２２と、パラメータテーブル記憶部１３０と、パラメータ管理装置１４０と、端末装置１５１、１５２、１５３、１５４で構成される。
特定パターン認識装置１１１〜１１４は、複数の場所に設置された2以上の撮像部を含み、それぞれが、撮像画像に表れた特定パターンの認識を行う。特定パターン認識装置１１１〜１１４には複数の場所に設置された2以上の撮像部が含まれるが、簡略化のため、特定パターン認識装置１１１〜１１４に含まれる撮像部は1つであり、一個の特定パターン認識装置が、一個のカメラ装置を構成するものとして説明を進める。また、認識の対象となるパターンは、撮像画像における顔部分の画像であるとして説明を行う。

認識制御パラメータ計算部１２１、１２２は、認識制御パラメータの計算を行う。本実施の形態では、認識の具体例として顔の検出を採用することにしている。そこで本実施形態の認識制御パラメータは、人物像における検出器関数を示すものとする。検出器関数は、強分類器を主たる構成としている。よって本実施形態の認識制御パラメータは、検出器関数の主たる構成要件である強分類器そのもの、強分類器を規定する数値データ、又は、当該強分類器へのリンク、特徴空間におけるサンプル分布を遷移させるための数値等を広く包含する。認識制御パラメータ計算部１２１、１２２による認識制御パラメータの計算は、オフライン学習の新規学習時において、新たな検出器関数が算出された場合、オンライン学習の追加学習時において、検出器関数が再計算された場合になされる。認識制御パラメータの再計算が必要でない場合には認識制御パラメータ計算部１２１、１２２は省略される。また、再計算を行う場合には、認識制御パラメータ計算部は１つでもよいが、複数の認識制御パラメータ計算部を構成要素に含むことで、同時に複数の認識制御パラメータを再計算することができる。

パラメータテーブル記憶部１３０は、撮像環境を表す撮像環境パラメータと、識別の実行に利用する認識制御パラメータとを対応付けて保持する。
パラメータ管理部１４０は、パラメータテーブル記憶部１３０の管理を行う構成要件である。パラメータテーブル記憶部１３０の管理は、認識識別パラメーの取得、新たな認識制御パラメータの登録、認識識別パラメーの削除などの操作を含む。

端末装置１５１、１５２、１５３、１５４は、スマートフォン、タブレット端末であり、カメラ装置の設定や管理のための様々な操作をシステム管理者から受け付ける。
以上がカメラシステムの概略構成についての説明である。続いて、認識制御パラメータ計算部１２１、１２２による処理の詳細について説明する。
認識制御パラメータ計算部１２１、１２２が追加学習を行う際の初期値について説明する。追加学習を行うにあたって、追加学習の初期値としては、パラメータ管理装置１４０によって最も類似度の高い撮像環境の認識制御パラメータが選ばれる。学習途中で撮像環境が変化してしまった場合には、学習途中の認識制御パラメータをパラメータテーブル記憶部１３０に保存しておく。そして撮像環境が再度変化し、学習途中となっていた撮像環境と同じ撮像環境パラメータとなった際、パラメータ管理装置１４０によって、パラメータテーブル記憶部１３０に保存された学習途中の認識制御パラメータを取得し、追加学習の初期値とする。途中から追加学習を開始することで、新規に追加学習を行うよりも学習時間を削減することが出来る。

訓練データの取得について説明する。同じ撮像環境パラメータの複数の特定パターン認識装置１１１〜１１４の何れかが学習中となった場合には複数の特定パターン認識装置１１１〜１１４の撮像映像を訓練データとして与えて追加学習を行うことで、学習のサンプルを増やし、学習を早く終わらせることも出来る。
追加学習による検出器関数の再計算について説明する。検出器関数の再計算では、オンラインAdaBoostなど、既知の学習手法を取り入れるものとする。追加学習による認識制御パラメータの再計算については特許文献１が詳細に説明しているため、ここでは説明を割愛する。また、追加学習を行った場合には、学習が完了したかどうかの判断が必要になるが、例えば、一定時間学習結果の変化が無く、結果が収束したと判断できる場合には学習完了とみなすことができる。以上が、認識制御パラメータ計算部１２１、１２２による再計算の内容である。

図１のデータ提供センター１０１、データ運営センター１０２におけるコンピュータと、図２の機能ブロックとの対応関係には様々なものがある。その対応関係の一例としては以下のものがある。それは、特定パターン認識装置１１１〜１１４は、カメラ１１〜１４に該当し、認識制御パラメータ計算部１２１、１２２、パラメータテーブル記憶部１３０、パラメータ管理装置１４０は、サービスプロバイダネットワークに存在する画像サーバ１、照会サーバ２、APS３、クラウドサーバ４の何れかに対応するというものである。

これらの画像サーバ１、照会サーバ２、APS３、クラウドサーバ４は、MPU、ROM、RAM、通信インターフェイスから構成される典型的なコンピュータであり、画像サーバ１、照会サーバ２は、自身のオペレーティングシステム上でアプリケーションを起動して、所定の機能を実行する。クラウドサーバ４は、ハイパーバイザからの指示により、オペレーティングシステムと、APS３から提供されたアプリケーションとを起動して所定の機能を実行する。これ以外にも、画像サーバ１やクラウドサーバ４に画像データを送信せず、カメラ装置である特定パターン認識装置１１１〜１１４側のオペレーティングシステムでアプリケーションを起動して画像認識を行う場合もある。以上のように顔検出は、画像サーバ１、照会サーバ２、クラウドサーバ４のオペレーティングシステム上で起動したアプリケーションにより実行されてもよいし、カメラ装置のオペレーティングシステム上で起動したアプリケーションにより実行されてもよい。

図３は、特定パターン認識装置１１１〜１１４の内部構成を示した図である。特定パターン認識装置１１１〜１１４は、カメラ等から得た映像から顔を検出するシステムであり、撮像部２０１と、撮像環境パラメータ取得部２０２と、識別実行部２０３と、認識制御パラメータ保持部２０４と、撮像環境パラメータ比較部２０５と、撮像環境パラメータ保持部２０６と、学習制御部２０７とによって構成される。 撮像部２０１は、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサ、それに光学レンズを備え、予め定められたカメラ設定に従い、定期的に映像を取得する。本実施形態では、イメージセンサと、光学レンズとが撮像部を構成するが、カメラ本体が撮像部２０１を構成することもある。

撮像環境パラメータ取得部２０２は、カメラの外に取り付けられたセンサや、カメラ内部に組込まれたセンサを用いて、定期的に撮像に関する環境を表した撮像環境パラメータを取得する。 識別実行部２０３は、撮像部２０１により取得された撮像画像に応じたパターン識別を実行する。第１撮像環境パラメータがカレント撮像環境パラメータとして撮像環境パラメータ保持２０６に保持されているものとする。この場合、第１撮像環境パラメータに対応する第１画像を撮像部２０１から受け取り、この第１画像から特定のパターンを抽出して、当該特徴ベクトルを認識制御パラメータ保持部２０４に保持されている認識制御パラメータに示される検出器関数を実行することで、撮像画像に含まれる様々なパターンのうち、特定のパターン(顔を特徴付けるもの)の識別を実行する。その後、第１認識制御パラメータとは異なる第２撮像環境パラメータが入力され、第２撮像環境パラメータが新たなカレント撮像環境パラメータとして撮像環境パラメータ保持２０６に保持された場合、第２撮像環境パラメータに対応する第２画像を撮像部２０１から受け取り、この第２画像から特定パターンである特徴ベクトルを抽出して、当該特徴ベクトルを認識制御パラメータ保持部２０４に保持されているカレント認識制御パラメータに示される検出器関数に適用することで、第１画像に、所望の認識対象が存在するかどうかの判定を行う。

認識制御パラメータ保持部２０４は、カレントの認識制御パラメータを保持する。カレントの認識制御パラメータが第１認識制御パラメータであり、第１撮像環境パラメータとは異なる第２認識制御パラメータがパラメータ管理装置１４０から送信されてきた場合、認識制御パラメータ保持部２０４に保持されているカレント認識制御パラメータを第２認識制御パラメータを用いて上書きすることで、カレント認識制御パラメータの更新を行う。本実施の形態では認識制御パラメータとして顔の検出器関数を保持する。尚、特定パターン認識装置１１１〜１１４が識別を実行する際にその都度外部から認識制御パラメータを取得するのであれば、認識制御パラメータ保持部２０４は省略することもできる。

撮像環境パラメータ比較部２０５は、撮像環境パラメータ取得部により新たな撮像環境パラメータが取得された場合、その新たな撮像環境パラメータと、撮像環境パラメータ保持部２０６に格納されているカレント撮像環境パラメータとを比較することで、カレント撮像環境パラメータに示される撮像環境パラメータと、新たな撮像環境パラメータにより示される撮像環境パラメータとが同一又は類似であるか否かを判定する。カレントの撮像環境パラメータを第１撮像環境パラメータ、新たな撮像環境パラメータを第２撮像環境パラメータとする。第１撮像環境パラメータ、第２撮像環境パラメータが同一又は類似である場合、撮像環境の変化はなかったとして、撮像環境パラメータ保持部２０６の保持内容を維持する。第１撮像環境パラメータと、第２撮像環境パラメータとが異なる場合、撮像環境が第１撮像環境から第２撮像環境に変化したとして、その第２撮像環境パラメータをカレント撮像環境パラメータとして撮像環境パラメータ保持部２０６に保持させる。カレント撮像環境パラメータが更新されれば、パラメータ管理装置１４０に新たに取得したカレント撮像環境パラメータに対応する認識制御パラメータのサーチをパラメータ管理装置１４０に行わせる。新たに取得した撮像環境パラメータと、カレント撮像環境パラメータとの比較は、二つの撮像環境パラメータの差分を計算することや、二つの撮像環境パラメータのユークリッド距離が閾値を超えた場合に撮像環境が変化したと判断することが出来る。更には、撮像環境パラメータを連続値から離散値に置き換え、現在の撮像環境パラメータと過去の撮像環境パラメータとのユークリッド距離を計算する手法などがある。また、撮像環境をクラスタリングによってクラス分類し、現在の撮像環境パラメータが、過去の撮像環境パラメータと同様のクラスに含まれるかを判断することで撮像環境の変化の有無を判断することができる。

撮像環境パラメータ保持部２０６は、複数の撮像環境パラメータのうち、特定パターン認識装置１１１〜１１４により利用されるもの（カレント撮像環境パラメータ）を保持する。
学習制御部２０７は、識別実行部２０３で特定パターンの識別を行うか、認識制御パラメータ計算部１２１、１２２で認識制御パラメータの再計算を行うかの制御を行う。学習制御部２０７による学習制御とは、認識制御パラメータ計算部１２１、１２２に、新たな認識制御パラメータを計算させる制御である。顔検出を行う場合、オンライン学習を用いて検出器関数の追加学習を認識制御パラメータ計算部１２１、１２２に実行させる。追加学習のための学習アルゴリズムには、Adaboost、SVM、ニューラルネットワークを利用することができる。本実施形態では、これらのうちAdaboostを利用する。追加学習に訓練データを用いる場合、人手で作成された訓練データを与えてもよいし、処理負荷が大きく精度が高い検出アルゴリズムをサーバ上で動作させることで作成された訓練データを適用してもよい。訓練データを必要としない学習アルゴリズムを用いるのであれば、画像データを適用すれば足りる。認識制御パラメータの再計算が必要でない場合、学習制御部２０７の省略が可能となる。

以上が特定パターン認識装置１１１〜１１４の共通構成についての説明である。続いて、パラメータテーブル記憶部１３０の詳細について説明する。
図４はパラメータテーブル記憶部１３０で保持されるパラメータテーブルの一例を表した図である。パラメータテーブルのレコード構成について説明する。パラメータテーブルのレコードは、分類ID、撮像環境パラメータ、認識制御パラメータ、学習状況、カメラID(撮像部２０１固有のID)、評価情報から構成される。

「分類ID」は、同一又は類似の撮像環境パラメータと、それらの撮像環境パラメータに対応付けられている認識制御パラメータとで構成される分類グループを一意に特定する識別子である。
「撮像環境パラメータ」は、撮像環境を特定するための様々な情報要素から構成される。かかる撮像環境パラメータの情報要素には、被写体に関するものと、レンズに関するものとがある。被写体に関する情報要素は、各カメラ装置の照明方向を表す情報、各画像における対象オブジェクトのサイズを表す情報、前記各画像における対象オブジェクトの向きを表す情報、各カメラ装置が過去に撮像した際の周辺照度を含む、レンズに関する情報要素は、各カメラ装置に取り付けられた各レンズ歪情報、カメラ揺れ情報を含む。尚、これらの図４では、これらの情報要素のうち、照明方向、顔サイズ、顔の向きの一例を示している。

「認識制御パラメータ」は、検出器関数(Fa(x),Fb(x).Fc'(x),Fd'(x),Fe(x),Ff(x),Fg()x)を特定することで、撮像環境パラメータに対応する検出器関数(図中における検出器関数A,B,C',D',E,F,G)の何れかを識別する。
「評価情報」は、同一又は類似の撮像環境パラメータに対応付けられることで一個のグループに分類される複数認識制御パラメータのそれぞれを評価するための評価値を示す。かかる評価値は、検出器関数を認識に用いた件数、その場合の成功率、検出器関数が認識に要した時間等を含む。分類グループに含まれる個々の認識制御パラメータにこれらの評価値が対応付けられているので、１つのカメラ装置により撮像が行われた場合、分類グループに含まれている複数の認識制御パラメータのうちどれが、そのカメラ装置の撮像環境に合致するかの評価が可能になる。

「学習状況」は、完了であるか、学習中であるかのどちらかの状態で管理される。学習中のものに関しては学習途中の認識制御パラメータやどの特定パターン認識装置１１１〜１１４の撮像部２０１から得た映像を学習に利用しているのかが保持される。図３ではカメラIDを情報として保持しているが、保持する情報はこれに限るものではない。
以上がパラメータテーブルについての説明である。

続いて、撮影環境パラメータの情報要素について説明する。撮像環境パラメータの情報要素のうち、被写体に関するもの（各カメラ装置の照明方向を表す情報、各画像における対象オブジェクトのサイズを表す情報、前記各画像における対象オブジェクトの向きを表す情報、各カメラ装置が過去に撮像した際の周辺照度を表す情報）について説明する。
これらの照明方向、撮像部に写る平均的な顔サイズ、平均的な顔の向き、周辺照度が、現実社会のどのような事物を対象にしているかについて説明する。

図５のim1,im2,im3は、図１のカメラシステムにおけるカメラ１１、１２、１３により撮像された画像を示す。カメラ１１、１２、１３は、ビルのエントランス、駅のホーム、コンビニエンストアの出入口に設置されているから、各カメラにより撮像された画像は照明方向、顔サイズ、顔の向きが相異なる。図４のパラメータテーブルにおける個々のエントリーは、図５の照明方向、顔サイズ、顔の向きを撮像環境として扱い、認識制御パラメータ、学習状況、カメラIDに対応付けている。

撮像環境パラメータを構成する照明方向、サイズ、オブジェクトの向きの検出の仕方について説明する。図６（ａ）〜（ｃ）は、任意のカメラ装置により撮像がなされた場合における、照明方向、オブジェクトサイズ、オブジェクトの向きの取得の過程を示す。
照明方向の検知方法としては、例えば、照度センサによって明るさの分布を見てもよいが、本実施の形態では撮像部２０１から取得した画像の輝度値の分布を見る手法について説明する。具体的には、撮像部２０１から得た画像データから顔を検出し、顔画像をいくつかのブロックに分け、各ブロックの輝度平均を求める。そして、輝度の平均が最も大きいブロックから最も小さいブロックへの方向を照明方向とする。光が均等に照射されている場合には顔の輝度は一定になることから、本手法による照明方向の取得は有効である。

図５のim3を対象とした撮像環境の取得について説明する。図５（ａ）及び図６（ａ）におけるim3は、人物像を含む撮像画像である。引き出し線pu1は、この撮像画像im3における顔部分をクローズアップしている。図６（ａ）右側における複数の矩形枠は、撮像画像を水平方向、垂直方向に分割することで得られる画素ブロックであり、個々の画素ブロックが輝度の平均値算出の対象となる。max＿Lは、これらの画素ブロックのうち、輝度の平均値が最大になっているものであり、min＿Lは、これらの画素ブロックのうち、輝度の平均値が最小になっているものである。このmax＿Lが、照明方向の始点となり、min＿Lが照明方向の終点になる。図中のvec(min＿max)は、max＿Lからmin＿Lに向かうベクトルであり、かかるベクトルの始点座標、終点座標の組みが撮像環境パラメータの始点及び終点となる。

オブジェクトサイズの検知方法としては、赤外線を照射してオブジェクトを検知する手法がある。本実施の形態では、撮像部２０１により取得した映像から背景差分法によって、進入物の検知を行う手法を用いる。
図６（ｂ）は、背景差分法の対象となる2枚の画像を示す。（ｂ）の左側が、基準となる撮像画像im0を示し、右側は被写体が写り込んだ撮像画像im3を示す。dif1は、左側、右側の画像のうち、背景差分法で検出される差分を示す。このdif1のうち、顔部分のサイズ(dif1.face)が、撮像環境パラメータのサイズとして追加されることになる。

オブジェクトの向きに関しては撮像部２０１より得た映像の特徴点を他の画像とマッチングさせ、特徴点の動きからオブジェクトの向きを判断する手法を用いる。図６（ｃ）のF1,2,3,4 は、フレームtで撮像された画像から抽出された特徴点を示す。F11,12,13,14は、後続するフレームt+1で撮像された画像から抽出された特徴点を示す。フレームtと、フレームt+1とで特徴点は、左方向に移動しているから、人物の顔は左を向いていると考えられる。図中のVecFtは、特徴点の方向を示し、かかる方向は、被写体となる人物の顔の向きと符合する。このVecFtが、撮像環境パラメータにおける「オブジェクトの向き」としてパラメータテーブルに登録される。

周辺照度は、これら照明方向、対象オブジェクトのサイズ、対象オブジェクトの向きを取得した際の撮像画像の輝度や、カメラ装置の照度計から検出する。
以上が、被写体に関する情報要素についての説明である撮像環境パラメータの情報要素のうち、レンズに関するものについて説明する。レンズに関する撮像環境パラメータの情報要素は、レンズ歪み情報、レンズ揺れ情報がある。レンズ歪み情報は、色収差(軸上色収差、倍率色収差)を示すものと、単色収差（球面収差、コマ収差、非点収差、像面収差、歪曲収差）を示すものとがある。
軸上色収差とは、レンズの近軸上で起きる収差である。

倍率色収差とは、軸上以外で発生する収差であり、色によって焦点距離が変わることで、結んだ像の倍率が異なることから発生する。
球面収差とは、レンズの外側、及び、レンズの近軸付近において、レンズ表面が球面になっているため、光の屈折角が急峻になり、レンズから近いとこで、焦点を結ぶことに起因する収差である。

コマ収差は、レンズに入った光が、像面の一点で焦点を結ぶために生じるボケである
非点収差は、現実物と、像とで形状が異なってしまう収差である。
像面収差は、平面形状を撮像した際、湾曲した面の像が得られるという収差である。
歪曲収差とは、四角形形状を撮像した際、その形状が、樽型、渦巻型になるという収差である。

撮像環境パラメータは、これらの収差に関する情報要素として、複数波長のそれぞれについての屈折率、波長に対する屈折率変化を示す変化曲線、レンズの材質(珪酸ガラス、プラスチック性樹脂)、収差補正のため光学構成(アクロマートレンズ、対称型レンズ等)を含む。撮像環境パラメータがこれらの情報要素を含むことで、収差に関する撮像環境の同一性を高精度に判断することができる。図７（ａ）は、屈折率変化を示す変化曲線の一例を示す。この変化曲線のパラメータや、この変化曲線における屈折率と、波長域との対応表を、撮像環境パラメータの情報要素とすることができる。

以上がレンズ歪み情報についての説明である。続いて、レンズ揺れ情報について説明する。レンズ揺れ情報は、風や外部振動により生じるレンズの揺れを示す情報である。図７（ｂ）は、レンズ揺れ情報が対象としている３次元座標系を示す。かかる３次元座標系は、レンズの位置を原点にしていて、その3次元座標系のX軸回りのロール角、Y軸回りのピッチ角、Z軸回りのヨー角を加速度センサで測定することで、風や外部振動による揺れを取得することができる。

被写体に関する情報以外にもレンズに関する情報要素を、撮像環境パラメータの情報要素とすることで、被写体側、光学系側の双方から、複数カメラ装置間の撮像環境の同一性を判断することができる。これらの撮像環境パラメータの取得方法はあくまでも一例であり、取得方法はこれに限定されるものではない。
以上の撮像環境パラメータの情報要素は、撮像部毎に得られる数値ではなく、カメラ映像に対する環境のパラメータを意味する。そのため、センサなどから得た値をカメラ映像に対する値に変換する必要がある。例えば、照明方向をセンサ等で検知した場合には世界座標系から、画像座標系への変換が必要となる。世界座標系から画像座標系への変換には透視変換を用いることが一般的である。透視変換は既知の技術であるため、ここでは説明を割愛する。利用できる撮像環境パラメータは、撮像環境パラメータ取得部で利用するセンサの種類や識別を行うアルゴリズムの種類によって異なるため、取得する撮像環境パラメータの情報要素はこれに限定されるものではない。

以上が撮像環境パラメータの情報要素その取得についての説明である。続いて、認識制御パラメータの対象となる検出器関数、及び、強分類器の詳細について説明する。
図８は、検出器関数の内部構成と、この検出器関数の構成要件に対する処理の過程とを示す図である。本図に示すように、検出器関数は、複数の弱分類器cf1と、強分類器cf2とから構成され、オフライン訓練tr1、オンライン訓練tr2、追加学習tr3がなされる。

弱分類器cf1は、fi(x)＝s(r(x))の数式で規定される。fi(x)＝s(r(x))のうち、r(x)は、領域分割関数であり、実例xが属する実例空間Xを、互いに交わらないサブ空間ziに区分し、この複数のサブ空間に入る全ての実例に対して同一の分類結果Czを出力する関数である。S(z)は、ルップアップテーブル関数であり、サブ空間ziに対する定数予測結果であるCi,Ziの総和である。このCi,Ziは、Ziのサブ空間に対する定数予測結果である。

強分類器cf2は、F(x)=Σwi・fi(x)という数式で表記される。
強分類器F(x)と、弱分類器fi(x)との関係は、様々な数式(図中のFa(x)〜Fz(x),Fa'(x)〜Fz'(x))で規定される。かかる数式による強分類器の違いは、パラメータテーブルにおける関数識別パラメータA〜Z,A'〜Z'で区別される。
オフライン訓練tr1は、実例xに対する類別yが確定している訓練サンプル(x,y)を強分類器に入力することでなされる訓練過程である。 オンライン訓練tr2は、実例xに対する類別yが確定していない訓練サンプル(x)を検出器関数に入力することでなされる。かかるオンライン訓練では手動入力を受け付ける。この手動入力は、オフライン訓練の結果が誤報であるか、認識誤りであるかを指示するものである。オンラインBoostingアルゴリズムag1は、パラメータλをポアソン分布に適用することで得られる値(Poasson(λ))を値kに設定して、弱分類器の訓練をk回繰り返し、この繰り返し後の弱分類器の結果がy＝fi(x)であるなら、λ←λ・１／2(1-ｅm)の計算によりλを更新し、弱分類器の結果がy≠fi(x)であるなら、λ←λ・１／2(ｅm)の計算によりλを更新した後にkを更新して、更新後のkだけ弱分類器の訓練を繰り返すものである。

追加学習tr3は、強分類器であるF(x)=Σfi(x)の出力が、正しい分類とは異なっていた場合、正しい出力を与えるための訓練である。追加学習は、様々な学習アルゴリズムによるものが存在する。図中のアルゴリズムag2は、混合目標損失関数の傾きを最小化する増加学習アルゴリズムであり、様々な追加学習のうちの1つである。混合目標損失関数の傾きを最小化する増加学習は、ルップアップテーブルの調整量ΔCを、ΔC←ΔC＋α・gの計算により更新し、x,yの結合密度関数p(x,y)と、Δcとを入力とした混合目標損失関数L(p(x,y),c+Δc)を求めて、その偏微分値をgとするという処理を、gが極小値になるまで繰り返すものである。追加学習における学習アルゴリズムによる学習状況は、学習中又は完了を示すコードにより識別される。

弱分類器による実例空間の区分について説明する。図９は、実例空間Xの一例である二次元特徴ベクトル空間を示す。図９において、二次元特徴空間の右側における丸記号の集りは、顔の特徴ベクトルの分布を示す。二次元の特徴空間の左側における三角記号の集りは、非顔の特徴ベクトルの分布を示す。個々の丸記号は、顔の特徴を表すサンプル、個々の三角記号は非顔の特徴を表すサンプルである。破線br1は、特徴ベクトル空間を2つのサブ空間に分類するための決定境界を示す。この決定境界は、特徴ベクトル空間における複数のサンプルのうち、どこまでが顔であり、どこまでが非顔であるかを決定付けるよう、二次元特徴空間における傾きが規定されている。

図１０は、追加学習による決定境界の変化を示す。破線の丸、破線の三角は、追加学習の過程で与えられる訓練データである。図中のn1,n2は、本来、顔の特徴ベクトルとして分類されるべきなのに決定境界が上記のbr1のものであったために、非顔として分類されてしまった訓練データを示す。図中のn3,n4は、本来、非顔の特徴ベクトルとして分類されるべきなのに決定境界が上記のbr1のものであったために、顔として分類されてしまった訓練データを示す。

aw10は、n1,n2,n3,n4の存在に応じた決定境界の傾き変更を示す。この変更により決定境界は、θaを角度をなすことになり、実線の決定境界br2となる。
弱分類器による実例空間の区分には、決定境界によるものの他、特徴ベクトルのクラスタリングによるものがある。
図１１は、特徴ベクトルの部分集合化(クラスタリング)を示す。本図における四角形の集り、三角形の集り、丸の集りは、二次元特徴空間における特徴ベクトルの分布を示す。実線の枠fr1,fr2,fr3は、これらの特徴ベクトルの分布をNクラス(N=3)に分類するためのクラスタリング境界である。破線の三角、四角、丸は、オンライン学習の過程で得られた新たな訓練データであり、これらのうちn11,n12,n13,n14,n15は、クラスタリング境界がfr1,fr2,fr3のように設定されたために、適切なクラスへの分類から漏れた訓練データである。図１１の追加学習は、これらの訓練データが正しいクラスに分類するものである。fr11,12,13は、追加学習を経て、n11,n12,n13,n14,n15を取り囲むように規定された非線形クラスタリング境界を示す。撮像環境が変化することで、正しいクラスに分類され得ない訓練データが発生したとしても、上述したようにクラスタリング関数を変更することで、かかる分類漏れを正しいクラスに分類することができる。以上が検出器関数についての説明である。続いて、パラメータ管理装置１４０についての説明を行う。

図１２は、パラメータ管理装置１４０の内部構成を示した図である。パラメータ管理装置１４０は、認識制御パラメータ取得部４１０と、環境類似度計算部４２０と、認識制御パラメータ登録部４３０とによって構成される。
認識制御パラメータ取得部４１０は、特定パターン認識装置１１１〜１１４の何れかであるカメラ装置のカレント撮像環境パラメータと同一又は類似の撮像環境とされる撮像環境パラメータがパラメータテーブルに存在するかどうかのサーチを行う。このサーチは、カレント撮像環境パラメータと、パラメータテーブルの各レコードに記載されている撮像環境パラメータとの類似度を環境類似度計算部４２０に算出させることでなされる。環境類似度計算部４２０により算出された何れかの撮像環境パラメータについての類似度が所定の閾値より高い場合、パラメータテーブルには、カレント撮像環境パラメータと同一又は類似の撮像環境で認識実績がある認識制御パラメータが存在することになる。そのような撮像環境パラメータが唯一つであれば、その撮像環境パラメータに対応する認識制御パラメータを カレント認識制御パラメータとして要求元のカメラ装置である特定パターン認識装置１１１〜１１４の何れかに送り返す。閾値を上回る類似度をもつ撮像環境パラメータが複数存在する場合、それらの撮像環境パラメータの中で、最も高い類似度をもつものを カレント認識制御パラメータとして要求元のカメラ装置である特定パターン認識装置１１１〜１１４の何れかに送り返す。

カレント撮像環境パラメータと、パラメータテーブルにおける撮像環境パラメータとの類似度が、何れの撮像環境パラメータについても閾値を下回る場合、認識制御パラメータ取得部４１０は、認識制御パラメータ計算部１２１、１２２に、カレント撮像環境パラメータに適合した検出器関数の計算を行わせる。かかる計算で検出器関数が算出されれば、当該検出器関数に対応する認識制御パラメータを認識制御パラメータ計算部１２１、１２２に算出させ、カレント撮像環境パラメータと、新たに算出された認識制御パラメータとを含むレコードをパラメータテーブルに追加するよう認識制御パラメータ登録部４３０に指示する。併せて、特定パターン認識装置１１１〜１１４のうち、要求元のカメラ装置であるものに、認識制御パラメータを送信し、そのカメラ装置の認識制御パラメータ保持部２０４に、当該認識制御パラメータをカレント認識制御パラメータとして格納させる。

環境類似度計算部４２０は、閾値を上回る類似度をもつ撮像環境パラメータが少なくとも1つ存在する場合、その撮像環境パラメータに対応する認識制御パラメータをサーチ結果の認識制御パラメータとして、特定パターン認識装置１１１〜１１４のうち、要求元のカメラ装置に送信する。要求元では、カレント撮像環境パラメータを撮像環境パラメータ保持部２０６に格納すると共に、パラメータ管理装置１４０の環境類似度計算部４２０から送信された認識制御パラメータをカレント認識制御パラメータとして認識制御パラメータ保持部２０４に保持させ、このカレント認識制御パラメータに示される検出器関数を用いた認識処理を識別実行部２０３に実行させる。

認識制御パラメータ登録部４３０は、特定パターン認識装置１１１〜１１４の何れかから撮像環境パラメータが送信された際、パラメータテーブルに存在する複数のレコードの中に、同一又は類似の撮像環境パラメータが存在するかどうかのサーチを行う。同一又は類似の撮像環境パラメータが存在するかどうかの判断は、撮像環境パラメータ間の類似度を算出して、算出された類似度を閾値と比較することでなされる。パラメータテーブルのレコードに存在する撮像環境パラメータの全ての情報要素と、新たに入力されてきた撮像環境パラメータの全ての情報要素とが同じである場合、パラメータテーブルのレコードに存在する撮像環境パラメータの一部の情報要素と、新たに入力されてきた撮像環境パラメータの一部の情報要素とが同じである場合、パラメータテーブルのレコードに存在する撮像環境パラメータの一部の情報要素と、新たに入力されてきた撮像環境パラメータの一部の情報要素とが類似している場合、パラメータテーブルの中に、同一又は類似の撮像環境パラメータが存在すると判定される。同一又は類似の撮像環境パラメータが存在する場合、新たに入力されてきた撮像環境パラメータと、既存の分類グループと同一グループを示す分類IDと、評価情報とを含むレコードをパラメータテーブルに追記する。

同一又は類似の撮像環境パラメータが存在しない場合、新たに入力されてきた撮像環境パラメータと、新規の分類グループを示す分類IDと、評価情報とを含むレコードをパラメータテーブルに追記する。パラメータテーブル記憶部１３０に対して新たなパラメータを追加する必要がない場合には認識制御パラメータ登録部４３０は省略することも出来る。
認識制御パラメータ計算部１２１、１２２は、カレント撮像環境パラメータと、パラメータテーブルにおける撮像環境パラメータとの類似度が、何れの撮像環境パラメータについても閾値を下回る場合、パラメータテーブルに記載されている複数の撮像環境パラメータのうち、最も高い類似度を有するものに対応する認識制御パラメータを選択して、その認識制御パラメータに示される検出器関数を元に、検出器関数を算出する。

カメラ装置である特定パラメータ認識装置１１１、１１２、１１３、１１４は、パラメータ管理装置１４０による認識制御パラメータのサーチに従い、認識制御パラメータが設定される。ここで端末装置１５１、１５２、１５３、１５４は、ユーザから対照的な操作を受け付けることで、かかる選択に、自然人の判断を介在させることができる。図１３は、カメラ装置に対する認識制御パラメータの設定時において、端末装置のユーザに提示される対話画面を示す。かかる対話画面は、カメラ装置に対する撮像環境について、認識制御パラメータのサーチがなされたことのアナウンスan1と、複数の撮像環境を提示してユーザのク選択を仰ぐサーチ結果リストsc1と、サーチ結果リストにおける選択を確定するかどうかを受け付けためのボタン部材bn1,bn2を含む。サーチ結果リストは、認識制御パラメータ管理装置１４０によるサーチで、類似度が閾値を上回るとされた撮像環境パラメータに対応する撮像環境に、評価記号(図中の星記号)を付して示す。かかる評価記号の個数は、パラメータテーブルのレコードにおける評価情報に示される認識件数、処理時間などに応じて設定される。類似度が同一又は類似であるため、一個のグループに分類された撮像環境パラメータに対応する撮像環境が、まとめてユーザに提示されるから、システム管理者であるユーザは、何れの撮像環境のカメラ装置と、撮像環境を共通化するかを好適に判断することができる。

以上がカメラシステムの構成要素についての説明である。
続いて、図１４〜図１６のフローチャートを参照しながらこのカメラシステムの全体的な処理手順について説明する。
図１４は、撮像画像を対象にした画像識別を示すフローチャートである。まず、特定パターン認識装置１１１〜１１４は、撮像環境パラメータ取得部２０２によって照明方向、およびオブジェクトサイズ、オブジェクトの向きを含む撮像環境パラメータを取得する（ステップＳ００）。この際に、本実施の形態では、撮像部２０１から取得した映像に対して、画像処理を行うことによって照明方向、オブジェクトサイズ、オブジェクトの向きを取得する。本実施の形態で取得される撮像環境パラメータは、光の向き、対象オブジェクトのサイズ、対象オブジェクトの向きであるものとする。ただし、これらは一例であり、撮像環境パラメータの内容はこれらに限定されない。

次に、撮像環境パラメータ取得部２０２によって取得した撮像環境パラメータと、撮像環境パラメータ保持部２０６に保持されているこれまでの撮像環境パラメータとを撮像環境パラメータ比較部２０５によって比較して、撮像環境の変化の有無を判定する（ステップＳ０１）。
そして、それらの撮像環境パラメータのユークリッド距離が閾値以上離れていた場合（ステップＳ０１）、環境が変化したと判断する。 カメラシステムに新規のカメラ装置(特定パターン認識装置１１１〜１１４以外の特定パターン認識装置)を追加した場合には、撮像環境パラメータ保持部２０６に保持されている撮像環境パラメータが無いため、必ず撮像環境パラメータが変化したことになる（ステップＳ０１でYES）。環境が変化していないと判断された場合（ステップＳ０１でNOの場合）には、そのまま撮像部２０１より取得した映像に対して識別実行部２０３で特定パターンの識別を実行し、撮像画像に対するパターン識別を行う(ステップＳ０６)。

それに対して、環境が変化したと判断された場合（ステップＳ０１でYESの場合）には、類似する撮像環境で学習成果をもつ検出器関数を取得する(ステップＳ０２)。検出器関数の取得は、パラメータ管理装置１４０へ撮像環境の変化を通知し、変化後の撮像環境に応じた検出器関数を示す認識制御パラメータとして受け取る。
類似する撮像環境で学習成果をもつ検出器関数の取得に成功した場合（ステップＳ０３でYESの場合）、当該検出器関数を示す認識制御パラメータを、特定パターン認識装置１１１〜１１４の認識制御パラメータ保持部２０４に対して設定する（ステップＳ０５）。逆に、類似する認識制御パラメータの取得に失敗した場合（ステップＳ０３でNOの場合）、検出器関数を追加学習によって再計算する(ステップＳ０４)。認識制御パラメータ計算部１２１、１２２での追加学習が完了し、新たな認識制御パラメータを得た場合にも、検出器関数を示す認識制御パラメータをパラメータテーブル記憶部１３０に登録する（ステップＳ０５）。S03において、認識制御パラメータの取得に失敗するということには、パラメータテーブルに類似する撮像環境のデータが存在しなかった場合が含まれる。検出器関数の追加学習は、認識制御パラメータの取得に失敗したケースに限られるから、かかる追加学習の実行頻度は抑制される。

最後に、認識制御パラメータ保持部２０４に保持された認識制御パラメータにて識別される検出器関数の強分類器を用いて識別実行部２０３によってパターン識別を実行する（ステップＳ０６）。以上が、本実施の形態におけるカメラシステムの全体処理の手順である。次に、図１４のステップＳ０２に示したパラメータ管理装置１４０で認識制御パラメータ取得処理の詳細手順について説明する。図１５は認識制御パラメータの取得手順の一例を示したフローチャートである。

まず、パラメータ管理装置１４０は、特定パターン認識装置１１１〜１１４の撮像環境パラメータ比較部２０５から新たな撮像環境パラメータPeを取得して、特定パターン認識装置１１１〜１１４から得た撮像環境パラメータPeを以下の数１を用いて重み付けし、０から２５５の範囲に収まるように正規化する(ステップＳ１００)。

ここで、重付け値は、設定を優先したい撮像環境パラメータのものを大きくするように設定する。例えば、顔の検出では、照明の方向や、顔の向きが検出率に大きく影響を与えるため、これらの重みを大きくするように値を設定することが望ましい。次にパラメータ管理装置１４０は、認識制御パラメータ取得部４１０によってパラメータテーブル記憶部１３０からi番目の要素、撮像環境パラメータPt+iを取得する(ステップＳ１０１)。その後、環境類似度計算部４２０にて撮像環境パラメータPeとPt+iの二つの撮像環境パラメータの類似度Simを計算する。類似度の計算手法としては、例えば次の方法を用いることができる。正規化された撮像環境パラメータPeと、あらかじめ正規化されてパラメータテーブルに保存されている撮像環境パラメータPt+iとのユークリッド距離dpを以下の数２に従って計算し、その逆数を、以下の数３に従い類似度Simとして求める（ステップＳ１０２）。

類似度が算出されれば、計算した類似度Simが閾値Thpよりも大きいかどうかを判定する(ステップＳ１０３)。ここで利用する閾値Thpは、０から１までの任意の値を設定することができる。閾値Thpが１となるのは二つの撮像環境が一致した場合である。Simが大きかった場合（ステップＳ１０３でYESの場合）には、類似する撮像環境であると判断し、認識制御パラメータ取得部４１０によってパラメータテーブル記憶部１３０から撮像環境パラメータPt+iに対応する認識制御パラメータを取得する（ステップＳ１０５）。

計算した類似度Simが閾値Thpよりも小さかった場合（ステップＳ１０３でNOの場合）、パラメータテーブルの最後にまで到達したかの判定を行う(ステップＳ１０４)。未到達であれば、変数iをインクリメントして(ステップＳ１０６)、パラメータテーブル記憶部１３０から撮像環境パラメータPt+iを取得し（ステップＳ１０１）、環境類似度計算部４２０にて撮像環境パラメータの類似度を計算する（ステップＳ１０２）。以降、ステップＳ１０１からステップＳ１０３までの処理を繰り返す。パラメータテーブルの最後のレコードに到達した場合、ステップＳ１０７に移行する。ステップＳ１０７は、類似度Simが閾値Thpを上回る撮像環境パラメータが存在するかどうかの判定である。存在すれば、ステップＳ１０８において、類似度Simが閾値Thpを上回る撮像環境パラメータが複数存在するかどうかを判定する。複数存在する場合、撮像環境パラメータのうち、類似度Simが最も高いものに対応する認識制御パラメータを要求元の特定パラメータ認識装置に送信する
（ステップＳ１１０）。類似度Simが閾値Thpを上回る撮像環境パラメータが唯一つだけ存在する場合、ステップＳ１０９において、唯一つの撮像環境パラメータに対応する認識制御パラメータを要求元の特定パラメータ認識装置に送信する。

類似度Simが閾値Thpを上回る撮像環境パラメータが存在しない場合、撮像環境パラメータのうち、類似度Simが最も高いものに対応する認識制御パラメータを認識制御パラメータ計算部１２１、１２２に送信して、これを基とした学習を実行させ(ステップＳ１１１)、新たな学習により得られた認識制御パラメータを特定パラメータ認識装置に送信させる(ステップＳ１１２)。

以上が、パラメータ管理装置１４０が認識制御パラメータの取得手順の詳細についての説明である。次に、追加学習時における、パラメータ管理装置１４０からパラメータテーブル記憶部１３０へ認識制御パラメータ登録について説明する。
図１６は、追加学習の処理手順の一例を示すフローチャートである。まず、特定パターン認識装置１１１〜１１４では、学習制御部２０７によって撮像部２０１における映像データを認識制御パラメータ計算部１２１、１２２に送信するよう送り先を切りかえる（ステップＳ２０）。次に、撮像部から送信された映像データから抽出された特定パターンを識別できるよう、既存の学習アルゴリズムによって検出器関数の追加学習を行う（ステップＳ２１）。追加学習を行いながら、特定パターン認識装置１１１〜１１４の撮像環境パラメータ取得部２０２では、撮像環境パラメータの取得を行い、撮像環境パラメータ比較部２０５によって撮像環境の変化を調べる(ステップＳ２２)。ここで、撮像環境が変化しなかった場合には（ステップＳ２２でNOの場合）、パターンに対する学習アルゴリズムの出力が収束したか否かを判断する(ステップＳ２３)。学習が完了していない場合（ステップＳ２３でNOの場合）には、再度、撮像部２０１から取得した映像を用いて追加学習を行う(ステップＳ21)。学習が完了したと判断された場合（ステップＳ２３でYESの場合）には、学習を終了する。ここで、学習を完了したかどうかの判断方法としては、例えば、認識制御パラメータ計算部１２１、１２２で学習中の検出器関数の変化がなくなり、学習結果が収束した場合、学習が完了したとみなすことができる。

学習が終了すると、特定パターン認識装置１１１〜１１４の撮像環境パラメータ保持部２０２に保存された撮像環境パラメータと、認識制御パラメータ計算部１２１、１２２によって計算された検出器関数を示す認識制御パラメータと、学習状況とをパラメータ管理装置１４０に対して通知する（ステップＳ２４）。
パラメータ管理装置１４０では、通知が来ると認識制御パラメータ登録部４３０によってパラメータテーブル記憶部１３０のパラメータテーブルに対して撮像環境パラメータ、認識制御パラメータ、学習状況を登録する（ステップＳ２５）。認識制御パラメータ登録部４３０では、新規に学習を行って得た認識制御パラメータをパラメータテーブル記憶部１３０に登録する際には、パラメータテーブル記憶部１３０のテーブルを一つ増やして保存すればよい。しかしながら、以前に学習途中となっていたものを再度学習によって計算した場合には、認識制御パラメータを取得する際の手順と同様に、環境類似度計算部によって撮像環境パラメータの類似度を計算し、一致した撮像環境の認識制御パラメータを上書きしなければならない。また、学習中に撮像環境が変化した場合（ステップＳ２２でYESの場合）には、特定パターン認識装置１１１〜１１４の撮像環境パラメータ保持部２０６に保存されている変化前の撮像環境パラメータと、認識制御パラメータと、学習途中／学習完了の何れかを示す学習状況をパラメータ管理装置１４０に対して通知する（ステップＳ２４）。学習完了時と同様に、パラメータ管理装置１４０の認識制御パラメータ登録部４３０によってパラメータテーブル記憶部１３０に対して撮像環境パラメータ、検出器関数を示す認識制御パラメータ、学習状況を登録する。これにより、いずれかの特定パターン認識装置が同様の撮像環境の変化に遭遇した場合、途中から追加学習を開始することが出来るため、学習を早く収束させることが出来る。

以上が、パラメータ管理装置１４０がパラメータテーブル記憶部１３０へ認識制御パラメータの登録を行う際の処理手順（図１４のS０４）の一例である。
以上のように、実施の形態１におけるカメラシステムの構成によれば、特定パターン認識装置１１１〜１１４と、認識制御パラメータ計算部１２１、１２２と、パラメータテーブル記憶部１３０と、パラメータ管理装置１４０によって、特定パターンを認識する際に最適な認識制御パラメータを取得して利用することが出来、ある特定パターン認識装置が他の特定パターン認識装置と同じ環境になった場合や、新たな特定パターン認識装置を追加した際には既存の認識制御パラメータを利用して、学習の回数や負荷を大幅に軽減することや、設置環境を調整する手間を大幅に改善することが出来る。

（実施の形態２）
次に、本発明の実施の形態２について説明する。実施の形態２では、実施の形態１に加えて撮像部のカメラ設定を変更する改良に関する。
図１７は、本発明の実施の形態２における特定パターン認識装置１１１〜１１４の構成図である。撮像部２０１から学習制御部２０７までの構成要素が存在する点は、実施の形態１の内部構成と、実施の形態２の内部構成との共通点である。差異は、実施の形態２に特有の構成要件として、撮像設定計算部２０８、変換可否判定部２０９、カメラ制御部２１０を含んでいる点である。これらは、任意の撮像環境パラメータに対応する撮像環境となるようにカメラを制御するための構成要件である。図１７において、図３と同じ構成要素については同じ符号を用い、説明を省略する。

撮像設定計算部２０８は、内部に撮像環境パラメータに対応するカメラ設定を保持していて、撮像環境が特定の撮像環境パラメータになるように変更する場合、カメラ設定をどのように制御すればよいかを計算する。例えば、あらかじめ撮像環境パラメータに対応するカメラの制御に関する値を数値化し、ルックアップテーブルに保存しておいて、カメラ設定に利用することがあげられる。カメラをどのように制御すればどのように撮像環境パラメータが変化するかを計算するプログラムを予め準備しておき、当該プログラムを適宜起動することで、最適なカメラ設定を計算することも可能である。 変換可否判定部２０９は、撮像部２０１を制御することによって、撮像部２０１の撮像環境を変換できるかどうかを判断する。

カメラ制御部２１０は、カメラ装置のハードウェアデバイスを制御する。当該ハードウェアデバイスの制御は、例えば、カメラのPTZ（Pan Tilt Zoom）制御、AWB（Automatic White Balance）制御、AE（Automatic Exposure）制御、AF（Automatic Focusing）制御などを含む。
以下、カメラシステムの全体処理について説明する。

図１８は、カメラ設定を伴った画像認識の全体手順を示すフローチャートである。実施の形態２におけるカメラシステムでは、まず、実施の形態１と同様に撮像環境パラメータ取得部２０２によって撮像環境のパラメータを取得して変数jを初期化する（ステップＳ３０）。次に、（ステップＳ３０）で取得した撮像環境パラメータと、撮像環境パラメータ保持部２０６に保持されているこれまでの撮像環境パラメータとの比較を行い、撮像環境が変化したか否かを判定する（ステップＳ３１）。ここで、環境が変化していないと判断された場合（ステップＳ３１でNOの場合）には、そのまま撮像部２０１より取得した映像に対して特定パターンの識別を実行し、撮像画像からの．パターン識別を行う（ステップＳ３６） 。それに対して、環境が変化したと判断された場合（ステップＳ３１でYESの場合）には、パラメータ管理装置１４０へ変化後の撮像環境パラメータを通知し、パラメータ管理装置１４０を経由して認識制御パラメータを取得する。認識制御パラメータの取得方法に関しては、実施の形態１と同様の手順で、環境類似度計算部４２０によって類似度の計算を行い、類似する認識制御パラメータの取得を行えば良いが、実施の形態２で取得する認識制御パラメータに関しては、実施の形態１とは異なり、撮像環境パラメータの類似度が最も高いものではなくj番目に類似度の高い撮像環境パラメータと、それに対応する認識制御パラメータに示される検出器関数とを取得する（ステップＳ３２）。すなわち、パラメータテーブル記憶部１３０内の全ての撮像環境パラメータとの類似度の計算を行い、類似度Simが１に近いものから順番に認識制御パラメータを取得していく。

パラメータ管理装置１４０に通知された撮像環境パラメータと、取得した認識制御パラメータに対応する撮像環境パラメータとが一致するかどうかを判定する(ステップＳ３３)。撮像環境パラメータの類似度Simの値が１である場合には、二つの撮像環境パラメータが一致していることから、ステップＳ３３はYESとなる。この場合、検出器関数を示す認識制御パラメータを特定パターン認識装置１１１〜１１４の認識制御パラメータ保持部２０４に設定し（ステップＳ３５）、識別実行部２０３で特定パターンの識別を実行し、撮像画像に対するパターン識別を実行する（ステップＳ３６）。

パラメータ管理装置１４０に通知された撮像環境パラメータと、取得した認識制御パラメータに対応する撮像環境パラメータとの類似度Simが１でなかった場合には、S３３の条件判定はNOとなり、ステップＳ３７の処理へ進む。ステップＳ３７は、類似する撮像環境において学習成果をもつ認識制御パラメータの取得に成功したかどうかを判定する。
類似する撮像環境において学習成果をもつ認識制御パラメータを 取得できなかった場合(ステップＳ37がNo)、追加学習を行い、検出器関数を示す認識制御パラメータをパラメータテーブルに登録する(ステップＳ３４)。

ここで、類似度Simが１以下であっても、実施の形態１と同様に任意の値として設定した閾値Thpよりも類似度Simの値が大きく、類似する撮像環境において学習成果をもつ認識制御パラメータの取得に成功したと判定される場合、S３７はYESとなる。この場合（ステップＳ３７でYESの場合）、変換可否判定部２０９は、類似する撮像環境パラメータとなるように、撮像部２０１のカメラ設定を変換できるかどうかを判断する（ステップＳ３８）。類似する撮像環境パラメータにカメラの設定が可能であると判断された場合（ステップＳ３８でYESの場合）には、パラメータテーブルから取得した撮像環境パラメータになるようにカメラ制御部２１０によってカメラの設定を行う（ステップＳ３９）。

そして、カメラの設定を行った場合には、その撮像環境パラメータに対応する検出器関数を特定パターン認識装置１１１〜１１４の認識制御パラメータ保持部２０４に設定し（ステップＳ３５）、識別実行部２０３で特定パターンの識別を実行し、撮像画像に対するパターン識別を行う（ステップＳ３６）。また、変換ができないと判断された場合（ステップＳ３８でNOの場合）、変数jをインクリメントして(ステップＳ４０)、j番目に類似度の高い撮像環境パラメータと、それに対応する認識制御パラメータとして検出器関数を取得し（ステップＳ３２）、同様の処理を行う。撮像環境パラメータとして利用する値としては、例えば、明るさ、照明方向、歪、揺れ、対象オブジェクトのサイズ、対象オブジェクトの向き等があげられる。本実施の形態で説明する顔検出では、照明方向、対象オブジェクトのサイズ、対象オブジェクトの向きを利用することから、この３つのパラメータに関するカメラ設定の計算手法について述べる。図１９は、カメラ設定の算出手順を示すフローチャートである。

ステップＳ４１は、撮像環境の差異が照明方向であるか否かの判定である。照明方向の差異であれば、照明方向の計算及び特徴空間へのマッピングを行う(ステップＳ４５)。ステップＳ４２は、撮像環境の差異が、オブジェクトサイズや向きの違いであるか否かの判定である。オブジェクトのサイズであれば、Zoom(Z)制御の計算を行う(ステップＳ４６)。Zoom制御によってズームを行った倍率だけオブジェクトのサイズが変化するため、オブジェクトサイズに応じてズームの倍率を変化させるようにカメラ設定を行えば足りるからである。オブジェクトの向きについても、PTZ（Pan Tilt Zoom）制御を利用する。つまり、ステップＳ４７においてPT（Pan Tilt）制御により、撮像部２０１のレンズを上下・左右に動かすことで、オブジェクトの向きがレンズを動かした向きと反対方向に変化させる。これを利用してカメラ設定の値を計算することが出来る。しかしながら、ズームを行った倍率によって、PT（Pan Tilt）制御によるオブジェクトの向きが変わることから、いずれもPTZ（Pan Tilt Zoom）を含めた三次元特徴空間上にオブジェクトの向きをマッピングすることが望ましい。ステップＳ４３は、撮像環境の差異が明るさであるか否かの判定である。明るさの差異があれば、AWB（Automatic White Balance）制御を活用してカメラ設定を計算する(ステップＳ４８)。

ステップＳ４４は、撮像環境の差異が歪みであるか否かの判定である。歪であれば、PTZ（Pan Tilt Zoom）制御を利用して計算を行う(ステップＳ４９)。照明方向に関しては、カメラのPTZ（Pan Tilt Zoom）制御を利用してカメラ設定を計算する。PTZ（Pan Tilt Zoom）制御では、撮像部２０１のレンズを上下・左右に動かすことや、望遠にしたり、広角にしたりすることが出来る。この仕組みを利用し、いくつかのPTZ（Pan Tilt Zoom）値に対応する照明方向を計算する。図２０は、この照明方向の計算と、認識空間へのマッピング手順とを示すフローチャートである。

先ず、いくつかのPTZ（Pan Tilt Zoom）値に対応する照明方向を計算する(ステップＳ５１)。計算手順は、実施の形態１で述べたものと同様の手順である。そして、この手順によって得た複数のサンプルを特徴空間にマッピングする(ステップＳ５２)。この特徴空間上の照明方向に対応するPTZ（Pan Tilt Zoom）の値を見ることで、カメラ設定を計算することが可能となる。しかしながら、屋外に設置した撮像部では、時間変化と共に照明方向が変化することが想定される。そのため、特徴空間へのマッピングは時間経過と共に変更されなければならない。そこで、ステップＳ５３では、カメラの設置場所が屋内かどうかの判定を行う。

屋内であれば、特徴空間の照明方向のサンプル値を見ることでカメラ設定を計算する(ステップＳ５４)。屋外であれば、PTZ値を保ったまま照明方向が変化した際の変化量を算出して(ステップＳ５５)、算出された変化量に応じて、特徴空間の照明方向サンプルの分布を移動する(ステップＳ５６)。照明方向をマッピングした特長空間におけるサンプル分布は、PTZ（Pan Tilt Zoom）値を保ったままの状態で撮像環境パラメータ取得部２０２によって得られた照明方向が変化した際の変化量の分だけ移動するので、環境変化への対応が可能である。

以上が、本実施の形態におけるカメラシステムの全体処理である。
以上のように本実施形態によれば、特定パターンを認識する際に最適な認識制御パラメータを取得して利用するだけでなく、撮像環境が変化した際には、撮像部のカメラ設定を既知の認識制御パラメータを持つ他の撮像環境と等しく設定することで、既存の認識制御パラメータを利用することが出来、学習の回数や負荷を大幅に軽減することや、設置環境を調整する手間を大幅に改善することが出来る。

（実施の形態３）
次に、本発明の実施の形態３について説明する。実施の形態３では、実施の形態１に加えて、撮像環境パラメータのデータ集合を共通の特徴を持ったいくつかの部分集合に分割し、部分集合と、サンプルデータとを対応付けて管理を行うことで、管理するパラメータ数の削減を実現する改良に関する。

図２１は、本発明の実施の形態３におけるパラメータ管理装置１４０の構成図である。実施の形態１に示したパラメータ管理装置１４０との共通点は、認識制御パラメータ取得部４１０から認識制御パラメータ登録部４３０までの構成要件を具備している点である。差異は、実施の形態１の構成に加えて、認識制御パラメータ比較部４４０、クラス計算部４５０を構成要素として含んでいる点である。これらは、撮像環境パラメータを部分集合に分けて管理する機能を提供する。そのため、本発明の実施の形態３は、認識制御パラメータ登録処理（図１６のS２５）が実施の形態１とは異なる。

認識制御パラメータ比較部４４０は、二つの認識制御パラメータを比較し、同じものかどうかを判断する。認識制御パラメータ比較部４４０による比較手法、つまり、2つの認識制御パラメータを比較する手法について説明する。例えば、検出器関数の場合であればそれぞれの検出器関数に対して、あらかじめ用意したいくつかのサンプルデータを入力として与えて、各サンプルデータを入力した場合の出力値をえる。こうして得られた出力値の比較を行い、出力値が等しくなる場合に検出器関数における強分類器が等しいと判断する。また、認識制御パラメータが数値データである場合には、二つのパラメータの差分が０となることを確認する。前記認識制御パラメータの比較方法についてはあくまでも一例であり、これに限ったものではない。

クラス計算部４５０は、任意の撮像環境パラメータが特徴空間上のどの部分集合に含まれるかという帰属計算を行う。この帰属計算の計算結果は、パラメータ登録部４３０によってパラメータテーブル記憶部１３０に対して新たな撮像環境パラメータや認識制御パラメータを登録する際に利用される。クラス計算部４５０による帰属計算は、教師有り学習を用いたクラス分類の計算方法を適用することができる。例えば、SVMなどが応用できる 次に、本発明の実施の形態３の処理フローについての説明を行う。実施の形態３では、基本的な処理フローは実施の形態１と同様の処理となる。差異は、認識制御パラメータ登録部４３０が認識制御パラメータを登録する際の処理フローとなる。このため、実施の形態１と同じ処理については説明を割愛し、ここでは認識制御パラメータを登録する際の処理フローについてのみ説明を行う。

図２２は、本発明の実施の形態３における部分集合化手順を示すフローチャートである。本実施の形態におけるカメラシステムでは、実施の形態１と同様に、新たに認識制御パラメータを登録する際にはパラメータ管理装置１４０で撮像環境パラメータと認識制御パラメータを受け取る（ステップＳ６０）。この際、実施の形態１と同様に、撮像環境パラメータと認識制御パラメータに加えて学習状況を受け取ってもよい。

次に、パラメータ管理装置１４０は、認識制御パラメータ登録部４１０によってパラメータテーブル記憶部１３０からk番目の認識制御パラメータにより識別される検出器関数を取得する（ステップＳ６１）。
さらに、ステップＳ６１で取得した検出器関数と、パラメータ管理装置１４０で受け取った検出器関数とに幾つかのサンプルを与えた場合の出力が等しくなるかどうかで、認識制御パラメータ比較部４４０が認識制御パラメータを比較する（ステップＳ６２）。

認識制御パラメータが等しいと判断された場合（ステップＳ６２でYESの場合）、検出器関数を示す認識制御パラメータに対応する撮像環境パラメータを部分集合化する集合化関数を再計算する（ステップＳ６４）。
また、認識制御パラメータ比較部４４０によって比較した認識制御パラメータが等しくなかった場合（ステップＳ６２でNOの場合）にはパラメータテーブルの最後に達したかどうかを判定する(ステップＳ６３)。S６３でNoであれば、変数kをインクリメントして(ステップＳ６７)、インクリメント後のk番目の認識制御パラメータをパラメータテーブル記憶部１３０から取得する（ステップＳ６１）。以降、認識制御パラメータの比較を再度行う(ステップＳ６２)。この際に、パラメータテーブルの最後まで達したにもかかわらず等しい認識制御パラメータが見つからず、パラメータテーブル最後に到達した場合（ステップＳ６３でYESの場合）には、パラメータ管理装置１４０で受け取った撮像環境パラメータを包含する新たな部分集合を特徴空間に作成して（ステップＳ６５）、新たに作成された部分集合と、認識制御パラメータとをパラメータテーブル記憶部１３０に登録する（ステップＳ６６）。

以上のように本実施形態によれば、撮像環境パラメータのデータ集合を共通の特徴を持ったいくつかの部分集合に分割し、部分集合と認識制御パラメータとを対応付けて管理することで、既存の認識制御パラメータを利用することができ、学習の回数や負荷を大幅に軽減することや、設置環境を調整する手間を大幅に改善することに加えて、管理するパラメータ数の削減を実現することが出来る。

＜備考＞
以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。
（認識制御パラメータ計算部１２１、１２２の省略）
パラメータテーブル記憶部１３０は、撮像環境を表す撮像環境パラメータと、識別の実行に利用する認識制御パラメータとを対応付けて保持したが、起こりうる全ての撮像環境に対応する認識制御パラメータが、予めパラメータテーブル記憶部１３０に登録されている場合などには認識制御パラメータ計算部１２１、１２２は省略することが出来る。

（類似する撮像環境がパラメータテーブル内に無かった際の例外処理）
図１５のフローチャートにおけるS15では、類似する撮像環境がパラメータテーブル内に無かった場合、エラーコードを出力したが、類似する撮像環境がパラメータテーブル内に無かったことを通知できればよいため、エラーでなくとも類似する撮像環境が無いという何らかの情報を通知できればよい。また、追加学習を行わない場合には、類似度SimがThpを超えていなくてもエラーの代わりに最も類似度の高い撮像環境の検出器関数を送信すればよい。

(撮像環境パラメータにおける類似度計算手法)
図１５における撮像環境パラメータにおける類似度計算手法は一例であり、他の類似度計算手法を用いてもかまわない。特定パターン認識装置の撮像環境は一定の時間で見ると特定の環境下になる頻度が高くなることがわかる。そのため、パラメータ管理装置１４０にキャッシュテーブルを用意し、出現頻度の高い撮像環境パラメータと認識制御パラメータの組み合わせを登録しておくことによって、パラメータの検索を高速に行うことも出来る。

(各実施形態の構成要件)
特定パターン認識装置１１１〜１１４の構成要素である撮像部２０１、撮像環境パラメータ取得部２０２、識別実行部２０３、認識制御パラメータ保持部２０４、撮像環境パラメータ比較部２０５、撮像環境パラメータ保持部２０６、学習制御部２０７、撮像設定計算部２０８、変換可否判定部２０９、カメラ制御部２１０、及び、パラメータ管理装置１４０の構成要素である認識制御パラメータ取得部４１０、環境類似度計算部４２０と、認識制御パラメータ登録部４３０、認識制御パラメータ比較部４４０、クラス計算部４５０は、マイクロプロセッサ、コードROM、RAMによって構成してもよい。この場合、これまでの実施形態に示した処理手順は、命令コードにより記述してコードROMに格納するのが望ましい。

（撮像環境パラメータ取得部２０２による撮像環境パラメータの取得）
撮像環境パラメータ取得部２０２による撮像環境パラメータの取得は、明るさ検知のために取り付けられた照度センサでなされてもよいし、汎用回路のプログラムによって、カメラ映像の輝度から明るさを判定することでなされてもよい。また、撮像部２０１より得た映像を解析するためのASIC（Application Specific Integrated Circuit）等の専用回路や、FPGA（Field Programmable Gate Array）やDSP（Digital Signal Processor）、コードROMに格納され、CPU（Central Processing Unit）等のプロセッサで実行されるプログラムや、コードROMに格納され、PC（Personal Computer）用CPU（Central Processing Unit）等の汎用回路で実行されるプログラムによって、映像から環境情報を取得することもできる。

（識別実行部２０３による特定パターンの識別）
識別実行部２０３は、それぞれカメラ内部に搭載されたASIC（Application Specific Integrated Circuit）等の専用回路であってもよいし、FPGA（Field Programmable Gate Array）やDSP（Digital Signal Processor）、CPU（Central Processing Unit）等のプロセッサで実行されるプログラムあってもよいし、カメラなどの撮像手段に接続された汎用回路で実行されるプログラムとして存在しても良く、これらに限定されるものではない。

(実施の形態１における構成要件の省略化)
本実施の形態では顔検出についての説明をしているため、認識制御パラメータ計算部を設けているが、追加学習によって認識制御パラメータを求めることが出来ない場合や、追加学習を行う必要が無い場合などには学習制御部２０７だけでなく、認識制御パラメータ計算部１２１、１２２も省略することが出来る。実施の形態１では、関数識別パラメータ計算部をオンライン学習器として構成したが、人が映像内容を見て識別パラメータを適宜変更できる場合学習器を省略することができる。変更に応じて識別パラメータを計算すれば足りるからである。

(画像認識の対象)
各実施形態では画像認識が人物の顔であるとして説明を行ったが、本実施の形態はこれに限定されるものではない。人間の姿態や動物の姿態、自動車、列車等が認識の対象であってもよい。
(多数決処理の導入)
パラメータテーブルにおいて、同一の撮影環境に複数の認識制御パラメータが対応付けられている場合、これら複数の認識制御パラメータに示される複数の検出器関数を同時起動して多数決処理を実行してもよい。

(個人認証への適合)
個人毎に、パラメータテーブルを作成して、個人の特徴を示す特徴ベクトルに対応付けて、パラメータテーブルを管理してもよい。図２３は、個人の特徴ベクトルに対応付ける形で管理されている複数のパラメータテーブルの一例を示す。本図には、パラメータテーブル１、２、３という3つのパラメータテーブルが描かれていて、これらのパラメータテーブルはそれぞれ、3つの特徴ベクトル(ベクトル１、２、３)に対応付けられている。パラメータ管理装置１４０には、このような形態でパラメータテーブルが管理されている。一方、特定パターン認識装置１１１〜１１４は、撮像がなされた場合、撮像された画像の特徴ベクトルを抽出して、撮像時の撮影環境パラメータと共に、抽出した特徴ベクトルをパラメータ管理装置１４０に送信する。パラメータ管理装置１４０は、送信された特徴ベクトル、撮影環境パラメータを受信して、当該特徴ベクトルに対応付けられたパラメータテーブルの中から、その撮像時の撮影環境パラメータに対応する認識制御パラメータを検索する。そして、合致する認識制御パラメータが存在すれば、当該認識制御パラメータを特定パターン認識装置１１１〜１１４に返す。

図２４は、図２３のパラメータテーブルの検索により得られた撮影環境をユーザに提示するための対話画面の一例を示す。この対話画面では、パラメータテーブルに対応付けられている特徴ベクトルの基となった人物像ic1が表示される。サーチ結果のリストで一覧表示されている撮像環境パラメータは、かかる人物像の特徴ベクトルに対する検出器関数の出力が同一又は類似となる認識制御パラメータに対応するものである。

人物像に対応付ける形で、複数の撮像環境が提示されるから、ユーザは、対話画面に示される人物像の認識にあたって、どの撮像環境に対応する認識制御パラメータを基礎にすべきかを適切に判断することができる。以上のように、パラメータテーブルを特徴ベクトルに対応付ける形で、管理することで、本発明にカメラシステムを個人認証に適合させることができる。

(認識制御パラメータのコード体系化)
認識制御パラメータに、小分類を付与することで認識制御パラメータのコード体系化を図ってもよい。この小分類は、ピリオドで区切られた複数のコードによって構成される。図２５は、複数のコード体系で記載された認識制御パラメータの小分類を示す。この複数のコード体系は、オンライン学習法、追加学習法、弱分類器の接続形態、ルップアップテーブルの調整仕方のそれぞれに対応する。これらの5つのコードを用いることにより、カメラ装置により撮像された撮像画像のパターン識別において、オフライン学習がどのようになされるか、追加学習はどのようなものか、弱分類器の接続形態がどのようなものか、ルックアップテーブルの調整はどのような方法でなされるという観点から、検出器関数の類型を明らかにしている。木構造tr1は、オンライン学習に分類される類型として、５つのアルゴリズムによる学習方法が存在し、これらの学習法に、コードが割り当てられていることを示す。

(特徴量の対象範囲)
認識制御パラメータに、特徴量の分類を示す大分類コードを付与してもよい。具体的にいうと、本分類コードは、画像認識の対象となった特徴量が、画像全体から捉えられる第１世代の特徴量、画像の局所領域から捉えられる第２世代の特徴量、特徴量の組合せ・関連性により捉えられる第３世代特徴量の何れかであるかを示す
第２世代の特徴量については、以下の分類を更に示す。Haar-like特徴量は、撮像画像の局所領域において、明暗のパターンが左右に存在するか、上下に存在するかを示す。具体的にはHaar-like特徴量は、高輝度領域の平均輝度S(r1)、低輝度領域の平均輝度S(r2)の差分H(r1,r2)により与えられる。

Histogram Orientied of Gradieant(HOG)特徴量は、水平軸に対して0°から180°までの様々な傾きをとる複数の勾配と、各勾配の出現度数とを対応付けたヒストグラムを各局所領域から算出する。Edglet特徴量は、入力画像から得られたエッジ画像から抽出され、直線、円弧、対称性といったテンプレートと比較される。
（追加学習における学習アルゴリズムの対象範囲）
認識制御パラメータに、学習アルゴリズムの分類を示す大分類コードを付与することで、より広汎な学習アルゴリズムを対象にしてもよい。具体的にいうと、本分類コードは、画像認識の基礎になった学習アルゴリズムが、SVM、AdaBoost、RealAdaBoost、ニューラルネットワーク、Deep-learningニューラルネットワーク、Deformable Part Modelの何れであるかを示す。SVMは、特徴空間の中で、2つのクラスのサンプル距離(マージン)が最小となる識別境界を決定する。SVMによる学習は、特徴ベクトルに付与すべき重み値を算出することでなされる。

RealAdaBoostは、弱分類器の出力が特徴量の分布において定数化されるアルゴリズムである。Deep-learningニューラルネットワークは、通常のニューラルネットワークよりも多くの中間層を設けて認識に有効な特徴量を学習時に抽出する。
Deformable Part Modelは、人全体を捉えるルートフィルタFoφ(P0)と、局所的な部分を捉えるFt・φ(Pt)と、パーツフィルタの位置関係関数di・φd(dxi,dyi)とからスコア付けを行う。

(学習アルゴリズムのバリエーション)
追加学習における学習アルゴリズムは、弱分類器の出力に重み付けを行う重み付けアルゴリズムであってもよい。AdaBoostでは、複数の弱分類器の出力に重み付けを行い、その総和をとって、顔／非顔の検出結果を下す。N個の学習サンプルXt・・・・・XN、クラスに対応するラべル[+1,-1]を用意するという前処理を行い、学習サンプルの重みDiを初期化して、M個の弱分類器候補の選択、及び、エラー率算出を学習回数Tだけ繰り返す。

複数ラウンドの繰り返しは以下のようになされる。エラー率etが、最小となる弱分類器hをラウンドtの弱分類器tとして採用し、採用された弱分類器htに対する重みαtを、αt＝1/2(1-et/et)の計算により算出する。その後、弱分類器候補の中から最もエラー率が小さいものを選択し、弱分類器に対応する重みを算出して、学習サンプルの重みDi(t)を更新し、Dt(i)を正規化するという処理を行う。かかるアルゴリズムで、重みDi(t)の正規化が完了していれば学習状況を学習完了とし、正規化が未完であれば学習中とする。

（学習成果が存在する状態の具体的な態様）
「認識制御パラメータに学習成果が存在する状態」については、システムの運用に応じて適切なものを規定すればよい。実施の形態１では、強分類器における追加学習が収束した状態（目標損失関数L(p(x,y),c+Δc)の偏微分値gが極小値になる状態）を「学習成果が存在する状態」とした。しかしこれに限らず、追加学習の収束率や達成度が所定の閾値を上回る状態を、強分類器における追加学習が収束した状態としてもよい。また誤認識の発生率が、ある閾値を下回った状態を「学習成果が存在する状態」としてもよい。

（技術思想の体系化）
本願は、上記課題を解決することができる画像認識方法、カメラ装置の様々な態様を含む。かかる複数の態様は、以下の１．、２．、３．・・・という技術的思想の体系を形成する。
１．は、技術的思想の体系の根幹であり、それは、複数のカメラ装置を含むカメラシステムにおける画像認識方法であって、
1つのカメラ装置で画像を撮像した場合の撮像環境を示す撮像環境情報の取得と、
撮像環境情報に示される撮像環境に適した認識制御パラメータの選択と、
選択された認識制御パラメータを利用した撮像画像の認識とを含み、
前記カメラシステムは、選択可能な複数の認識制御パラメータのそれぞれを、画像認識の対象となった撮像環境と対応付けて管理しており、
認識制御パラメータを選択するにあたって、前記カメラシステムにおける複数のカメラ装置の何れかで過去に撮像された画像の認識に使用された認識制御パラメータであって、取得された撮像環境情報に示される撮像環境と同一又は類似の撮像環境で学習成果をもつものを、サーチするというものである。

本態様によれば、カメラ装置の設置された環境条件に最適な認識制御パラメータを選択して利用し、仮定した一般環境条件との差異による影響を抑えて特定パターンの認識を行うことが出来る。これにより、個々のカメラ装置の設置環境を人手で調整することや、機械学習によって常に認識制御パラメータの計算をすることなく識別性能を向上させることが出来る。

２．画像認識の内容は、更に下位概念化のものに展開することができる。その下位概念化がなされた態様とは、前記撮像画像の認識は、
撮像画像の解析で得られたパターン、又は、パターンと対比されるべき特徴空間におけるサンプル集合に対して、選択された認識制御パラメータを適用することにより、サンプル集合に合致するパターンが、撮像画像に表れているかどうかを識別することでなされるというものである。認識制御パラメータが、認識空間を仕切る境界関数である場合でも、認識空間内の既存のサンプルを遷移させる遷移関数である場合でも、過去の学習成果の利用が可能となり、実用性が高まる。

３．任意的な処理として、撮像環境が変化した場合の処理を付加することができる。その付加がなされた態様とは、撮像環境の変化が発生した場合、変化後の撮像環境に対応する認識制御パラメータのサーチを試行して、変化後の撮像環境に対応する認識制御パラメータが存在すれば、当該認識制御パラメータを、撮像画像におけるパターンの識別に利用するというものである。

朝、昼、夕方という時間帯毎の照光状態の変化に応じた撮像環境を選択するから、撮像環境に応じて、一但選択した認識制御パラメータが時間経過により役に立たなくなるという事態を回避することができる。
４．任意的な処理として、撮像環境と、認識制御パラメータとの対応関係を付加することができる。その付加がなされた態様とは、前記カメラシステムは、複数のエントリーからなるテーブルを有し、
テーブルにおけるエントリーは、撮像環境を示す情報を、認識制御パラメータと対応付けて示し、
撮像画像の認識は、撮像画像におけるパターンの新規学習を含み、
新規学習は、学習の対象となる撮像画像に対応する認識制御パラメータを算出すると共に、学習の対象となる撮像画像を撮像したカメラ装置の撮像環境を示す撮像環境情報と、認識制御パラメータとを対応付けて示すエントリーを、テーブルに追加することでなされるというものである。認識制御パラメータと、撮像環境との対応付けがテーブルに明示されるから、リレーショナルデータベースの構文を用いて、かかるテーブルを記述することで、本発明の実施が可能になる。

５．任意的な処理として、新規学習時の処理を付加することができる。その付加がなされた態様とは、撮像画像を撮像したカメラ装置における撮像環境が変化したかどうかの監視を行い、
撮像環境の変化が発生した場合、変化後の撮像環境に対応する認識制御パラメータのサーチを試行し、
変化後の撮像環境に対応する認識制御パラメータが存在しない場合、新規学習を実行するというものである。撮像環境が変化して、その変化後の撮像環境に対応する認識制御パラメータが存在しない場合に新規学習がなされるから、新規学習の起動による処理遅滞を最小限にすることができる。

６．任意的な処理として、カメラ設定を付加することができる。その付加がなされた態様とは、カメラ装置が置かれている撮像環境と、類似関係にある撮像環境に対応する認識制御パラメータであって、当該撮像環境で学習成果をもつものが存在する場合、当該カメラの撮像設定を、当該類似関係にある撮像環境に変換することは可能であるかどうかを判定して、
変換可能であると判定した場合、変換後の撮像設定でカメラ装置による撮像を行わせ、
変換不可能であると判定した場合、当該類似関係にある撮像環境に適合した認識制御パラメータの算出を行うというものである。学習成果が存在する撮像環境に近づくよう、カメラ設定を変化させるから、個々のカメラを含めたシステムの最適化が可能になり、システム全体を通じた認識率向上を図ることができる。

７．任意的な処理として、認識制御パラメータ選択のための閾値を付加することができる。その付加がなされた態様とは、認識制御パラメータのサーチにあたって、撮像がなされた1つのカメラ装置がおかれた撮像環境と、撮像環境情報に示される撮像環境との類似度を算出して、当該類似度を所定の閾値と比較し、
閾値を上回る類似度をもつ認識制御パラメータが1つ以上存在する場合、それらの認識制御パラメータの中で最も類似度が高いものを撮像画像におけるパターン識別に利用し、
閾値を上回る類似度をもつ認識制御パラメータが存在しない場合、閾値を下回る認識制御パラメータの中で最も高い類似度をもつ認識制御パラメータを、新たな認識制御パラメータ算出の基礎とするというものである。類似度が閾値に満たない場合、撮像環境の中で最も高い類似度をもつ撮像環境情報に対応する認識制御パラメータを新規認識制御パラメータ算出の基礎にするから、新たな認識制御パラメータについてのトレーニングが収束するまでの時間を最短にすることができる。

８．任意的な処理として、サンプル集合に対する処理を付加することができる。その付加がなされた態様とは、前記カメラシステムは、複数のエントリーからなるテーブルを有し、
テーブルにおけるエントリーは、撮像環境を示す情報を、認識制御パラメータと、認識制御パラメータの学習状況とに対応付けて示し、学習状況には、認識制御パラメータの学習が完了した状態、学習が未了になっている状態があり、学習状況が未了になっている認識制御パラメータについては、追加学習を行い、
学習状況が未了になっている認識制御パラメータの追加学習は、対応する撮像環境と同一の撮像環境におかれている複数のカメラ装置により取得された撮像画像から、サンプル集合に追加されるべき要素を抽出する処理を含むというものである。最も高い類似度をもつ撮像環境についての認識制御パラメータの学習状況が学習途中であれば、同じ撮像環境におかれたカメラを通じて、学習途中の認識制御パラメータに与えるべきサンプルを増やすので、様々なパターンに対応できるような認識制御パラメータの取得が可能になる。

９．任意的な処理として、認識制御パラメータの選択に、環境分類関数を付加することができる。その付加がなされた態様とは、前記画像認識方法は、2つ以上の撮像環境分類関数を算出し、撮像環境分類関数は、撮像環境に対応付けられた撮像環境情報を、撮像環境認識空間における2以上の部分集合に分類するためのものであり、
類似する撮像環境に対応する認識制御パラメータの取得は、
何れかのカメラ装置により撮像画像が得られた場合、その撮像時における撮像環境を示す撮像環境情報を、撮像環境認識空間にマッピングして、マッピング点が何れの部分集合に属するかを、撮像環境分類関数を用いて判定することによりなされるというものである。認識制御パラメータを用いて撮像環境を集合化することで、あるカメラにより撮像画像が得られた場合、新たに撮像された画像の撮像環境に最も近い撮像環境で学習成果を上げている認識制御パラメータの探索が迅速に探し出されることになる。

１０．カメラ装置を実施する局面において、カメラ装置の態様は、カメラシステムで用いられるカメラ装置であって、
画像を撮像した場合、撮像環境を示す撮像環境情報を取得する取得手段と、
カメラシステムにおける他のカメラ装置で撮像された過去の画像の認識に使用された認識制御パラメータであって、取得された撮像環境情報に示される撮像環境と同一又は類似の撮像環境で学習成果をもつものをサーチするサーチ手段と、
類似の撮像環境で学習成果が存在する認識制御パラメータが存在する場合、自装置のカメラ設定を当該類似の撮像環境に変更できるか否かを判定する可否判定再手段と、
変更できる場合、自装置のカメラ設定を当該類似の撮像環境に変更する変更手段と
を備えるというものである。学習成果が存在する撮像環境に近づくよう、カメラ装置の設定を変化させるから、個々のカメラを含めた特定パターン識別システムの最適化が可能になり、システム全体を通じた認識率向上を図ることができる。

また、この１０．の態様のカメラ装置を実施する局面においても、画像認識方法における２．〜９．と同様の改変を施すことができる。

本発明にかかる認識制御パラメータ共有システムは、撮像環境の異なる複数のカメラ装置を用いたカメラシステムにおいて、その環境に適した認識制御パラメータを取得して利用する機能を有し、撮像環境が変化する自然環境下で特定パターンの識別を行う際に有用である。また、設置後に機能を追加する機能を備えたカメラや、機能追加型のモバイル端末において特定のパターンを識別する機能を追加し、実行する場合においても応用できる。

１１１〜１１４ 特定パターン認識装置
１２１、１２２ 認識制御パラメータ計算部
１３０ パラメータテーブル記憶部
１４０ パラメータ管理装置
２０１ 撮像部
２０２ 撮像環境パラメータ取得部
２０３ 識別実行部
２０４ 認識制御パラメータ保持部
２０５ 撮像環境パラメータ比較部
２０６ 撮像環境パラメータ保持部
２０７ 学習制御部
２０８ 撮像設定計算部
２０９ 変換可否判定部
２１０ カメラ制御部
４１０ 認識制御パラメータ取得部
４２０ 環境類似度計算部
４３０ 認識制御パラメータ登録部
４４０ 認識制御パラメータ比較部
４５０ クラス計算部

Claims (10)

1. 複数のカメラ装置を含むカメラシステムにおける画像認識方法であって、
   前記カメラシステムは、前記複数のカメラ装置のそれぞれが過去に画像を撮像した際の複数の撮像環境を示す撮像環境情報と、前記各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを対応付けて、パラメータテーブルに示すことで、前記複数の撮影環境を管理し、
   前記複数のカメラ装置の中の１つである、第１カメラ装置が第１画像を撮像した場合、第１画像及び前記第１画像を撮像した際の前記第１カメラ装置の第１撮像環境を示す第１撮像環境情報を第１カメラ装置から取得し、
   前記第１画像の撮像時の撮像環境を示す第１撮像環境情報と、前記パラメータテーブルに管理されている前記各撮像環境を示す撮像環境情報との差分から類似度を算出して、算出された類似度が所定の閾値を上回る類似度を持つ撮像環境を示す撮像環境情報が前記パラメータテーブルに存在するかどうかの判定を行い、所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在する場合、前記パラメータテーブルに示される各認識制御パラメータの中から、当該撮像環境に対応する第１検出器関数を示す第１認識制御パラメータを選択し、
   前記選択された第１認識制御パラメータで示された第１検出器関数を用いることで、前記第１カメラ装置から取得した第１画像の認識を行い、
   所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在しない場合、当該類似度が所定の閾値を下回る類似度の中で最も類似度が高い撮像環境に対応する検出器関数を示す第２認識制御パラメータを選択し、前記選択された第２認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて、第１画像の認識に用いる認識制御パラメータを生成する、
   画像認識方法。
2. 前記第１画像の認識は、
   前記第１画像から抽出された前記第１画像の特徴ベクトルを示すパターン情報に対して、前記選択された第１認識制御パラメータに示される第１検出器関数、又は、前記所定の学習アルゴリズムを用いて生成された認識制御パラメータを用いて行われる、
   請求項１記載の画像認識方法。
3. 更に、第１カメラ装置で撮像した第２画像及び前記第２画像を撮像した際の前記第１カメラ装置の第３撮像環境を示す第３撮像環境情報を前記第１カメラ装置から取得し、
   前記第２画像の撮像時の撮像環境を示す第３撮像環境情報と、前記パラメータテーブルに管理されている前記各撮像環境を示す撮像環境情報との差分から類似度を算出して、算出された類似度が所定の閾値を上回る類似度を持つ撮像環境を示す撮像環境情報が前記パラメータテーブルに存在するかどうかの判定を行い、
   所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在する場合、前記パラメータテーブルに示される各認識制御パラメータの中から、当該撮像環境に対応する第３検出器関数を示す第３認識制御パラメータを選択し、前記選択された第３認識制御パラメータで示された第３検出器関数を用いることで、前記第１カメラ装置から取得した第２画像の認識を行い、
   所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在しない場合、当該類似度が所定の閾値を下回る類似度の中で最も類似度が高い撮像環境に対応する検出器関数を示す第４認識制御パラメータを選択し、前記選択された第４認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて、第２画像の認識に用いる認識制御パラメータを生成する、
   請求項１記載の画像認識方法。
4. 前記第２認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて生成された認識制御パラメータを用いて前記パラメータテーブルを更新する、
   請求項１記載の画像認識方法。
5. 前記第４認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて生成された認識制御パラメータを用いて前記パラメータテーブルを更新する、
   請求項３記載の画像認識方法。
6. 前記所定の閾値を上回る類似度を持つ撮像環境が存在する場合、更に、前記類似の撮像環境で画像の撮像をさせるために前記第１カメラ装置の設定を変更する指示を前記第１カメラ装置に送信し、
   前記第１カメラ装置から、前記類似環境で撮像された第３画像を取得し、
   前記第１認識制御パラメータで示された第１検出器関数を用いて前記第１カメラ装置から取得した第３画像を認識する、
   請求項１記載の画像認識方法。
7. 前記パラメータテーブルに示される、複数の撮影環境情報の撮影環境を対象として算出された類似度が、所定の閾値を上回った場合、最も類似度が高い撮像環境に対応する検出器関数を示す認識制御パラメータを、前記第１認識制御パラメータとして選択する、
   請求項１記載の画像認識方法。
8. 前記各カメラ装置が過去に撮像した各画像の特徴ベクトル、又は、前記各カメラ装置が過去に撮像した際に検知された撮像環境を示す情報に基づいて前記各撮像環境を示す撮像環境情報を分類し、
   前記分類された前記各撮像環境を示す撮像環境情報に対応させて前記各検出器関数を示す各認識制御パラメータを前記パラメータテーブル上で管理させる、
   請求項１記載の画像認識方法。
9. 前記検知された撮像環境を示す情報は、前記各カメラ装置が過去に撮像した際の周辺照度を表す情報、前記各カメラ装置の照明方向を表す情報、前記各カメラ装置に取り付けられた各レンズに起因する歪 を表す情報、前記各カメラの揺れに起因する前記各画像の揺れを表す情報、前記各画像における対象オブジェクトのサイズを表す情報、前記各画像における対象オブジェクトの向きを表す情報、のいずれかを含む、
   請求項８記載の画像認識方法。
10. 複数のカメラ装置を含むカメラシステムであって、
    前記複数のカメラ装置のそれぞれが過去に画像を撮像した際の複数の撮像環境を示す撮像環境情報と、前記各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを対応付けて、パラメータテーブルに示すことで、前記複数の撮影環境を管理し、
    前記複数のカメラ装置の中の１つである、第１カメラ装置が第１画像を撮像した場合、第１画像及び前記第１画像を撮像した際の前記第１カメラ装置の第１撮像環境を示す第１撮像環境情報を第１カメラ装置から取得する取得手段と、
    前記第１画像の撮像時の撮像環境を示す第１撮像環境情報と、前記パラメータテーブルに管理されている前記各撮像環境を示す撮像環境情報との差分から類似度を算出して、算出された類似度が所定の閾値を上回る類似度を持つ撮像環境を示す撮像環境情報が前記パラメータテーブルに存在するかどうかの判定を行い、所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在する場合、前記パラメータテーブルに示される各認識制御パラメータの中から、当該撮像環境に対応する第１検出器関数を示す第１認識制御パラメータを選択する選択手段と、
    前記選択された第１認識制御パラメータで示された第１検出器関数を用いることで、前記第１カメラ装置から取得した第１画像の認識を行う認識手段とを備え、
    所定の閾値を上回る類似度を持つ撮像環境が前記パラメータテーブルに存在しない場合、当該類似度が所定の閾値を下回る類似度の中で最も類似度が高い撮像環境に対応する検出器関数を示す第３認識制御パラメータを選択し、前記選択された第３認識制御パラメータを基礎として、所定の学習アルゴリズムを用いて、第１画像の認識に用いる認識制御パラメータを生成する、
    カメラシステム。

Images