JP7231464B2 - 物体認識システム及び物体認識方法 - Google Patents

Description

本発明は、物体認識システム及び物体認識方法に関する。

近年グローバル化が進み、様々な国の人が行き来するようになったが、治安悪化が懸念され、セキュリティ需要が高まっている。しかし、日本を含む一部の国では労働人口が減少しているため、計算機を活用した機械的な解決策が求められている。

この技術の一つに、ニューラルネットワークを用いた映像解析技術がある。ニューラルネットワークは与えられた学習用データセットから有効な特徴抽出方法を学習する、データ駆動型の手法である。学習用データセットが評価用環境のデータがあるほど、ニューラルネットワークの認識精度が高まる。また、学習用データセットが大規模で多様である場合には、汎用的な環境下に対して、認識精度が高まる。

学習用データセットは、画像と解きたい対象タスクのラベルから構成される。画像はカメラで撮影すれば機械的に収集することができるが、ラベル作成の大部分は人手の作業が必要になるため、学習用データセットの作成には人的コストは大きいことが課題である。

複数の推定を行うマルチタスク用ニューラルネットワークは、それぞれの関連性を考慮して出力するため、単タスク用ニューラルネットワークより高い精度を実現しうる。
それを実現するためには、マルチタスクに対してラベル付けを行う必要がある。単タスクに比べてタスク数が多い分作業量が大きい。また、人手によるミスやデータ保存・通信環境のなどの影響でデータ欠損が生じ、ラベルの一部が欠損している場合がある。

特許文献１では、データ欠損を防ぐため、関連度を表す教師ラベルを生成する方法が提案されている。

特許第６３９２４７８号公報

しかし、特許文献１では、前提となるデータセットの構築作業はラベル付け量が多く実用上の課題となる。
本発明の目的は、物体認識システムにおいて、前提となるデータセットの構築作業におけるラベル付け量を抑えることにある。

本発明の一態様の物体認識システムは、記憶部と学習制御部とを有する物体認識システムであって、前記記憶部は、物体の画像を保存する画像部と、前記物体の属性であるタスクに関する情報であるラベルを保存するラベル部と、前記物体の前記タスクを推定して推定結果を出力する推定器とを有し、前記推定器は、前記画像から物体特徴量を抽出する物体特徴抽出部と、前記タスクの情報を識別するための複数のタスク別識別部と、前記物体特徴抽出部と複数の前記タスク別識別部と間の接続情報を保存する接続スイッチとを有し、前記学習制御部は、前記タスクの種類に応じて、前記接続スイッチに保存されている前記接続情報に基づいて、前記物体特徴抽出部と複数の前記タスク別識別部との間の接続関係を変更することを有することを特徴とする。

本発明の一態様の物体認識方法は、記憶部と学習制御部とを有する物体認識システムを用いた物体認識方法であって、前記記憶部に、物体の画像と前記物体の属性であるタスクに関する情報であるラベルを保存し、物体特徴抽出部により、前記物体の画像から物体特徴量を抽出し、複数のタスク別識別部により、前記タスクの情報を識別し、前記学習制御部により、前記タスクの種類に応じて、前記物体特徴抽出部と複数の前記タスク別識別部との間の接続関係を変更し、前記物体の前記タスクを推定して推定結果を出力することを有することを特徴とする。

本発明の一態様によれば、物体認識システムにおいて、前提となるデータセットの構築作業におけるラベル付け量を抑えることができる。

実施例に係るシステム構成を示すブロック図である。 ラベル部１０２の一例を示す図である。 学習履歴記憶部１０３の一例を示す図である。 接続スイッチ１００１の一例を示す図である。 更新度保存部１００３の一例を示す図である。 実施例に係る学習フローの詳細を示すフローチャートである。 推定器の実用例を示す図である。 実施例に係る学習の概要を示す図である。 画像部１０１の一例を示す図である。

以下、図面を用いて実施例について説明する。

図１を参照して、実施例に係る物体認識システムの構成を説明する。
物体認識システムは、記憶部１０、学習制御部１１及びタスク組合せＩＤ作成部１２を有する。記憶部１０は、推定器１００、画像部１０１、ラベル部１０２及び学習履歴記憶部１０３を有する。

推定器１００は、物体特徴抽出部１０００、接続スイッチ１００１及びタスク別識別部１００２を有する。ここで、タスク別識別部１００２は、複数のタスク別識別部１００２ａ～１００２ｃから構成される。推定器１００は、人物画像を入力として受け取り各タスクに対するその人物の推定結果を出力する。推定器１００のデータは、例えば、ビデオメモリ内に存在する。

物体特徴抽出部１０００はニューラルネットワークで構成される。このニューラルネットワークは学習で更新可能なパラメータを持つ。物体特徴抽出部１０００の機能は、入力として受け取った人物画像を、特徴量と呼ばれる３階テンソルに変換する。同じ人物の画像に対しては、互いに距離の近いテンソルになるように物体特徴抽出部１０００はパラメータチューニングされており、特徴量は各人物を区別できるように人物画像から３階テンソル化されたものである。

接続スイッチ１００１は、入力画像に付属するラベルに応じて、物体特徴抽出部１０００とタスク別識別部１００２ａ～１００２ｃとの接続情報を表す接続記号もしくは非接続記号が格納されている。

タスク別識別部１００２はニューラルネットワークで構成される。このニューラルネットワークは学習で更新可能なパラメータを持つ。タスク別識別部１００２の機能は、前記物体特徴量に対し、各タスクに関する情報をデコードすることである。このデコードされた出力結果の形式は、小数ベクトルで表される。

本実施例では、一例として、年齢、髪色、性別をタスクとしている。タスク別（年齢）識別部１００２ａのタスクは年齢であり、タスク別（髪色）識別部１００２ｂのタスクは髪色あり、タスク別（性別）識別部１００２ｃのタスクは性別である。

更新度保存部１００３は、物体特徴抽出部１０００とタスク別識別部１００２に対する学習時のパラメータ更新の程度を格納する。

画像部１０１は、様々なタスク用のデータセットから収集した画像が保有されている。図９で示される通り、画像名９ａと画像データ９ｂから構成されている。画像部１０１は、例えば、データベースとしてストレージ（ＳＳＤやＨＤＤ）内に存在する。

ラベル部１０２は、画像部１０１が保有する画像の画像名および各タスクのラベルを保有する。各タスクのラベルは、画像がそのタスクに対応する場合にはラベル値、非対応の場合は欠損値である。ラベル部１０２は、例えば、データベースとしてストレージ（ＳＳＤやＨＤＤ）内に存在する。

学習制御部１１は、データの受け渡しや学習の計算などの処理を行う。例えば、学習制御部１１は、画像部１０１とラベル部１０２から受け取った画像とラベルを物体特徴抽出部１０００へ伝送する。また、ラベルをワンホット表現のベクトルに変換する。また、接続スイッチ１００１を調整する。また、更新度保存部１００３を変更する。さらに、推定器１００のパラメータを更新する。学習制御部１１は、例えば、ＣＰＵやＧＰＵで構成される。

学習履歴記憶部１０３は、最新時点までの学習条件および結果を保有する。学習履歴記憶部１０３は、例えば、メモリ内に存在する。

更新度保存部１００３は、直前までの学習状況に応じて、物体特徴抽出部１０００ないしタスク別識別部１００２が持つパラメータの更新量の強弱を制御するための変数を保存する。更新度保存部１００３は、例えば、メモリ内に存在する。

図２を参照して、ラベル部１０２のデータ構造について説明する。
ラベル部１０２は、各画像に付属する各タスクの正解値である。図２に示されるように、タスク組合せＩＤ２ａと、各画像名２ｂと、タスク数３個から成る各タスクの正解値２ｃから構成される。

タスク組合せＩＤ２ａは、対応するラベルの組合せが同じものに対して割り振られた各組のＩＤである。学習前には空欄で、学習の最初に作成され学習時に使用される。

画像名２ｂは、各レコードが対応する画像の画像部１０１のアドレスが保存されている。正解値２ｃには、対応タスクに対しては正解ラベル、非対応タスクに対しては欠損値を格納されている。欠損値として、図２では×としているが、他の記号でもよい。

図３を参照して、学習履歴記憶部１０３のデータ構造について説明する。
学習履歴記憶部１０３は、最新時点までの接続条件および各タスクのタスク損失を記録する記憶部である（タスク損失の定義は後述する）。

図３に示されるように、各学習ステップにおけるタスク組合せＩＤ３ａ、タスク損失３ｂから構成される。タスク組合せ３ａには各学習ステップのタスク組合せＩＤを格納する。対応タスクのタスク別識別部１００２の出力値と正解値の誤差が入力され、非対応タスクについては欠損値が入力される。欠損値として、図３では×としているが、他の記号でもよい。

図４を参照して、接続スイッチ１００１のデータ構造について説明する。
接続スイッチ１００１は、物体特徴抽出部１０００とタスク別識別部１００２ａ～１００２ｃとの接続情報を保存する。タスク数個分のフィールドから構成され、それぞれ接続記号もしくは非接続記号を格納する。図４は、接続記号として１、非接続記号として０とした一例である。

図５を参照して、更新度保存部１００３のデータ構造について説明する。
更新度保存部１００３は、複数のタスク別識別部１００２ａ～１００２ｃをバランス良く学習するために、パラメータの更新の程度を調整する値を格納する。
図５に示されるように、タスク別識別部１００２ａ～１００２ｃに対し、強弱を示す小数値が格納されている。非接続のタスク別識別部１００２ｂに対しては、欠損値が保存されている。欠損値として、図５では０としているが、他の記号でもよい。

次に、物体特徴抽出部１０００の数式計算について説明する。
物体特徴抽出部１００２のニューラルネットワークのパラメータをθ、計算をｆとすると、画像ｘを入力した際、以下の（数１）によって特徴量ｚを出力する。

ここで、θは物体特徴抽出部１００２のニューラルネットワークが持つパラメータを指す。
タスク別識別部１００２ａ～１００２ｃのニューラルネットワークのパラメータをθ_ａ～θ_ｃ、計算をｇ_ａ～ｇ_ｃとすると、特徴量ｚとした時のタスク別識別部１００２ａ～ｃのそれぞれの推定ベクトルｙ_ａ～ｙ_ｃは以下の（数２）～（数４）で導出される。

推定ベクトルｙはその属性内に存在するクラスベクトルである。例えば、性別であれば男性と女性の２クラスが存在し、ｙ_ｃは２次元のベクトルであり、以下に数（５）で導出される。

画像ｘ_ｉに対する属性推定の推定ベクトルｙ_ａ，ｉと正解ベクトルｔ_ａ，ｉの距離を表したタスク（年齢）損失ｌ_ａは、クロスエントロピー誤差として以下の（数６）で定義される。

但し、Ｃ_ａは年齢タスクのクラス数で、ｔ_ａ，ｉおよびｙ_ａ，ｉは、以下の（数７）、（数８）のベクトルの要素である。

また、正解ベクトルｔａ，ｉは、正解クラスの要素のみが１で、それ以外の要素が０となるワンホット表現のベクトルである。
予測ベクトルと正解ベクトルが近いほど、ｌ_ａは小さくなる性質がある。ｌ_ａが小さい場合は、良い予測が得られているということを意味する。タスク（髪色）損失ｌ_ｂ、タスク（性別）損失ｌ_ｃも同様に定義される。非接続のタスク損失は正解ベクトルｔが存在しないため、計算しない。

全損失は、有接続のタスク損失の重み付き和として定義される。この重みは更新度を指す。例えば、年齢と性別のみ接続があれば、ｌは以下の（数９）で表される。

ここで、ｌ_ａ，ｌ_ｃは、各タスクに対応した更新度である。学習では、このｌを小さくするように、関連するパラメータが更新される。例えば、年齢と性別のみの接続の場合では、物体特徴抽出部１００２と有接続のタスク別識別部１００２ａ、１００２ｃが持つパラメータθ、θ_ａ、θ_ｃが更新される。

次に、図６を参照して、学習フローについて説明する。
学習を開始したら（Ｓ６００）、学習に必要な定数を設定する。一度のパラメータの更新に用いるデータの個数であるバッチサイズを設定する。パラメータ更新の上限回数である上限ループ回数を設定する。

また、各タスクのクラスの順番を定義する。例えば、性別のタスクであれば、男と女の２クラスがあり、男を１番目、女を２番目とする。

次に、学習制御部１１は、ラベル部１０２を参照し、タスク組合せＩＤを作成する。
タスク組合せＩＤはラベルの存在するタスクの組合せに関して１から順に割り振られる。例えば、ラベル部に存在する組合せが（年齢、性別）、（髪色、性別）、（性別）の３種類であれば、順にタスク組合せＩＤを１、２、３と割り振る。そして、ラベル部内の全データに対して、対応するタスク組合せＩＤを埋める。

混合する前の元のデータセットが同じでも、破損などの理由でラベルが欠損していれば、図２のように別のＩＤを割り当てる。その後、同じ組合せＩＤ同士が連続して並ぶように、ラベル部のレコードを整理する。（Ｓ６０１）
１回の学習ステップに用いるデータを抽出する。まず、ランダムに今回の学習ステップに用いるタスク組合せＩＤを決定する。学習制御部１１は、そのタスク組合せＩＤを持つラベルをバッチサイズ個、ラベル部１０２のテーブルの上から取得する。

次の同じタスク組合せＩＤの時は、その続きから取得する。もし、取得している最中にそのタスク組合せＩＤの最後のレコードに達したら、ラベル部内のそのタスク組合せＩＤを持つレコードのみをシャッフルする。取得の続きは、そのタスク組合せＩＤを持つレコードの先頭から行う。

その後、各ラベルをワンホット表現のベクトルにする。例えば、性別のラベルであれば、男と女の２クラスのうち、男を１番目、女を２番目とすると、男のワンホット表現のベクトルｔ_ｃは、以下の（数１０）で表される。

女のワンホット表現のベクトルｔ_ｃは、以下の（数１１）で表される。

その後、ラベル記載の画像名の画像を画像部１０１から取得する（Ｓ６０２）。
学習制御部１１は、接続スイッチ１００１を更新する。本ステップで使用するラベルが対象とするタスクに対しては接続記号、非対象のタスクに対しては非接続記号を入れる（Ｓ６０３）。
学習制御部１１は、学習履歴記憶部１４０を参照し、新たな更新度を算出し、新たな更新度を更新度保存部１００３に代入する（Ｓ６０４）。

新たな更新度の算出方法の一例は次の通りである。接続済みタスクの更新度は、過去の学習時に接続された総回数の逆数、非接続タスクの更新度は０とする。図５は更新度が３回目の時の例を示している（λ_ａ＝１／２＝０．５、λ_ｂ＝０、λ_ｃ＝１／３＝０．３）。

学習制御部１１は、物体特徴抽出部１０００に画像を入力して計算し、得られた出力は、対応タスクのタスク別識別部１００２に入力して得られた出力結果とラベルに対して、タスク損失および全損失を計算する。

この全損失に対して誤差逆伝播法を適用し、物体特徴抽出部１０００と有接続のタスク別識別部１００２が保有するパラメータを更新する（Ｓ６０５）。

学習制御部１１は、接続済みのタスクのタスク損失を受け取り、学習履歴記憶部１０３にタスクの種類とタスク損失を新たなレコードとして追加する（Ｓ６０６）。

学習終了条件を満たしたら、学習を終了させる。学習終了条件を満たしていない場合はＳ４０２の操作を行う（Ｓ６０７）。学習終了条件の一例は、上限ループ回数に達したか否かである。ここで、Ｓ６０２からＳ６０６までの処理全体を、学習ステップと呼ぶ。

次に、図７及び図８を参照して、実施例の物体認識方法について説明する。
実施例では、図７のように監視カメラ７００から伝送されてきた画像を、何かしらの方法で人物領域の画像を切出す。そして、切出し画像に対して映っている人物の年齢、性別、髪色などの複数の属性を推定器１００で推定し、その推定結果を出力する。実施例では、例えば、年齢、性別、髪色の３属性を対象とする。

推定器１００は、ニューラルネットワークで構成される。ニューラルネットワークはパラメータを持ち、そのパラメータの値によって出力値が変動する。これらのパラメータは、事前に用意した学習用データセットを用いて学習と呼ばれる方法でチューニングする。これにより、適切な推定のできる推定器１００が実現される。

学習用データセットは、人物画像とその人物に対する属性のラベル（正解ラベル）の組で構成される。ラベルは、例えば男性の画像に男性を示すラベルが付与されている。

ラベルは人手などで事前に付けられている。ラベル付けのコストは画像数が多いほど大きい。そのため、その都度ゼロからデータセットを用意するより、他の目的でラベル付けされたデータセットを活用する方が望ましい。

しかし、他の目的でラベル付けされたデータセットは、必ずしも必要なラベルが揃っているとは限らない。例えば、年齢と性別のみの推定目的で構築されたデータセットには年齢と性別しか存在せず、髪色のラベルは存在しない。

従来技術では、上記のような欠損したラベルがある場合には適用できない。本実施例では、このような場合にも推定器１００の学習が可能である。

図８を算用して、推定器１００の学習過程の概略を説明する。
複数のデータセットを混合して構築した混合データセットから、同じ種類のラベルを持つデータ（画像とラベルの組）を複数個取り出す。この個数はバッチサイズと呼び、予め設定しておく定数である。

ラベルは学習制御部１１に伝送され、学習制御部１１は存在するラベルの種類に応じて、推定器１００内の物体特徴抽出部１００とタスク別識別部１００２ａ～１００２ｃの接続を変更する。例えば、取り出したデータに年齢と性別のラベルしか無ければ、年齢のタスク別識別部１００２ａ及び性別のタスク別識別部１００２ｃとは接続し、髪色のタスク別識別部１００２ｂとは接続しない。

学習制御部１１は、タスク別識別部１００２のパラメータの更新の強弱を制御する更新度を変更する。取り出した画像は、推定器１００に伝送され、年齢のタスク別識別部１００２ａ及び性別のタスク別識別部１００２ｃの推定結果を出力する。

学習制御部１１は、正解ラベルと推定結果を比較し、その距離（損失）を計算する。その距離を推定器１００に伝送し、推定器１００は距離が小さくなるようにパラメータを更新する。
以上が学習過程における一回のパラメータの更新（学習ステップと呼ぶ）の総手順である。

上記実施例によれば、物体認識システムにおいて、前提となるデータセットの構築作業におけるラベル付け量を抑えることができる。

尚、上記実施例では、人物を対象とした場合を述べたが、本発明は人物に限らず、人物以外の物体にも適用可能である。例えば、車に対しては、車の色や車種、サイズの推定などに適用でき、このような機能を持った推定器は車の検索などに応用できる。システム構成や学習フロー（学習方法）は上記実施例と同様のものをそのまま使用可能である。

１０ 記憶部
１１ 学習制御部
１２ タスク組合せＩＤ作成部
１００ 推定器
１０１ 画像部
１０２ ラベル部
１０３ 学習履歴記憶部
１０００ 物体特徴抽出部
１００１ 接続スイッチ
１００２ タスク別識別部

Claims (7)

1. 記憶部と学習制御部とを有する物体認識システムであって、
   前記記憶部は、
   物体の画像を保存する画像部と、
   前記物体の属性であるタスクに関する情報であるラベルを保存するラベル部と、
   前記物体の前記タスクを推定して推定結果を出力する推定器と、を有し、
   前記推定器は、
   前記画像から物体特徴量を抽出する物体特徴抽出部と、
   前記タスクの情報を識別するための複数のタスク別識別部と、
   前記物体特徴抽出部と複数の前記タスク別識別部と間の接続情報を保存する接続スイッチと、を有し、
   前記ラベル部は、
   前記画像と前記物体の前記タスクの正解値である正解ラベルとの組み合わせである学習用データセットを保存し、
   前記タスク別識別部は、
   ニューラルネットワークで構成され、
   前記ニューラルネットワークは学習で更新可能なパラメータを有し、
   前記物体特徴量に対し、前記タスクに関する情報をデコードし、
   前記学習制御部は、
   前記タスクの種類に応じて、前記接続スイッチに保存されている前記接続情報に基づいて、前記物体特徴抽出部と複数の前記タスク別識別部との間の接続関係を前記正解ラベルのある前記タスク別識別部との接続に変更し、
   前記学習制御部は、
   前記正解ラベルと前記推定結果を比較して、前記推定結果と前記正解ラベルとの誤差であるタスク損失を求めて前記推定器に伝送し、
   前記タスク損失が小さくなるように前記タスク別識別部の前記パラメータを更新することを特徴とする物体認識システム。
2. 前記学習制御部は、
   前記パラメータを、前記学習用データセットを用いて学習によりチューニングし、
   前記パラメータによって前記推定結果の出力値を変動させることを特徴とする請求項１に記載の物体認識システム。
3. 前記記憶部は、
   最新時点までの学習結果を保存する学習履歴記憶部を更に有し、
   前記学習履歴記憶部は、
   前記学習結果として、前記タスク損失を保存することを特徴とする請求項１に記載の物体認識システム。
4. 前記学習制御部は、
   前記タスク別識別部の前記パラメータの更新の強弱を制御する更新度を変更することを特徴とする請求項１に記載の物体認識システム。
5. 前記推定器は、
   前記更新度を保存する更新度保存部を更に有することを特徴とする請求項４に記載の物体認識システム。
6. 記憶部と学習制御部とを有する物体認識システムを用いた物体認識方法であって、
   前記記憶部に、物体の画像と前記物体の属性であるタスクに関する情報であるラベルを保存し、
   ラベル部により、前記画像と前記物体の前記タスクの正解値である正解ラベルとの組み合わせである学習用データセットを保存し、
   物体特徴抽出部により、前記物体の画像から物体特徴量を抽出し、
   複数のタスク別識別部により、前記タスクの情報を識別し、
   前記タスク別識別部は、
   ニューラルネットワークで構成され、
   前記ニューラルネットワークは学習で更新可能なパラメータを有し、
   前記物体特徴量に対し、前記タスクに関する情報をデコードし、
   前記学習制御部により、前記タスクの種類に応じて、前記物体特徴抽出部と複数の前記タスク別識別部との間の接続関係を前記正解ラベルのある前記タスク別識別部との接続に変更し、前記物体の前記タスクを推定して推定結果を出力し、
   前記学習制御部により、前記正解ラベルと前記推定結果を比較して、前記推定結果と前記正解ラベルとの誤差であるタスク損失を求めて、前記タスク損失が小さくなるように前記タスク別識別部の前記パラメータを更新することを特徴とする物体認識方法。
7. 前記学習制御部により、前記パラメータを、前記学習用データセットを用いて学習によりチューニングし、前記パラメータによって前記推定結果の出力値を変動させることを特徴とする請求項６に記載の物体認識方法。

Images