JP6900190B2 - 認識学習装置、認識学習方法及びプログラム - Google Patents

Description

本発明は、データから認識対象を認識する認識器を学習する技術に関する。

近年、監視カメラが撮影した動画像データから、人や群衆の活動パターンを分析したり、特定の事象を検出し通報するサービスがある。該サービスを実現するためには、監視カメラが撮影した動画像データから、人か車かなどの物体の属性や、歩いているか走っているかなどの行動の種類、鞄かカゴかなどの人の所持品の種類を検出可能な機械学習の認識技術が不可欠である。該サービスは、介護施設、一般家庭、駅や市街地などの公共施設、スーパ、コンビニなどの店舗など様々な環境において活用される。また、同じ環境においても、利用者の該サービスに対するニーズは多様である。そのため、多様な環境およびユースケースに対応可能な、柔軟で高精度な機械学習の認識技術が必要とされている。

非特許文献１には、柔軟で高精度な機械学習の認識を実現するための技術が提案されている。非特許文献１の技術では、先ず、ＩｍａｇｅＮｅｔなどの大規模な教師ありデータを用いて１０００カテゴリに対応可能な汎用的なＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（以下ＣＮＮと省略）を事前に学習する。そして、その学習の後、ユーザの特定のニーズに合わせて、カテゴリ数を限定して詳細に学習するようにしている。この事前の学習はプレトレーニング、詳細の学習はファインチューニングと呼ばれる。膨大なパラメータ数を要するＣＮＮをプレトレーニングしておくことにより、ファインチューニングでは比較的短時間で、特定のニーズに合わせて高精度な認識器を獲得することができるという利点がある。また、プレトレーニングで大規模なデータを用いることにより、膨大な数のパラメータが特定の認識対象にオーバーフィットする問題を緩和することができると期待されている。

また、特許文献１では、楽曲に対する人間の感性によって判断される印象の予測において、プレトレーニングした複数の階層型ニューラルネットワークから、いずれかを選択し、入力された印象度に用いてファインチューニングする方法が提案されている。

特開２００６−３１６３７号公報

Ｒｉｃｈ ｆｅａｔｕｒｅ ｈｉｅｒａｒｃｈｉｅｓ ｆｏｒ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ，Ｒｏｓｓ Ｇｉｒｓｈｉｃｋ，Ｊｅｆｆ Ｄｏｎａｈｕｅ，Ｔｒｅｖｏｒ Ｄａｒｒｅｌ，Ｊｉｔｅｎｄｒａ Ｍａｌｉｋ，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１４ オントロジー構築ツールの現状、吉崎晃司、溝口理一郎、人工知能学会誌、２０（６）、７０７−７１４、２００５−１１−０１ Ｒｉｃｈ ｆｅａｔｕｒｅ ｈｉｅｒａｒｃｈｉｅｓ ｆｏｒ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ，Ｒｏｓｓ Ｇｉｒｓｈｉｃｋ，Ｊｅｆｆ Ｄｏｎａｈｕｅ，Ｔｒｅｖｏｒ Ｄａｒｒｅｌ，Ｊｉｔｅｎｄｒａ Ｍａｌｉｋ，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１４ ３Ｄ Ｃｏｎｖｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｈｕｍａｎ Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｓ．Ｊｉ，Ｗ．Ｘｕ，Ｍ．Ｙａｎｇ ａｎｄ Ｋ．Ｙｕ，Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３５，ｎｏ．１，ｐｐ．２２１−２３１，２０１２ Ｔｗｏ−ｓｔｒｅａｍ ｃｏｎｖｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｖｉｄｅｏｓ，Ｋ．Ｓｉｍｏｎｙａｎ ａｎｄ Ａ．Ｚｉｓｓｅｒｍａｎ，Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍ ２５（ＮＩＰＳ），２０１４． ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ， Ｋｒｉｚｈｅｖｓｋｙ， Ａ．， Ｓｕｔｓｋｅｖｅｒ， Ｉ． ａｎｄ Ｈｉｎｔｏｎ， Ｇ． Ｅ． Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ （ＮＩＰＳ）， ２０１２

しかしながら、特許文献１に記載の方法では、プレトレーニングとファインチューニングで共通の階層型ニューラルネットワークの構造を用いている。そのため、利用者のニーズに合わせて認識対象を柔軟に変えることが困難である。

一方、非特許文献１の技術によれば、ＣＮＮの出力数を変えることが出来るため、プレトレーニングとファインチューニングとで認識対象を柔軟に変えることができる。しかしながら、プレトレーニングの認識対象であるＩｍａｇｅＮｅｔの１０００カテゴリが、将来ＣＮＮを利用する利用者のニーズをカバーしているとは限らない。もし、プレトレーニングで該ニーズをカバーしていない場合は、ファインチューニングに膨大な数のパラメータを再度学習する必要が発生し、プレトレーニングによる学習時間の短縮化とオーバーフィットの回避の恩恵が受けられない。この問題を回避するために、さらにカテゴリ数を増やして、あらゆる認識対象に対してプレトレーニングを行うことも可能であるが、無数の認識対象を識別するためには、さらに膨大な数のパラメータが必要となる。しかしながら、最終的に利用者が必要とする認識対象は小規模の場合もあるので、多くの場合に不必要に複雑なＣＮＮを学習してしまうという問題がある。一方、無数の認識対象の中から利用者のニーズを考慮して、プレトレーニングに用いる認識対象を人手で選定するのは大変な労力となる。

そこで、本発明は、上記問題を解決すべくなされたもので、利用者のニーズを考慮した認識器のプレトレーニングやファインチューニングなどの学習を可能にすることを目的とする。

上記課題を解決するために、本発明の認識学習装置は、特定ドメインの概念構造を表す概念構造情報であって、認識対象の候補を概念情報として含む概念構造情報に基づいて、前記特定ドメインと前記認識対象の候補との関連度を生成する生成手段と、前記生成手段により生成された関連度に基づいて、前記認識対象の候補から認識対象を選択する選択手段と、前記選択手段により選択された認識対象に係る学習データを用いて認識器を学習する学習手段と、を有することを特徴とする。

以上の構成によれば、本発明では、利用者のニーズを考慮した認識器のプレトレーニングやファインチューニングなどの学習が可能になる。

第１の実施形態に関わる認識学習システムの構成の一例を示す概略ブロック図。 第１の実施形態においてオントロジー情報の一例を示す図。 第１の実施形態において概念構造記憶部が記憶する情報の一例を示す図。 第１の実施形態において動画像データ記憶部が記憶する情報の一例を示す図。 第１の実施形態において認識器記憶部が記憶する情報の一例を示す図。 第１の実施形態において認識対象可視化情報の一例を示す図。 第１の実施形態において認識器のプレトレーニングの一例を示すフローチャート。 第２の実施形態に関わる認識学習システムの構成の一例を示す概略ブロック図。 第２の実施形態において表示部に表示される認識対象可視化情報の一例を示す図。 第２の実施形態において認識器のプレトレーニングの一例を示すフローチャート。 第３の実施形態に関わる認識学習システムの構成の一例を示す概略ブロック図。 第３の実施形態において表示部に表示される認識対象可視化情報の一例を示す図。 第３の実施形態において端末装置による動画像データの追加の一例を示す図。 第４の実施形態に関わる認識学習システムの構成の一例を示す概略ブロック図。 その他の実施形態に関わる認識学習システムの構成の一例を示す概略ブロック図。 その他の実施形態においてオントロジー情報の選択メニューの一例を示す図。 第１の実施形態において意味的ネットワークの一例を示す図。 第５の実施形態に関わる認識学習システムの構成の一例を示す概略ブロック図。 第５の実施形態に関わる端末装置の表示形態の一例を示す図。

［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。本実施形態における認識学習システム１について、認識器の提供者が、利用者の特定のドメインに合わせて、認識器をプレトレーニングする場合について説明する。具体的には、認識学習システム１は、特定のドメインと認識対象の候補である概念情報との関係を表す概念情報に基づき、該概念情報の中から認識対象を選定してプレトレーニングを施す。そして、認識学習システム１は、プレトレーニングされた認識器の認識対象の範囲をオントロジーに基づいて可視化し、提供者に提示する。ここで、特定のドメインに対するオントロジー上の概念情報の集合が、プレトレーニングの認識対象の候補である。この概念情報とは、概念化および言語化可能な物体の状態であり、該状態を言語的に示すラベル情報により特徴付けられる。概念情報には、例えば、「人」、「車」などの物体の属性や、「歩いている」、「走っている」などの物体の行動や、「鞄」、「カゴ」などの人の所持品などが含まれる。また、概念構造情報には、例えば、図１７で後述する意味ネットワークなどがある。

特定のドメインは、本システムが利用されると想定される環境であり、例えば、介護施設、一般家庭、公共施設の駅や市街、店舗などである。利用者とは、例えば、客や店員などの活動パターンの分析や緊急通報などの用途で、本システムを監視カメラとともに直接利用するエンドユーザ、または、本システムを第三者に提供するために認識器の調整を行うシステムインテグレータである。また、提供者は、本システムを開発し利用者に提供する研究開発者、または上述したシステムインテグレータである。

図１は、本実施形態に係る認識学習装置を用いた認識学習システムの構成の一例を示す概略ブロック図である。認識学習システム１は、認識学習装置１０と、端末装置１００とを備えている。なお、これらの装置間は、ネットワークを介して接続されていてもよい。このネットワークには、例えば、固定電話回線網や、携帯電話回線網や、インターネットが適用できる。

認識学習装置１０は、ハードウェア構成として、不図示の表示部ＤＳと操作検出部ＯＰとを備えている。表示部ＤＳは、液晶パネルや有機ＥＬパネルなどの画像表示パネルを備えており、認識学習装置１０から入力された情報を表示する。なお、表示部ＤＳは、後述する「介護施設」、「一般家庭」、「駅」、「市街」、および「店舗」などのドメイン名情報の一覧を表示する。また、表示部ＤＳは、認識学習装置１０の認識対象可視化部１４の説明にて後述する認識対象の範囲を示す認識対象可視化情報を表示する。

操作検出部ＯＰは、表示部ＤＳの画像表示パネルに配置されたタッチセンサを備えており、ユーザの指やタッチペンの動きに基づくユーザの操作を検出するとともに、検出した操作を示す操作情報を認識学習装置１０に出力する。なお、操作検出部ＯＰは、コントローラ、キーボード及びマウスなどの入力デバイスを備え、画像表示パネルに表示された画像に対するユーザの操作を示す操作情報を取得してもよい。この操作情報には、例えば、ドメイン名情報の候補の中から特定のドメイン名情報の選択や、認識器のプレトレーニングの実行を示す「プレトレーニングの実行」などがある。操作検出部ＯＰは、操作情報を検出した場合、自装置が記憶する選択されたドメイン名を識別するドメインＩＤと検出した操作情報とを、認識学習装置１０に出力する。

次に、認識学習装置１０のソフトウェア構成に関し、その詳細な構成について説明する。認識学習装置１０は、特定のドメインに合わせて認識器をプレトレーニングする装置である。認識学習装置１０は、概念構造記憶部Ｍ１と、動画像データ記憶部Ｍ２と、認識器記憶部Ｍ３と、意味的関連度生成部１１と、認識対象選定部１２と、認識学習部１３と、認識対象可視化部１４と、を備えている。

概念構造記憶部Ｍ１は、ドメインを識別するドメインＩＤと、ドメインを言語的に示すドメイン名情報と、該ドメインの概念構造を表す概念構造情報とを、ドメインＩＤと関連付けて記憶する。ここで、ドメインＩＤとは、提供者により予め設定された本システムが利用されるドメインを識別する情報である。ドメイン名情報は、該ドメインを言語的に説明するドメインの名称を示す情報である。ドメイン名情報は、例えば、「介護施設」、「一般家庭」、「駅」、「市街」、「店舗」である。概念構造情報とは、予め提供者によりドメインごとに定義される、ドメイン名情報の概念構造を示す情報である。例えば、提供者がオントロジーの編集ソフト（非特許文献２）を用いて、該ドメインを分析し、ドメインを構成する概念集合の木構造を記述する。ここで、木構造上の上位と下位との概念間には、上位下位関係を表すｉｓ−ａ関係および部分全体関係を表すｈａｓ−ａ関係などが用いられる。この概念間のｉｓ−ａ関係およびｈａｓ−ａ関係としては、数万種類の概念が登録されているＷｏｒｄＮｅｔなどの辞書を活用することができる。また、概念構造情報の各概念を示す概念情報は、概念を識別する認識対象ＩＤと、上位の概念を識別する上位ＩＤと、概念を言語的に示す概念名情報を含んでいる。なお、この認識対象ＩＤは、動画像データ記憶部Ｍ２にて後述する認識対象ＩＤと共通である。

図２は、概念構造記憶部Ｍ１が記憶する概念構造の１つであるオントロジー情報の一例を示す図である。同図では、ドメイン名情報「店舗」２０と複数の概念情報２１〜２９が木構造で接続されていることが示されている。具体的には、図２のオントロジー情報では、ルートのドメイン名情報「店舗」を構成する上位概念として、概念情報「人」２１、概念情報「機器」２２、概念情報「家具」２３などが記述されている。ここで、ドメイン名情報「店舗」２０と概念情報２１〜２３の間には、ｈａｓ−ａ関係が用いられている。つまり、「店舗」２０は「人」２１、「機器」２２及び「家具」２３を含んで構成される。また、各概念情報には、概念名情報の他に、該概念を識別する認識対象ＩＤと、上位の概念を識別する上位ＩＤとが記載されている。そして、それぞれの概念情報に上位と下位の概念情報が数珠状に連結されている。例えば、概念情報「人」２１は、下位の概念情報として「店員」２４、「客」２５および「強盗」２６などを持つ。ここで、概念情報「人」２１と下位の概念情報２４〜２６の間には、ｉｓ−ａ関係が用いられている。つまり、概念情報「店員」２４、「客」２５および「強盗」２６は、概念情報「人」２１の種類である。そして、概念情報「店員」２４、「客」２５および「強盗」２６は、下位の概念情報２７〜２９に、ｈａｓ−ａ関係で接続されている。このように特定のドメイン名情報に対して、ｈａｓ−ａ関係とｉｓ−ａ関係とを交互に繰り返すことにより、オントロジー情報は構築されている。

図１７は、概念構造記憶部Ｍ１が記憶する概念構造情報の１つである意味ネットワークの一例を示す図である。同図では、ドメイン名情報「店舗」２０と複数の概念情報２１〜２９が有向グラフで接続されていることが示されている。意味ネットワークは、２つの概念とそれらの概念間を結ぶ矢印の集合で構成されている。各矢印は、２つの概念間の関係を、主語、動詞および目的語の形式で表現している。具体的には、矢印の元の概念が主語、矢印の先の概念が目的語、そして矢印に付加された語が動詞を表している。例えば、同図では、「である」という動詞が付加された矢印３０は、店員３１を主語、人３２を目的語とし、「店員は人である」という関係を表している。同図では、図２と同様に、ルートのドメイン名情報「店舗」と、抽象的な概念情報「人」、「機器」、「家具」および「店員」との関係を、上述した主語・動詞・目的語の形式で表している。また、「人」を中心に、更に細分化した「店員」、「客」および「強盗」、さらには「制服」、「カゴ」、「バーコードリーダ」、「鞄」、「財布」、「カゴ」、「サングラス」、「ナイフ」および「バッド」などの関係を同様の形式で表している。また、各概念情報には、概念名情報の他に、該概念を識別する認識対象ＩＤと、上位の概念を識別する上位ＩＤとが記載されている。

以上説明したように、概念構造情報には、例えば、オントロジー情報や意味ネットワークなどがある。以降は、説明を簡単化するために、概念構造記憶部Ｍ１が概念構造情報としてオントロジー情報を記憶している場合について説明する。

図３には、本実施形態の概念構造記憶部Ｍ１が記憶する情報の一例を示す表を図示する。同図が示すように、ドメインＩＤは、例えば、アルファベット及び数字とから成る文字列である。例えば、２つのドメインは、ドメインＩＤ「Ｒ１００」とドメインＩＤ「Ｒ２００」とにより識別される。そして、同図では、ドメインＩＤ「Ｒ１００」と、ドメイン名情報「店舗」と、オントロジー情報とが、ドメインＩＤ「Ｒ１００」に関連付けられて記憶されている。また、ドメインＩＤ「Ｒ２００」と、ドメイン名情報「駅」と、オントロジー情報とが、ドメインＩＤ「Ｒ２００」に関連付けられて記憶されている。つまり、該表の行が特定のドメインのオントロジー情報に対応し、該表全体がオントロジー情報の集合に対応する。なお、オントロジー情報は、図２では視覚的に理解しやすいように木構造を可視化しているが、概念構造記憶部Ｍ１上には、ＵＭＬ（Ｕｎｉｆｉｅｄ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）などを用いて表現されたテキストデータとして記憶される。

図１の説明に戻ると、動画像データ記憶部Ｍ２は、認識対象を識別する認識対象ＩＤと、認識対象を言語的に示す認識対象名情報と、動画データムと、データの種類を示すデータ種情報とを、データＩＤに関連付けて記憶する。ここで、データＩＤとは、動画データの一つ一つである動画データムを識別する情報であり、認識対象ＩＤとは、提供者により予め設定された認識対象を識別する情報である。なお、この認識対象ＩＤは、概念構造記憶部Ｍ１の説明にて上述した概念情報を識別する認識対象ＩＤと共通である。認識対象名情報は、提供者により予め設定された各認識対象を言語化したものである。認識対象名情報は、例えば、「人」、「車」、「歩いている」、「走っている」、「鞄」および「カゴ」などである。また、この認識対象名情報には、物体の領域の動画像上の座標と大きさとを含む。動画像データムとは、予め提供者により認識対象に属すると判断された動画像データの１つである。また、データ種情報とは、該動画データムが、学習用なのか評価用なのかを区別する情報である。

図４には、本実施形態の動画像データ記憶部Ｍ２が記憶する情報の一例を示す表を図示する。同図が示すように、データＩＤと認識対象ＩＤとは、例えば、アルファベット及び数字とから成る文字列である。例えば、２つのデータは、データＩＤ「Ｄ０００１」とデータＩＤ「Ｄ０００２」とにより識別される。また、２つの認識対象は、認識対象ＩＤ「Ｃ１０００」と認識対象ＩＤ「Ｃ１１００」とにより識別される。また、同図が示すように、認識対象名情報は、「人」、「店員」という物体の状態を説明する言語情報に加え、該物体の動画像上の座標と大きさを含んでいる。この領域はｘ座標、ｙ座標、高さ、幅の順番で表現される。具体的には、同図では、データＩＤ「Ｄ０００１」のラベル情報は、物体の状態は「人」であり、領域の座標は（５００、１０）、領域の高さは１８０、および幅は５０であることが示されている。そして、同図では、データＩＤ「Ｄ０００１」と、認識対象ＩＤ「Ｃ１０００」と、認識対象名情報「人」、領域：（５００、１０、１８０、５０）と、動画像データムとが、データＩＤ「Ｄ０００１」に関連付けられていることが示されている。また、データＩＤ「Ｄ０００２」と、認識対象ＩＤ「Ｃ１１００」と、ラベル情報「店員」、領域：（２００、２００、１８０、５０）と、動画像データムとが、データＩＤ「Ｄ０００２」に関連付けられていることが示されている。つまり、該表の行が動画像データムに対応し、該表全体が動画像データに対応する。

なお、動画像データムが外部の記憶装置に記憶される場合は、動画像データムには、該記憶装置上の該動画像データムの場所を示すアドレスが記憶される。ここで外部の記憶装置には、例えば、インターネットを介して接続したクラウド上のサーバなどが適用できる。また、アドレスには、例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスや、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）などが適用できる。

再び、図１を参照して、認識学習装置１０の構成について説明する。意味的関連度生成部１１は、オントロジー情報に基づき特定ドメインと概念情報との意味的関連度を生成する。具体的には、端末装置１００からドメインＩＤと、操作情報「プレトレーニングの実行」を入力、指示したことに応じて、入力したドメインＩＤに関連付けられたドメインＩＤと、ドメイン名情報とオントロジー情報とを概念構造記憶部Ｍ１から読み込む。そして、意味的関連度生成部１１は、読み込んだオントロジー情報に含まれる概念情報の一つ一つについて、該ドメインに対する意味的関連度を、読み込んだオントロジー情報に基づいて生成する。ここで、意味的関連度の生成方法としては、例えば、次の３つの方法がある。

第１の意味的関連度生成方法として、意味的関連度生成部１１は、読み込んだオントロジー情報の木構造における各概念情報の深さ（階層）に反比例するように、各概念情報の意味的関連度を生成する。例えば、図２のドメイン名情報「店舗」２０に関するオントロジー情報の木構造において意味的関連度は、概念情報「人」２１、「機器」２２、および「家具」２３が最も高く、次に概念情報「店員」２４、「客」２５および「強盗」２６が高い。具体的には、ドメインｉに対して概念情報ｃｊの意味的関連度Ｒｉ（ｃｊ）は、木構造の下位層の概念情報ほど低くなるように、例えば、次の数式１のように定義される。

ここで、ｈｉ（ｃｊ）は、ドメインｉのオントロジー情報におけるｃｊの階層を表し、Ｒｉ（ｃｊ）の最大値は１である。

第２の意味的関連度生成方法として、意味的関連度生成部１１は、第１の意味的関連度生成方法による深さに反比例する値に加えて、各概念情報のオントロジー情報の木構造における発生頻度に比例するように、各概念情報の意味的関連度を生成する。例えば、図２のドメイン名情報「店舗」２０に関するオントロジー情報の木構造において、概念情報「カゴ」は２７および２８に２回出現するため、下位層にあるが高い意味的関連度を持つ。具体的には、ドメインｉに対して概念情報ｃｊの意味的関連度Ｒｉ（ｃｊ）は、例えば、次の数式２のように定義される。

ここで、Ｎｉ（ｘｊ）は、ドメインｉのオントロジー情報におけるｃｊの出現回数であり、Ｒｉ（ｃｊ）の最大値は２である。

第３の意味的関連度生成方法として、意味的関連度生成部１１は、各概念情報のオントロジー情報の木構造における子孫の数（すなわち、その候補より下位階層の概念情報の数）を、意味的関連度として生成する。例えば、図２のドメイン名情報「店舗」２０に関するオントロジー情報の木構造において、概念情報「人」２１は、子孫２４〜２９の概念情報の数に相当する。

そして、意味的関連度生成部１１は、入力したドメインＩＤとともに、読み込んだオントロジー情報に含まれる概念情報と生成した意味的関連度情報との組み合わせの集合と、読み込んだオントロジー情報と、を認識対象選定部１２に出力する。

認識対象選定部１２は、意味的関連度情報に基づき、概念情報の中から認識対象を選択する。具体的には、認識対象選定部１２は、意味的関連度生成部１１からドメインＩＤと、意味的関連度情報と、概念情報との組みの集合と、オントロジー情報とを入力したことに応じて、意味的関連度情報に基づき、概念情報の集合から認識対象を選定する。つまり、入力した概念情報は認識対象の候補である。ここで、認識対象の選定方法としては、例えば、次の２つの方法がある。

第１の認識対象選定方法として、認識対象選定部１２は、所定の閾値以上の意味的関連度と同じ組の概念情報を認識対象として選定する。この閾値は、例えば、０から１の値を取り、意味的関連度は１以下になるように正規化される。具体的には、意味的関連度生成部１１が第１の意味的関連度生成方法を用いている場合は、意味的関連度の最大値が既に１なので正規化は行わない。一方、意味的関連度生成部１１が第２の意味的関連度生成方法を用いている場合は、意味的関連度の最大値が２なので、最大値が１になるように意味的関連度を２で割ることにより正規化を行う。

第２の認識対象選定方法として、認識対象選定部１２は、入力した概念情報の数に対して所定の割合の概念情報を認識対象として選定する。具体的には、入力した概念情報を、意味的関連度の降順にソートし、上から順に所定の割合の概念情報を、認識対象として選定する。なお、詳細な説明は省くが、認識対象選定方法で用いられる所定の閾値または所定の割合は、端末装置１００の表示部ＤＳに表示された数値情報を人が調整することもできる。その際、操作検出部ＯＰは、人による該数値情報の変更を示す操作を検出し、該数値情報と操作情報とを認識学習装置１０に出力する。認識学習装置１０は、端末装置１００から該数値と操作情報とを入力したことに応じて、該数値情報を所定の閾値または所定の割合として、自装置内に備える記憶部に記憶させる。

次に、認識対象選定部１２は、選定した認識対象を識別する認識対象ＩＤと該認識対象と同じ組の意味的関連度とを、それぞれ入力した概念情報と意味的関連度との組みの集合から抽出する。そして、認識対象選定部１２は、入力したドメインＩＤと、オントロジー情報とともに、抽出した認識対象ＩＤと意味的関連度の組の集合とを、認識学習部１３に出力する。

認識学習部１３は、選択された認識対象に係る学習データを用いて認識器を学習する。具体的には、認識学習部１３は、認識対象選定部１２からドメインＩＤと、オントロジー情報と、認識対象ＩＤと意味的関連度との組みの集合とを入力したことに応じて、入力した認識対象ＩＤと一致する認識対象ＩＤを保持する。また、認識学習部１３は、データ種情報が「学習」である行を動画像データ記憶部Ｍ２から読み込む。ここで、読み込んだ行には、認識対象名情報と、認識対象ＩＤと、動画データムとが含まれる。そして、認識学習部１３は、読み込んだ動画像データムを入力、読み込んだ認識対象ＩＤを出力とする認識器を学習する。この認識器には、動画像データが静止画であり、認識対象が物体の種類の場合、例えば、Ｒｅｇｉｏｎ ＣＮＮ（Ｒ−ＣＮＮ）（非特許文献３）などが適用できる。また、動画像データが動画で認識対象が物体の行動の場合、３Ｄ ＣＮＮ（非特許文献４）やＴｗｏ−ｓｔｒｅａｍ ＣＮＮ（非特許文献５）などが適用できる。また、認識器は、静止画や動画像に対応した所定の特徴量抽出とサポートベクトルマシンなどの識別器との組み合わせでもよい。

ここでは、認識器としてＲ−ＣＮＮを用いた場合について、認識学習部１３の処理を具体的に説明する。認識学習部１３は、読み込んだ動画像データの各行に対して順次以下の処理を加える。まず、認識学習部１３は、各行の動画像データムである静止画像から複数の物体の領域の候補を抽出し、該行の認識対象名情報が保持する物体の領域とオーバラップしている割合を計算する。そして、認識学習部１３は、該割合が所定の閾値より大きい場合は、該物体の領域の候補が、該行の認識対象名情報であると判定し、該物体の領域の候補を、該動画データムから切り出したパッチ画像を生成する。そして、認識学習部１３は、生成した１つまたは複数のパッチ画像と、該行の認識対象ＩＤとを、Ｒ−ＣＮＮの入力と出力との組みとして、学習データ集合に追加する。そして、該処理が読み込んだ全ての行に適用した後、学習データ集合を用いて、ＣＮＮを学習する。なお、認識学習部１３は、ＣＮＮのパラメータの初期値をランダムに決定する。

なお、認識学習部１３は、入力した意味的関連度の集合に基づき、各認識対象の重要度情報を生成する。具体的には、ドメインｉにおける認識対象ｃｊの重要度情報Ｉｊ（ｃｊ）は、例えば、次の数式３のように意味的関連度に比例するように定義される。

Ｉ_ｊ（ｃ_ｊ）≡αＲ_ｊ（ｃ_ｊ）・・・（数式３）
ここで、αは比例定数である。そして、認識学習部１３は、該重要度情報が高い認識対象の認識精度を優先するように、Ｒ−ＣＮＮの学習を施す。具体的には、次の数式４のようにＲ−ＣＮＮの最小化するドメインｉの識別誤差に、重要度情報Ｉｉ（ｃｊ）が重みとして適用される。

ここで、Ｎは学習データの数、Ｃは学習データが含む認識対象の数、ｙｎはｎ番目の学習データの出力に対応する認識対象の数の大きさのベクトルである。ｎ番目のｙの各要素は、学習データの出力に対応する場合は１、それ以外０の値をとる。そして、ｘｎは、ｎ番目の学習データの入力に対応する。この入力は上述した方法で生成されたパッチ画像である。そしてｔｉはＲ−ＣＮＮが入力データｘｎに対して予測した出力値であり、認識対象の数の大きさのベクトルである。

次に、認識学習部１３は、学習した認識器のパラメータと、入力した認識対象ＩＤと、入力した意味的関連度との組みの集合とを、入力したドメインＩＤに関連付けて、認識器記憶部Ｍ３に記憶させる。この認識器のパラメータは、例えば、Ｒ−ＣＮＮのモデルパラメータである。また、認識学習部１３は、入力したドメインＩＤと、オントロジー情報と、認識対象ＩＤの集合とを、認識対象可視化部１４に出力する。また、後述する認識器記憶部Ｍ３にドメインＩＤと、関連付けてドメインＩＤと認識器のパラメータと、入力した認識対象Ｄの集合と、入力した意味的関連度の集合とを記憶させる。認識器記憶部Ｍ３は、認識器のパラメータを記憶する。具体的には、認識器記憶部Ｍ３は、ドメインＩＤと、認識器のパラメータと、認識対象ＩＤの集合と、意味的関連度の集合とを、ドメインＩＤに関連づけて記憶する。

図５には、本実施形態の認識器記憶部Ｍ３が記憶する情報の一例を示す表を図示する。認識器記憶部Ｍ３には、認識器のパラメータと、認識対象選定部１２により意味的関連度に基づき選定された認識対象ＩＤの集合と、意味的関連度生成部１１により生成された意味的関連度の集合とが、ドメインＩＤと関連づけられて各行に記憶される。

認識対象可視化部１４は、選定された認識対象を示す認識対象情報をオントロジー情報上に重畳し表示する。なお、認識対象可視化部１４は、認識対象選定部により選定された各認識対象に対する認識器の認識精度を評価用データから計算し、認識対象可視化情報として生成する。具体的には、認識対象可視化部１４は、認識学習部１３からドメインＩＤと、オントロジー情報と、認識対象ＩＤの集合とを入力したことに応じて、ドメインＩＤに関連付けられた認識器のパラメータを認識器記憶部Ｍ３から読み込む。また、認識対象可視化部１４は、入力した認識対象ＩＤと認識対象ＩＤとが一致し、かつデータ種情報が「評価」である行を、動画像データ記憶部Ｍ２から読み込む。そして、認識対象可視化部１４は、認識学習部１３にて説明した処理と同様に、読み込んだ各行の情報とに基づき、画像パッチを生成し、入力と出力のペアの集合である評価データを生成する。そして、認識対象可視化部１４は、読み込んだ認識器パラメータから構築したＲ−ＣＮＮのモデルに対して、評価データを適用し、各認識対象に対する認識精度を計算する。この認識精度の計算方法として、認識対象可視化部１４は、例えば、ｎ番目の評価データの入力ｘｎに対するＲ−ＣＮＮの予測結果ｔｊ（ｘｎ）の最大値を取る要素がｎ番目の評価データの出力に一致する割合を計算する。つまり、認識対象可視化部１４は、各認識対象に対するＰｒｅｃｉｓｉｏｎを計算する。

そして、認識対象可視化部１４は、入力した認識対象ＩＤの集合とオントロジー情報とに基づき、認識器の認識対象を視覚的に表す認識対象可視化情報を生成する。具体的な認識対象可視化情報の生成方法として、認識対象可視化部１４は、入力したオントロジー情報が保持する複数の概念情報の概念名情報と上位ＩＤとに基づき、複数の概念名情報のテキスト間をエッジで結んだ木構造を、認識対象可視化情報として生成する。ここで、各概念情報が保持する認識対象ＩＤが、入力した認識対象ＩＤの集合に含まれる場合は、該概念情報が認識対象であることを示す認識対象情報を、認識対象可視化情報に重畳する。なお、認識対象可視化部１４は、計算した各認識対象の認識精度を、入力した認識対象ＩＤと一致する認識対象ＩＤを持つ概念情報とともに認識対象情報として、認識対象可視化情報に重畳してもよい。そして、認識対象可視化部１４は、生成した認識対象可視化情報を端末装置１００に出力する。

図６は、認識対象可視化部１４が生成した認識対象可視化情報の一例を示す図である。同図では、図２と同様にドメイン名情報「店舗」と複数の概念情報が接続された木構造において、概念情報「店員」が、認識対象であることを示す認識対象情報の矩形６０上に記載されている。また、該認識対象に対する認識精度６１が、認識対象情報として記載されている。

次に、図７を参照して、認識学習システム１における認識学習装置１０の動作について説明する。図７は、本実施形態の認識学習システム１の認識学習装置の認識器のプレトレーニングの一例を示すフローチャートである。まず、ステップＰ１０１において、端末装置１００は、ドメイン名情報一覧を表示する。具体的には、端末装置１００は、予め記憶しておいた所定のドメイン名情報の一覧を表示部ＤＳに表示する。

次に、ステップＰ１０２において、端末装置１００は、ドメインＩＤを認識学習装置１０に出力する。具体的には、まず、端末装置１００の操作部ＯＰは、表示部ＤＳに表示されたドメイン名情報の一覧に対する、人の選択および「プレトレーニングの実行」の操作情報を検知する。そして、検知したことに応じて、端末装置１００は、選択されたドメイン名情報を識別する、自装置内に記憶されていたドメインＩＤを取得する。そして、端末装置１００は、取得したドメインＩＤを認識学習装置１０に出力する。

以下、ステップＰ１０３以降の処理が認識学習装置１０における処理となる。まず、ステップＰ１０３において、意味的関連度生成部１１は、オントロジー情報を読み込む。具体的には、意味的関連度生成部１１は、端末装置１００からドメインＩＤが入力されたことに応じて、ドメインＩＤに関連付けられた読み込んだオントロジー情報を概念構造記憶部Ｍ１から読み込む。

次に、ステップＰ１０４において、意味的関連度生成部１１は、意味的関連度を生成する。具体的には、意味的関連度生成部１１は、読み込んだオントロジー情報に含まれる全ての概念情報について、読み込んだドメイン名情報との意味的関連度を、上述した意味的関連度の生成方法を用いて生成する。そして、意味的関連度生成部１１は、入力したドメインＩＤと、読み込んだオントロジー情報に含まれる概念情報と、生成した意味的関連度との組みの集合とを認識対象選定部１２に出力する。

次に、ステップＰ１０５において、認識対象選定部１２は、認識対象を選択する。具体的には、意味的関連度生成部１１から、ドメインＩＤと、概念情報と、意味的関連度との組みの集合とを入力したことに応じて、認識対象選定部１２は、上述した認識対象の選定方法を用いて、入力した概念情報の集合から認識対象を選定する。そして、認識対象選定部１２は、選定した認識対象を識別する認識対象ＩＤと意味的関連度との組みの集合を、入力した概念情報と意味的関連度との組みの集合から抽出し、入力したドメインＩＤと、オントロジー情報とともに、認識学習部１３に出力する。

次に、ステップＰ１０６において、認識学習部１３は、重要度情報を計算する。具体的には、認識対象選定部１２から、ドメインＩＤと、オントロジー情報と、認識対象ＩＤと、意味的関連度とを入力したことに応じて、上述した重要度情報の生成方法を用いて、意味的関連度に基づき、各認識対象ＩＤの重要度情報を計算する。

次に、ステップＰ１０７において、認識学習部１３は、認識器をプレトレーニングする。具体的には、認識学習部１３は、動画像データ記憶部Ｍ２から、入力した認識対象ＩＤと同一の認識対象ＩＤを持ち、データ種情報が「学習」の行を読み込む。そして、認識学習部１３は、読み込んだ各行が保持する情報から、入力と出力の組みの集合である学習データを生成する。そして、認識学習部１３は、学習データと算出した重要度情報とに基づき、認識器を学習する。そして、認識学習部１３は、認識器のパラメータを記憶させる。具体的には、入力したドメインＩＤと学習した認識器のパラメータとを、該ドメインＩＤの集合に関連付けて、認識器記憶部Ｍ３に記憶させる。また、認識学習部１３は、入力したドメインＩＤと、オントロジー情報と、認識対象ＩＤの集合とを、認識対象可視化部１４に出力する。

次に、ステップＰ１０８において、認識対象可視化部１４は、認識対象の精度を測定する。具体的には、認識対象可視化部１４は、認識学習部１３からドメインＩＤと、オントロジー情報と、認識対象ＩＤの集合とを入力したことに応じて、ドメインＩＤに関連付けられた認識器のパラメータを、認識器記憶部Ｍ３から読み込む。また、認識対象可視化部１４は、入力した認識対象ＩＤと同一の認識対象ＩＤを持ち、データ種情報が「評価」の行を、動画像データ記憶部Ｍ２から読み込む。そして、読み込んだ各行が保持する情報から入力と出力の組みの集合である評価データを生成し、読み込んだ認識器のパラメータにより構成される認識器の各認識対象に対するＰｒｅｃｉｓｉｏｎなどの認識精度を計算する。

次に、ステップＰ１０９において、認識対象可視化部１４は、認識対象可視化情報を生成する。具体的には、入力したオントロジー情報が保持する概念情報と、計算した認識精度と、入力した認識対象ＩＤの集合とに基づいて、上述した認識対象可視化情報の生成方法を用いて、認識対象可視化情報を生成する。また、認識対象可視化部１４は、生成した認識対象可視化情報を、端末装置１００に出力する。ここまでの処理が、認識学習装置１０における処理である。

次に、ステップＰ１１０において、端末装置１００は、認識対象可視化情報を表示する。具体的には、端末装置１００は、認識学習装置１０の認識対象可視化部１４から、認識対象可視化情報を入力したことに応じて、端末装置１００は、入力した認識対象可視化情報を表示部ＤＳに表示する。そして、端末装置１００は処理を終了する。

なお、本実施形態では、認識学習装置が認識学習部１３と認識対象可視化部１４とを含む場合について説明したが、認識学習部１３と認識対象可視化部１４とは別の装置に備えられていてもよい。その場合、認識学習装置１０は、概念構造記憶部Ｍ１と、意味的関連度生成部１１と、認識対象選定部１２と保持する。そして、認識学習装置１０は、ステップＰ１０１から処理を進めステップＰ１０５にて、認識対象ＩＤと意味的関連度との組みの集合と概念構造情報を、別の装置に出力して処理を終了する。

以上説明したように、本実施形態の認識学習装置は、認識器が利用されるドメインを概念的に表現するオントロジー情報に基づき、該ドメインに意味的に関連する認識対象を選定する。そして、これらの認識対象に係る学習データを用いて、認識器をプレトレーニングする。これにより、認識器の提供者が膨大な数の認識対象の候補の中からプレトレーニング用の認識対象を選定する負荷を大幅に軽減することができる。また、特定のドメインに関連した認識対象に限定してプレトレーニングすることができるため、認識器の複雑度を抑えることができ、プレトレーニングにおけるオーバーフィットを回避できると期待される。

また、認識学習装置の認識対象可視化部１４は、選定された認識対象をオントロジー情報に重畳して表示するため、ドメインに意味的に関連する網羅的な概念集合に対して、プレトレーニング済みの認識器の認識対象を可視化することができる。これにより、認識器の提供者および利用者は、プレトレーニング済みの認識器のドメインに対する適用範囲を直感的に把握することができる。また、提供者および利用者は、特定のドメインに対して共通の概念構造の理解を持つことができるため、認識器の授受を円滑に行うことができる。

また、認識学習装置の認識対象可視化部は、各認識対象に対するプレトレーニング済みの認識器の認識精度を生成し、オントロジー情報に重畳して表示する。これにより、認識器の提供者および利用者は、プレトレーニング済みの認識器の、該ドメインに対する適用範囲を直感的だけではなく、定量的にも把握することができる。

また、認識学習装置の認識学習部は、意味的関連度に基づいて選択された認識対象の重要度情報を生成し、選択された認識対象に対して重要度情報に基づいて重みづけしてプレトレーニングを施す。これにより、特定のドメインにおいて、より多くの利用者が必要とする認識対象に対して認識器の精度を優先的にプレトレーニングすることができる。

［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。なお、上述した第１の実施形態における各構成と同一の構成については、同一の符号を付し、その説明を省略する。本実施形態における認識学習システム１ａについて、プレトレーニング済みの認識器をファインチューニングする場合を例に説明する。つまり、本実施形態の認識学習装置１０は、第１の実施形態により認識器のプレトレーニングが済み、認識対象可視化情報が端末装置１００に表示された状態から処理を開始することを前提にしている。そして、利用者からの認識対象可視化情報に対するフィードバックを示す操作情報に基づいて、認識学習装置１０ａが適応的に認識器を学習する点において、第１の実施形態と異なる。

図８は、本発明の第２の実施形態に係る認識学習システム１ａの構成の一例を示す構成図である。認識学習システム１ａは、認識学習装置１０ａと、端末装置１００とを備えている。端末装置１００の操作検出部ＯＰは、第１の実施形態と同様に人の表示部ＤＳに対する操作情報を検知し、選択されたドメイン名情報に対応するドメインＩＤと、検出した操作情報とを認識学習装置１０ａに出力する。この操作情報は、第１の実施形態の操作情報に加え、表示部ＤＳに表示された認識対象可視化情報に対する、人からの認識対象の「追加」および「削除」や、「ファインチューニングの実行」などがある。なお、表示部ＤＳには、これら人からの操作情報を人から取得するためのボタンを表示する。

図９は、端末装置１００の表示部ＤＳに表示された認識対象可視化情報と、操作情報を取得するためのボタンの一例を示している。同図が示すように、プレトレーニングにて認識対象となっている概念情報の隣に「削除」ボタン９０が表示される。また、プレトレーニングの認識対象となっていない概念情報の隣には「追加」ボタン９１が表示される。さらに、「ファインチューニングの実行」ボタン９２が表示される。操作検出部ＯＰは、人による「削除」ボタン９０、「追加」ボタン９１または「ファインチューニングの実行」ボタン９２の押下を示す操作情報を検知する。操作情報が「削除」の場合、端末装置１００は、認識対象可視化情報が保持する認識対象ＩＤの集合から、「削除」対象の認識対象ＩＤを削除する。一方、操作情報が「追加」の場合、端末装置１００は、認識対象可視化情報が保持する認識対象ＩＤの集合に、「追加」の対象の認識対象ＩＤを追加する。そして、表示部ＤＳは、更新された認識対象可視化情報を再表示する。また、操作情報が「ファインチューニング実行」の場合、端末装置１００は、操作情報を、認識対象可視化情報が保持するドメインＩＤと認識対象ＩＤの集合とともに認識学習装置１０ａに出力する。

図８の説明に戻ると、認識学習装置１０ａは、特定のドメインに対する認識器のファインチューニングを施す装置である。認識学習装置１０ａは、概念構造記憶部Ｍ１と、動画像データ記憶部Ｍ２と、認識器記憶部Ｍ３と、意味的関連度生成部１１と、認識対象選定部１２と、認識学習部１３ａと、認識対象可視化部１４と、認識対象更新部１５とを備えている。

認識対象更新部１５は、端末装置１００の表示部ＤＳに表示された認識可視化情報に対する人の操作を示す操作情報に基づき、認識対象を更新する。具体的には、認識対象更新部１５は、端末装置１００からドメインＩＤと、操作情報「ファインチューニングの実行」と、認識対象ＩＤの集合とを入力したことを検知する。そして、その入力に応じて、ドメインＩＤに関連付けられた認識器のパラメータと、認識対象ＩＤの集合と、意味的関連度情報の集合とを、認識器記憶部Ｍ３から読み込む。そして、認識対象更新部１５は、読み込んだ認識対象ＩＤの集合と認識器のパラメータとを、入力した認識対象ＩＤの集合に基づいて更新する。具体的には、認識対象更新部１５は、読み込んだ認識対象ＩＤの集合を、入力した認識対象ＩＤの集合に置き換える。また、認識対象更新部１５は、入力した認識対象ＩＤの集合に基づき、読み込んだ認識器のパラメータを更新する。このパラメータ更新方法には、次の２つの方法がある。

第１のパラメータ更新方法として、認識対象更新部１５は、読み込んだ認識対象ＩＤの集合を入力した認識対象ＩＤの集合に置き換える際に、読み込んだ認識対象ＩＤの集合から削除された認識対象ＩＤに関連するパラメータを認識器のパラメータから削除する。具体的には、Ｒ−ＣＮＮの出力層の全結合のネットワークにおいて、該削除された認識対象ＩＤに対応する出力ノードと隠れ層の全ノードとの結合に用いられる重みパラメータを削除する。

第２のパラメータ更新方法として、認識対象更新部１５は、読み込んだ認識対象ＩＤを入力した認識対象ＩＤの集合に置き換える際に、読み込んだ認識対象ＩＤの集合に追加された認識対象ＩＤに関連するパラメータを認識器のパラメータに追加する。具体的には、Ｒ−ＣＮＮの出力層に、追加された認識対象ＩＤに対応する新しい出力ノードを追加する。そして、該出力ノードと隠れ層の全ノードとの間の結合する重みパラメータをランダムに設定する。

そして、認識対象更新部１５は、読み込んだ認識対象ＩＤの集合と、入力した認識対象ＩＤの集合とに基づき、認識学習部１３ａが用いる認識器の学習関連のパラメータを調整する。この学習関連パラメータ調整方法には、例えば、次の２つの方法がある。

第１の学習関連パラメータ調整方法として、入力した認識対象ＩＤの集合により置き換えられた読み込んだ認識対象ＩＤの数が、所定の閾値以下の場合、認識学習部１３は、Ｒ−ＣＮＮの上位層の学習率を、下位層の学習率に対して大幅に大きな値設定する。例えば、Ｒ−ＣＮＮの出力層の全結合の重みパラメータを、下位層の畳み込み層およびプーリング層の重みパラメータに対して、１０倍や１００倍の値に設定する。つまり、プレトレーニング済みの認識器の認識対象に対して大きな変更は無いため、低レベルなフィルタに相当する下位層にはファインチューニングにて大きな更新を加えないようにする。一方、新たに追加された認識対象を識別するのに、直接的に寄与する上位の全結合ネットワークには大きな更新を加えるようにする。

第２の学習関連パラメータ調整方法として、入力した認識対象ＩＤの集合により置き換えられた読み込んだ認識対象ＩＤの数が、所定の閾値より大きい場合、認識学習部１３は、Ｒ−ＣＮＮが学習率を、全体的に高めの値に設定する。例えば、Ｒ−ＣＮＮの出力層の全結合の重みパラメータと、下位層の畳み込み層およびプーリング層の重みパラメータは、同程度の値に設定する。つまり、プレトレーニング済みの認識器の認識対象に対して大きな変更があるため、上位の全結合ネットワークだけでなく、低レベルなフィルタも大きく更新が加わるようにする。

そして、認識対象更新部１５は、入力したドメインＩＤと、更新した認識対象ＩＤの集合と認識器パラメータと、調整した学習関連パラメータと、読み込んだ意味的関連度の集合とを、認識学習部１３ａに出力する。

認識学習部１３ａは、認識器をファインチューニングする。具体的には、認識学習部１３ａは、認識対象更新部１５から、ドメインＩＤと、認識器パラメータと、認識対象ＩＤと、学習関連パラメータと、意味的関連度情報とを入力する。そして、第１の実施形態の認識学習部１３と同様に、入力したドメインＩＤの認識器を再度学習する。ただし、認識器のパラメータの初期値をランダムに決定するプレトレーニングによる学習を行う第１の実施形態とは異なり、認識学習部１３ａは、初期値に入力した認識器パラメータに設定し、学習関連のパラメータに入力した学習関連パラメータを設定する。認識学習部１３ａは、学習した認識器のパラメータと、入力した認識対象ＩＤの集合と、意味的関連度の集合とを、入力したドメインＩＤに関連付けて認識器記憶部Ｍ３に記憶させる。

次に、図１０を参照して、本実施形態の認識学習システム１ａにおけるファインチューニングの動作について説明する。図１０は、本実施形態の認識学習システム１ａの認識学習装置１０ａのファインチューニングの動作の一例を示すフローチャートである。なお、第１の実施形態と同一の動作については同一の符号を付して、その説明を省略する。

まず、ステップＦ１０１において、端末装置１００は操作情報を取得する。具体的には、端末装置１００は、表示部ＤＳに表示された認識対象可視化情報に対する人の操作を示す操作情報「ファインチューニングの実行」を取得する。そして、端末装置１００は、取得した操作情報と、認識対象可視化情報が保持するドメインＩＤと認識対象ＩＤの集合とを認識学習装置１０ａの認識対象更新部１５に出力する。

以下に説明する各工程は、認識学習装置１０ａにおける処理となる。まず、ステップＦ１０２において、認識対象更新部１５は、認識器パラメータを更新する。具体的には、認識対象更新部１５は、ドメインＩＤと認識対象ＩＤの集合とを入力したことに応じて、入力したドメインＩＤに関連付けられた認識器パラメータと、認識対象ＩＤの集合と、意味的関連度情報の集合とを、認識器記憶部Ｍ３から読み込む。そして、認識対象更新部１５は、読み込んだ認識対象ＩＤの集合を、入力した認識対象ＩＤの集合に置き換える。そして、認識対象更新部１５は、読み込んだ認識対象ＩＤの集合と、入力した認識対象ＩＤとに基づいて、読み込んだ認識器パラメータを、前述したパラメータ更新方法により更新する。

次に、ステップＦ１０３において、認識対象更新部１５は、学習関連パラメータを調整する。具体的には、認識対象更新部１５は、読み込んだ認識対象ＩＤの集合と、入力した認識対象ＩＤの集合とに基づき、前述した学習関連パラメータ調整方法を用いて認識器の学習関連のパラメータを調整する。そして、認識対象更新部１５は、更新した認識対象ＩＤの集合および認識器パラメータと、読み込んだ意味的関連度の集合とを、認識学習部１３ａに出力する。

次に、ステップＦ１０４において、認識学習部１３ａは、初期パラメータと学習関連パラメータとを設定する。具体的には、認識対象更新部１５から、認識対象ＩＤの集合と、学習関連パラメータと、認識器パラメータと、意味的関連度の集合とを入力したことに応じて、認識器の初期パラメータを、入力した認識器パラメータに設定する。そして、認識器の学習に用いる学習関連のパラメータを、入力した学習関連パラメータに設定する。そして、認識学習部１３ａは、処理をステップＰ１０７に移す。

以上説明したように、本実施形態に係る認識学習装置は、オントロジーとともに表示された認識器の認識対象に対する人の操作に基づき認識対象を変更し、ファインチューニングを施す。これにより、認識器の提供者及び利用者は、ドメインに必要とされる網羅的な認識対象を把握しながら、直感的な操作により、該ドメイン上の特定のユースケースに合わせて認識器の対象範囲の編集およびファインチューニングを行うことが出来る。

［第３の実施形態］
次に、本発明を実施するための第３の実施形態について、図面を参照して説明する。なお、上述した第１、第２の実施形態における各構成と同一の構成については、同一の符号を付して説明を省略する。本実施形態における認識学習システム１ｂは、利用者が所有している独自の動画像データを追加し、認識器をファインチューニングする場合に適用できるものである。

図１１は、本発明の第３の実施形態に係る認識学習システム１ｂの構成の一例を示す構成図である。認識学習システム１ｂは、認識学習装置１０ｂと、端末装置１００とを備えている。

端末装置１００の表示部ＤＳは、第１の実施形態と同様に認識対象可視化情報を表示するとともに、各認識対象の学習に用いられた動画像データを表示する。具体的には、操作検出部ＯＰが、認識対象可視化情報上の概念情報に対する人のクリックが示す「画像の表示」操作情報を検知する。そして、端末装置１００は、操作情報が「画像の表示」の場合、クリック対象の認識対象を識別する認識対象ＩＤを、認識学習装置１０ｂの動画像データ編集部１６に出力する。また、操作検出部ＯＰが、認識対象可視化情報に対する動画像データのドロッグアンドドロップが示す操作情報「画像の追加」を検知する。そして、端末装置１００は、操作情報が「画像を追加」の場合、追加対象の概念情報を識別する認識対象ＩＤと、追加された動画像データと認識対象名情報とを、認識学習装置１０ｂの動画像データ編集部１６に出力する。

図１２は、端末装置１００の表示部ＤＳに表示された認識対象可視化情報と、認識器の学習に用いられた動画像データの表示の一例を示している。同図が示すように、人が認識対象可視化情報上の、概念情報をクリック１２０すると、操作検出部ＯＰは、操作情報「画像を表示」を検出する。そして、端末装置１００は、操作情報とクリック対象の認識対象ＩＤを認識学習装置１０ｂに出力したことに応じて、認識学習装置１０ｂから、動画像データを取得する。そして、表示部ＤＳは、取得した動画像データの一覧１２１を表示する。

図１３は、端末装置１００の動画像データの追加の一例を示している。まず、図１２と同様に、人が認識対象可視化情報上の概念情報をクリック１３０すると、表示部ＤＳは、取得した動画像データの一覧１３１を表示する。そして、人が新規に追加したい動画像データを、動画像データの一覧１３１にドラッグアンドドロップ１３２すると、操作検出部ＯＰは、操作情報＠画像を追加」を検出する。そして、表示部ＤＳは、該動画像データ１３３を追加先の一覧１３１を表示する。それとともに、端末装置１００は、追加された動画像データと追加先の認識対象ＩＤと認識対象名情報とを認識学習装置１０ｂに出力する。

再び、図１１を参照して、認識学習装置１０ｂの詳細な構成について説明する。認識学習装置１０ｂは、特定のドメインに対する認識器のプレトレーニングおよびファインチューニングを施す装置である。認識学習装置１０ｂは、概念構造記憶部Ｍ１と、動画像データ記憶部Ｍ２と、認識器記憶部Ｍ３と、意味的関連度生成部１１と、認識対象選定部１２と、認識学習部１３ｂと、認識対象可視化部１４と、動画像データ編集部１６とを備えている。

動画像データ編集部１６は、端末装置１００の表示部ＤＳに表示された認識可視化情報に対する人の操作を示す操作情報に基づき、認識器の学習に用いる動画像データを編集する。具体的には、端末装置１００から操作情報と、認識対象ＩＤと、認識対象名情報とを入力したことに応じて、動画像データ編集部１６は、操作情報の内容に基づいて処理を行う。操作情報が「画像を表示」の場合、動画像データ編集部１６は、入力した認識対象ＩＤと一致する認識対象ＩＤを保持する行を、動画像データ記憶部Ｍ２から読み込む。そして、動画像データ編集部１６は、読み込んだ行が保持する動画像データを、端末装置１００に出力する。一方、操作情報が「画像を追加」の場合、動画像データ編集部１６は、端末装置１００から新たに動画像データを入力する。そして、新たな割り振った動画像データＩＤに関連付けて、入力した認識対象ＩＤと、認識対象名情報と、動画像データと、「学習」に設定したデータ種情報とを、動画像データ記憶部Ｍ２に記憶させる。

なお、本実施形態では、動画像データ編集部１６が動画像データを動画像データ記憶部Ｍ２に追加する場合の説明をしたが、同様に、動画像データ編集部１６は、動画像データ記憶部Ｍ２から動画像データを削除することができる。また、認識学習システム１ｂにおける動画像データの追加の動作は、実施形態１の識別装置の動作と基本的には同じであるため、説明を省略する。

以上説明したように、認識学習装置の動画像データ編集部は、認識器のプレトレーニングおよびファインチューニングに利用された動画像データを、オントロジー情報上の概念情報ごとに表示することができる。また、動画像データ編集部は、各概念情報に動画像データを追加したり、既にある動画像データを削除したりすることができる。これにより、認識器の提供者および利用者は、認識器により対応可能な各認識対象の多様性を直感的に確認することができるとともに、データの追加と削除により各認識対象の多様性を調整することができる。

［第４の実施形態］
次に、本発明を実施するための第４の実施形態について、図面を参照して説明する。なお、上述した第１〜第３の実施形態における各構成と同一の構成については、同一の符号を付して説明を省略する。本実施形態における認識学習システム１ｃは、文章データから自動的に生成したオントロジー情報に基づきプレトレーニング用の認識対象を選定する場合に適用できるものである。

図１４は、本発明の第４の実施形態に係る認識学習システム１ｃの構成の一例を示す構成図である。認識学習システム１ｃは、認識学習装置１０ｃと、端末装置１００とを備えている。

認識学習装置１０ｃは、特定のドメインに対する認識器のプレトレーニングおよびファインチューニングを施す装置である。認識学習装置１０ｃは、概念構造記憶部Ｍ１と、動画像データ記憶部Ｍ２と、認識器記憶部Ｍ３とを備える。また更に、文章データ記憶部Ｍ４と、意味的関連度生成部１１と、認識対象選定部１２と、認識学習部１３と、認識対象可視化部１４と、オントロジー生成部１７とを備えている。

文章データ記憶部Ｍ４は、図示は省略するが、文章を識別する文章ＩＤと、テキスト形式の文章データを示す文書情報とを、文章ＩＤに関連付けて記憶する。この文章データには、例えば、Ｗｉｋｉｐｅｄｉａなどの辞書データベースや、インターネット上で公開されているニュースが適用できる。

なお、本実施形態では、文章データ記憶部Ｍ４が記憶する文章情報は、テキスト形式の文章データである場合の説明をしたが、文章情報は、外部の記憶装置が記憶する文章データのアドレスを示す情報でもよい。ここで、外部の記憶装置には、例えば、インターネットを介して接続したウェッブサーバーやストレージサーバなどが適用できる。また、アドレスには、例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスや、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）などが適用できる。また、本実施形態では、認識学習装置が文章データ記憶部Ｍ４を備える場合について説明したが、文章データ記憶部Ｍ４は、外部の記憶装置が備えてもよい。

端末装置１００の表示部ＤＳは、第１の実施形態と同様にドメイン名情報の一覧を表示するとともに、「オントロジー情報の自動生成」ボタンを表示する。そして、操作検出部ＯＰは、人によるドメイン名情報の選択と、該ボタンの押下とを表す操作情報を検出する。そして、端末装置１００は、選択されたドメイン名情報と、該ドメイン名情報を識別するドメインＩＤと、操作検出部ＯＰが検出した操作情報「オントロジー情報の自動生成」とを、認識学習装置１０ｃに出力する。

また、端末装置１００は、自装置がドメイン名情報と、ドメインＩＤと、操作情報「オントロジー情報の自動生成」を認識学習装置１０ｃに出力したことに応じて、認識学習装置１０ｃからオントロジー情報を入力する。そして、端末装置１００の表示部ＤＳは、入力したオントロジー情報を可視化した木構造を、表示する。

オントロジー生成部１７は、概念構造を生成する概念構造生成部として機能し、具体的には、予め記憶しておいた文章データから前記特定のドメインに関する前記オントロジー情報を生成する。具体的には、オントロジー生成部１７は、端末装置１００からドメイン情報と、ドメインＩＤと、操作情報「オントロジー情報の自動生成」を入力したことに応じて、文章データ記憶部Ｍ４からドメイン名情報を含む文章情報を読み込む。そして、オントロジー生成部１７は、読み込んだ文章情報から、所定のオントロジー情報生成方法を用いて、オントロジー情報を生成する。このオントロジー情報の生成方法としては、日本語Ｗｉｋｉｐｅｄｉａからｉｓ ａ関係およびｈａｓ ａ関係を抽出した日本語Ｗｉｋｉｐｅｄｉａオントロジーや、日本語Ｗｉｋｉｐｅｄｉａと日本語ＷｏｒｄＮｅｔを統合したオントロジーなどが適用できる。

そして、オントロジー生成部１７は、生成したオントロジー情報と、入力したドメインＩＤと、ドメイン情報とを、ドメインＩＤに関連付けて、概念構造記憶部Ｍ１に記憶させるとともに、端末装置１００に生成したオントロジー情報を出力する。

なお、オントロジー生成部１７は、予め細かい粒度の概念のオントロジー情報を記憶しておき、文章情報から生成された粗い粒度の概念構造の一部として活用してもよい。例えば、図２が示す「店舗」ドメインの１層目と２層目との概念構造２０〜２６を、文章情報から自動的に生成し、３層目以降を、予め記憶しておいた「店員」、「客」および「強盗」のオントロジー情報を用いることにより生成してもよい。

なお、オントロジー生成部１７は、文章データ記憶部Ｍ４の文章情報を予め定められた期間ごとに更新し、概念構造記憶部Ｍ１がドメインＩＤに関連付けて記憶するオントロジー情報を更新してもよい。また、認識学習システム１ｂにおける動画像データの追加の動作は、第１の実施形態の識別装置の動作と基本的には同じであるため、説明を省略する。

以上説明したように、認識学習装置のオントロジー生成部１７は、文章データから自動的にオントロジー情報を生成することができる。これにより、提供者がオントロジー情報を構築する負荷を軽減することができる。また、オントロジー生成部１７は、定期的にオントロジー情報を更新することができるので、認識器の提供者および利用者は、時代の移り変わりや新しい技術の誕生や流行などによる概念構造の変化に適応したオントロジー情報を利用することができる。

［第５の実施形態］
次に、本発明を実施するための第４の実施形態について、図面を参照して説明する。なお、上述した第１〜第３の実施形態における各構成と同一の構成については、同一の符号を付して説明を省略する。本実施形態の認識学習システム１ｅについて、認識オンラインサービスとして提供する場合について説明する。ここで、認識オンラインサービスとは、インターネットまたはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などに接続されたサーバ端末上で動作するディープラーニングなどの認識器を、ユーザが自身のデータに合わせて調整し活用できるサービスである。例えば、ユーザはウェブブラウザ上で動作するユーザインタフェースを操作し、自身のデータをサーバ端末にアップロードし、認識器をファインチューニングすることができる。この認識オンラインサービスには，例えば、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｐｌａｔｆｏｒｍなどがある。

図１８に示すように、本実施の形態に係るオンラインサービスとして実行可能な認識学習システム１ｅは、認識学習装置１０ｅと、当該認識学習装置１０ｅと通信可能に接続される端末装置１００とを含む複数の端末装置とを備えている。これらの装置は、通信ネットワークとしてのインターネット２００を介して接続されている。

なお、本実施の形態の通信ネットワークは、インターネットに限定されるものではなく、端末装置１００と認識学習装置１０ｅとの間を通信可能に相互に接続できるものであれば、例えば、専用回線、公衆回線、ＬＡＮ等であってもよい。或いは、これらを組み合わせたものであってもよい。また、端末装置１００と認識学習装置１０ｅとの間の通信は、例えば、ＴＣＰ／ＩＰ上で動作するＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｌ）を使用する。なお、ＴＣＰ／ＩＰは、Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌである。

次に、認識学習装置１０ｅの詳細な構成について説明する。認識学習装置１０ｅは、実施形態１から４にて説明した認識学習装置と同様に、特定のドメインに合わせて認識器をプレトレーニングおよびファインチューニングする装置である。図１７に示すように、認識学習装置１０ｅは、概念構造記憶部Ｍ１と、動画像データ記憶部Ｍ２と、認識器記憶部Ｍ３と、意味的関連度生成部１１と、認識対象選定部１２と、認識器学習部１３と、認識対象可視化部１４と、サーバ通信部１９とを備えている。つまり、本実施形態の認識学習装置１０ｅはサーバ通信部１９を備える点において、第１の実施形態の認識学習装置と異なる。

サーバ通信部１９は、ネットワークインタフェースカード等を備え、端末装置１００との間で、インターネット２００を介して各種データの送受信を行う。このデータには、例えば、端末装置１００から認識学習装置１０ｅに送信される、ユーザの操作を示す操作情報や、認識学習装置１０ｅから端末装置１００に送信される、端末装置１００に表示する認識対象可視化情報などの表示情報が含まれる。ここで表示情報は、インターネットブラウザ上でのユーザインタフェースの実装に必要なユーザインタフェース情報を含む。このユーザインタフェース情報には、例えば、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ），ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）、ＪａｖａＳｃｒｉｐｔ（登録商標）等のプログラムコード、画像、テキスト等である。つまり、認識学習装置１０ｅは、認識オンライサービスとして、認識器のプレトレーニングとファインチューニングの機能をインターネット２００と端末装置１００とを介してユーザに適用する。

図１９は、認識器として代表的なＣＮＮであるＡｌｅｘｎｅｔ （非特許文献６）を用いた場合を例に、ユーザが認識オンラインサービスにて操作するユーザインタフェースの一例を示している。ここで、Ａｌｅｘｎｅｔは、ＩｍａｇｅＮｅｔの１０００カテゴリのデータを用いてプレトレーニングされた認識器である。同図が示すように、表示部ＤＳ上に、ウェブブラウザ１８０が表示されていて、該ウェブブラウザ１８０がアクセスしている認識オンラインサービスを提供する認識学習装置１０ｅのＵＲＬ１８１を表示している。また、１８２には、該ウェブブラウザ１８０が認識学習装置１０ｅから受信した表示情報が表示されている。ここで、表示情報には、実施形態１から４にて上述した認識対象可視化情報およびユーザの操作情報を取得するためのボタンなどがＨＴＭＬなどのユーザインタフェースを情報を用いて記述されたものである。例えば、１８３と１８４とは、それぞれＨＴＭＬのＩＮＰＵＴタグを記述された認識対象の追加と削除のボタンである。

ここで、認識対象可視化情報は、ＡｌｅｘＮｅｔのプレトレーニングに用いられたＩｍａｇｅＮｅｔの１０００カテゴリの概念構造を表すオントロジー情報である。同図では、ＡｌｅｘＮｅｔのプレトレーニングに、Ａｒｔｉｆａｃｔ−＞Ｉｎｓｔｒｕｍｅｎｔａｌｉｔｙ−＞Ｅｑｕｉｐｍｅｎｔ−＞Ｅｌｅｃｔｒｏｎｉｃ ｅｑｕｉｐｍｅｎｔに属するＣＤ Ｐｌａｙｅｒが用いられていることが示されている。つまり、ユーザがＡｌｅｘＮｅｔのプレトレーニングに用いられた各カテゴリのＩｍａｇｅＮｅｔデータベース全体に対する位置づけを確認できることが示されている。

また、同図では、ユーザの操作情報を取得するためのボタンとしては、認識対象の追加１８３、削除１８４およびファンチューニング１８５などがあることが示されている。つまり、ユーザが追加、削除ボタンを用いて、認識対象のカテゴリの追加および削除ができ、さらにファインチューニングの実行ボタンにより、ＡｌｅｘＮｅｔの認識器を更新することができることが示されている。

以上説明したように、本実施形態の認識学習装置は、ＨＴＭＬなどを用いたユーザインタフェースの実装およびインターネットとの接続により、ユーザが遠隔地から認識器のプレトレーニングおよびファインチューニングが可能になる。これにより、認識オンラインサービスの提供者は、ユーザにプレトレーニング済みの認識器の網羅性や得意としている分野を、視覚的に提示することができる。また、ユーザは、ブラックボックス化しているオンラインサービスの認識器の特徴を把握でき、さらには自身のデータや自身の目的に合わせて、直感的な操作により認識器を編集し更新することができる。

［その他の実施形態］
なお、上記の各実施形態では、オントロジー情報は、特定ドメインに関連する網羅的な概念情報を含む場合について説明したが、該オントロジー情報は、ドメイン内の特定のユースケースや特定のユーザ層ごとに構築されてもよい。例えば、「店舗」ドメイン内の特定のユースケースとしては、「レジ前用」、「商品棚用」、「強盗検知用」、「万引き検知用」および「客層分析用」などがある。また、「店舗」ドメイン内の特定のユーザ層の例としては、「店員用」、「店長用」、および「スーパバイザー用」などがある。そして、端末装置に表示されたメニューから特定のユースケースや特定のユーザ層を選ぶことにより、自動的に該当するオントロジー情報を読み込んでもよい。

図１５は、オントロジー情報の選択を可能にする実施形態の認識学習システム１ｄの構成の一例を示す構成図である。同図が示すように、認識学習システム１ｄは、認識学習装置１０ｄと、端末装置１００とを備えている。認識学習装置１０ｄは、第１の実施形態の認識装置に加えオントロジー選択部１８を備える。

端末装置１００は、自装置内に記憶しておいたドメイン名情報と特定の利用者層を示す利用者層情報の一覧を表示部ＤＳに表示する。そして、利用者が特定の利用者層情報を選択したことに応じて、端末装置１００は、自装置内に記憶しておいた該特定の利用者層情報に対応するドメインＩＤを、認識学習装置１０ｄに出力する。端末装置１００は、ドメインＩＤを認識学習装置１０ｄに出力したことに応じて、認識学習装置１０ｄから取得したオントロジー情報を表示部ＤＳに表示する。

オントロジー選択部１８は、概念情報を読み込む概念情報選択部として機能し、端末装置１００からドメインＩＤを入力したことに応じて、入力したドメインＩＤに関連付けて記憶されているオントロジー情報を、概念構造記憶部Ｍ１から読み込む。そして、オントロジー選択部１８は、読み込んだオントロジー情報を、端末装置１００に出力する。

図１６は、端末装置１００の表示部ＤＳに表示されたオントロジー情報の選択メニューの一例を示している。同図で示すように、利用者が「オントロジー選定」ボタン１５０をクリックすると、ドメイン名情報「店舗」１５１に関連する特定の利用者層情報「店員用」、「店長用」および「スーパバイザー用」１５２がプルダウンメニューとして表示される。また更には、ドメイン名情報「駅」１５３に関連する特定の利用者層情報「運転手用」、「駅員用」および「駅長用」１５４がプルダウンメニューとして表示される。

上述した各実施形態によれば、ドメイン単位で利用者のニーズに関連した認識対象に対してプレトレーニングを行うことにより、ファインチューニングにおいて学習時間の短縮化とオーバーフィットの回避を期待できる。そのため、利用者の満足度が向上することができる。また、認識器の提供者と利用者の間で、特定のドメインに対する共通の概念構造を用いるため、特定のドメインの網羅性を考慮した上で、認識器の適用範囲および精度を共有することができる。また、利用者は特定のドメイン関連する網羅的な認識対象を考慮した上で、自らのユースケースに合わせて、認識対象を直感的に選定して、ファインチューニングすることができる。このため、利用者の満足度を大きく向上することができる。

なお、本発明に関し、その具体的な構成は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。また、各実施形態は、上記の各実施形態を組み合せて実施してもよい。また、上記の各実施形態においては、複数の状態を識別する問題を例に、本発明の実施形態について説明したが、本発明の装置は、この発明の要旨を逸脱しない範囲内において一般的な識別問題に適用することが可能である。例えば、本発明の装置は、正常と異常を識別する異常検知の問題に適用することができる。

また、上記の実施形態においては、動画像データに対する認識器を学習する場合について説明したが、本発明の装置は、この発明の要旨を逸脱しない範囲内において一般的なデータに適用することが可能である。例えば、動画像データ以外の、音声データ、センサ−データ、およびログデータなどに適用することができる。また、言語から生成したオントロジー情報に基づいて選定した認識対象を認識する認識器を学習することから、本発明の装置は、言語と、動画像、音声データ、センサーデータおよびログデータとのマルチモーダル情報を活用しているとも解釈できる。

また、上記の各実施形態にでは、認識器をプレトレーニングした後、利用者が個々の目的に合わせ、該認識器をファインチューニングする場合について説明した。しかし、本発明の装置は、この発明の要旨を逸脱しない範囲内において一般的な認識器の学習に適用できる。例えば、プレトレーニングの段階で、人により認識対象をオントロジー情報に基づき選定してもよい。また、動画像データを逐次的に追加し、認識器を更新してもよい。

また、上記の各実施形態では、ドメインが店舗の場合を例に説明したが、本発明の装置は、店舗以外の任意のドメインに適用してもよい。店舗以外には、例えば、介護施設、一般家庭、交差点、駅、空港、および市街などがある。

また、上記の各実施形態では、監視カメラを用いた監視の場合を例に説明したが、本発明の装置は、監視以外の目的にも適用できる。例えば、スポーツのスタッツ分析や一般のカメラにおけるシーンの認識や審美判定などに適用できる。

また、上記の各実施形態において、認識学習装置は概念構造記憶部Ｍ１、動画像データ記憶部Ｍ２、認識器記憶部Ｍ３、および文章データ記憶部Ｍ４を備えていると説明したが、ネットワークを介したサーバ上や、他の装置がこれらの構成を備えてもよい。また、各装置が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで、サーバ装置が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

なお、この各装置が備える各部は、専用のハードウェアにより実現されるものであってもよい。または、このサーバ装置が備える各部はメモリおよびＣＰＵ（中央演算装置）により構成され、サーバ装置が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

１０ 認識学習装置
１１ 意味的関連度生成部
１２ 認識対象生成部
１３ 認識学習部
１４ 認識対象可視化部
１５ 認識対象更新部
１６ 動画像データ編集部
１７ オントロジー生成部
１８ オントロジー選択部
Ｍ１ 概念構造記憶部
Ｍ２ 動画像データ記憶部
Ｍ３ 認識器記憶部
Ｍ４ 文章データ記憶部

Claims (15)

1. 特定ドメインの概念構造を表す概念構造情報であって、認識対象の候補を概念情報として含む概念構造情報に基づいて、前記特定ドメインと前記認識対象の候補との関連度を生成する生成手段と、
   前記生成手段により生成された関連度に基づいて、前記認識対象の候補から認識対象を選択する選択手段と、
   前記選択手段により選択された認識対象に係る学習データを用いて認識器を学習する学習手段と、
   を有することを特徴とする認識学習装置。
2. 前記生成手段は、前記概念構造情報における前記認識対象の候補の階層に基づいて前記関連度を生成することを特徴とする請求項１に記載の認識学習装置。
3. 前記生成手段は、更に前記概念構造情報における前記認識対象の候補の発生頻度に基づいて前記関連度を生成することを特徴とする請求項２に記載の認識学習装置。
4. 前記生成手段は、前記概念構造情報における前記認識対象の候補より下位階層の概念情報の数に基づいて前記関連度を生成することを特徴とする請求項１に記載の認識学習装置。
5. 前記選択手段により選択された前記認識対象を前記概念構造情報に重畳した可視化情報を生成する可視化手段を更に有することを特徴とする請求項１から４のいずれか１項に記載の認識学習装置。
6. 前記可視化手段は、前記選択手段により選択された認識対象それぞれに対する前記認識器の認識精度を算出し、当該算出した認識精度を前記可視化情報として生成することを特徴とする請求項５に記載の認識学習装置。
7. 前記可視化手段により生成された可視化情報に対するユーザの操作に応じて、前記認識対象を更新する更新手段を更に有し、
   前記学習手段は、前記更新手段により更新された認識対象に係る学習データを用いて前記認識器を再度学習することを特徴とする請求項５または６に記載の認識学習装置。
8. 前記可視化手段は、前記認識対象それぞれの動画像データを前記可視化情報として生成し、
   前記可視化手段により生成された可視化情報に対するユーザの指示に応じて、前記認識対象に係る学習データに追加または削除を行う編集手段を更に有することを特徴とする請求項５から７のいずれか１項に記載の認識学習装置。
9. 前記学習手段は、前記関連度に基づいて選択された前記認識対象の重要度を示す重要度情報を生成し、当該生成した前記重要度情報に基づいて学習することを特徴とする請求項１から請求項８のいずれか１項に記載の認識学習装置。
10. 文章データから前記特定ドメインに関する前記概念構造情報を生成する概念構造生成手段を更に有し、
    前記生成手段は、前記概念構造生成手段により生成された概念構造情報に基づいて、前記特定ドメインと前記認識対象の候補との前記関連度を生成することを特徴とする請求項１から請求項９のいずれか１項に記載の認識学習装置。
11. ユーザの入力に応じて、前記特定ドメイン、特定の利用者、特定のユースケースの少なくとも１つに対して構築された前記概念構造情報を選択する概念情報選択手段を更に有することを特徴とする請求項１から１０のいずれか１項に記載の認識学習装置。
12. 前記概念構造情報として、オントロジー情報を用いることを特徴とする請求項１から１１のいずれか１項に記載の認識学習装置。
13. 認識学習装置により実行される認識学習方法であって、
    特定ドメインの概念構造を表す概念構造情報であって、認識対象の候補を概念情報として含む概念構造情報に基づいて、前記特定ドメインと前記認識対象の候補との関連度を生成するステップと、
    前記生成された関連度に基づいて、前記認識対象の候補から認識対象を選択するステップと、
    前記選択された認識対象に係る学習データを用いて認識器を学習するステップと、
    を有することを特徴とする認識学習方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載の認識学習装置として機能させるためのプログラム。
15. オントロジー情報である前記概念情報を記憶する第１の記憶手段と、
    前記認識対象を特定するための動画データを記憶する第２の記憶手段とを更に有することを特徴とする請求項１から１２のいずれか１項に記載の認識学習装置。

Images