JP6043755B2

JP6043755B2 - 生成装置、生成方法及び生成プログラム

Info

Publication number: JP6043755B2
Application number: JP2014126555A
Authority: JP
Inventors: 岩崎　雅二郎; 雅二郎岩崎
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2014-06-19
Filing date: 2014-06-19
Publication date: 2016-12-14
Anticipated expiration: 2034-06-19
Also published as: JP2016004550A

Description

本発明は、生成装置、生成方法及び生成プログラムに関する。

従来、各種のデータに対してデータのカテゴリを示すラベル付けが行われている。例えば、インターネットオークションに商品を出品する場合に、出品者は、商品のカテゴリ検索や絞込み検索を行えるようにするため、予め用意されたカテゴリの中から出品する商品が属するカテゴリを手動で選択することで商品に対してラベル付けを行う。

特開２００５−３５２９００号公報

しかしながら、上記の方法では、適切なラベルを付けることができるとは限らなかった。例えば、上記の方法では、出品者は、商品が属するカテゴリのラベルを恣意的に判断し、商品のラベルを決定する。このため、上記の方法では、商品に対して不適切なラベルが付けられる場合がある。このようなことから、上記の方法では、適切なラベルを付けることができるとは限らなかった。

本願は、上記に鑑みてなされたものであって、適切なラベルを付けることができる生成装置、生成方法及び生成プログラムを提供することを目的とする。

本願に係る生成装置は、入力データとして階層構造を有する分類を示す言語データと当該言語データが示す分類に属する被写体が描出された画像とを受け付ける受付部と、前記受付部によって受け付けられた前記言語データおよび前記画像に基づいて、前記画像を入力した場合に前記言語データが示す階層構造を有する分類に対応するノードが所定の値を出力する学習器を生成する生成部とを備えたことを特徴とする。

実施形態の一態様によれば、適切なラベルを付けることができるという効果を奏する。

図１は、実施形態に係る生成装置による生成処理の一例を示す説明図である。図２は、実施形態に係る出力層の一例を示す図である。図３は、実施形態に係る出品システムによる出品処理の一例を示す説明図である。図４は、実施形態に係る生成装置の構成例を示す図である。図５は、実施形態に係る階層情報記憶部の一例を示す図である。図６は、実施形態に係る生成装置による判定処理の一例を示す説明図である。図７は、生成装置による生成処理手順を示すフローチャートである。図８は、生成装置による判定処理手順を示すフローチャートである。図９は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る生成装置、生成方法及び生成プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法及び生成プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．生成処理〕
まず、図１を用いて、実施形態に係る生成処理の一例について説明する。図１は、実施形態に係る生成装置による生成処理の一例を示す説明図である。図１の例では、生成装置１００によって入力データを入力した場合に入力データの分類に対応するノードを出力する学習器を生成する生成処理が行われる例を示す。

生成装置１００は、入力データを入力した場合に所定のノードを出力する学習器を生成するサーバ装置である。具体的には、生成装置１００は、入力データとして画像を入力した場合に画像に描出された被写体が属する分類に対応するノードを出力するＤＮＮ（Deep Neural Network）を学習器として生成する。この点について図１を用いて詳細に説明する。

学習器Ｌｅは、入力データに対する演算結果を出力する複数のノード（例えば、ニューロン）を接続したＤＮＮであって入力データが属する分類に対応するノードを出力するＤＮＮである。具体的には、学習器Ｌｅは、入力データとして被写体が描出された画像が入力された場合に、被写体が属する分類に対応するノードを出力する。

図１の例では、学習器Ｌｅは、入力層と、多段のノード群によって形成される中間層と、出力層ＯＬとから構成される。ここで、出力層ＯＬは、例えば、「具体物」が描出された画像が入力された場合に所定の値（例えば、値「１」）を出力し、「具体物」が描出されていない画像が入力された場合に所定の値の出力を行わないノードＮ_１を有する。すなわち、出力層ＯＬは、所定の被写体が描出された画像が入力された場合に、所定の値の出力を行うノードを有する。他の例では、出力層ＯＬは、「人工物」が描出された画像が入力された場合に所定の値を出力するノードＮ_１１を有する。また、他の例では、出力層ＯＬは、「ＰＣ製品」が描出された画像が入力された場合に所定の値を出力するノードＮ_１１２を有する。また、他の例では、出力層ＯＬは、「ディスプレイ」が描出された画像が入力された場合に所定の値を出力するノードＮ_１１２２を有する。

生成装置１００は、まず、入力データとして階層構造を有する分類を示す言語データ（例えば、物体名称のシソーラス）と言語データが示す分類に属する被写体が描出された画像とを受け付ける（ステップＳ１）。例えば、生成装置１００は、言語データとしてインターネットオークションなどに出品される商品が属するカテゴリの階層構造と商品が描出された画像とを同時に受け付ける。図１の一例では、生成装置１００は、入力データＩＤ１として「具体物、人工物、ＰＣ製品、デスクトップＰＣ」を示す言語データＷ１と「デスクトップＰＣ」が描出された画像Ｐ１とを同時に受け付ける。他の一例では、生成装置１００は、入力データＩＤ２として「具体物、人工物、ＰＣ製品、ディスプレイ」を示す言語データＷ２と「ディスプレイ」が描出された画像Ｐ２とを同時に受け付ける。

続いて、生成装置１００は、受け付けられた言語データおよび画像に基づいて、画像を入力した場合に言語データが示す階層構造を有する分類に対応するノードを出力する学習器を生成する（ステップＳ２）。具体的には、図１の一例では、生成装置１００は、入力データＩＤ１として「具体物、人工物、ＰＣ製品、デスクトップＰＣ」を示す言語データＷ１と「デスクトップＰＣ」が描出された画像Ｐ１とを同時に受け付けた場合に、画像Ｐ１に対して言語データＷ１が示す階層構造を有する分類に対応するノードが出力を行う学習器Ｌｅを生成する。例えば、生成装置１００は、図１に示すように、画像Ｐ１に対してノードＮ_１と、ノードＮ_１１と、ノードＮ_１１２とノードＮ_１１２１とが出力を行う学習器Ｌｅを生成する。なお、図１では、ノードＮ_１と、ノードＮ_１１と、ノードＮ_１１２とノードＮ_１１２１とが出力を行う状態を状態ＯＤ１と記載した。

図１の他の例では、生成装置１００は、入力データＩＤ２として「具体物、人工物、ＰＣ製品、ディスプレイ」を示す言語データＷ２と「ディスプレイ」が描出された画像Ｐ２とを同時に受け付けた場合に、画像Ｐ２に対して言語データＷ２が示す階層構造を有する分類に対応するノードを出力する学習器Ｌｅを生成する。例えば、生成装置１００は、図１に示すように、画像Ｐ１に対してノードＮ_１と、ノードＮ_１１と、ノードＮ_１１２とノードＮ_１１２２とが出力を行う学習器Ｌｅを生成する。なお、図１では、ノードＮ_１と、ノードＮ_１１と、ノードＮ_１１２とノードＮ_１１２２とが出力を行う状態を状態ＯＤ２と記載した。

この点について図２を用いて説明する。図２は、出力層のノードが有する階層構造の概念の一例を示す図である。図２に示す出力層は、図１に示す出力層ＯＬに含まれる各ノードが有する階層関係に対応する。なお、図２に示す階層関係は、各ノードが出力を行う階層関係を概念的に示すものであり、出力層ＯＬに含まれる各ノードが、図２に例示する接続関係や構成を有するわけではない。例えば、出力層ＯＬは、図２に示すように、ノードＮ_１、ノードＮ_２、・・・、ノードＮ_１１、ノードＮ_１２、・・・、ノードＮ_１１１、ノードＮ_１１２、・・・、ノードＮ_１１２１、ノードＮ_１１２２・・・といった出力の階層関係を持つ出力ノードを有する。

生成装置１００は、図２に示すように、入力データとして受け付けた言語データが示す階層構造を有する分類と画像とを対応付けて学習する学習器を生成する。具体的には、生成装置１００は、バックプロパゲーション法や教師有り学習法といった各種の方法によって、階層構造を有する分類と画像との共起性を学習した学習器を生成する。例えば、生成装置１００は、画像Ｐ１が入力された場合にノードＮ_１と、ノードＮ_１１と、ノードＮ_１１２とノードＮ_１１２１とが所定の値を出力するようにノード間の結合係数を算出する。そして、生成装置１００は、算出した結合係数をノード間に設定することで学習器Ｌｅを生成する。

また、生成装置１００は、例えば、図２に示すように、実行処理の結果（例えば、学習器Ｌｅの出力結果）としてウェブページＷＣ１を配信する。一例としては、生成装置１００は、オークションサイトの利用者が使用するユーザ端末にウェブページＷＣ１を配信する。ウェブページＷＣ１は、ユーザ端末に送信されるオークションサイトのウェブページの一例である。ウェブページＷＣ１は、コンテンツＷＣ２と、説明文Ｗ３と、説明文Ｗ４とを有する。なお、ウェブページＷＣ１は、オークションサイトに限らない。例えば、ウェブページＷＣ１は、任意のコンテンツを階層形式で分類し、商品等が属する分類を階層形式で表示するショッピングサイトや価格比較サイト等といった各種のサイトであってもよい。

コンテンツＷＣ２は、階層関係を示すコンテンツである。ウェブページＷＣ１に示すオークションサイトの利用者は、コンテンツＷＣ２に含まれる情報の入力や選択等を行うことで、階層関係に基づいた商品の検索や絞込みを行うことができる。

例えば、生成装置１００は、画像Ｐ３や画像Ｐ４を受け付け、受け付けた画像Ｐ３や画像Ｐ４を学習器Ｌｅに入力する。これにより、学習器Ｌｅは、「具体物＞人工物＞ＰＣ製品＞デスクトップＰＣ」といった階層関係を示す情報を出力する。そして、生成装置１００は、画像Ｐ３や画像Ｐ４に描出された商品を「具体物＞人工物＞ＰＣ製品＞デスクトップＰＣ」といった階層に分類する。

これにより、生成装置１００は、出品者がコンテンツＷＣ２に示す階層情報を入力せずとも、出品対象の商品が属する階層を画像から自動で特定することができる。このため、生成装置１００は、出品対象の商品をオークションサイトに登録する際の手間を軽減することができる。

なお、生成装置１００は、出品対象の商品を登録するとともに入力された他の情報を用いて、階層情報の学習を行うＤＮＮを生成してもよい。例えば、生成装置１００は、画像Ｐ３に描出された商品に係る階層関係と、画像Ｐ３と、画像Ｐ３とともに入力される説明文Ｗ３とを学習用データとして使用し、ＤＮＮの学習を行う。これにより、生成装置１００は、商品が描出された画像と説明文とを入力した場合に商品が属する階層関係を出力する学習器を生成する。例えば、生成装置１００は、画像Ｐ４と説明文Ｗ４とをＤＮＮに入力する入力データとして使用することで、画像Ｐ４に係る商品の階層関係を特定する。すなわち、生成装置１００は、学習用データとして、画像および説明文の組と、階層関係を示す情報との共起性を学習した学習器を生成してもよい。

このように、実施形態に係る生成装置１００は、入力データとして階層構造を有する分類を示す言語データと言語データが示す分類に属する被写体が描出された画像とを受け付ける。また、生成装置１００は、受け付けられた言語データおよび画像に基づいて、画像を入力した場合に言語データが示す階層構造を有する分類に対応するノードが出力を行う学習器を生成する。

これにより、生成装置１００は、入力データに対して入力データが属する適切な分類を出力する学習器を生成することができるので、適切なラベルを付けることができる。例えば、生成装置１００は、被写体が描出された画像が入力された場合に画像に描出された被写体が属する分類に対応するノードが所定の値を出力する学習器を生成することができる。このため、生成装置１００は、例えば、インターネットオークションにおいて出品者が新規に出品する商品が描出された画像を受け付けた場合に商品が属するカテゴリに対応するノードが所定の値を出力する学習器を生成することができる。

また、生成装置１００は、例えば、インターネットオークションで出品する商品に対して適切なラベルを付けることができるので、不適切なラベルが付いた商品を減らすことができる。このため、生成装置１００は、出品者やオークションの利用者の利便性を向上させることができる。

また、生成装置１００は、商品の画像を学習器に入力するだけで商品に対して適切なラベルを付けることができるので、出品者がラベルを検討する手間を減らすことができる。このため、生成装置１００は、出品者の出品作業における利便性を向上させることができる。

〔２．出品システムの構成〕
図３を用いて、実施形態に係る出品システムの構成について説明する。図３は、実施形態に係る出品システムによる出品処理の一例を示す説明図である。図３に示すように、出品システム１には、端末装置１０と、サーバ装置５０と、生成装置１００とが含まれる。端末装置１０、サーバ装置５０および生成装置１００は、ネットワークを介して、有線又は無線により通信可能に接続される。なお、図３に示した出品システム１には、複数台の端末装置１０や、複数台のサーバ装置５０や、複数台の生成装置１００が含まれてもよい。

端末装置１０は、例えば、デスクトップ型ＰＣや、ノート型ＰＣや、タブレット型端末や、スマートフォンや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等の情報処理装置である。例えば、端末装置１０は、オークションに商品を出品する利用者によって利用される。端末装置１０は、利用者によって用意された画像をサーバ装置５０に送信する。例えば、端末装置１０は、表示部に表示中のウェブページである出品画面に対して所定の操作（例えば、クリック操作）を受け付けた場合に、利用者が出品する商品が描出された画像ＣＰをサーバ装置５０に送信する。

サーバ装置５０は、各種ウェブページを端末装置１０に提供するサーバ装置である。具体的には、サーバ装置５０は、ネットオークションに関するウェブページを提供する。例えば、サーバ装置５０は、消費者が閲覧するネットオークションサイトや商品を出品する利用者が閲覧する管理画面（例えば、出品画面）を提供する。なお、サーバ装置５０は、ネットオークションサイトのウェブページに限らず、技術解説サイト、検索エンジンサイト、ショッピングサイト、ニュースサイト、ファイナンスサイト（株価サイト）等といった各種のウェブページも提供してもよい。

生成装置１００は、学習器Ｌｅを用いて商品が属する分類を判定するサーバ装置である。具体的には、生成装置１００は、まず、入力データとして商品が描出された画像を学習器Ｌｅに入力する。そして、生成装置１００は、入力データに対する出力に基づいて商品が属する分類を判定する。

次に、図３を用いて、出品システム１による出品処理について説明する。まず、端末装置１０は、例えば、利用者がオークションサイトに出品する商品Ｃ１が描出された画像ＣＰをサーバ装置５０に送信する（ステップＳ２１）。

続いて、サーバ装置５０は、端末装置１０から送信された画像ＣＰを生成装置１００に送信する（ステップＳ２２）。これにより、生成装置１００は、商品Ｃ１が描出された画像ＣＰを取得する。

そして、生成装置１００は、画像ＣＰに描出された商品Ｃ１が属する分類を判定する（ステップＳ２３）。具体的には、生成装置１００は、入力データとして画像ＣＰを学習器Ｌｅに入力し、入力データに対する出力に基づいて商品Ｃ１が属する分類を判定する。

その後、生成装置１００は、判定した商品Ｃ１が属する分類をサーバ装置５０に通知する（ステップＳ２４）。例えば、生成装置１００は、画像ＣＰに描出された商品Ｃ１が属する分類を「具体物、人工物、ＰＣ製品、ディスプレイ」と判定した場合には、「具体物、人工物、ＰＣ製品、ディスプレイ」という分類をサーバ装置５０に通知する。

そして、サーバ装置５０は、生成装置１００から通知された分類に基づいて商品Ｃ１のラベル付けを実行する（ステップＳ２５）。例えば、サーバ装置５０は、「具体物、人工物、ＰＣ製品、ディスプレイ」という分類が通知された場合には、商品Ｃ１のカテゴリを「具体物、人工物、ＰＣ製品、ディスプレイ」に設定する。これにより、サーバ装置５０は、商品Ｃ１のラベルを適切に設定してオークションに出品することができる。

〔３．生成装置の構成〕
次に、図４を用いて、実施形態に係る生成装置１００の構成について説明する。図４は、実施形態に係る生成装置１００の構成例を示す図である。図４に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００を利用する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ等によって実現される。通信部１１０は、ネットワークと有線又は無線で接続され、ネットワークを介して、各種のサーバ装置や端末装置との間で情報の送受信を行う。

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、階層情報記憶部１２１と、学習器情報記憶部１２２とを有する。

（階層情報記憶部１２１について）
階層情報記憶部１２１は、階層構造を有する分類に関する情報を記憶する。具体的には、階層情報記憶部１２１は、分類間の階層関係や包括関係を記憶する。例えば、階層情報記憶部１２１は、物体名称のシソーラスを記憶する。ここで、図５に、実施形態に係る階層情報記憶部１２１の一例を示す。図５に示すように、階層情報記憶部１２１は、「第１層」、「第２層」、「第３層」・・・といった項目を有する。

「第１層」は、最上位の分類を示す。「第２層」は、「第１層」の下位に位置する分類を示す。すなわち、「第２層」は、「第１層」に包含される分類を示す。「第３層」は、「第２層」の下位に位置する分類を示す。すなわち、「第３層」は、「第１層」および「第２層」に包含される分類を示す。

すなわち、図５では、最上位の分類である「第１層」の分類は、「具体物」および「抽象物」である例を示している。また、図５では、「人工物」は、「具体物」の下位に位置する分類である例を示している。すなわち、「人工物」の分類は、「具体物」の分類に包含される例を示している。

（学習器情報記憶部１２２について）
学習器情報記憶部１２２は、学習器（例えば、ＤＮＮ）に関する情報を記憶する。具体的には、学習器情報記憶部１２２は、ＤＮＮに含まれる入力層、中間層および出力層のノードや、ノード間の結合係数に関する情報を記憶する。例えば、学習器情報記憶部１２２は、図１に示す学習器Ｌｅを記憶する。

（制御部１３０について）
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

制御部１３０は、図４に示すように、受付部１３１と、生成部１３２と、判定部１３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する生成処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。

（受付部１３１について）
受付部１３１は、入力データを受け付ける。具体的には、受付部１３１は、学習器の学習を行う際には、入力データとして階層構造を有する分類を示す言語データと言語データが示す分類に属する被写体が描出された画像とを受け付ける。例えば、受付部１３１は、言語データとして物体名称のシソーラスを受け付ける。また、受付部１３１は、被写体が描出された画像として商品が描出された画像とを受け付ける。また、受付部１３１は、被写体の分類を判定する際には、入力データとして被写体が描出された新規画像を受け付ける。

また、受付部１３１は、階層構造を有する分類をサーバ装置５０から受け付ける。例えば、受付部１３１は、サーバ装置５０が運営するオークションサイトにおける商品のカテゴリの階層構造を受け付ける。そして、受付部１３１は、受け付けた階層構造を有する分類を階層情報記憶部１２１に格納する。

（生成部１３２について）
生成部１３２は、学習器（例えば、ＤＮＮ）を生成する。具体的には、生成部１３２は、受付部１３１によって受け付けられた言語データおよび画像に基づいて、画像を入力した場合に言語データが示す階層構造を有する分類に対応するノードを出力する学習器を生成する。一例としては、生成部１３２は、バックプロパゲーション法や教師あり学習によりＤＮＮに含まれるニューロンの間の結合係数を算出する。

例えば、生成部１３２は、受付部１３１によって言語データ「具体物、人工物、ＰＣ製品、デスクトップＰＣ」と「デスクトップＰＣ」が描出された画像とを受け付けた場合には、「具体物」、「人工物」、「ＰＣ製品」および「デスクトップＰＣ」に対応するノードが所定の値を出力するようにノード間の結合係数を算出する。そして、生成部１３２は、算出した結合係数をノード間に設定することで学習器を生成する。これにより、生成部１３２は、被写体が描出された画像が受け付けられた場合に、被写体が属する分類を出力する学習器を生成することができる。そして、生成部１３２は、生成した学習器を学習器情報記憶部１２２に格納する。

なお、生成部１３２は、例えば、受付部１３１によって言語データ「デスクトップＰＣ」と「デスクトップＰＣ」が描出された画像とを受け付けた場合には、階層情報記憶部１２１から「デスクトップＰＣ」の階層構造を取得し、「具体物」、「人工物」、「ＰＣ製品」および「デスクトップＰＣ」に対応するノードが出力する学習器を生成する。

（判定部１３３について）
判定部１３３は、受付部１３１によって受け付けられた判定対象（例えば、新規画像）の分類を判定する。具体的には、判定部１３３は、生成部１３２によって生成された学習器に対して新規画像を入力した場合に所定の値を出力するノードに基づいて新規画像に描出された被写体が属する分類を判定する。例えば、判定部１３３は、受付部１３１によって受け付けられた新規画像に対して生成部１３２によって生成された学習器が「具体物」、「人工物」、「ＰＣ製品」および「ディスプレイ」に対応するノードが所定の値を出力した場合には、新規画像に描出された被写体が属する分類を「具体物」、「人工物」、「ＰＣ製品」および「ディスプレイ」と判定する。

判定処理について図６を用いて説明する。図６は、実施形態に係る生成装置による判定処理を説明するための説明図である。例えば、受付部１３１は、図６に示すように、入力データＩＤ２１として、ＰＣ商品のうちディスプレイに属する商品Ｃ１が描出された画像ＣＰを受け付ける（ステップＳ３１）。

そして、判定部１３３は、生成部１３２によって生成された学習器に対して画像ＣＰを入力した場合に所定の値を出力するノードに基づいて画像ＣＰに描出された商品Ｃ１が属する分類を判定する（ステップＳ３２）。例えば、判定部１３３は、学習器Ｌｅによって出力データＯＤ２２としてノードＮ_１と、ノードＮ_１１と、ノードＮ_１１２とノードＮ_１１２２とが所定の値を出力した場合（状態ＯＤ２２となる場合）には、商品Ｃ１の分類を「具体物」、「人工物」、「ＰＣ製品」および「ディスプレイ」と判定する。

〔４．生成処理手順〕
次に、図７を用いて、実施形態に係る生成装置１００による生成処理の手順について説明する。図７は、実施形態に係る生成装置１００による生成処理手順を示すフローチャートである。

図７に示すように、生成装置１００は、入力データとして言語データと画像とを受け付ける（ステップＳ１０１）。そして、生成装置１００は、入力データとして言語データと画像とを受け付けていない場合には（ステップＳ１０１；Ｎｏ）、入力データとして言語データと画像とを受け付けるまで待機する。

一方、生成装置１００は、入力データとして言語データと画像とを受け付けた場合（ステップＳ１０１；Ｙｅｓ）、受け付けた入力データを学習器に入力する（ステップＳ１０２）。例えば、生成装置１００は、入力データとして物体名称のシソーラスと物体が描出された画像とを学習器に入力する。

その後、生成装置１００は、受け付けられた言語データおよび画像に基づいて、画像を入力した場合に言語データが示す階層構造を有する分類に対応するノードが所定の値を出力する学習器を生成する。具体的には、生成装置１００は、入力データである画像に対して言語データに対応するノードが所定の値を出力するようにノード間の結合係数を算出する。例えば、生成装置１００は、バックプロパゲーション法により結合係数を算出する（ステップＳ１０３）。

そして、生成装置１００は、学習器を生成する（ステップＳ１０４）。例えば、生成装置１００は、算出した結合係数をノード間に設定することで、画像に対して言語データに対応するノードを出力する学習器を生成する。

〔５．判定処理手順〕
次に、図８を用いて、実施形態に係る生成装置１００による判定処理の手順について説明する。図８は、実施形態に係る生成装置１００による判定処理手順を示すフローチャートである。

図８に示すように、生成装置１００は、入力データとして新規画像を受け付ける（ステップＳ２０１）。そして、生成装置１００は、入力データとして新規画像を受け付けていない場合には（ステップＳ２０１；Ｎｏ）、入力データとして新規画像を受け付けるまで待機する。

一方、生成装置１００は、入力データとして新規画像を受け付けた場合（ステップＳ２０１；Ｙｅｓ）、受け付けた入力データである新規画像を学習器に入力する（ステップＳ２０２）。例えば、生成装置１００は、利用者がオークションに出品する商品が描出された画像を入力データとして学習器に入力する。

その後、生成装置１００は、新規画像に描出された被写体が属する分類を判定する（ステップＳ２０３）。具体的には、生成装置１００は、生成された学習器に対して新規画像を入力した場合に所定の値を出力したノードに基づいて新規画像に描出された被写体が属する分類を判定する。例えば、生成装置１００は、学習器が「具体物」、「人工物」、「ＰＣ製品」および「ディスプレイ」に対応するノードが所定の値を出力した場合には、新規画像に描出された商品が属する分類を「具体物」、「人工物」、「ＰＣ製品」および「ディスプレイ」と判定する。

そして、生成装置１００は、判定した分類をサーバ装置５０に通知する（ステップＳ２０４）。そして、サーバ装置５０は、生成装置１００によって判定された分類に基づいて商品のラベル付けを実行する。これにより、サーバ装置５０は、商品に適切なラベルを付けてオークションサイトに出品することができる。

〔６．変形例〕
上述した実施形態に係る生成装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、上記の生成装置１００の他の実施形態について説明する。

〔６−１．学習器（１）〕
上記実施形態では、生成装置１００は、受け付けられた言語データおよび画像に基づいて画像を入力した場合に言語データが示す階層構造を有する分類に対応するノードが所定の値を出力する学習器Ｌｅを生成する例を示した。

ここで、生成装置１００は、各種の形態の学習器を生成してもよい。具体的には、生成装置１００は、出力層に含まれる各ノードが異なる分類を示すノードである学習器を生成する。例えば、生成装置１００は、出力層に含まれる各ノードが「デスクトップＰＣ」や「ディスプレイ」といったそれぞれ異なる分類、階層を示すノードである学習器を生成する。

このように、生成装置１００は、学習器として出力層に含まれる各ノードが異なる分類を示すノードである学習器を生成する。これにより、生成装置１００は、入力データに対応する分類を出力することができるので、入力データの分類を判定することができる。

〔６−２．学習器（２）〕
上記実施形態では、生成装置１００は、受け付けられた言語データおよび画像に基づいて画像を入力した場合に言語データが示す階層構造を有する分類に対応するノードが所定の値を出力する学習器Ｌｅを生成する例を示した。

ここで、生成装置１００は、階層構造の中で上位に属する分類に対応する上位ノードを出力した場合に下位に属する分類に対応する下位ノードに関数を伝播させるゲートを有する学習器を生成してもよい。

例えば、生成装置１００は、階層構造において下位に位置する分類に対応する下位ノードが出力し、かかる下位ノードを含む上位に位置する分類に対応する上位ノードを出力しない場合も考えられる。そこで、生成装置１００は、上位ノードを出力した場合にかかる上位ノードに含まれる下位ノードを出力するゲートを学習器に利用する。例えば、学習器は、上位ノードが出力された場合に、かかる上位ノードの下位に位置する下位ノードの前段に設置されたゲートを開く。他の例では、学習器は、ゲーティングニューロンをノードに組み込むことで上位ノードを出力した場合に下位ノードに関数を伝達してもよい。

このように、生成装置１００は、学習器として、階層構造の中で上位に属する分類に対応する上位ノードを出力した場合に下位に属する分類に対応する下位ノードに関数を伝播させるゲートを有する学習器を生成する。これにより、生成装置１００は、下位ノードとともに下位ノードを含む上位ノードを出力することができるので、階層構造を有する分類を出力することができる。

〔６−３．ＤＮＮ〕
上記実施形態では、生成装置１００は、入力層、中間層および出力層によって構成される学習器を生成する例を示した。ここで、生成装置１００は、各種の層に任意の数のノード群を含む学習器を生成してもよい。例えば、生成装置１００は、中間層に複数のノード群が含まれる多段の学習器を生成する。また、学習器に含まれるノード群は、任意の数のノードによって構成されてもよい。

〔６−４．適用対象〕
上記実施形態では、生成装置１００は、ネットオークションに出品する商品の分類を判定する画像認識の適用例を示した。ここで、生成装置１００は、商品の分類に限らず、各種の認識に適用してもよい。例えば、生成装置１００は、音声を対象とする音声認識に適用する。一例としては、生成装置１００は、入力データとして階層構造を示す言語データと音声データとを入力することで話者の分類を学習する学習器を生成する。これにより、生成装置１００は、音声データに含まれる音声を発した話者の性別や年齢、国籍などといった分類を判定することができる。

また、上記実施形態では、生成装置１００は、階層関係を学習した学習器を生成する例を示した。ここで、生成装置１００は、階層関係に限らず、内包関係、同義関係、類語関係といった各種の関係を学習した学習器を生成してもよい。また、生成装置１００は、物体に限らず、現象や状態等のシソーラスを学習した学習器を生成してもよい。これにより、生成装置１００は、バリエーションに富んだ判定をすることができる。

〔６−５．装置構成〕
上記実施形態では、生成装置１００は、サーバ装置５０と一体となって構成されてもよい。この場合、生成装置１００は、学習器によって判定した分類に基づいて商品のラベル付けを行う。また、生成装置１００は、分類を判定する判定処理は行わず、生成部１３２による生成処理のみを行う生成装置であってもよい。この場合、生成装置は、少なくとも判定部１３３を有しない。そして、判定部１３３を有する判定装置が、生成装置１００によって生成された学習器を用いて分類を判定し、判定した分類をサーバ装置５０等に配信する。

〔６−６．その他〕
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図４に示した受付部１３１および生成部１３２は統合されてもよい。

〔６−７．ハードウェア構成〕
また、上述してきた実施形態に係る生成装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。以下、生成装置１００を例に挙げて説明する。図９は、生成装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、およびメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、通信網５００を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを通信網５００を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から通信網５００を介してこれらのプログラムを取得してもよい。

〔７．効果〕
上述してきたように、実施形態に係る生成装置１００は、受付部１３１と、生成部１３２とを有する。受付部１３１は、入力データとして階層構造を有する分類を示す言語データと言語データが示す分類に属する被写体が描出された画像とを受け付ける。生成部１３２は、受付部１３１によって受け付けられた言語データおよび画像に基づいて、画像を入力した場合に言語データが示す階層構造を有する分類に対応するノードを出力する学習器を生成する。

また、実施形態に係る生成装置１００において、判定部１３３は、生成部１３２によって生成された学習器に対して新規画像を入力した場合に所定の値を出力するノードに基づいて新規画像に描出された被写体が属する分類を判定する。

これにより、実施形態に係る生成装置１００は、入力データに対して入力データが属する適切な分類を出力する学習器を生成することができるので、適切なラベルを付けることができる。例えば、生成装置１００は、被写体が描出された画像が入力された場合に画像に描出された被写体が属する分類に対応するノードを出力する学習器を生成することができる。このため、生成装置１００は、例えば、インターネットオークションにおいて出品者が新規に出品する商品が描出された画像を受け付けた場合に商品が属するカテゴリに対応するノードを出力する学習器を生成することができる。

また、変形例に係る生成装置１００において、生成部１３２は、学習器として出力層に含まれる各ノードが異なる分類を示すノードである学習器を生成する。

これにより、変形例に係る生成装置１００は、入力データに対応する分類を出力することができるので、入力データの分類を判定することができる。

また、変形例に係る生成装置１００において、生成部１３２は、学習器として、階層構造の中で上位に属する分類に対応する上位ノードを出力した場合に下位に属する分類に対応する下位ノードに関数を伝播させるゲートを有する学習器を生成する。

これにより、変形例に係る生成装置１００は、下位ノードとともに下位ノードを含む上位ノードを出力することができるので、階層構造を有する分類を出力することができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

１０端末装置
５０サーバ装置
１００生成装置
１２１階層情報記憶部
１２２学習器情報記憶部
１３１受付部
１３２生成部
１３３判定部

Claims

入力データとして階層構造を有する分類を示す言語データと当該言語データが示す分類に属する被写体が描出された画像とを受け付ける受付部と、
前記受付部によって受け付けられた前記言語データおよび前記画像に基づいて、前記画像を入力した場合に前記言語データが示す階層構造を有する分類に対応するノードが所定の値を出力する学習器であって、階層構造の中で上位に属する分類に対応する上位ノードが前記所定の値を出力した場合に、当該分類の下位に属する分類に対応する下位ノードに関数を伝播させるゲートを有する学習器を生成する生成部と
を備えたことを特徴とする生成装置。
前記生成部によって生成された学習器に対して新規画像を入力した場合に前記所定の値を出力するノードに基づいて当該新規画像に描出された被写体が属する分類を判定する判定部
をさらに備えることを特徴とする請求項１に記載の生成装置。
前記生成部は、
前記学習器として出力層に含まれる各ノードが異なる分類を示すノードである学習器を生成する
ことを特徴とする請求項１または２に記載の生成装置。
生成装置が実行する生成方法であって、
入力データとして階層構造を有する分類を示す言語データと当該言語データが示す分類に属する被写体が描出された画像とを受け付ける受付工程と、
前記受付工程によって受け付けられた前記言語データおよび前記画像に基づいて、前記画像を入力した場合に前記言語データが示す階層構造を有する分類に対応するノードが所定の値を出力する学習器であって、階層構造の中で上位に属する分類に対応する上位ノードが前記所定の値を出力した場合に、当該分類の下位に属する分類に対応する下位ノードに関数を伝播させるゲートを有する学習器を生成する生成工程と
を含んだことを特徴とする生成方法。
入力データとして階層構造を有する分類を示す言語データと当該言語データが示す分類に属する被写体が描出された画像とを受け付ける受付手順と、
前記受付手順によって受け付けられた前記言語データおよび前記画像に基づいて、前記画像を入力した場合に前記言語データが示す階層構造を有する分類に対応するノードが所定の値を出力する学習器であって、階層構造の中で上位に属する分類に対応する上位ノードが前記所定の値を出力した場合に、当該分類の下位に属する分類に対応する下位ノードに関数を伝播させるゲートを有する学習器を生成する生成手順と
をコンピュータに実行させることを特徴とする生成プログラム。