WO2021220342A1 - 物体認識装置、物体認識方法、学習装置、学習方法、及び、記録媒体 - Google Patents

Abstract

物体認識装置において、画像取得手段は画像を取得する。物体認識手段は、画像に含まれる物体を認識し、認識結果を生成する。グラフ生成手段は、認識結果に基づき、認識された個々の物体をノードとエッジの一方に定義し、物体間の関係をノードとエッジの他方に定義したグラフを生成する。グラフ解析手段は、グラフを解析し、物体間の関係性を示す解析結果を生成する。

Description

物体認識装置、物体認識方法、学習装置、学習方法、及び、記録媒体

　本発明は、画像に含まれる物体の認識に関する。

　店舗内の商品棚の撮影画像を用いて、商品の棚割を管理する手法が提案されている。例えば、特許文献１は、商品棚の撮影画像に対する画像認識処理により、物体領域のカテゴリの分類及び信頼度の算出を行う手法を記載している。

国際公開ＷＯ２０１９／０８８２２３号公報

　実際の店舗における商品棚の場合、一般的に同一カテゴリの商品は近い場所に配置される傾向があり、外観が似ている商品が並んで配置されることが多い。このため、商品棚の撮影画像から物体認識処理により個々の商品を認識した場合に、誤認識が発生することがある。

　本発明の１つの目的は、画像に含まれる複数の物体を精度よく認識することが可能な物体識別装置を提供することにある。

　本発明の一つの観点では、物体認識装置は、
　画像を取得する画像取得手段と、
　前記画像に含まれる物体を認識し、認識結果を生成する物体認識手段と、
　前記認識結果に基づき、認識された個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成するグラフ生成手段と、
　前記グラフを解析し、前記物体間の関係性を示す解析結果を生成するグラフ解析手段と、
　を備える。

　本発明の他の観点では、物体認識方法は、
　画像を取得し、
　前記画像に含まれる物体を認識し、認識結果を生成し、
　前記認識結果に基づき、認識された個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
　前記グラフを解析し、前記物体間の関係性を示す解析結果を生成する。

　本発明のさらに他の観点では、記録媒体は、
　画像を取得し、
　前記画像に含まれる物体を認識し、認識結果を生成し、
　前記認識結果に基づき、認識された個々の物体をノード及びのエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
　前記グラフを解析し、前記物体間の関係性を示す解析結果を生成する処理をコンピュータに実行させるプログラムを記録する。

　本発明のさらに他の観点では、学習装置は、
　画像に含まれる物体の認識結果を取得し、一部に誤り箇所を含む認識結果を教師入力データとして生成するとともに、前記教師入力データにおける修正箇所を示す教師ラベルを生成する教師データ生成手段と、
　前記教師入力データに含まれる個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成するグラフ生成手段と、
　グラフ解析モデルを用いて前記グラフを解析し、前記物体間の関係を示す解析結果を生成するグラフ解析手段と、
　前記解析結果と、前記教師ラベルとを用いて、前記グラフ解析モデルを学習する学習手段と、
　を備える。

　本発明のさらに他の観点では、学習方法は、
　画像に含まれる物体の認識結果を取得し、一部に誤り箇所を含む認識結果を教師入力データとして生成するとともに、前記教師入力データにおける修正箇所を示す教師ラベルを生成し、
　前記教師入力データに含まれる個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
　グラフ解析モデルを用いて前記グラフを解析し、前記物体間の関係を示す解析結果を生成し、
　前記解析結果と、前記教師ラベルとを用いて、前記グラフ解析モデルを学習する。

　本発明のさらに他の観点では、記録媒体は、
　画像に含まれる物体の認識結果を取得し、一部に誤り箇所を含む認識結果を教師入力データとして生成するとともに、前記教師入力データにおける修正箇所を示す教師ラベルを生成し、
　前記教師入力データに含まれる個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
　グラフ解析モデルを用いて前記グラフを解析し、前記物体間の関係を示す解析結果を生成し、
　前記解析結果と、前記教師ラベルとを用いて、前記グラフ解析モデルを学習する処理をコンピュータに実行させるプログラムを記録する。

　本発明によれば、画像に含まれる複数の物体を精度よく認識することが可能となる。

第１実施形態に係る物体認識装置を示す。 第１実施形態に係る物体認識装置のハードウェア構成を示す。 第１実施形態に係る物体認識装置の機能構成を示す。 商品棚の撮影画像の例を示す。 商品棚の画像からの物体認識結果及びそのグラフの例を示す。 商品棚の画像からの物体認識結果及びそのグラフの例を示す。 グラフを生成する際のエッジ付与ルールの例を示す。 グラフ解析部が出力する解析結果の例を示す。 物体認識装置による物体認識処理のフローチャートである。 第１実施形態の応用例に係る物体認識装置の機能構成を示す。 修正部による認識結果の修正方法の例を示す。 修正部による認識結果の修正方法の例を示す。 第１実施形態に係る学習装置の機能構成を示す。 学習装置による学習処理のフローチャートである。 変形例４に係るグラフの例を示す。 第２実施形態に係る物体認識装置及び学習装置の機能構成を示す。

　以下、図面を参照して、本発明の好適な実施形態について説明する。
　＜第１実施形態＞
　［基本概念］
　カメラなどで商品棚を撮影した画像を用いて、物体認識処理により、商品棚に商品がどのように並んでいるかを認識することが行われている。しかし、実際の店舗における商品棚の場合、様々な理由により個別の商品の誤認識が発生しうる。一方で、店舗における商品の並び方には、特定のルールがあることが多い。例えば、「同じ商品は隣り合って並ぶ」、「同じサイズの商品は同じ段に並ぶ」、「大きい商品は棚の下の方に並ぶ」などのルール（以下、「陳列ルール」とも呼ぶ。）がある。そこで、本実施形態では、商品棚の画像の認識結果に対して上記のような陳列ルールを考慮することで、個々の商品の認識精度を改善する。なお、陳列ルールには、業界全体に共通するルール、店舗の種類毎（例えば、スーパーマーケット毎、コンビニ毎など）のルール、個別の店舗毎のローカルルールなどがあるが、本実施形態ではいずれのルールにも対応可能である。

　図１は、第１実施形態に係る物体認識装置の概略を示す。物体認識装置１００は、店舗の商品棚の撮影画像から、商品棚に陳列された個々の商品を認識する。具体的に、物体認識装置１００は、商品棚を撮影した画像から個々の商品を認識し、その認識結果を解析した解析結果を出力する。

　［ハードウェア構成］
　図２は、物体認識装置１００のハードウェア構成を示すブロック図である。図示のように、物体認識装置１００は、インタフェース（ＩＦ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５とを備える。

　ＩＦ１１は、外部装置との間でデータの入出力を行う。具体的に、商品棚を撮影した画像はＩＦ１１を介して入力される。また、物体認識装置１００により生成された解析結果は、必要に応じてＩＦ１１を通じて外部装置へ出力される。

　プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、物体認識装置１００の全体を制御する。具体的に、プロセッサ１２は、後述する物体認識処理、学習処理を実行する。

　メモリ１３は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。

　記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、物体認識装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。物体認識装置１００が各種の処理を実行する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。

　データベース１５は、ＩＦ１１を通じて入力された撮影画像や、物体認識装置１００による認識結果及び解析結果などを記憶する。また、データベース１５は、後述する物体認識モデルやグラフ解析モデル、及び、それらの学習に用いられる教師データなどを記憶する。なお、物体認識装置１００は、使用者が指示や入力を行うためのキーボード、マウスなどの入力部、及び、液晶ディスプレイなどの表示部を備えていてもよい。

　［機能構成］
　図３は、物体認識装置１００の機能構成を示すブロック図である。物体認識装置１００は、機能的には、画像取得部２１と、物体認識部２２と、グラフ生成部２３と、グラフ解析部２４と、を備える。

　画像取得部２１は、商品棚を撮影した画像を取得する。具体的に、画像取得部２１は、商品棚の撮影に使用されたカメラから画像を直接取得してもよく、撮影した画像を予め蓄積したデータベースなどから画像を取得してもよい。図４は、商品棚を撮影した画像の例を示す。図４の例では、商品棚４０は、上段４１ａ、中段４１ｂ、下段４１ｃの３つの段を備え、各段に複数の商品が陳列されている。各商品は、同じ商品は隣り合って並ぶ、大きい商品は棚の下の方に並ぶなど、先に例示した陳列ルールに従って配置されている。

　物体認識部２２は、画像取得部２１が取得した画像に対して物体認識処理を行い、個々の物体を認識する。例えば、物体認識部２２は、ニューラルネットワークなどを用いた学習済みの物体認識モデルを使用して物体を認識する。図５（Ａ）は、物体認識部２２による個々の物体の認識結果の例を示す。物体認識部２２は、まず、画像から個々の物体に対応する矩形領域を検出する。次に、物体認識部２２は、各矩形領域の位置、サイズ、特徴量を抽出し、それらに基づいて各商品の種類（例えば、商品名や商品カテゴリ（酒、ジュース、ミルクなど）。以下、「商品クラス」とも呼ぶ。）を認識する。さらに、物体認識部２２は、特徴量の一致度又は類似度が所定の閾値以上である商品を同一の商品クラスと判定する。図５（Ａ）の例では、商品棚４０の商品が商品Ａ～Ｅの５種類の商品クラスに分類されている。物体認識部２２は、こうして得られた各商品の位置、サイズ、種類、特徴量などを認識結果としてグラフ生成部２３に出力する。

　グラフ生成部２３は、物体認識部２２から入力される各商品の認識結果に基づいて、各商品の関係性を示すグラフを生成する。具体的に、グラフ生成部２３は、商品の位置、サイズ、種類、特徴量などをノードやエッジに定義して、各商品の関係性を示すグラフを生成する。一例では、グラフ生成部２３は、物体認識部２２により認識された各商品をノードとし、個々のノードにその商品の位置、サイズ、種類、特徴量などを定義する。そして、グラフ生成部２３は、各商品の位置、サイズ、種類、特徴量などに基づいてノード間にエッジを定義してグラフを生成する。図５（Ｂ）は、図５（Ａ）に示す商品棚の画像に基づいて生成されたグラフの一例を示す。図５（Ｂ）のグラフでは、各商品がノードＮｄとなっており、各ノードＮｄには商品クラス（商品Ａ～Ｅ）が示されている。また、同一種類の商品に対応するノードＮｄの間にエッジＥｄが付与されている。このグラフにより、商品棚に陳列されている複数種類の商品の配置が表現される。

　図６（Ａ）は、図５（Ａ）に示す商品棚の画像において、一部の商品を入れ替えた例を示す。具体的に、図６（Ａ）では、図５（Ａ）に示す商品棚４０の上段４１ａの中央付近の商品Ａと商品Ｂを入れ替え、中段４１ｂの中央付近の商品Ｃと商品Ｄを入れ替えている。図６（Ｂ）は、図６（Ａ）の画像に対応するグラフの例を示す。図６（Ｂ）においては、破線の楕円９１で示すように、上段の商品Ａと商品Ｂの位置が入れ替わっており、それらの商品についてのエッジが無くなっている。同様に、破線の楕円９２で示すように、中段の商品Ｃと商品Ｄの位置が入れ替わっており、それらの商品についてのエッジが無くなっている。このように、グラフ生成部２３が生成するグラフにより、各商品の種類及び位置関係が表現される。

　なお、上記の例では、同一種類の商品をエッジで接続しているが、エッジを付与するルール（以下、「エッジ付与ルール」と呼ぶ。）はこれには限られない。図７は、グラフ生成部２３がグラフを生成する際のエッジ付与ルールの例を示す。グラフ生成部２３は、以下のエッジ付与ルールのいずれか１つ又は複数の組み合わせに基づいてエッジを付与する。なお、以下の例において、各商品をノードとする点は同じである。

　（１）物理距離関係
　図７（Ａ）に示すように、この例では、商品間の物理的な距離に基づいてエッジの有無を決定する。具体的には、グラフ生成部２３は、隣接する商品間にエッジを付与するか、一定の距離以内に存在する商品間にエッジを付与する。

　（２）商品類似関係
　図７（Ｂ）に示すように、この例では、隣接する商品の類似関係に基づいてエッジの有無を決定する。具体的には、グラフ生成部２３は、隣接する商品が同一の商品クラスであればエッジを付与する。もしくは、グラフ生成部２３は、相互に隣接し、かつ、サイズが近い商品間にエッジを付与する。

　（３）特徴量類似関係
　図７（Ｃ）に示すように、この例では、隣接する商品間にエッジを付与し、それら商品の特徴量の類似度（距離）をそのエッジの重みとして設定する。なお、重みの値は「０」~「１」とする。図７（Ｃ）の例では、商品Ａと商品Ｂの類似度が「０．３」であるので、商品Ａと商品Ｂの間のエッジの重みが「０．３」となっている。同様に、中央の商品Ｂと右側の商品Ｂの類似度が「０．９」であるので、それらの間のエッジの重みが「０．９」となっている。

　（４）位置関係
　図７（Ｄ）及び７（Ｅ）に示すように、この例では、上下又は左右に隣接する商品にエッジを付与する。図７（Ｄ）の例では、上下の位置関係にある商品間にエッジが付与されている。図７（Ｅ）の例では、左右の位置関係にある商品間にエッジが付与されている。

　図３に戻り、グラフ解析部２４は、グラフ生成部２３が生成したグラフを解析し、解析結果を出力する。グラフ解析部２４は、グラフＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）などのグラフ解析モデルを用いて、入力されたグラフを解析する。ここで、グラフＣＮＮについて簡単に説明する。前述のように、グラフ解析部２４に入力されるグラフは、各ノードに各商品の位置、サイズ、種類、特徴量など（以下、これらをまとめて「特徴量（特徴ベクトル）Ｘ」と呼ぶ。）が与えられている。グラフＣＮＮでは、基本的に通常のニューラルネットワークと同様に、各ノードの特徴ベクトル（特徴行列）Ｘに重みベクトルＷを掛け合わせ、これを活性化関数に入力する処理を繰り返す。

　但し、グラフＣＮＮでは、さらにノードの接続先を加味する。具体的に、ノードの接続関係を示す隣接行列Ａを以下のように定義する。なお、隣接行列とは、接続されたノードにあたるインデックスの交差点が「１」、それ以外が「０」であるＮ×Ｎの行列である。単純化のため、以下では３×３の隣接行列を用いる。

　また、各ノードの特徴量を示す特徴行列Ｘを以下のように定義する。

　隣接行列Ａに特徴行列Ｘをかけると、

のようになる。

　これに、活性化関数σ（ｘ）＝ＲｅＬＵ（ｘ）を組み合わせて、

のように繰り返し演算すると、レイヤを繰り返すごとに、エッジで接続された周辺のノードの情報が加味されていく。こうして、入力されたグラフにおける各ノードの関係性を示す解析結果が得られる。

　図８は、グラフ解析部２４が出力する解析結果の例を示す。いま、図８（Ａ）に示すように、３つの商品の個別認識結果は各商品のクラス「商品Ａ」、「商品Ｂ」、「商品Ｂ」であると仮定する。図８（Ｂ）は、解析結果の第１の出力例を示す。この例では、解析結果は、個々の商品の修正要否を示す。この例では、最も左のノードが「修正要（Ｙｅｓ）」であり、他の２つのノードが「修正不要（Ｎｏ）」となっている。

　図８（Ｃ）は、解析結果の第２の出力例を示す。この例では、解析結果は、個々の商品名などの商品ラベルであり、最も左のノードが「お茶Ｘ」であり、他の２つのノードが「コーヒーＹ」である。なお、第２の出力例の場合、物体認識部２２が画像における各商品の外観上の特徴量に基づいて各商品の商品ラベル（商品名など）を認識し、グラフ解析部２４に供給することが必要となる。具体的には、図３の破線２９に示すように、物体認識部２２は、各商品の外観上の特徴に基づいて各商品の商品ラベルを生成し、グラフ解析部２４に出力する。グラフ解析部２４は、入力された各商品の商品ラベルを用いて、図８（Ｃ）に示すように解析結果を出力する。

　図８（Ｃ）は、解析結果の第３の出力例を示す。この例では、解析結果は、個々の商品間のエッジの有無を示す。例えば、同一クラスの商品間にエッジを付与するエッジ付与ルールの場合、図８（Ｃ）に示すように、中央及び右側の２つのノード間にエッジが付与される。

　グラフ解析部２４は上記のようにいくつかの形式で解析結果を出力することができるが、いずれの解析結果も、直接的又は間接的に商品の修正要否を示すものとなる。具体的に、第１の出力例は直接的に商品の修正要否を示すものであるが、第２及び第３の出力例も間接的に「最も左の商品Ａを商品Ｂに修正することが必要である」ことを示すと理解することができる。

　なお、上記のグラフＣＮＮは、グラフ解析部２４に使用可能なモデルの一例に過ぎず、グラフＣＮＮ以外の各種のＧＮＮ（Ｇｒａｐｈ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）やグラフ解析モデルをグラフ解析部２４に適用することが可能である。

　［物体認識処理］
　図９は、物体認識装置１００による物体認識処理のフローチャートである。この処理は、図２に示すプロセッサ１２が、予め用意されたプログラムを実行し、図３に示す各構成要素として動作することにより実現される。

　まず、画像取得部２１は、商品棚を撮影した画像を取得し、物体認識部２２に出力する（ステップＳ１１）。次に、物体認識部２２は、入力された画像から各商品の領域を検出し、各商品の位置、サイズ、種類、特徴量などを認識結果としてグラフ生成部２３に出力する（ステップＳ１２）。グラフ生成部２３は、入力された各商品の認識結果に基づいて、各商品の関係性を示すグラフを生成し、グラフ解析部２４に出力する（ステップＳ１３）。グラフ解析部２４は、入力されたグラフを解析し、個々の商品の関係性を示す解析結果を出力する（ステップＳ１４）。そして、処理は終了する。

　［物体認識装置の応用例］
　次に、物体認識装置の応用例について説明する。図１０は、第１実施形態の応用例に係る物体認識装置１００ｘの機能構成を示す。図３と比較すると理解されるように、物体認識装置１００ｘは、物体認識装置１００の構成に加えて修正部２５を備える。物体認識装置１００ｘは、グラフ解析部２４による解析結果に基づいて、物体認識部２２が出力した認識結果を修正する。

　具体的に、物体認識装置１００ｘにおいて、物体認識部２２は、画像取得部２１から入力された画像に基づいて生成した認識結果を修正部２５に出力する。また、グラフ解析部２４は、図８（Ｂ）～（Ｄ）に例示されるように、個々の商品の関連性を示す解析結果を修正部２５に出力する。修正部２５は、グラフ解析部２４が出力した解析結果に基づいて、物体認識部２２が生成した認識結果を修正して出力する。例えば、グラフ解析部２４が図８（Ｂ）に示すように解析結果として個々の商品の修正要否を出力する場合、修正部２５は、修正要（Ｙｅｓ）と判定された商品を別の商品に修正する。グラフ解析部２４が、図８（Ｃ）に示すように解析結果として各商品の商品ラベルを出力した場合、修正部２５は、商品ラベルに基づいていずれかの商品の修正が必要か否かを判定し、修正が必要と判定された商品を修正する。グラフ解析部２４が、図８（Ｄ）に示すように解析結果として商品間のエッジの有無を出力した場合、修正部２５は、各商品間のエッジの有無に基づいていずれかの商品の修正が必要か否かを判定し、修正が必要と判定された商品を修正する。

　以下、修正部２５による修正方法の具体例を説明する。図１１は、修正部２５による認識結果の修正方法の例を示す。図１１（Ａ）、（Ｂ）は、第１の修正方法を示す。第１の修正方法は、グラフ解析部２４の解析結果として、ノード毎に修正要否がスコアとして得られる場合に適用される。なお、１つのノードは１つの商品に対応している。図１１（Ａ）、（Ｂ）においては、説明の便宜上、各ノードに番号１～４を付し、各ノードに対応する矩形のボックス内に各ノードの認識結果（商品クラス）を示す。また、各ボックスの括弧内の数値は各ノードの修正要否を示すスコアである。このスコアは、値が大きいほど修正の必要性が高いことを示す。

　修正部２５は、各ノードのスコアを予め決められた第１の閾値と比較し、スコアが第１の閾値より大きいノードを修正対象ノードと決定する。そして、修正部２５は、修正対象ノードを、それと隣接する別の商品のうち最も数が多いものに修正する。なお、「隣接する」とは、その商品を中心とする予め決められた所定範囲に属することをいい、図１１の例では、隣接する商品がノード１～４の４商品であるとする。また、仮に第１の閾値を「０．５」とする。

　グラフ解析部２４が図１１（Ａ）に示す解析結果を出力した場合、修正部２５は、ノード１～４のスコアを第１の閾値と比較し、スコアが「０．８」であるノード２を修正対象ノードと決定する。そして、修正部２５は、ノード２の商品Ｂを、隣接する商品のうち最多である商品Ａに修正する。また、グラフ解析部２４が図１１（Ｂ）に示す解析結果を出力した場合も、修正部２５は、ノード２を修正対象ノードと決定する。そして、修正部２５は、ノード２の商品Ｂを、隣接する商品のうち最多である商品Ａに修正する。

　なお、隣接する商品群において、修正対象ノードと同一クラスの商品の数と、修正対象ノードに隣接する別のクラスの商品の数とが同数である場合、修正部２５は修正対象ノードを修正しないこととしてもよい。具体的に、図１１（Ｃ）に示すように、ノード２が修正対象ノードと判定されたが、隣接する商品群のうち、修正対象ノードを含む２つのノードが商品Ｂであり、修正対象ノードと別の２つのノードが商品Ａである場合、修正部２５はノード２を修正しないこととしてもよい。

　また、上記の第１の修正方法では、修正部２５は修正対象ノードを決定し、その修正まで行っているが、その代わりに、修正までは行わず、修正対象ノードを提示するにとどめてもよい。例えば図１１（Ａ）の例では、修正部２５は、修正対象ノードとしてノード２を出力して処理を終了してもよい。この場合は、修正部２５の出力を見て、修正対象ノードをどの商品に修正するかを人間などが決めればよい。

　図１２（Ａ）は、第２の修正方法を示す。第２の修正方法では、グラフ解析部２４が解析結果として各ノードの同一商品らしさを示すスコア（以下、「一致度スコア」とも呼ぶ。）を出力するものとする。一致度スコアは「０」～「１」の値をとる。修正部２５は、解析結果として得られた異なる商品クラスの組み合わせ（ペア）について、それらの商品クラス間の一致度スコアの最大値が予め決められた第２の閾値を超えた場合、それらのノードを同一商品に揃えるように修正を行う。なお、第２の修正方法では、第１の修正方法と同一又は異なる方法により、修正対象ノードが決まっているものとする。

　具体的に、図１２（Ａ）の例において、修正対象ノードがノード２であるとする。ノード２は、ノード１、３、４と商品クラスが異なっている。また、ノード１とノード２との一致度スコアは「０．８」、ノード２とノード３との一致度スコアは「０．７」、ノード２とノード４との一致度スコアは「０．７」である。いま、第２の閾値を「０．７」とする。この場合、商品Ａと商品Ｂのペアについての一致度スコアは、ノード１とノード２の一致度スコア「０．８」、及び、ノード２とノード３の一致度スコア「０．７」であり、それらの最大値は「０．８」である。また、商品Ｂと商品Ｃのペアについての一致度スコアは、ノード２とノード３の一致度スコア「０．７」であり、その最大値は「０．７」である。よって、異なる商品ラベル間の一致度スコアの最大値は、商品Ａと商品Ｂの一致度スコア「０．８」であり、これは第２の閾値「０．７」を超えている。よって、修正部２５は、ノード２をノード１と同じ商品Ａに修正する。

　なお、上記の方法で、最大値の代わりに、平均値を用いてもよい。この場合、商品Ａと商品Ｂのペアについての一致度スコアは、ノード１とノード２の一致度スコア「０．８」、及び、ノード２とノード３の一致度スコア「０．７」であり、その平均値は「０．７５」であり、これは第２の閾値「０．７」を超えている。よって、修正部２５は、商品Ｂであるノード２を商品Ａに修正する。一方、商品Ｂと商品Ｃのペアについての一致度スコアは、ノード２とノード３の一致度スコア「０．７」であり、その平均値は「０．７」であり、これは第２の閾値「０．７」を超えていない。よって、修正部２５は、商品Ｂと商品Ｃとの間の修正は行わない。

　図１２（Ｂ）は、第３の修正方法を示す。なお、第３の修正方法でも、グラフ解析部２４は解析結果として各ノードの同一商品らしさを示す一致度スコアを出力し、一致度スコアは「０」～「１．０」の値をとるものとする。また、第３の修正方法でも、第１の修正方法と同一又は異なる方法により、修正対象ノードが決まっているものとする。

　第３の修正方法では、修正部２５は、修正対象のノードを、予め決められた第３の閾値以上の一致度スコアを示す商品のうち、最も数が多いものに修正する。図１２（Ｂ）の例において、各ノードの商品ラベル及び一致度は図１２（Ａ）と同様である。いま、第３の閾値を「０．７」とする。修正対象ノードであるノード２との一致度スコアが第３の閾値「０．７」以上であるのは、ノード１、３、４であり、ノード１とノード３は商品Ａであるので、最多の商品は商品Ａとなる。よって、修正部２５は、ノード２を商品Ｂから商品Ａに修正する。

　このように、応用例に係る物体認識装置１００ｘでは、解析結果に基づいて修正された認識結果を得ることができる。

　［学習装置］
　次に、グラフ解析部２４が使用するグラフ解析モデルの学習装置について説明する。
　（機能構成）
　図１３は、学習装置２００の機能構成を示すブロック図である。学習装置２００は、グラフ生成部２３と、グラフ解析部２４と、教師データ生成部３１と、学習部３２とを備える。グラフ生成部２３及びグラフ解析部２４は図３に示す物体認識装置１００のものと同様である。

　教師データ生成部３１は、商品棚の画像に物体認識処理を適用して得た認識結果に基づいて、グラフ解析モデルの学習に使用される教師データを生成する。なお、商品棚に対する複数の商品の配置を「棚割」と呼び、商品棚の画像に対する認識結果を「棚割認識結果」とも呼ぶ。教師データは、教師入力データと、それに対する正解を示す教師ラベルとのセットである。

　グラフ解析部２４が使用するグラフ解析モデルは、商品棚の画像についての誤った棚割認識結果を入力すると、その誤りを補正するための解析結果を出力するように学習される。よって、教師入力データは、誤りを含む棚割認識結果であり、教師データ生成部３１は、一部の商品の認識結果が誤りとなっている棚割認識結果を教師入力データとして生成し、グラフ生成部２３に出力する。まず、教師入力データの生成方法について説明する。

（１）第１の方法
　第１の方法では、教師データ生成部３１は、商品棚を撮影した実際の画像から物体認識処理により生成された各商品の認識結果を取得する。そして、教師データ生成部３１は、取得した認識結果のうち、誤りを含むものを教師入力データとする。

（２）第２の方法
　第２の方法では、教師データ生成部３１は、第１の方法と同様に、商品棚を撮影した実際の画像から物体認識処理により生成された各商品の認識結果を取得する。この認識結果は、各商品について、複数の商品候補毎の信頼度を示すスコアを含む。教師データ生成部３１は、取得した認識結果のうち、信頼度が１位のスコアと２位のスコアの差が予め決められた第４の閾値未満の商品を抽出し、ランダムなＮ個の商品について、１位と２位の結果を入れ替えることで教師入力データを生成する。即ち、この方法では、物体認識部２２が生成した認識結果は正しいものであるとし、その一部の商品について意図的に認識結果を誤りに変更する。

　具体的に、教師データ生成部３１は、信頼度が１位である商品候補のスコアと、信頼度が２位である商品候補のスコアとの差が第４の閾値未満である場合、信頼度が１位の商品候補の代わりに、信頼度が２位の商品候補をその商品の認識結果とする。教師データ生成部３１は、この処理を、信頼度の１位と２位のスコア差が第４の閾値未満である複数の商品のうち、ランダムに選択したＮ個の商品について適用する。これにより、１枚の画像から物体認識処理により生成した認識結果において、ランダムに選択したＮ個の商品の認識結果が誤りとなった教師入力データが得られる。

（３）第３の方法
　第３の方法では、教師データ生成部３１は、正解が付与された複数の商品の認識結果を取得する。そして、教師データ生成部３１は、正解が付与された複数の商品のうち、ランダムに選択したＮ個の商品を、別の商品と入れ替える。これにより、ランダムに選択したＮ個の商品の認識結果が誤りとなった教師入力データが得られる。

（４）第４の方法
　第４の方法では、教師データ生成部３１は、第３の方法と同様に、正解が付与された複数の商品の認識結果を取得する。また、商品棚の実際の画像に含まれる複数の商品のうち、誤認識が起こりやすい商品（以下、「誤認識候補」と呼ぶ。）を予め特定しておく。そして、教師データ生成部３１は、複数の商品の認識結果に含まれる誤認識候補を、別の商品と入れ替える。例えば、ある商品Ｍと商品Ｎが類似していて誤認識が起こりやすいことがわかっている場合、教師データ生成部３１は、正解が付与された複数の商品の認識結果に含まれる商品Ｍと商品Ｎを入れ替える。これにより、誤認識候補についての認識結果が誤りとなった教師入力データが得られる。

　なお、上記の第１～第４の方法によって、認識結果に含まれる商品を入れ替える際、教師データ生成部３１は、入れ替えの対象となるノードについて、商品クラスとともに特徴ベクトルを入れ替える。

（５）第５の方法
　上記の第１～第４の方法では、画像に対して物体認識処理を適用して得られた認識結果を用いて教師入力データを生成している。これに対し、第５の方法では、画像データ自体を変更する。具体的には、商品棚などの画像を教師データ生成部３１に入力する。教師データ生成部３１は、入力された画像から個々の商品を個別に切り出して個別商品画像を生成し、個別商品画像を一定のルールに従って画像中に再配置する。再配置のルールとしては、前述の陳列ルールと同様に、「同じ商品は隣り合って並ぶ」、「同じサイズの商品は同じ段に並ぶ」、「大きい商品は棚の下の方に並ぶ」などを用いることができる。そして、教師データ生成部３１は、個別商品画像を再配置して得られた画像データに対して物体認識を適用して認識結果を生成し、得られた認識結果に対して上述の第１又は第２の方法を適用して教師入力データを生成する。

　第１～第５の方法のいずれを用いた場合でも、教師データ生成部３１は、生成した教師入力データに対する教師ラベルを生成する。教師ラベルは、教師入力データにおける修正箇所、即ち、修正が必要な商品の位置を示す。教師ラベルは、グラフ解析部２４が出力する解析結果の形態に応じて、図８（Ｂ）～（Ｄ）のいずれかの形態で用意される。具体的に、教師データ生成部３１は、上記のいずれかの方法で教師入力データとして生成された、誤りを含む認識結果と、それに対応する正しい認識結果との差分を算出し、修正箇所を示す教師ラベルを生成する。こうして得られた教師データ、即ち、教師入力データと教師ラベルのセットは、ＤＢ１５などに記憶される。

　教師データ生成部３１が生成した教師入力データはグラフ生成部２３に入力される。グラフ生成部２３は、教師入力データに基づいてグラフを生成し、グラフ解析部２４に出力する。グラフ解析部２４は、生成された教師入力データのグラフを解析し、解析結果を学習部３２に出力する。

　学習部３２は、グラフ解析部２４が出力した解析結果を、予め用意された教師ラベルと比較し、その差（損失）に基づいてグラフ解析モデルを学習する。例えばグラフ解析モデルが前述のようにニューラルネットワークを用いたＧＣＮＮである場合、学習部３２は、解析結果と教師ラベルとの損失に基づいて、グラフ解析モデルを構成するニューラルネットワークのパラメータを最適化する。

　（学習処理）
　次に、学習装置２００による学習処理について説明する。図１４は、学習処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行し、図１３に示す構成要素として動作することにより実現される。なお、以下の学習処理では、実際の商品棚の画像に対して、各商品の認識結果の正解情報が用意されていることを前提とする。

　まず、教師データ生成部３１は、商品棚の画像を取得するとともに（ステップＳ２１）、その画像について用意された各商品の認識結果の正解情報を取得する（ステップＳ２２）。次に、教師データ生成部３１は、取得した画像に対して画像認識処理を行って画像の認識結果を取得し、前述の第１～第４の方法のいずれかを用いて教師入力データを生成する（ステップＳ２３）。また、教師データ生成部３１は、生成した教師入力データと、ステップＳ２２で取得した正解情報とを用いて、修正箇所を示す教師ラベルを生成する（ステップＳ２４）。

　次に、教師入力データがグラフ生成部２３に入力され、グラフ生成部２３は、教師入力データに基づいてグラフを生成し（ステップＳ２５）、グラフ解析部２４に出力する。グラフ解析部２４は、入力されたグラフを解析し、解析結果を学習部３２に出力する（ステップＳ２６）。

　学習部３２は、グラフ解析部２４が出力した解析結果を、ステップＳ２４で生成された教師ラベルと比較し、その差（損失）に基づいてグラフ解析モデルを更新する（ステップＳ２７）。以上の処理が、用意された画像分だけ実行され、学習処理は終了する。

　［変形例］
　次に、本実施形態の変形例を説明する。以下の変形例は、適宜組み合わせて適用することができる。

　（変形例１）
　上記の実施形態では、物体認識部２２からグラフ生成部２３に入力される個々の商品の特徴量は、商品の外観に関する特徴を含んでいるが、商品の外観に関する特徴量を含まない特徴量を用いてもよい。即ち、グラフ生成部２３は、商品の外観に関する特徴を含まない特徴ベクトルを用いてグラフを生成し、グラフ解析部２４はそのグラフの解析を行ってもよい。

　（変形例２）
　図１２に示す物体認識装置１００ｘは、修正部２５により修正が行われた後の認識結果を出力するが、この出力を物体認識部２２が使用する物体認識モデルの再学習に使用してもよい。即ち、物体認識部２２は、学習済みの物体認識モデルを用いて入力された画像データから物体認識を行うが、修正部２５による修正後の認識結果は、物体認識モデルによる誤認識箇所を修正した認識結果となるので、これを用いて物体認識モデルの再学習を行うことにより、物体認識モデルの認識精度を向上させることが可能となる。

　（変形例３）
　上記の実施形態では、グラフ生成部２３は、各商品をノードとするグラフを生成するが、これに加えて、各商品を属性などにより分類するためのノード（以下、「分類ノード」と呼ぶ。）を設けてもよい。例えば、商品のサイズを「大型商品」、「中型商品」、「小型商品」などに分類し、分類ノードとして「大型商品ノード」、「中型商品ノード」、「小型商品ノード」を設ける。エッジを付与して各商品をいずれかの分類ノードに接続することにより、各商品のサイズ分類の情報をグラフに持たせることができる。同様に、商品の種類やカテゴリを分類するノードを設けてもよい。さらに、商品棚の各段（上段、中段、下段など）に対応する分類ノードを設け、各商品をいずれかのノードと接続することにより、各商品が商品棚のどの段にあるかを表現することができる。このような分類ノードを用いることにより、商品棚に配置された商品間の様々な関係を利用して、商品の認識精度を向上させることができる。

　（変形例４）
　上記の実施形態では、図５に例示するように、各ノードが商品を示し、各エッジが商品間の関係を示すグラフを用いて物体を認識しているが、そのグラフを線グラフ化したグラフを用いてもよい。ここで、「線グラフ（Ｌｉｎｅ　ｇｒａｐｈ）」とは、あるグラフのエッジをノードに変換し、ノードをエッジに変換したグラフである。図１５（Ａ）は、上記の実施形態により生成されるグラフの例を示し、図１５（Ｂ）は図１５（Ａ）のグラフを線グラフ化したグラフを示す。図１５（Ａ）に示すグラフでは、各ノードが商品を示し、各エッジが商品間の関係を示している。これに対し、図１５（Ｂ）に示す線グラフでは、各ノードが商品間の関係を示し、各エッジは共通の商品を含むノードを結ぶことにより商品を示している。このような線グラフ化したグラフを用いても、各商品の種類や位置関係などの特徴を表現することができるので、上記の実施形態と同様の物体認識を行うことができる。この場合、上記の変形例３における分類ノードは、分類エッジとして表現することができる。

　＜第２実施形態＞
　次に、本発明の第２実施形態について説明する。図１６（Ａ）は、第２実施形態に係る物体認識装置の機能構成を示すブロック図である。図１６（Ａ）に示すように、物体認識装置７０は、画像取得手段７１と、物体認識手段７２と、グラフ生成手段７３と、グラフ解析手段７４と、を備える。画像取得手段７１は、商品棚の撮影画像などの画像を取得する。物体認識手段７２は、画像に含まれる物体を認識し、認識結果を生成する。グラフ生成手段７３は、認識結果に基づき、認識された個々の物体をノードとエッジの一方に定義し、物体間の関係をノードとエッジの他方に定義したグラフを生成する。グラフ解析手段７４は、グラフを解析し、物体間の関係性を示す解析結果を生成する。

　図１６（Ｂ）は、第２実施形態に係る学習装置の機能構成を示すブロック図である。図１６（Ｂ）に示すように、学習装置８０は、教師データ生成手段８１と、グラフ生成手段８２と、グラフ解析手段８３と、学習手段８４と、を備える。教師データ生成手段８１は、画像に含まれる物体の認識結果を取得し、一部に誤り箇所を含む認識結果を教師入力データとして生成するとともに、教師入力データにおける修正箇所を示す教師ラベルを生成する。グラフ生成手段８２は、教師入力データに含まれる個々の物体をノードとエッジの一方に定義し、物体間の関係をノードとエッジの他方に定義したグラフを生成する。グラフ解析手段８３は、グラフ解析モデルを用いてグラフを解析し、物体間の関係を示す解析結果を生成する。学習手段８４は、解析結果と、教師ラベルとを用いて、グラフ解析モデルを学習する。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

　（付記１）
　画像を取得する画像取得手段と、
　前記画像に含まれる物体を認識し、認識結果を生成する物体認識手段と、
　前記認識結果に基づき、認識された個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成するグラフ生成手段と、
　前記グラフを解析し、前記物体間の関係性を示す解析結果を生成するグラフ解析手段と、
　を備える物体認識装置。

　（付記２）
　前記認識結果は、前記物体のサイズ、位置、種類、及び、特徴量の少なくとも一つを含む付記１に記載の物体認識装置。

　（付記３）
　前記グラフ生成手段は、個々の物体の位置関係、距離関係、種類の類似関係、及び、特徴量の類似関係の少なくとも一つに基づいて前記ノード又はエッジを定義する付記１又は２に記載の物体認識装置。

　（付記４）
　前記グラフ生成手段は、前記物体のサイズ、位置及び種類の少なくとも１つに関する分類を示す分類ノード又は分類エッジを含むグラフを生成する付記１乃至３のいずれか一項に記載の物体認識装置。

　（付記５）
　前記解析結果は、個々の物体の認識結果についての修正要否を示す情報である付記１乃至４のいずれか一項に記載の物体認識装置。

　（付記６）
　前記修正要否を示す情報に基づいて、物体の修正候補を出力する修正手段を備える付記５に記載の物体認識装置。

　（付記７）
　前記解析結果は、前記個々の物体の修正要否を示すスコアを含み、
　前記修正手段は、前記スコアが第１の閾値より大きい物体について、当該物体から所定範囲に存在する別の物体のうち最多の物体を前記修正候補として出力する付記６に記載の物体認識装置。

　（付記８）
　前記解析結果は、物体間の同一物体らしさを示すスコアを含み、
　前記修正手段は、前記スコアの最大値又は平均値が第２の閾値より大きい場合、当該最大値を有する物体を前記修正候補として出力する付記６に記載の物体認識装置。

　（付記９）
　前記物体認識手段は、学習済みの物体認識モデルを用いて物体を認識し、
　前記修正候補を用いて、前記物体認識モデルを再学習する再学習手段を備える付記６乃至８のいずれか一項に記載の物体認識装置。

　（付記１０）
　前記解析結果は、物体間の種類の同一性を示す情報である付記１乃至４のいずれか一項に記載の物体認識装置。

　（付記１１）
　前記物体認識手段は、個々の物体のラベルを認識し、
　前記グラフ解析手段は、個々の物体のラベルを含む解析結果を生成する付記１乃至４のいずれか一項に記載の物体認識装置。

　（付記１２）
　前記画像取得手段は、商品が陳列された商品棚の撮影画像を取得し、
　前記物体認識部は、前記撮影画像中の商品を前記物体として認識する付記１乃至１１のいずれか一項に記載の物体認識装置。

　（付記１３）
　画像を取得し、
　前記画像に含まれる物体を認識し、認識結果を生成し、
　前記認識結果に基づき、認識された個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
　前記グラフを解析し、前記物体間の関係性を示す解析結果を生成する物体認識方法。

　（付記１４）
　画像を取得し、
　前記画像に含まれる物体を認識し、認識結果を生成し、
　前記認識結果に基づき、認識された個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
　前記グラフを解析し、前記物体間の関係性を示す解析結果を生成する処理をコンピュータに実行させるプログラムを記録した記録媒体。

　（付記１５）
　画像に含まれる物体の認識結果を取得し、一部に誤り箇所を含む認識結果を教師入力データとして生成するとともに、前記教師入力データにおける修正箇所を示す教師ラベルを生成する教師データ生成手段と、
　前記教師入力データに含まれる個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成するグラフ生成手段と、
　グラフ解析モデルを用いて前記グラフを解析し、前記物体間の関係を示す解析結果を生成するグラフ解析手段と、
　前記解析結果と、前記教師ラベルとを用いて、前記グラフ解析モデルを学習する学習手段と、
　を備える学習装置。

　（付記１６）
　前記教師データ生成手段は、前記物体の認識結果の正解情報を取得し、前記教師入力データと前記正解情報との差分を用いて前記教師ラベルを生成する付記１５に記載の学習装置。

　（付記１７）
　画像に含まれる物体の認識結果を取得し、一部に誤り箇所を含む認識結果を教師入力データとして生成するとともに、前記教師入力データにおける修正箇所を示す教師ラベルを生成し、
　前記教師入力データに含まれる個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
　グラフ解析モデルを用いて前記グラフを解析し、前記物体間の関係を示す解析結果を生成し、
　前記解析結果と、前記教師ラベルとを用いて、前記グラフ解析モデルを学習する学習方法。

　（付記１８）
　画像に含まれる物体の認識結果を取得し、一部に誤り箇所を含む認識結果を教師入力データとして生成するとともに、前記教師入力データにおける修正箇所を示す教師ラベルを生成し、
　前記教師入力データに含まれる個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
　グラフ解析モデルを用いて前記グラフを解析し、前記物体間の関係を示す解析結果を生成し、
　前記解析結果と、前記教師ラベルとを用いて、前記グラフ解析モデルを学習する処理をコンピュータに実行させるプログラムを記録した記録媒体。

　以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　１２　プロセッサ
　１３　メモリ
　１５　データベース（ＤＢ）
　２１　画像取得部
　２２　物体認識部
　２３　グラフ生成部
　２４　グラフ解析部
　２５　修正部
　３１　教師データ生成部
　３２　学習部
　４０　商品棚
　１００、１００ｘ　物体認識装置
　２００　学習装置

Claims (18)

1. 　画像を取得する画像取得手段と、
   　前記画像に含まれる物体を認識し、認識結果を生成する物体認識手段と、
   　前記認識結果に基づき、認識された個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成するグラフ生成手段と、
   　前記グラフを解析し、前記物体間の関係性を示す解析結果を生成するグラフ解析手段と、
   　を備える物体認識装置。
2. 　前記認識結果は、前記物体のサイズ、位置、種類、及び、特徴量の少なくとも一つを含む請求項１に記載の物体認識装置。
3. 　前記グラフ生成手段は、個々の物体の位置関係、距離関係、種類の類似関係、及び、特徴量の類似関係の少なくとも一つに基づいて前記ノード又はエッジを定義する請求項１又は２に記載の物体認識装置。
4. 　前記グラフ生成手段は、前記物体のサイズ、位置及び種類の少なくとも１つに関する分類を示す分類ノード又は分類エッジを含むグラフを生成する請求項１乃至３のいずれか一項に記載の物体認識装置。
5. 　前記解析結果は、個々の物体の認識結果についての修正要否を示す情報である請求項１乃至４のいずれか一項に記載の物体認識装置。
6. 　前記修正要否を示す情報に基づいて、物体の修正候補を出力する修正手段を備える請求項５に記載の物体認識装置。
7. 　前記解析結果は、前記個々の物体の修正要否を示すスコアを含み、
   　前記修正手段は、前記スコアが第１の閾値より大きい物体について、当該物体から所定範囲に存在する別の物体のうち最多の物体を前記修正候補として出力する請求項６に記載の物体認識装置。
8. 　前記解析結果は、物体間の同一物体らしさを示すスコアを含み、
   　前記修正手段は、前記スコアの最大値又は平均値が第２の閾値より大きい場合、当該最大値を有する物体を前記修正候補として出力する請求項６に記載の物体認識装置。
9. 　前記物体認識手段は、学習済みの物体認識モデルを用いて物体を認識し、
   　前記修正候補を用いて、前記物体認識モデルを再学習する再学習手段を備える請求項６乃至８のいずれか一項に記載の物体認識装置。
10. 　前記解析結果は、物体間の種類の同一性を示す情報である請求項１乃至４のいずれか一項に記載の物体認識装置。
11. 　前記物体認識手段は、個々の物体のラベルを認識し、
    　前記グラフ解析手段は、個々の物体のラベルを含む解析結果を生成する請求項１乃至４のいずれか一項に記載の物体認識装置。
12. 　前記画像取得手段は、商品が陳列された商品棚の撮影画像を取得し、
    　前記物体認識部は、前記撮影画像中の商品を前記物体として認識する請求項１乃至１１のいずれか一項に記載の物体認識装置。
13. 　画像を取得し、
    　前記画像に含まれる物体を認識し、認識結果を生成し、
    　前記認識結果に基づき、認識された個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
    　前記グラフを解析し、前記物体間の関係性を示す解析結果を生成する物体認識方法。
14. 　画像を取得し、
    　前記画像に含まれる物体を認識し、認識結果を生成し、
    　前記認識結果に基づき、認識された個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
    　前記グラフを解析し、前記物体間の関係性を示す解析結果を生成する処理をコンピュータに実行させるプログラムを記録した記録媒体。
15. 　画像に含まれる物体の認識結果を取得し、一部に誤り箇所を含む認識結果を教師入力データとして生成するとともに、前記教師入力データにおける修正箇所を示す教師ラベルを生成する教師データ生成手段と、
    　前記教師入力データに含まれる個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成するグラフ生成手段と、
    　グラフ解析モデルを用いて前記グラフを解析し、前記物体間の関係を示す解析結果を生成するグラフ解析手段と、
    　前記解析結果と、前記教師ラベルとを用いて、前記グラフ解析モデルを学習する学習手段と、
    　を備える学習装置。
16. 　前記教師データ生成手段は、前記物体の認識結果の正解情報を取得し、前記教師入力データと前記正解情報との差分を用いて前記教師ラベルを生成する請求項１５に記載の学習装置。
17. 　画像に含まれる物体の認識結果を取得し、一部に誤り箇所を含む認識結果を教師入力データとして生成するとともに、前記教師入力データにおける修正箇所を示す教師ラベルを生成し、
    　前記教師入力データに含まれる個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
    　グラフ解析モデルを用いて前記グラフを解析し、前記物体間の関係を示す解析結果を生成し、
    　前記解析結果と、前記教師ラベルとを用いて、前記グラフ解析モデルを学習する学習方法。
18. 　画像に含まれる物体の認識結果を取得し、一部に誤り箇所を含む認識結果を教師入力データとして生成するとともに、前記教師入力データにおける修正箇所を示す教師ラベルを生成し、
    　前記教師入力データに含まれる個々の物体をノードとエッジの一方に定義し、前記物体間の関係を前記ノードと前記エッジの他方に定義したグラフを生成し、
    　グラフ解析モデルを用いて前記グラフを解析し、前記物体間の関係を示す解析結果を生成し、
    　前記解析結果と、前記教師ラベルとを用いて、前記グラフ解析モデルを学習する処理をコンピュータに実行させるプログラムを記録した記録媒体。

Images