JP7149953B2 - 検出装置及び検出プログラム - Google Patents

Description

本発明の一側面は、画像に写った物体を検出する検出装置及び検出プログラムに関する。

商品棚構成（商品棚における商品の配置）は、売上に大きな影響を与え得るため、店舗及び店舗に商品を卸しているメーカーの両方にとって重要である。小売店においては、商品棚構成は、例えばＰＯＳシステムによって管理される。しかし、ＰＯＳシステムに登録された商品棚構成と同一の商品棚が店舗で構成されていることを確認するためには、店舗スタッフが目視で確認する必要がある。また、メーカーが小売店における自社商品の売上を分析するために、商品棚における自社商品と他社商品との配置関係を分析する場合がある。このような分析のために、通常、各メーカーの社員は、小売店における商品棚構成を目視で確認している。このように商品棚構成を目視で確認する場合、時間的負担及び人的負担が多大となるため、商品棚を撮像した画像を用いて自動で商品棚を再構成する技術が要請されている。

商品棚を再現するためには撮像した画像に写った商品及び棚板を検出する必要がある。しかしながら、実店舗では様々な配列で様々な商品が配置されている。また、棚板には店舗独自の値札及びポップ等が不規則に配置されている場合がある。このため、画像認識による物体の検出が困難であり、商品棚を精度良く再現できない場合がある。

画像認識による物体の検出に関連して、例えば下記特許文献１は、画像に含まれる人体を認識するモデルによって検出された領域のうちから、互いに重複関係にある重複領域（例えば、大領域と当該大領域に包含される小領域）を抽出し、重複領域の重複状態に基づいて、重複領域が人体であるか否かを判別する手法を開示している。

特開２０１３－６１８０２号公報

上記特許文献１の手法は、検出された全ての重複領域同士を比較している。このため、画像に写った物体の数が多く、検出される物体領域が多い場合には、高速かつ効率的に処理を実行できないという問題が生じ得る。すなわち、上記特許文献１の手法には、画像に写った物体を精度良くかつ効率的に検出する上で改善の余地がある。

そこで、本発明の一側面は、画像に写った物体を精度良くかつ効率的に検出できる検出装置及び検出プログラムを提供することを目的とする。

本発明の一側面に係る検出装置は、入力画像に対する画像認識により検出された複数の物体領域の各々について、物体領域のカテゴリと、物体領域がカテゴリに合致する可能性の高さを示す信頼度と、を検出する検出部と、複数の物体領域を、信頼度に基づいて分類する分類部と、信頼度に基づく分類に関して予め定められた関係を有する複数の物体領域同士の位置関係に基づいて、当該複数の物体領域のうちの少なくとも１つの物体領域の信頼度を補正する補正部と、を備える。

本発明の一側面に係る検出装置によれば、入力画像に対する画像認識により検出された複数の物体領域の各々は、検出された信頼度に基づいて分類される。そして、信頼度に基づく分類に関して予め定められた関係を有する複数の物体領域同士の位置関係に基づいて、少なくとも１つの物体領域の信頼度が補正される。この構成により、物体領域同士の位置関係と信頼度に基づく分類の関係性とに基づいて、物体領域の信頼度を適切に補正することが可能となる。また、信頼度に基づく分類に関して予め定められた関係を有する複数の物体領域同士の位置関係に着目することにより、検出された全ての物体領域同士（例えば互いに重複する全ての物体領域同士）の位置関係を考慮する場合と比較して、処理の効率化を図ることができる。以上により、上記検出装置によれば、画像に写った物体を精度良くかつ効率的に検出できる。

本発明の一側面によれば、画像に写った物体を精度良くかつ効率的に検出できる検出装置及び検出プログラムを提供することができる。

一実施形態に係る検出装置の機能構成を示すブロック図である。 検出された物体領域の一例を示す図である。 第１及び第２の補正処理を説明するための図である。 第３の補正処理を説明するための図である。 第４の補正処理を説明するための図である。 第４の補正処理を説明するための図である。 第５の補正処理を説明するための図である。 第５の補正処理を説明するための図である。 第６の補正処理を説明するための図である。 検出装置の動作の一例を示すフローチャートである。 図１０のＳ４の処理手順の一例を示すフローチャートである。 第６の補正処理の処理手順の一例を示すフローチャートである。 一実施形態に係る検出プログラムのモジュール構成を示すブロック図である。 検出装置のハードウェア構成の一例を示すブロック図である。

以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。

図１は、本発明の一実施形態に係る検出装置１０の機能構成を示す図である。検出装置１０は、入力画像に対する画像認識を実行することにより、入力画像に写った物体を検出する装置である。本実施形態では一例として、入力画像は、店舗等における商品棚を正面から撮像することにより得られた画像であり、検出装置１０は、入力画像に写り込んだ商品、商品棚（例えば棚板）、及び値札のいずれかに対応する物体領域を検出する。検出装置１０は、例えばスマートフォン及びタブレット端末等のユーザが所有する携帯端末に実装され得る。また、検出装置１０は、例えばパーソナルコンピュータ及びサーバ装置等の据置型のコンピュータ装置等に実装されてもよい。

図１に示すように、検出装置１０は、機能的な構成要素として、画像取得部１１と、検出部１２と、分類部１３と、補正部１４と、物体領域決定部１５と、を備える。

画像取得部１１は、検出部１２による画像認識処理の実行対象となる入力画像を取得する。入力画像は、例えば、小売店の店舗スタッフ又は小売店に商品を卸している商品メーカーの社員等が小売店の商品棚をカメラで撮像することによって得られた画像である。検出装置１０がカメラ付き携帯端末である場合、画像取得部１１は、検出装置１０が備えるカメラによって撮像された画像を入力画像として取得してもよい。検出装置１０がカメラ機能を備えていない場合、画像取得部１１は、検出装置１０以外の機器（例えばデジタルカメラ等）によって撮像された画像を入力画像として、当該機器から有線通信又は無線通信によって取得してもよい。また、画像取得部１１は、検出装置１０が備えるメモリ等の記憶装置に既に記憶されている画像を、入力画像として読み出してもよい。

検出部１２は、画像取得部１１によって取得された入力画像に対する画像認識を実行する。検出部１２は、当該画像認識により検出された複数の物体領域の各々について、物体領域のカテゴリと、物体領域が当該カテゴリに合致する可能性の高さを示す信頼度と、を検出する。「物体領域のカテゴリ」は、検出された物体領域に写り込んだ物体の種類の候補である。本実施形態では一例として、物体領域のカテゴリは、商品、商品棚（棚板）、及び値札のいずれかである。「物体領域が当該カテゴリに合致する可能性」とは、物体領域に写り込んだ物体が当該カテゴリ（商品、商品棚、及び値札のいずれか）に合致する可能性である。「信頼度」は、例えば画像認識により検出されたカテゴリの信頼性を表すスコアであり、例えば数値によって表される。本実施形態では一例として、信頼度は、０から１までの範囲の数値で表され、数値が大きいほど物体領域がカテゴリに合致する可能性が高いことを示している。

検出部１２は、例えばＤＮＮ（Deep Neural Networks）等を用いた公知の画像認識手法により、入力画像に写り込んだ商品、商品棚、及び値札のいずれかに対応する物体領域を検出する。本実施形態では一例として、検出される物体領域は、矩形領域である。ただし、検出される物体領域の形状は、矩形以外の形状（例えば円形、楕円形、物体の輪郭に沿った形状等）であってもよい。検出部１２は、例えば、入力画像から検出された画像特徴（例えば特徴点及び輪郭等）に基づいて、物体領域の四隅の座標、或いは対角関係にある２つの座標（例えば物体領域の左上隅及び右下隅の座標）を取得する。本実施形態では、物体領域が矩形領域であるため、物体領域の左上隅及び右下隅の２つの座標から、物体領域の残りの２つの座標（すなわち、左下隅及び右上隅の座標）が特定される。また、検出部１２は、入力画像から検出された画像特徴に基づいて、各物体領域について、物体領域のカテゴリを特定すると共に、当該物体領域が当該カテゴリに合致する可能性の高さを示す信頼度を算出する。検出部１２は、例えば、複数の商品、商品棚、及び値札等をＤＮＮによって学習することにより事前に得られている画像特徴と入力画像から検出された画像特徴とを比較することにより、物体領域の左上隅及び右下隅の座標を取得し、当該物体領域のカテゴリの分類及び信頼度の算出を行う。

図２は、検出部１２により検出された物体領域の一例を示す図である。図２の例では、上述した検出部１２により、３つの商品棚領域１０２、４つの商品領域１０３、及び５つの値札領域１０４が物体領域として検出（推定）されている。ここで、商品棚領域１０２は、カテゴリが「商品棚」であると検出された物体領域であり、商品領域１０３は、カテゴリが「商品」であると検出された物体領域であり、値札領域１０４は、カテゴリが「値札」であると検出された物体領域である。また、図２に示すように、本実施形態では、横方向（水平方向）をｘ方向（左から右に向かう方向が正方向）とし、高さ方向（鉛直方向）をｙ方向（上から下に向かう方向が正方向）とし、物体領域の位置をｘｙ座標によって表す。

図２に示すように、複数の物体領域は、互いに重なる場合がある。例えば値札と商品棚（棚板）のように、実際に物体同士（ここでは値札及び商品棚）が重なっていることに起因して物体領域同士（ここでは商品棚領域１０２及び値札領域１０４）が重なる場合がある。また、実際には存在しない物体が誤検出されることに起因して物体領域同士が重なる場合がある。具体的には、実際に存在する物体に対応する物体領域（正しく検出された物体領域）と実際には存在しない物体に対応する物体領域（誤検出された物体領域）とが重なる場合がある。

各物体領域は、検出部１２により検出された信頼度及びカテゴリ、並びに左上隅及び右下隅の座標を含む検出結果情報によって特定され得る。検出結果情報は、例えば、後述するメモリ１００２及びストレージ１００３等の記憶装置に記憶される。図２の例では、商品領域１０３ａは、信頼度が「０．９２」であり、左上隅の座標が（ｘｍｉｎ１，ｙｍｉｎ１）であり、右下隅の座標が（ｘｍａｘ１，ｙｍａｘ１）であり、カテゴリが「商品」であることを示す検出結果情報Ｒ１により特定されている。また、商品棚領域１０２ａは、信頼度が「０，４０」であり、左上隅の座標が（ｘｍｉｎ２，ｙｍｉｎ２）であり、右下隅の座標が（ｘｍａｘ２，ｙｍａｘ２）であり、カテゴリが「商品棚」であることを示す検出結果情報Ｒ２により特定されている。

分類部１３は、検出部１２により検出された複数の物体領域（商品棚領域１０２、商品領域１０３、及び値札領域１０４）を、各物体領域に関連付けられた信頼度に基づいていくつかのクラスに分類する。本実施形態では、分類部１３は、信頼度が予め定められた閾値ｔ（例えば０．７）以上の物体領域を高信頼度領域に分類し、信頼度が閾値ｔ未満の物体領域を低信頼度領域に分類する。図２の例では、信頼度が閾値ｔ以上である商品領域１０３ａは高信頼度領域に分類され、信頼度が閾値ｔ未満である商品棚領域１０２ａは低信頼度領域に分類される。

補正部１４は、信頼度に基づく分類に関して予め定められた関係を有する複数の物体領域同士の位置関係に基づいて、当該複数の物体領域のうちの少なくとも１つの物体領域の信頼度を補正する。例えば、補正部１４は、低信頼度領域に分類された物体領域である低信頼度物体領域と高信頼度領域に分類された物体領域である高信頼度物体領域との位置関係に基づいて、低信頼度物体領域の信頼度を補正する。具体的には、補正部１４は、一の低信頼度物体領域と一以上の高信頼度物体領域との重複度に基づいて、当該一の低信頼度物体領域の信頼度を補正する。より具体的には、補正部１４は、入力画像に含まれる低信頼度物体領域のうちから１つの低信頼度物体領域を処理対象として選択し、選択された低信頼度物体領域と重複する領域を有する高信頼度物体領域を抽出する。そして、補正部１４は、選択された低信頼度物体領域と抽出された一以上の高信頼度物体領域との重複度に基づいて、選択された低信頼度物体領域の信頼度を補正する。

ここで、領域Ａと領域Ｂとの重複度とは、領域Ａと領域Ｂとが重なる度合いを示す指標である。例えば、重複度は、領域Ａ及び領域Ｂが重なる重複領域（積集合Ａ∩Ｂ）の面積を、領域Ａの面積又は領域Ｂの面積で除算した値であってもよい。また、重複度は、領域Ａ及び領域Ｂが重なる重複領域（積集合Ａ∩Ｂ）の面積を、領域Ａと領域Ｂとの和集合Ａ∪Ｂの面積で除算した値であってもよい。いずれの場合にも、重複度は、０から１までの値をとり、１に近いほど領域Ａと領域Ｂとが重なる度合いが大きいことを示している。補正部１４により実行される補正処理の具体的な方法については後述する。

物体領域決定部１５は、各物体領域の最終的な信頼度（すなわち、補正部１４による補正処理が実行された後の信頼度）に基づいて、最終的な物体領域を決定する。具体的には、物体領域決定部１５は、最終的な信頼度が閾値ｔ（ここでは０．７）以上である物体領域（すなわち、最終的に確定した高信頼度物体領域）を、正しく検出された物体領域として抽出する。一方、物体領域決定部１５は、最終的な信頼度が閾値ｔ未満である物体領域（すなわち、最終的に確定した低信頼度物体領域）については、誤検出された物体領域（例えば背景等）であるとみなし、正しく検出された物体領域として抽出しない。

このような処理により、補正部１４により実行される補正処理の結果に基づく物体検出が実現される。例えば、検出部１２による画像認識において０．７未満の信頼度が検出された低信頼度物体領域のうち、高信頼度物体領域との位置関係からカテゴリ（検出部１２により検出されたカテゴリ）に合致する可能性が高いと考えられる低信頼度物体領域の信頼度を上方補正することが可能となる。その結果、物体の検出漏れ（取りこぼし）を低減し、物体検出の精度を向上させることができる。

以下、補正部１４により実行される補正処理のいくつかの例（第１～第５の補正処理）について説明する。第１～第３の補正処理では、補正部１４は、低信頼度領域に分類された商品棚領域１０２である低信頼度棚領域と高信頼度物体領域との位置関係に基づいて、低信頼度棚領域の信頼度を補正する。低信頼度棚領域は、低信頼度物体領域のうちカテゴリが商品棚である領域である。第４及び第５の補正処理では、補正部１４は、低信頼度領域に分類された商品領域１０３である低信頼度商品領域と高信頼度物体領域との位置関係に基づいて、低信頼度商品領域の信頼度を補正する。低信頼度商品領域は、低信頼度物体領域のうちカテゴリが商品である領域である。

（第１の補正処理）
図３を参照して、第１の補正処理について説明する。図３において、高信頼度物体領域の外周枠は実線で示されており、低信頼度物体領域の外周枠は破線で示されている。ここでは、低信頼度物体領域として、低信頼度棚領域２０１，２０２が存在している。第１の補正処理では、補正部１４は、低信頼度棚領域２０１，２０２と高信頼度物体領域との重複度（位置関係）に基づいて、低信頼度棚領域２０１，２０２の信頼度を補正する。具体的には、補正部１４は、低信頼度棚領域２０１，２０２と高信頼度領域に分類された商品領域１０３である高信頼度商品領域との重複度に基づいて、低信頼度棚領域２０１，２０２の信頼度を補正する。

より具体的には、補正部１４は、低信頼度棚領域２０１，２０２と高信頼度商品領域との重複度が小さいほど低信頼度棚領域２０１，２０２の信頼度が大きくなるように、低信頼度棚領域２０１，２０２の信頼度を補正する。このような第１の補正処理は、以下の考え方に基づいている。通常、商品は商品棚（棚板）の上に陳列されるため、商品棚を正面から捉えた入力画像１０１において、商品棚領域１０２と商品領域１０３とは重ならないと考えられる。したがって、商品棚領域１０２と商品領域１０３との重複度が小さいほど、当該商品棚領域１０２が正しく検出された物体領域（すなわち、実際に存在する商品棚に対応する領域）である可能性が高いと考えられる。第１の補正処理によれば、このような考え方に基づいて、低信頼度棚領域２０１，２０２の信頼度を適切に補正できる。

例えば、補正部１４は、低信頼度棚領域２０１，２０２のそれぞれについて、下記の式１及び式２に基づいて信頼度を補正する。
式１：補正score＝score×α
式２：α＝ｃ１＋｛Ｓ（Ａ１）－Ｓ（Ａ１∩Ａ２）｝／Ｓ（Ａ１）

ここで、「score」は、補正前の信頼度である。「補正score」は、補正後の信頼度である。「ｃ１」は、予め定められた定数である。「Ａ１」は、低信頼度棚領域（低信頼度棚領域２０１又は低信頼度棚領域２０２）を示す。「Ａ２」は、当該低信頼度棚領域と重複する領域を有する高信頼度商品領域を示す。このような高信頼度商品領域が複数存在する場合、Ａ２は当該複数の高信頼度商品領域の和集合である。Ｓ（Ｘ）は、領域Ｘの面積を示す。

式２は、低信頼度棚領域と高信頼度商品領域との重複領域（積集合）の面積「Ｓ（Ａ１∩Ａ２）」が当該低信頼度棚領域の面積「Ｓ（Ａ１）」に対して小さいほどαが大きくなるように設計されている。定数ｃ１は、例えばユーザによって任意に定められ得る。例えば「ｃ１＝０．６」である場合、重複度（ここでは「Ｓ（Ａ１∩Ａ２）／Ｓ（Ａ１）」）が０．６より小さくなるときにαが１よりも大きくなり、補正scoreがscoreよりも大きくなる。

図３の例では、低信頼度棚領域２０１は、高信頼度商品領域（３つの商品領域１０３）と重なる領域を有しており、上述した重複度が０．６以上である可能性がある。すなわち、αが１以下となる可能性がある。αが１以下となる場合には、低信頼度棚領域２０１の補正後の信頼度（補正score）は、元の値（score）よりも大きくならないため、低信頼度棚領域２０１は、低信頼度領域に分類されたままとなる。

一方、低信頼度棚領域２０２と重なる領域を有する高信頼度商品領域は存在しないため、低信頼度棚領域２０２については、αが１より大きくなり、補正後の信頼度（補正score）が元の値（score）よりも大きくなる。このため、低信頼度棚領域２０２の補正後の信頼度は、閾値ｔ（ここでは０．７）以上となる可能性がある。この場合、低信頼度棚領域２０２は、物体領域決定部１５によって、正しく検出された物体領域として抽出されることになる。

以上のように、第１の補正処理によれば、商品棚領域１０２と商品領域１０３との重複度を補助情報として用いることにより、低信頼度棚領域２０１，２０２の信頼度を適切に補正することができ、商品棚領域の検出漏れ（取りこぼし）を低減することができる。

（第２の補正処理）
図３を参照して、第２の補正処理について説明する。第２の補正処理では、補正部１４は、第１の補正処理と同様に、低信頼度棚領域２０１，２０２と高信頼度物体領域との重複度（位置関係）に基づいて、低信頼度棚領域２０１，２０２の信頼度を補正する。具体的には、補正部１４は、低信頼度棚領域２０１，２０２と高信頼度領域に分類された値札領域１０４である高信頼度値札領域との重複度に基づいて、低信頼度棚領域２０１，２０２の信頼度を補正する。

より具体的には、補正部１４は、低信頼度棚領域２０１，２０２と高信頼度値札領域との重複度が大きいほど低信頼度棚領域２０１，２０２の信頼度が大きくなるように、低信頼度棚領域２０１，２０２の信頼度を補正する。このような第２の補正処理は、以下の考え方に基づいている。通常、値札は商品棚（棚板）の正面側（客が対面する側）の側面に取り付けられていることが多いため、商品棚を正面から捉えた入力画像１０１において、商品棚領域１０２と値札領域１０４とは重なると考えられる。したがって、商品棚領域１０２と値札領域１０４との重複度が大きいほど、当該商品棚領域１０２が正しく検出された物体領域（すなわち、実際に存在する商品棚に対応する領域）である可能性が高いと考えられる。第２の補正処理によれば、このような考え方に基づいて、低信頼度棚領域２０１，２０２の信頼度を適切に補正できる。

例えば、補正部１４は、低信頼度棚領域２０１，２０２のそれぞれについて、下記の式３及び式４に基づいて信頼度を補正する。
式３：補正score＝score×β
式４：β＝ｃ２＋Ｓ（Ａ１∩Ａ３）／Ｓ（Ａ１）

ここで、「score」、「補正score」、及びＳ（Ｘ）の定義は、第１の補正処理において説明した通りである。「ｃ２」は、予め定められた定数である。「Ａ１」は、低信頼度棚領域（低信頼度棚領域２０１又は低信頼度棚領域２０２）を示す。「Ａ３」は、当該低信頼度棚領域と重複する領域を有する高信頼度値札領域を示す。このような高信頼度値札領域が複数存在する場合には、Ａ３は当該複数の高信頼度値札領域の和集合である。

式４は、低信頼度棚領域と高信頼度値札領域との重複領域（積集合）の面積「Ｓ（Ａ１∩Ａ３）」が当該低信頼度棚領域の面積「Ｓ（Ａ１）」に対して大きいほどβが大きくなるように設計されている。定数ｃ２は、例えばユーザによって任意に定められ得る。例えば「ｃ２＝０．８」である場合、重複度（ここでは「Ｓ（Ａ１∩Ａ３）／Ｓ（Ａ１）」）が０．２より大きくなるときにβが１よりも大きくなり、補正scoreがscoreよりも大きくなる。

図３の例では、低信頼度棚領域２０２は、高信頼度値札領域（３つの値札領域１０４）と重なる領域を有しており、上述した重複度が０．２よりも大きい可能性がある。すなわち、βが１より大きくなる可能性がある。βが１より大きくなる場合には、低信頼度棚領域２０２の補正後の信頼度（補正score）は、元の値（score）よりも大きくなるため、低信頼度棚領域２０２の補正後の信頼度は、閾値ｔ（ここでは０．７）以上となる可能性がある。この場合、低信頼度棚領域２０２は、物体領域決定部１５によって、正しく検出された物体領域として抽出されることになる。

一方、低信頼度棚領域２０１と重なる領域を有する高信頼度値札領域は存在しないため、低信頼度棚領域２０１については、βは１未満となる。このため、低信頼度棚領域２０１は、低信頼度領域に分類されたままとなる。

以上のように、第２の補正処理によれば、商品棚領域１０２と値札領域１０４との重複度を補助情報として用いることにより、低信頼度棚領域２０１，２０２の信頼度を適切に補正することができ、商品棚領域の検出漏れ（取りこぼし）を低減することができる。

（第３の補正処理）
図４を参照して、第３の補正処理について説明する。第３の補正処理では、補正部１４は、低信頼度棚領域２０３と、それぞれ高信頼度領域に分類された商品棚領域１０２である複数（ここでは一例として３つ）の高信頼度棚領域１０２ｂ，１０２ｃ，１０２ｄとの位置関係に基づいて、低信頼度棚領域２０３の信頼度を補正する。以下、第３の補正処理の具体例について説明する。

まず、補正部１４は、少なくとも３つ以上の高信頼度棚領域（ここでは３つの高信頼度棚領域１０２ｂ，１０２ｃ，１０２ｄ）の位置に基づいて、隣り合う高信頼度棚領域１０２ｂ，１０２ｃ，１０２ｄ同士の間隔を算出する。具体的には、補正部１４は、下段の高信頼度棚領域１０２ｂと中段の高信頼度棚領域１０２ｃとの間隔ｄ１と、高信頼度棚領域１０２ｃと上段の高信頼度棚領域１０２ｄとの間隔ｄ２と、を算出する。本実施形態では一例として、間隔ｄ１，ｄ２は、隣り合う２つの高信頼度棚領域の各々の中心点同士の距離である。図４の例では、高信頼度棚領域１０２ｂの中心点Ｐ１の座標（ｃｘ１，ｃｙ１）は、高信頼度棚領域１０２ｂの左上隅の座標（ｘ１，ｙ１）と右下隅の座標（ｘ２，ｙ２）から、下記式５のように算出される。
式５：（ｃｘ１，ｃｙ１）＝（（ｘ１＋ｘ２）／２，（ｙ１＋ｙ２）／２）

同様にして、高信頼度棚領域１０２ｃの中心点Ｐ２の座標（ｃｘ２，ｃｙ２）及び高信頼度棚領域１０２ｄの中心点Ｐ３の座標（ｃｘ３，ｃｙ３）についても求めることができる。補正部１４は、このようにして得られた中心点Ｐ１，Ｐ２，Ｐ３の各々の座標に基づいて、間隔ｄ１，ｄ２を算出することができる。

次に、補正部１４は、低信頼度棚領域２０３を間に挟んで隣接する２つの高信頼度棚領域（ここでは、高信頼度棚領域１０２ｃ，１０２ｄ）同士の間隔ｄ２と、他の高信頼度棚領域同士の間隔（ここでは、高信頼度棚領域１０２ｂ，１０２ｃ同士の間隔ｄ１）と、低信頼度棚領域２０３の位置（ここでは低信頼度棚領域２０３の中心点Ｐ０のｙ座標であるｃｙ）と、２つの高信頼度棚領域１０２ｃ，１０２ｄの位置（ここでは、それぞれの中心点Ｐ２，Ｐ３のｙ座標であるｃｙ２，ｃｙ３）とに基づいて、低信頼度棚領域２０３の信頼度を補正する。なお、高信頼度棚領域が４つ以上存在する場合には、他の高信頼度棚領域同士の間隔は複数存在する。この場合、補正部１４は、当該複数の間隔から得られる代表値（例えば平均値等）を、間隔ｄ１の代わりに用いてもよい。

例えば、補正部１４は、低信頼度棚領域２０３を間に挟んで隣接する２つの高信頼度棚領域１０２ｃ，１０２ｄ同士の間隔ｄ２が他の間隔ｄ１と比較して所定割合だけ大きい場合に、低信頼度棚領域２０３の信頼度を補正する。これは以下の考え方に基づいている。通常、商品棚は高さ方向（ｙ方向）に等間隔に配置されると考えられる。このため、高信頼度棚領域１０２ｃ，１０２ｄ同士の間隔ｄ２が通常の商品棚同士の間隔（高信頼度棚領域１０２ｂ，１０２ｃ同士の間隔ｄ１）よりも大きい場合、高信頼度棚領域１０２ｃ，１０２ｄの間に１枚の商品棚が存在する可能性が高いと考えられる。したがって、上記補正によれば、商品棚が存在する可能性が高いと考えられる位置に低信頼度棚領域２０３が存在する場合に、当該低信頼度棚領域２０３の信頼度を適切に補正（上方修正）できる。

例えば、補正部１４は、「ｄ２＞ｄ１」かつ「３×ｄ１＞ｄ２＞２×ｄ１」が成立する場合に、間隔ｄ２が間隔ｄ１と比較して所定割合だけ大きいと判定し、下記の式６～式８に基づいて、低信頼度棚領域２０３の信頼度を補正する。
式６：補正score＝score×γ
式７：γ＝ｃ３＋ｆ（ｙ）

ここで、「score」及び「補正score」の定義は、第１の補正処理において説明した通りである。「ｃ３」は、予め定められた定数である。「ｆ（ｙ）」は、平均値μ、標準偏差σの正規分布に従う関数である。「μ」は、例えば、高信頼度棚領域１０２ｃ，１０２ｄのそれぞれの中心点Ｐ２，Ｐ３を結ぶ線分の中点の高さ位置（ｙ座標）である。具体的には、「μ＝（ｃｙ２＋ｃｙ３）／２」である。「σ」は、例えば「ｄ１／４」である。式８において、変数ｙには、低信頼度棚領域２０３の中心点Ｐ０のｙ座標（ｃｙ）が代入される。式７及び式８によれば、低信頼度棚領域２０３の高さ位置（ｃｙ）が、商品棚が等間隔に配置されるという前提において商品棚が存在する可能性が最も高い高さ位置（すなわち、μ）に近いほど、補正項であるγの値が大きくなる。ただし、式８は一例であり、ｆ（ｙ）は、上記のような考え方に基づくγが得られる関数であればよく、他の関数によって表されてもよい。定数ｃ３は、例えばユーザによって任意に定められ得る。例えば「ｃ３＝０．８」である場合、ｆ（ｙ）が０．２より大きくなる場合に、補正scoreがscoreよりも大きくなる。

以上のように、第３の補正処理によれば、商品棚は通常等間隔に配置されるという考え方に基づいて、商品棚領域１０２の配置間隔（位置関係）を補助情報として用いることにより、低信頼度棚領域２０３の信頼度を適切に補正することができる。その結果、商品棚領域の検出漏れ（取りこぼし）を低減することができる。

なお、第３の補正処理は、上記例に限られない。例えば、補正部１４は、１つの低信頼度棚領域と２つの高信頼度棚領域とが順不同で高さ方向（ｙ方向）に沿ってほぼ等間隔に配置されている場合に、当該低信頼度棚領域の信頼度を上方修正してもよい。例えば、補正部１４は、上述した１つの低信頼度棚領域及び２つの高信頼度棚領域からなる３つの棚領域について、上段の棚領域及び中段の棚領域の間隔と中段の棚領域及び下段の棚領域の間隔との差が予め定められた閾値以下である場合に、これら３つの棚領域がほぼ等間隔に配置されていると判定し、当該低信頼度棚領域の信頼度を上方修正してもよい。

（第４の補正処理）
図５及び図６を参照して、第４の補正処理について説明する。第４の補正処理では、補正部１４は、低信頼度商品領域２０４と高信頼度商品領域との重複度（位置関係）に基づいて、低信頼度商品領域２０４の信頼度を補正する。具体的には、補正部１４は、低信頼度商品領域２０４と高信頼度商品領域との重複度が小さいほど低信頼度商品領域２０４の信頼度が大きくなるように、低信頼度商品領域２０４の信頼度を補正する。このような第４の補正処理は、以下の考え方に基づいている。通常、商品棚を正面から見た場合に、複数の商品は、商品同士が重ならないように配置されると考えられる。このため、商品棚を正面から捉えた入力画像１０１において、複数の商品領域１０３同士は通常重ならないと考えられる。したがって、他の商品領域１０３との重複度が小さい商品領域１０３ほど、正しく検出された物体領域（すなわち、実際に存在する商品に対応する領域）である可能性が高いと考えられる。第４の補正処理によれば、このような考え方に基づいて、低信頼度商品領域２０４の信頼度を適切に補正できる。

例えば、補正部１４は、低信頼度商品領域２０４について、下記の式９及び式１０に基づいて信頼度を補正する。
式９：補正score＝score×δ
式１０：δ＝ｃ４－Ｓ（Ａ４∩Ａ５）／Ｓ（Ａ４∪Ａ５）

ここで、「score」、「補正score」、及びＳ（Ｘ）の定義は、第１の補正処理において説明した通りである。「ｃ４」は、予め定められた定数である。「Ａ４」は、低信頼度商品領域（ここでは、低信頼度商品領域２０４）を示す。「Ａ５」は、当該低信頼度商品領域と重複する領域を有する高信頼度商品領域を示す。このような高信頼度商品領域が複数存在する場合、Ａ５は当該複数の高信頼度商品領域の和集合である。

式１０は、低信頼度商品領域２０４と高信頼度商品領域との重複度（ここでは「Ｓ（Ａ４∩Ａ５）／Ｓ（Ａ４∪Ａ５）」）が小さいほどδが大きくなるように設計されている。定数ｃ４は、例えばユーザによって任意に定められ得る。例えば「ｃ４＝１．２」である場合、重複度が０．２より小さくなるときにδが１よりも大きくなり、補正scoreがscoreよりも大きくなる。

図６の（Ａ）の例では、低信頼度商品領域２０４と重なる領域を有する高信頼度商品領域（他の商品領域１０３）は存在しないため、上述した重複度は０となる。その結果、δが１より大きくなり、補正後の信頼度（補正score）が元の値（score）よりも大きくなる。このため、低信頼度商品領域２０４の補正後の信頼度は閾値ｔ（ここでは０．７）以上となる可能性がある。この場合、低信頼度商品領域２０４は、物体領域決定部１５によって、正しく検出された物体領域として抽出されることになる。

一方、図６の（Ｂ）の例では、低信頼度商品領域２０４は、隣接する高信頼度商品領域（２つの商品領域１０３）と重複する領域を有しており、上述した重複度が０．２以上である可能性がある。すなわち、δが１以下となる可能性がある。δが１以下となる場合には、低信頼度商品領域２０４の補正後の信頼度（補正score）は、元の値（score）よりも大きくならないため、低信頼度商品領域２０４は、低信頼度領域に分類されたままとなる。

以上のように、第４の補正処理によれば、商品領域１０３同士の重複度を補助情報として用いることにより、低信頼度商品領域２０４の信頼度を適切に補正することができ、商品領域の検出漏れ（取りこぼし）を低減することができる。

（第５の補正処理）
図７及び図８を参照して、第５の補正処理について説明する。第５の補正処理では、補正部１４は、低信頼度商品領域２０５とそれぞれ高信頼度領域に分類された複数の商品の物体領域（すなわち、複数の高信頼度商品領域）を囲む領域との重複度に基づいて、低信頼度商品領域２０５の信頼度を補正する。例えば、低信頼度商品領域２０５は、複数の商品をまとめてパッケージングしており、単一の商品として販売されるセット商品（商品の一種）に対応する領域（セット商品領域）である場合がある。第５の補正処理によれば、低信頼度商品領域２０５がセット商品領域である可能性が高いと考えられる場合に、低信頼度商品領域２０５の信頼度を適切に補正（上方修正）できる。これにより、セット商品領域を精度良く検出することができる。

図７は、セット商品領域１０５の一例を示す図である。図７の例では、セット商品領域１０５に対応するセット商品は、２つの商品領域１０３に対応する２つの単体商品を含んでいる。なお、セット商品は、３つ以上の単体商品を含んでもよい。この場合、セット商品領域１０５は、３つ以上の商品領域１０３を含む。

以下、図８を参照して、第５の補正処理の具体例について説明する。補正部１４は、まず、高信頼度商品領域（ここでは、３つの高信頼度商品領域１０３ｂ，１０３ｃ，１０３ｄ）に対して、陳列情報を関連付ける。陳列情報は、高信頼度商品領域に対応する商品が陳列されている場所（例えば高さ位置及び水平位置）を、商品棚又は他の商品に対する相対位置関係によって示した情報である。高さ位置を示す情報は、例えば、高信頼度商品領域に対応する商品が陳列されている商品棚の段数を示す情報である。水平位置を示す情報は、例えば、高信頼度商品領域に対応する商品が商品棚の何列目に陳列されているか（すなわち、左端又は右端から何番目の商品であるか）を示す情報である。

補正部１４は、例えば高信頼度商品領域の座標（検出結果情報に含まれる座標）と、商品棚領域１０２の座標とを比較することにより、当該高信頼度商品領域の高さ位置を示す情報（例えば段数）を取得する。さらに、補正部１４は、例えば高信頼度商品領域同士のｘ座標を比較することにより、各高信頼度商品領域の水平位置を示す情報（例えば列数）を取得する。図８の例では、補正部１４は、例えば、高信頼度商品領域１０３ｂの陳列情報として「１段目１列目」を示す情報を取得し、高信頼度商品領域１０３ｃの陳列情報として「１段目２列目」を示す情報を取得し、高信頼度商品領域１０３ｄの陳列情報として「１段目３列目」を示す情報を取得する。

次に、補正部１４は、低信頼度商品領域２０５と重複する領域を有する高信頼度商品領域が複数存在するか否かを判定する。図８の（Ａ）の例では、複数の高信頼度商品領域（２つの高信頼度商品領域１０３ｃ，１０３ｄ）が低信頼度商品領域２０５と重複するため、上記判定結果はＹＥＳとなる。この場合、補正部１４は、当該複数の高信頼度商品領域の各々の陳列情報（ここでは段数及び列数）に基づいて、当該複数の高信頼度商品領域が互いに隣接する領域であるか否かを判定する。例えば、補正部１４は、当該複数の高信頼度商品領域の段数が同一であり、列数が連続している場合に、当該複数の高信頼度商品領域が互いに隣接する領域であると判定する。図８の（Ａ）の例では、高信頼度商品領域１０３ｃ，１０３ｄは、上記要件を満たすため、互いに隣接する領域であると判定される。この場合、当該複数の高信頼度商品領域１０３ｃ，１０３ｄに対応する商品は、同一のセット商品に属する単体商品である可能性がある。そこで、このような場合には、補正部１４は、更に以下の処理を実行する。

図８の（Ｂ）に示すように、補正部１４は、互いに隣接する領域であると判定された高信頼度商品領域１０３ｃ，１０３ｄを結合した結合領域１１０を画定する。例えば、補正部１４は、高信頼度商品領域１０３ｃ，１０３ｄの各々の四隅の座標のうち最小のｘ座標を結合領域１１０の左上隅及び左下隅のｘ座標とする。また、補正部１４は、高信頼度商品領域１０３ｃ，１０３ｄの各々の四隅の座標のうち最小のｙ座標を結合領域１１０の左上隅及び右上隅のｙ座標とする。また、補正部１４は、高信頼度商品領域１０３ｃ，１０３ｄの各々の四隅の座標のうち最大のｘ座標を結合領域１１０の右上隅及び右下隅のｘ座標とする。また、補正部１４は、高信頼度商品領域１０３ｃ，１０３ｄの各々の四隅の座標のうち最大のｙ座標を結合領域１１０の左下隅及び右下隅のｙ座標とする。このような処理により、図８の（Ｂ）に示すような矩形状の結合領域１１０が画定される。

次に、補正部１４は、低信頼度商品領域２０５と結合領域１１０との重複度εを、下記の式１１に基づいて算出する。ここで、「Ａ６」は低信頼度商品領域２０５を示し、「Ａ７」は結合領域１１０を示す。
式１１：ε＝Ｓ（Ａ６∩Ａ７）／Ｓ（Ａ６∪Ａ７）

補正部１４は、例えば、低信頼度商品領域２０５の信頼度と重複度εとに基づいて、低信頼度商品領域２０５の信頼度を補正する。例えば、補正部１４は、低信頼度商品領域２０５の信頼度が閾値ｔ１以上であり、かつ、重複度εが閾値ｔ２以上である場合に、低信頼度商品領域２０５の信頼度を閾値ｔ（ここでは０．７）以上の値に補正してもよい。この場合、物体領域決定部１５により、低信頼度商品領域２０５は、高信頼度商品領域１０３ｃ，１０３ｄに対応する商品を含む商品領域（セット商品領域）として抽出されることになる。なお、閾値ｔ１，ｔ２は、例えばユーザによって任意に定められ得る。

以上のように、第５の補正処理によれば、低信頼度商品領域２０５と複数の商品領域１０３をまとめた結合領域１１０との重複度を補助情報として用いることにより、低信頼度商品領域２０５の信頼度を適切に補正することができる。その結果、セット商品領域の検出漏れ（取りこぼし）を低減することができる。

以上説明した第１～第５の補正処理は、それぞれ単独で実行されてもよいし、組み合わせて実行されてもよい。例えば、補正部１４は、補正処理の対象となる低信頼度棚領域について、第１～第３の補正処理のうちから選択された２つ以上の補正処理を実行してもよい。例えば、第１～第３の補正処理の全てを実行する場合には、当該低信頼度棚領域の信頼度は、下記の式１２に基づいて補正される。このように上記第１～第５の補正処理を組み合わせることにより、複数の観点に基づいて、より高精度に物体領域の検出漏れを低減することができる。
式１２：補正score＝score×α×β×γ

（第６の補正処理）
図９を参照して、第６の補正処理について説明する。第６の補正処理では、補正部１４は、いずれも高信頼度領域に分類された物体領域である複数の高信頼度物体領域同士の重複度に基づいて、少なくとも１つの高信頼度物体領域の信頼度を補正する。ここでは一例として、補正部１４は、高信頼度棚領域と高信頼度商品領域との重複度に基づいて、当該高信頼度棚領域又は当該高信頼度商品領域の信頼度を補正する。

より具体的には、補正部１４は、高信頼度棚領域１０２ｅと一以上の高信頼度商品領域（ここでは、３つの高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇ）との重複度が大きいほど、高信頼度棚領域１０２ｅ又は高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの信頼度が小さくなるように、高信頼度棚領域１０２ｅ又は高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの信頼度を補正する。このような第６の補正処理は、以下の考え方に基づいている。通常、商品棚（棚板）の正面側（客が対面する側）の上部に商品が置かれるため、商品棚を正面から捉えた入力画像１０１において、商品棚領域１０２と商品領域１０３とは重ならないと考えられる。したがって、商品棚領域１０２と商品領域１０３との重複度が大きいほど、商品棚領域１０２又は商品領域１０３のいずれかが誤って検出された物体領域（すなわち、実際には存在しない商品棚又は商品に対応する領域）である可能性が高いと考えられる。第６の補正処理によれば、このような考え方に基づいて、高信頼度棚領域１０２ｅ又は高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの信頼度を適切に補正できる。

ここでは一例として、補正部１４は、高信頼度棚領域１０２ｅの信頼度と高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの信頼度の平均値とを比較する。ここで、高信頼度棚領域１０２ｅの信頼度が高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの信頼度の平均値よりも大きい場合には、高信頼度棚領域１０２ｅよりも高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの方が誤って検出された可能性が高いと考えられる。したがって、この場合には、補正部１４は、高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの信頼度を補正する。一方、高信頼度棚領域１０２ｅの信頼度が高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの信頼度の平均値よりも小さい場合には、高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇよりも高信頼度棚領域１０２ｅの方が誤って検出された可能性が高いと考えられる。したがって、この場合には、補正部１４は、高信頼度棚領域１０２ｅの信頼度を補正する。

例えば、補正部１４は、高信頼度棚領域１０２ｅ又は高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇについて、下記の式１３及び式１４に基づいて信頼度を補正する。
式１３：補正score＝score×ζ
式１４：ζ＝ｃ５―Ｓ（Ａ８∩Ａ９）／Ｓ（Ａ８）

ここで、「score」、「補正score」、及びＳ（Ｘ）の定義は、第１の補正処理において説明した通りである。ただし、高信頼度棚領域（ここでは高信頼度棚領域１０２ｅ）の信頼度（以下「棚score」ともいう）が一以上の高信頼度商品領域（ここでは高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇ）の信頼度の平均値（以下「商品score」ともいう）よりも大きい場合には、「score」及び「補正score」は、各高信頼度商品領域の信頼度及び補正後の信頼度を示す。一方、棚scoreが商品scoreよりも小さい場合には、「score」及び「補正score」は、高信頼度棚領域の信頼度及び補正後の信頼度を示す。なお、棚scoreと商品scoreとが同一の場合には、「score」及び「補正score」は前者のように定められてもよいし、後者のように定められてもよい。或いは、そのような場合には、第６の補正処理は実行されなくてもよい。

「ｃ５」は、予め定められた定数である。「Ａ８」及び「Ａ９」は、次のように決まる。すなわち、棚scoreが商品scoreよりも大きい場合には、「Ａ８」は高信頼度棚領域を示し、「Ａ９」は一以上の高信頼度商品領域の和集合を示す。逆に、棚scoreが商品scoreよりも小さい場合には、「Ａ８」は一以上の高信頼度商品領域の和集合を示し、「Ａ９」は高信頼度棚領域を示す。なお、棚scoreと商品scoreとが同一の場合には、「Ａ８」及び「Ａ９」は前者のように定められてもよいし、後者のように定められてもよい。或いは、そのような場合には、第６の補正処理は実行されなくてもよい。

例えば、高信頼度棚領域１０２ｅの棚scoreが０.９であり、高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇのscoreがそれぞれ０.８０，０．７５，０．７０であるとする。この場合、棚scoreである０．９は、高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの商品scoreである０．７５（＝（０．８０＋０．７５＋０．７０）／３）よりも大きいため、Ａ８は高信頼度棚領域１０２ｅを示し、Ａ９は高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの和集合を示す。

式１４は、高信頼度棚領域と高信頼度商品領域（高信頼度商品領域が複数の場合には、複数の高信頼度商品領域の和集合）との重複領域（積集合）の面積「Ｓ（Ａ８∩Ａ９）」が高信頼度棚領域及び高信頼度商品領域のうち信頼度の大きい方の領域（Ａ８）の面積「Ｓ（Ａ８）」に対して大きいほどζが小さくなるように設計されている。定数ｃ５は、例えばユーザによって任意に定められ得る。例えば「ｃ５＝１．４」である場合、重複度（ここでは「Ｓ（Ａ８∩Ａ９）／Ｓ（Ａ８）」）が０．４より大きくなるときにζが１よりも小さくなり、補正scoreがscoreよりも小さくなる。

図９の例では、高信頼度棚領域１０２ｅは、高信頼度商品領域（３つの高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇ）と重なる領域を有しており、上述した重複度が０．４よりも大きい可能性がある。すなわち、ζが１より小さくなる可能性がある。ここで、高信頼度棚領域１０２ｅの棚scoreが０．９であり、高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの商品scoreが０．８である場合について考える。この場合、高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの信頼度が補正対象となる。このとき、ζが１より小さくなる場合には、高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇのそれぞれの補正後の信頼度（補正score）は、元の値（score）よりも小さくなり、閾値ｔ（ここでは０．７）未満となる可能性がある。この場合、高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇのうち補正後の信頼度が閾値ｔ未満である領域は、物体領域決定部１５によって、正しく検出された物体領域ではないとして除外されることになる。

以上のように、第６の補正処理によれば、商品棚領域１０２と商品領域１０３との重複度を補助情報として用いることにより、高信頼度棚領域１０２ｅ又は高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの信頼度を適切に補正することができ、商品棚領域又は商品領域の誤検出（商品棚又は商品が実際には存在しない領域を誤って検出すること）を低減することができる。

なお、補正部１４は、例えば上記と同様の考え方に基づいて、その他の高信頼度物体領域同士の組み合わせに対して補正処理を行ってもよい。例えば、補正部１４は、互いに重なる領域を有する複数の高信頼度商品領域同士の重複度に基づいて、いずれか１つの領域（例えば複数の高信頼度商品領域のうち信頼度が最も小さい領域）の信頼度を補正してもよい。

次に、図１０及び図１１を参照して、検出装置１０の動作の一例について説明する。ここでは、第１～第５の補正処理が実行される場合の処理手順について説明する。

まず、画像取得部１１は、画像認識の実行対象となる入力画像１０１を取得する（ステップＳ１）。

続いて、検出部１２は、当該入力画像１０１に対する画像認識を実行し、当該画像認識により検出された複数の物体領域の各々について、物体領域のカテゴリと、物体領域が当該カテゴリに合致する可能性の高さを示す信頼度と、を検出する（ステップＳ２）。これにより、図２に示すように、複数の物体領域（商品棚領域１０２、商品領域１０３、及び値札領域１０４）が検出される。

続いて、分類部１３は、検出された複数の物体領域を、各物体領域に関連付けられた信頼度に基づいて高信頼度領域と低信頼度領域とに分類する（ステップＳ３）。例えば、分類部１３は、信頼度が予め定められた閾値ｔ（例えば０．７）以上の物体領域を高信頼度領域に分類し、信頼度が閾値ｔ未満の物体領域を低信頼度領域に分類する。

続いて、補正部１４は、低信頼度領域に分類された物体領域（低信頼度物体領域）と高信頼度領域に分類された物体領域（高信頼度物体領域）との位置関係（例えば、上述したような重複度及び配置間隔等）に基づいて、低信頼度物体領域の信頼度を補正する（ステップＳ４）。例えば、補正部１４は、低信頼度棚領域に対して、上述した第１～第３の補正処理の少なくとも１つを実行することにより、当該低信頼度棚領域の信頼度を補正する。また、補正部１４は、低信頼度商品領域に対して、上述した第４及び第５の補正処理の少なくとも１つを実行することにより、当該低信頼度商品領域の信頼度を補正する。

図１１を参照して、ステップＳ４の処理手順の具体例について説明する。まず、補正部１４は、処理対象（信頼度を補正する対象）となる低信頼度物体領域を１つ選択する（ステップＳ４１）。選択された低信頼度物体領域が商品棚領域（すなわち、低信頼度棚領域）である場合（ステップＳ４２：ＹＥＳ）、補正部１４は、当該信頼度棚領域に対して、上述した第１～第３の補正処理のうち少なくとも１つを実行する（ステップＳ４３）。一方、選択された低信頼度物体領域が商品棚領域ではなく（ステップＳ４２：ＮＯ）、商品領域（すなわち、低信頼度商品領域）である場合（ステップＳ４４：ＹＥＳ）、補正部１４は、当該低信頼度商品領域に対して、上述した第４及び第５の補正処理のうち少なくとも１つを実行する（ステップＳ４５）。なお、本実施形態では、選択された低信頼度物体領域が商品棚領域でも商品領域でもない場合（ステップＳ４４：ＮＯ）、補正処理を実行しない。補正部１４は、全ての低信頼度物体領域について処理が完了するまで上記処理を繰り返し実行する。具体的には、補正部１４は、未完了の低信頼度物体領域が存在する場合（ステップＳ４６：ＮＯ）、ステップＳ４１に戻り、全ての低信頼度物体領域についての処理が完了した場合（ステップＳ４６：ＹＥＳ）、ステップＳ４の補正処理を完了する。

続いて、物体領域決定部１５は、各物体領域の最終的な信頼度（すなわち、補正部１４による補正処理が実行された後の信頼度）に基づいて、最終的な物体領域を決定する（ステップＳ５）。

次に、図１２を参照して、第６の補正処理の処理手順について説明する。図１２は、第６の補正処理が実行される場合のステップＳ４（図１０参照）の処理手順の一例を示している。

まず、補正部１４は、互いに重なる高信頼度棚領域及び一以上の高信頼度商品領域を抽出する（ステップＳ１４１）。図９の例では、高信頼度棚領域１０２ｅと３つの高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇとが抽出される。続いて、補正部１４は、高信頼度棚領域１０２ｅの信頼度（棚score）と３つの高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇの信頼度の平均値（商品score）とを比較する（ステップＳ１４２）。棚scoreが商品scoreより大きい場合（ステップＳ１４２：ＹＥＳ）、補正部１４は、高信頼度商品領域１０３ｅ，１０３ｆ，１０３ｇのそれぞれを補正対象として、上述した第６の補正処理を実行する（ステップＳ１４３）。一方、棚scoreが商品score以下の場合（ステップＳ１４２：ＮＯ）、補正部１４は、高信頼度棚領域１０２ｅを補正対象として、上述した第６の補正処理を実行する（ステップＳ１４４）。

次に、図１３を参照して、コンピュータを検出装置１０として機能させるための検出プログラムＰについて説明する。

検出プログラムＰは、メインモジュールＰ１０、画像取得モジュールＰ１１、検出モジュールＰ１２、分類モジュールＰ１３、補正モジュールＰ１４、及び物体領域決定モジュールＰ１５を備える。メインモジュールＰ１０は、検出装置１０としての処理を統括的に制御する部分である。画像取得モジュールＰ１１、検出モジュールＰ１２、分類モジュールＰ１３、補正モジュールＰ１４、及び物体領域決定モジュールＰ１５を実行することにより実現される機能は、それぞれ、検出装置１０の画像取得部１１、検出部１２、分類部１３、補正部１４、及び物体領域決定部１５の機能と同様である。

検出プログラムＰは、例えば、ＣＤ－ＲＯＭ、ＤＶＤ若しくはＲＯＭ等の記録媒体又は半導体メモリによって提供される。また、検出プログラムＰは、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されてもよい。

（作用効果）
以上述べた検出装置１０によれば、入力画像１０１に対する画像認識により検出された複数の物体領域の各々は、検出された信頼度に基づいていくつかのクラス（本実施形態では一例として、高信頼度領域及び低信頼度領域の２つのクラス）に分類される。そして、信頼度に基づく分類に関して予め定められた関係を有する複数の物体領域同士の位置関係に基づいて、少なくとも１つの物体領域の信頼度が補正される。この構成により、物体領域同士の位置関係と信頼度に基づく分類の関係性とに基づいて、物体領域の信頼度を適切に補正することが可能となる。また、信頼度に基づく分類に関して予め定められた関係を有する複数の物体領域同士の位置関係に着目することにより、検出された全ての物体領域同士（例えば互いに重複する全ての物体領域同士）の位置関係を考慮する場合と比較して、処理の効率化を図ることができる。より具体的には、物体領域同士の位置関係の比較を、上述したように予め定められた関係を有する物体領域同士についてのみ実行することにより、計算量の削減及びメモリ使用量の低減を図ることができる。すなわち、プロセッサ、メモリ等のハードウェア資源の処理負荷及び使用量を低減できる。以上により、検出装置１０によれば、画像に写った物体を精度良くかつ効率的に検出できる。

また、補正部１４は、分類部１３によって低信頼度領域に分類された物体領域である低信頼度物体領域と分類部１３によって高信頼度領域に分類された物体領域である高信頼度物体領域との位置関係に基づいて、低信頼度物体領域の信頼度を補正する。本実施形態では、上述した第１～第５の補正処理が、当該補正に該当する。この場合、高信頼度物体領域との位置関係からカテゴリに合致する可能性が高いと考えられる低信頼度物体領域の信頼度を上方修正することが可能となる。また、高信頼度物体領域との位置関係からカテゴリに合致する可能性が低いと考えられる低信頼度物体領域の信頼度を下方修正することも可能となる。その結果、物体の検出漏れ（取りこぼし）を低減すると共に、物体検出の精度を向上させることができる。

また、補正部１４は、低信頼度物体領域と高信頼度物体領域との重複度に基づいて、低信頼度物体領域の信頼度を補正する。本実施形態では、上述した第１、第２、第４、及び第５の補正処理が、当該補正に相当する。このような構成によれば、一般的に物体同士が重複する位置関係にあるか否かという観点に基づいて、低信頼度物体領域の信頼度を適切に補正（上方修正又は下方修正）できる。その結果、物体の検出漏れ（取りこぼし）を低減すると共に、物体検出の精度を向上させることができる。

また、補正部１４は、低信頼度棚領域と高信頼度商品領域との重複度が小さいほど低信頼度棚領域の信頼度が大きくなるように、低信頼度棚領域の信頼度を補正する。本実施形態では、上述した第１の補正処理が、当該補正に相当する。このような構成によれば、商品棚及び商品が通常重複しない位置関係にあるという観点に基づいて、低信頼度棚領域の信頼度を適切に補正できる。その結果、商品棚の検出漏れ（取りこぼし）を低減でき、商品棚構成を精度良く再現することが可能となる。

また、補正部１４は、低信頼度棚領域と高信頼度値札領域との重複度が大きいほど低信頼度棚領域の信頼度が大きくなるように、低信頼度棚領域の信頼度を補正する。本実施形態では、上述した第２の補正処理が、当該補正に相当する。このような構成によれば、商品棚及び値札が通常重複する位置関係にあるという観点に基づいて、低信頼度棚領域の信頼度を適切に補正できる。その結果、商品棚の検出漏れ（取りこぼし）を低減でき、商品棚構成を精度良く再現することが可能となる。

また、補正部１４は、低信頼度棚領域と複数の高信頼度棚領域との位置関係に基づいて、低信頼度棚領域の信頼度を補正する。より具体的には、補正部１４は、少なくとも３つ以上の高信頼度棚領域の位置に基づいて、隣り合う高信頼度棚領域同士の間隔を算出し、低信頼度棚領域を間に挟んで隣接する２つの高信頼度棚領域同士の間隔と、他の高信頼度棚領域同士の間隔と、低信頼度棚領域の位置と、上記２つの高信頼度棚領域の位置とに基づいて、低信頼度棚領域の信頼度を補正する。本実施形態では、上述した第３の補正処理が、当該補正に相当する。このような構成によれば、複数の商品棚が通常高さ方向に等間隔に配置される位置関係にあるという観点に基づいて、低信頼度棚領域の信頼度を適切に補正できる。その結果、商品棚の検出漏れ（取りこぼし）を低減でき、商品棚構成を精度良く再現することが可能となる。

また、補正部１４は、低信頼度商品領域と高信頼度商品領域との重複度が小さいほど低信頼度商品領域の信頼度が大きくなるように、低信頼度商品領域の信頼度を補正する。本実施形態では、上述した第４の補正処理が、当該補正に相当する。このような構成によれば、商品同士が通常重複しない位置関係にあるという観点に基づいて、低信頼度商品領域の信頼度を適切に補正できる。その結果、商品の検出漏れ（取りこぼし）を低減でき、商品棚構成を精度良く再現することが可能となる。

また、補正部１４は、低信頼度商品領域と複数の高信頼度商品領域を囲む結合領域との重複度に基づいて、低信頼度商品領域の信頼度を補正する。本実施形態では、上述した第５の補正処理が、当該補正に相当する。このような構成によれば、低信頼度商品領域が、複数の商品を含むセット商品に対応するセット商品領域である可能性が高いと考えられる場合に、低信頼度棚領域の信頼度を適切に補正できる。その結果、セット商品の検出漏れ（取りこぼし）を低減でき、商品棚構成を精度良く再現することが可能となる。

また、補正部１４は、複数の高信頼度物体領域同士の重複度に基づいて、少なくとも１つの高信頼度物体領域の信頼度を補正する。本実施形態では、上述した第６の補正処理が、当該補正に該当する。このような構成によれば、一般的に物体同士が重複する位置関係にあるか否かという観点に基づいて、高信頼度物体領域の信頼度を適切に補正できる。

また、補正部１４は、高信頼度棚領域と高信頼度商品領域との重複度が大きいほど、高信頼度棚領域又は高信頼度商品領域の信頼度が小さくなるように、高信頼度棚領域又は高信頼度商品領域の信頼度を補正する。本実施形態では、上述した第６の補正処理が、当該補正に該当する。このような構成によれば、商品棚及び商品が通常重複しない位置関係にあるという観点に基づいて、高信頼度棚領域又は高信頼度商品領域の信頼度を適切に補正（下方修正）できる。その結果、物体の誤検出を低減でき、物体検出の精度を向上させることができる。

なお、上記実施形態の説明に用いたブロック図（図１）は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線で）接続し、これら複数の装置により実現されてもよい。

例えば、上記実施形態における検出装置１０は、上記実施形態の検出装置１０の処理を行うコンピュータとして機能してもよい。上述した通り、図１４は、本実施形態に係る検出装置１０のハードウェア構成の一例を示す図である。上述の検出装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、及びバス１００７等を含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニット等に読み替えることができる。検出装置１０のハードウェア構成は、図１４に示された各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

検出装置１０における各機能は、プロセッサ１００１、メモリ１００２等のハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、及び／又はデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、検出装置１０の検出部１２は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、図１に示した他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）等の少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）等と呼ばれてもよい。メモリ１００２は、上記実施形態に係る検出方法（例えば図９及び図１０のフローチャートに示される手順等）を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュール等を保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）等の光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップ等の少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバ、その他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等ともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ等）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプ等）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１及びメモリ１００２等の各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、検出装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更された態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

例えば、本実施形態では、分類部１３は、複数の物体領域を、信頼度が閾値ｔ以上の高信頼度領域と信頼度が閾値ｔ未満の低信頼度領域との２つのクラスに分類したが、これは一例に過ぎない。例えば、分類部１３は、複数の物体領域を３つ以上のクラスに分類してもよい。この場合、検出装置１０（特に補正部１４）は、例えば複数のクラスのうち信頼度が所定の基準よりも低い一又は複数のクラスのいずれかに分類された領域を本実施形態の低信頼度領域とみなしてもよい。同様に、検出装置１０は、複数のクラスのうち信頼度が所定の基準よりも高い一又は複数のクラスのいずれかに分類された領域を本実施形態の低信頼度領域とみなしてもよい。なお、低信頼度領域に属するか否かの判定に用いられる基準と高信頼度領域に属するか否かの判定に用いられる基準とは、同一であってもよいし、互いに異なっていてもよい。

例えば、分類部１３は、複数の物体領域を、信頼度が低いクラス（低信頼度クラス）、信頼度が中程度のクラス（中信頼度クラス）、及び信頼度が高いクラス（高信頼度クラス）の３つのクラスに分類してもよい。この場合、検出装置１０（特に補正部１４）は、例えば、低信頼度クラスに分類された領域を本実施形態の低信頼度領域とみなすと共に、高信頼度クラスに分類された領域を本実施形態の高信頼度領域とみなして、本実施形態で説明した補正処理を行ってもよい。或いは、検出装置１０は、複数のクラスを低信頼度領域又は高信頼度領域に含めてもよい。例えば、上記のように３つのクラスに分類する場合において、検出装置１０は、低信頼度クラスに分類された領域及び中信頼度クラスに分類された領域の両方を本実施形態の低信頼度領域とみなしてもよいし、中信頼度クラスに分類された領域及び高信頼度クラスに分類された領域の両方を本実施形態の高信頼度領域とみなしてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いられてもよいし、組み合わせて用いられてもよいし、実行に伴って切り替えて用いられてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能等を意味するよう広く解釈されるべきである。

また、ソフトウェア、命令等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）等の有線技術及び／又は赤外線、無線及びマイクロ波等の無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報及び信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

また、本明細書で説明した情報、パラメータ等は、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

上述したパラメータに使用される名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」との両方を意味する。

「含む（include）」、「含んでいる（including）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」及び「或いは（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈又は技術的に明らかに１つのみしか存在しない装置であることが示されていなければ、複数の装置をも含むものとする。

本明細書で使用する「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「決定」は、例えば、判定（judging）、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「決定」したとみなす事等を含み得る。また、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「決定」したとみなす事等を含み得る。また、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)等した事を「決定」したとみなす事を含み得る。つまり、「決定」は、何らかの動作を「決定」したとみなす事を含み得る。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１０…検出装置、１１…画像取得部、１２…検出部（検出部）、１３…分類部、１４…補正部、１５…物体領域決定部、１０１…入力画像、１０２…商品棚領域、１０２ｅ…高信頼度棚領域、１０３…商品領域、１０３ｅ，１０３ｆ，１０３ｇ…高信頼度商品領域、１０４…値札領域、１０５…セット商品領域、１１０…結合領域、２０１，２０２，２０３…低信頼度棚領域、２０４，２０５…低信頼度商品領域、Ｐ…検出プログラム、Ｐ１０…メインモジュール、Ｐ１１…画像取得モジュール、Ｐ１２…検出モジュール、Ｐ１３…分類モジュール、Ｐ１４…補正モジュール、Ｐ１５…物体領域決定モジュール。

Claims (12)

1. 入力画像に対する画像認識により検出された複数の物体領域の各々について、前記物体領域のカテゴリと、前記物体領域が前記カテゴリに合致する可能性の高さを示す信頼度と、を検出する検出部と、
   複数の前記物体領域を、前記信頼度に基づいて分類する分類部と、
   前記信頼度に基づく分類に関して予め定められた関係を有する複数の前記物体領域同士の位置関係に基づいて、当該複数の前記物体領域のうちの少なくとも１つの物体領域の前記信頼度を補正する補正部と、
   を備える検出装置。
2. 前記補正部は、前記分類部によって低信頼度領域に分類された物体領域である低信頼度物体領域と前記分類部によって高信頼度領域に分類された物体領域である高信頼度物体領域との位置関係に基づいて、前記低信頼度物体領域の前記信頼度を補正する、
   請求項１に記載の検出装置。
3. 前記補正部は、前記低信頼度物体領域と前記高信頼度物体領域との重複度に基づいて、前記低信頼度物体領域の前記信頼度を補正する、
   請求項２に記載の検出装置。
4. 前記補正部は、前記低信頼度領域に分類された商品棚の物体領域である低信頼度棚領域と前記高信頼度領域に分類された商品の物体領域である高信頼度商品領域との重複度が小さいほど前記低信頼度棚領域の前記信頼度が大きくなるように、前記低信頼度棚領域の前記信頼度を補正する、
   請求項２又は３に記載の検出装置。
5. 前記補正部は、前記低信頼度領域に分類された商品棚の物体領域である低信頼度棚領域と前記高信頼度領域に分類された値札の物体領域である高信頼度値札領域との重複度が大きいほど前記低信頼度棚領域の前記信頼度が大きくなるように、前記低信頼度棚領域の前記信頼度を補正する、
   請求項２～４のいずれか一項に記載の検出装置。
6. 前記補正部は、前記低信頼度領域に分類された商品棚の物体領域である低信頼度棚領域とそれぞれ前記高信頼度領域に分類された商品棚の物体領域である複数の高信頼度棚領域との位置関係に基づいて、前記低信頼度棚領域の前記信頼度を補正する、
   請求項２～５のいずれか一項に記載の検出装置。
7. 前記補正部は、
   少なくとも３つ以上の前記高信頼度棚領域の位置に基づいて、隣り合う前記高信頼度棚領域同士の間隔を算出し、
   前記低信頼度棚領域を間に挟んで隣接する２つの前記高信頼度棚領域同士の前記間隔と、他の前記高信頼度棚領域同士の間隔と、前記低信頼度棚領域の位置と、前記２つの前記高信頼度棚領域の位置とに基づいて、前記低信頼度棚領域の前記信頼度を補正する、
   請求項６に記載の検出装置。
8. 前記補正部は、前記低信頼度領域に分類された商品の物体領域である低信頼度商品領域と前記高信頼度領域に分類された商品の物体領域である高信頼度商品領域との重複度が小さいほど前記低信頼度商品領域の前記信頼度が大きくなるように、前記低信頼度商品領域の前記信頼度を補正する、
   請求項２～７のいずれか一項に記載の検出装置。
9. 前記補正部は、前記低信頼度領域に分類された商品の物体領域である低信頼度商品領域とそれぞれ前記高信頼度領域に分類された複数の商品の物体領域を囲む領域との重複度に基づいて、前記低信頼度商品領域の前記信頼度を補正する、
   請求項２～８のいずれか一項に記載の検出装置。
10. 前記補正部は、いずれも前記高信頼度領域に分類された物体領域である複数の高信頼度物体領域同士の重複度に基づいて、少なくとも１つの前記高信頼度物体領域の前記信頼度を補正する、
    請求項２に記載の検出装置。
11. 前記補正部は、前記高信頼度領域に分類された商品棚の物体領域である高信頼度棚領域と前記高信頼度領域に分類された商品の物体領域である高信頼度商品領域との重複度が大きいほど、前記高信頼度棚領域又は前記高信頼度商品領域の前記信頼度が小さくなるように、前記高信頼度棚領域又は前記高信頼度商品領域の前記信頼度を補正する、
    請求項１０に記載の検出装置。
12. コンピュータを、
    入力画像に対する画像認識により検出された複数の物体領域の各々について、前記物体領域のカテゴリと、前記物体領域が前記カテゴリに合致する可能性の高さを示す信頼度と、を検出する検出部と、
    複数の前記物体領域を、前記信頼度に基づいて分類する分類部と、
    前記信頼度に基づく分類に関して予め定められた関係を有する複数の前記物体領域同士の位置関係に基づいて、当該複数の前記物体領域のうちの少なくとも１つの物体領域の前記信頼度を補正する補正部と、
    として機能させる検出プログラム。

Images