JP7452647B2 - 処理装置、処理方法及びプログラム - Google Patents

Description

本発明は、処理装置、処理方法及びプログラムに関する。

非特許文献１及び２は、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムを開示している。当該技術では、店内を撮影するカメラが生成した画像に基づき顧客が手にとった商品を認識し、顧客が店舗を出たタイミングで認識結果に基づき自動的に決済処理を行う。

非特許文献３は、ディープラーニング技術や特徴点マッチング技術を利用して、画像に含まれる商品を認識する技術を開示している。また、非特許文献３は、画像認識により、台の上に載置された会計対象の複数の商品を一括認識する技術を開示している。

特許文献１は、商品を含む画像の解析結果に基づき、商品陳列棚に陳列されている商品を照らす照明光を調整する技術を開示している。特許文献２は、会計カウンターにおいて読み取り窓、及び、読み取り窓越しに商品を撮影するカメラを設け、オペレータが読み取り窓の前に商品を位置させるとカメラがその商品を撮影し、その画像に基づきその商品を認識する技術を開示している。

特開２００８－７１６６２号公報 特開２０１８－１１６３７１号公報

宮田拓弥、"Ａｍａｚｏｎ Ｇｏの仕組み「カメラとマイク」で実現するレジなしスーパー"、[online]、２０１６年１２月１０日、［２０１９年１２月６日検索］、インターネット<URL:https://www.huffingtonpost.jp/tak-miyata/amazon-go_b_13521384.html> "ＮＥＣ、レジレス店舗「ＮＥＣ ＳＭＡＲＴ ＳＴＯＲＥ」を本社内にオープン--顔認証活用、退店と同時決済"、[online]、２０２０年２月２８日、［２０２０年３月２７日検索］、インターネット<URL: https://japan.cnet.com/article/35150024/> "あらゆる小売商品を認識可能にする多種物体認識技術"、［online］、［２０２０年４月２７日検索］、インターネット<URL: https://jpn.nec.com/techrep/journal/g19/n01/190118.html>

上述のように、画像に含まれる商品を認識する技術が広く検討され、利用されている。そして、画像に基づく商品認識の精度をより向上させる技術が望まれている。本発明の課題は、上述した先行技術が開示してない手法により、画像に基づく商品認識の精度を向上させることである。

本発明によれば、
商品を含む画像を取得する取得手段と、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段と、
前記対象領域の画像の評価値を算出する算出手段と、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段と、
を有する処理装置が提供される。

また、本発明によれば、
コンピュータが、
商品を含む画像を取得し、
観察対象が含まれる領域である対象領域を前記画像から検出し、
前記対象領域の画像の評価値を算出し、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する処理方法が提供される。

また、本発明によれば、
コンピュータを、
商品を含む画像を取得する取得手段、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段、
前記対象領域の画像の評価値を算出する算出手段、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段、
として機能させるプログラムが提供される。

本発明によれば、画像に基づく商品認識の精度が向上する。

本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態のカメラの設置例を説明するための図である。 本実施形態のカメラの設置例を説明するための図である。 本実施形態のカメラの設置例を説明するための図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置とカメラと照明との関係を説明するための図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の照明の一例を説明するための図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

＜第１の実施形態＞
「概要」
本実施形態の処理装置は、機械学習やディープラーニングにおける学習のために用意された候補画像（認識したい商品を含む画像）の中から、学習用の画像として好ましいもの（所定の基準を満たすもの）を選択し、選択した候補画像を学習用の画像として登録する機能を有する。このように厳選された学習用の画像を用いて学習を行うことで、得られた推定モデルの商品認識の精度が向上する。

「ハードウエア構成」
次に、処理装置のハードウエア構成の一例を説明する。処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図１は、処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

「機能構成」
図２に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、検出部１２と、算出部１３と、登録部１４と、記憶部１５とを有する。

取得部１１は、商品を含む画像を取得する。「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

取得部１１が取得した画像が、「機械学習やディープラーニングにおける学習のために用意された候補画像」となる。以下、取得部１１が取得した画像を「候補画像」という。

候補画像は、認識したい商品を含んでいればよい。例えば、商品のメーカが用意した画像を候補画像として利用してもよいし、ネットワーク上で公開されている画像を候補画像として利用してもよいし、その他の画像を候補画像として利用してもよい。しかし、認識精度を向上させるためには、実際の利用場面と同様の状況下で商品を撮影することで生成された画像を、候補画像とすることが好ましい。

例えば、非特許文献１乃至３、特許文献２に開示のように、店舗業務において、機械学習やディープラーニングで生成された推定モデルに基づく商品認識を行う場合、その利用場面と同様の状況下で商品を撮影し、候補画像を生成することが好ましい。以下、実際の利用場面における状況の一例を説明する。

非特許文献１及び２の利用場面においては、顧客が手に取った商品を認識する必要がある。そこで、顧客が手にとった商品を撮影できる位置及び向きで１つ又は複数のカメラが店内に設置される。例えば商品陳列棚毎に、各々から取り出された商品を撮影する位置及び向きでカメラが設置されてもよい。カメラは、商品陳列棚に設置されてもよいし、天井に設置されてもよいし、床に設置されてもよいし、壁面に設置されてもよいし、その他の場所に設置されてもよい。なお、商品陳列棚毎にカメラを設置する例はあくまで一例であり、これに限定されない。

カメラは動画像を常時（例えば、営業時間中）撮影してもよいし、動画像のフレーム間隔よりも大きい時間間隔で静止画像を継続的に撮影してもよいし、人感センサー等で所定位置（商品陳列棚の前等）に存在する人を検出している間のみこれらの撮影を実行してもよい。

ここで、カメラ設置の一例を示す。なお、ここで説明するカメラ設置例はあくまで一例であり、これに限定されない。図３に示す例では、商品陳列棚１毎に２つのカメラ２が設置されている。図４は、図３の枠４を抽出した図である。枠４を構成する２つの部品各々には、カメラ２と照明（不図示）とが設けられる。

照明の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。

そしてカメラ２は、直線状に延伸する枠４の部品の一端側に設けられており、照明の光が放射される方向を撮影範囲としている。例えば図４の左側の枠４の部品において、カメラ２は下方及び右斜め下を撮影範囲としている。また、図４の右側の枠４の部品において、カメラ２は上方及び左斜め上を撮影範囲としている。

図３に示すように、枠４は、商品載置スペースを構成する商品陳列棚１の前面フレーム（又は両側の側壁の前面）に取り付けられる。枠４の部品の一方は、一方の前面フレームに、カメラ２が下方に位置する向きに取り付けられ、枠４の部品の他方は、他方の前面フレームに、カメラ２が上方に位置する向きに取り付けられる。そして、枠４の部品の一方に取り付けられたカメラ２は、商品陳列棚１の開口部を撮影範囲に含むように、上方及び斜め上方を撮影する。一方、枠４の部品の他方に取り付けられたカメラ２は、商品陳列棚１の開口部を撮影範囲に含むように、下方及び斜め下方を撮影する。このように構成することで、２つのカメラ２で商品陳列棚１の開口部の全範囲を撮影することができる。結果、商品陳列棚１から取り出されている商品（顧客が手にとった商品）を２つのカメラ２で撮影することが可能となる。

図３及び図４に示す構成を採用した場合、図５に示すように、顧客が商品陳列棚１から商品を取り出す様子を２つのカメラ２で撮影することが可能となる。このようなカメラ２が生成した画像７及び８には、顧客が商品陳列棚１から取り出した商品が含まれる。

また、非特許文献３及び特許文献２の利用場面においては、会計対象の商品を認識する必要がある。この場合、会計装置にカメラが設置され、当該カメラが商品を撮影する。カメラは、例えば非特許文献３に開示されているように、台の上に載置された１つ又は複数の商品をまとめて撮影するように構成されてもよい。その他、カメラは、特許文献２に開示されているように、オペレータの作業（カメラの前に商品を位置させる作業）に応じて１つずつ商品を撮影するように構成されてもよい。

図２に戻り、検出部１２は、観察対象が含まれる領域である対象領域を候補画像から検出する。観察対象は、商品、商品以外の所定の物体、又は所定のマーカである。商品以外の所定の物体及び所定のマーカは、カメラが撮影する領域に存在し、常に（他の物体の死角にならない限り）カメラが生成した画像に含まれる物体やマーカである。例えば、図５の例の場合、画像７及び８に含まれる商品陳列棚１や枠４を観察対象としてもよい。また、図示しないが商品陳列棚１や枠４の所定位置に所定のマーカが添付されてもよい。そして、このマーカを観察対象としてもよい。

観察対象は、従来のあらゆる技術を利用して検出できる。観察対象が商品である場合、例えば、機械学習やディープラーニングなどで生成された物体の画像らしさを評価する推定モデルを利用してもよいし、予め用意された背景画像（人や人が手に取った商品等が含まれず、背景のみが存在する画像）と候補画像との差分をとる技術を利用してもよいし、人物を検出して候補画像から除去する技術を利用してもよいし、その他の技術を利用してもよい。

また、観察対象が商品以外の所定の物体、又は所定のマーカである場合、予め観察対象の外観の特徴量が登録されていてもよい。そして、検出部１２は、当該特徴量とマッチングする領域を候補画像の中から検出してもよい。また、観察対象の位置が固定されており、かつ、カメラの位置や向きが固定されている場合、候補画像の中で観察対象が存在する領域は固定される。この場合、予め候補画像の中で観察対象が存在する領域が登録されていてもよい。そして、検出部１２は、候補画像の中の予め登録されているその領域を対象領域として検出してもよい。

なお、検出部１２は、観察対象及びその周辺を含む領域（例えば図５の枠Ｗで示す矩形領域）を、対象領域として検出してもよい。その他、検出部１２は、観察対象のみが存在する物体等の輪郭に沿った形状の領域を、対象領域として検出してもよい。後者は、例えば、セマンティックセグメンテーションやインスタンスセグメンテーションと呼ばれる検出対象が存在するピクセル領域を検出する手法を利用して実現することができる。また、候補画像の中で観察対象が存在する領域が固定されている場合、その観察対象のみが存在する領域を予め登録しておくことで、観察対象のみが存在する領域を対象領域として検出することができる。

図２に戻り、算出部１３は、対象領域の画像の評価値を算出する。観察対象が商品である場合、評価値は、対象領域の輝度に関する値、対象領域の大きさに関する値、又は対象領域から抽出された特徴点数である。

対象領域の輝度に関する値は、対象領域の輝度の状態を示す。例えば、対象領域の輝度に関する値は、「対象領域に含まれるピクセルの輝度の統計値（平均値、中央値、最頻値、最大値、最小値等）」であってもよいし、「対象領域に含まれるピクセルの数に対する輝度が基準範囲内であるピクセルの数の割合」であってもよいし、その他であってもよい。

対象領域の大きさに関する値は、対象領域の大きさを示す。例えば、対象領域の大きさに関する値は、対象領域の面積を示してもよいし、対象領域の外周の大きさを示してもよいし、その他を示してもよい。対象領域の面積や外周の大きさは、例えばピクセル数で示される。

対象領域から抽出された特徴点数は、所定のアルゴリズムで特徴点の抽出を行った場合に抽出された特徴点数です。どのようなアルゴリズムでどのような点を特徴点として抽出するかは設計的事項であるが、例えば、商品のパッケージの模様等の中にある角の点や線が交わる点等が特徴点として抽出される。

一方、観察対象が商品以外の所定の物体又は所定のマーカである場合、評価値は、対象領域の輝度に関する値又は対象領域から抽出された特徴点数である。この場合の評価値として対象領域の大きさに関する値を採用しないのは、当該観察対象の位置が固定されており、カメラの位置及び向きが固定されている場合、当該観察対象が含まれる対象領域の大きさは、どの候補画像においてもほぼ同じ値になるからである。

登録部１４は、評価値が基準を満たす場合、その候補画像を、機械学習やディープラーニングの学習用の画像として登録する。学習用の画像として登録された候補画像は、記憶部１５に記憶される。なお、記憶部１５は、処理装置１０内に設けられてもよいし、処理装置１０と通信可能に構成された外部装置に設けられてもよい。

評価値が対象領域の輝度に関する値である場合、基準は、「輝度に関する値が所定の数値範囲内」である。輝度が低すぎる画像、及び、輝度が高すぎる画像は、商品の特徴部分が鮮明に写っていない可能性が高く、商品認識においてふさわしくない。当該基準によれば、対象領域の画像の輝度が商品認識において好ましい範囲に入っており、商品の特徴部分が鮮明に写っている可能性が高い候補画像を、学習用の画像として登録することができる。

評価値が対象領域の大きさに関する値である場合、基準は、「大きさに関する値が基準値以上」である。対象領域が小さく、画像内の商品が小さい場合、商品の特徴部分が鮮明に写っていない可能性が高く、商品認識においてふさわしくない。当該基準によれば、対象領域の画像の大きさが十分に大きく、商品の特徴部分が鮮明に写っている可能性が高い候補画像を、学習用の画像として登録することができる。

評価値が対象領域から抽出された特徴点数である場合、基準は、「抽出された特徴点数が基準値以上」である。対象領域の輝度が高すぎる画像、対象領域の輝度が低すぎる画像、対象領域が小さい画像、また、ピンボケ等のその他の理由で不鮮明な画像は、商品の特徴部分が鮮明に写っていない可能性が高く、商品認識においてふさわしくない。このような画像はいずれも、対象領域から抽出される特徴点数が小さくなる。当該基準によれば、特徴点数が十分に抽出される程度に商品の特徴部分が鮮明に写っている候補画像を、学習用の画像として登録することができる。

なお、登録した学習用の画像に基づく学習（機械学習やディープラーニング）を実行し、画像に含まれる商品を認識する推定モデルを生成する推定処理は、処理装置１０が行ってもよいし、他の装置が行ってもよい。学習用の画像へのラベル付けは、例えば人手で行われる。

次に、図６のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、取得部１１が商品を含む候補画像を取得すると（Ｓ１０）、検出部１２は観察対象が含まれる領域である対象領域を候補画像から検出する（Ｓ１１）。観察対象は、商品、商品以外の所定の物体、又は所定のマーカである。

次いで、算出部１３は、Ｓ１１で検出された対象領域の画像の評価値を算出する（Ｓ１２）。観察対象が商品である場合、評価値は、対象領域の輝度に関する値、対象領域の大きさに関する値、又は対象領域から抽出された特徴点数である。観察対象が商品以外の所定の物体又は所定のマーカである場合、評価値は、対象領域の輝度に関する値又は対象領域から抽出された特徴点数である。

そして、登録部１４は、Ｓ１２で算出された評価値が予め定められた基準を満たす場合（Ｓ１３のＹｅｓ）、その候補画像を、機械学習やディープラーニングの学習用の画像として登録する（Ｓ１４）。以降、同様の処理を繰り返す。

一方、Ｓ１２で算出された評価値が予め定められた基準を満たさない場合（Ｓ１３のＮｏ）、登録部１４は、その候補画像を、機械学習やディープラーニングの学習用の画像として登録しない。そして、以降、同様の処理を繰り返す。

「作用効果」
処理装置１０は、機械学習やディープラーニングにおける学習のために用意された候補画像（認識したい商品を含む画像）の中から、学習用の画像として好ましいもの（所定の基準を満たすもの）を選択し、選択した候補画像を学習用の画像として登録することができる。このような処理装置１０によれば、用意された候補画像の全てを学習に利用するのでなく、厳選された学習用の画像として好ましい候補画像のみを学習に利用することができる。結果、学習で得られた推定モデルの商品認識の精度が向上する。

また、処理装置１０は、候補画像の輝度、候補画像内の商品の大きさ、又は候補画像から抽出された特徴点数等に基づき、候補画像が学習用の画像として好ましいか否かを判断することができる。このような特徴的な手法で判断する処理装置１０によれば、商品の特徴部分が鮮明に写っており、学習用の画像として好ましい候補画像を、多数の候補画像の中から精度よく選択し、学習用の画像として登録することができる。

また、処理装置１０は、候補画像の中の観察対象が含まれる一部領域（対象領域）に基づき、学習用の画像として好ましいか否かを判断することができる。認識したい対象である商品が商品認識に好ましい状態で写っていればよく、その他の物体等の写りは問題にしない。しかし、候補画像の全体に基づき当該判断を行うと、対象領域の画像は学習用の画像として好ましいか、その他の領域の画像が好ましくないような場合に、その候補画像を学習用の画像として好ましくないと判断してしまう可能性がある。候補画像の中の観察対象が含まれる一部領域（対象領域）に基づき、学習用の画像として好ましいか否かを判断することで、このような不都合を軽減し、学習用の画像として好ましい候補画像を精度よく選択することができる。

＜第２の実施形態＞
図７に示すように、本実施形態の処理装置１０は、候補画像を生成するカメラ２０及び当該カメラ２０の撮影領域を照らす照明３０と有線及び／又は無線で接続し、通信可能になっている。例えば、カメラ２０は図３乃至図５に示すカメラ２であり、照明３０は図３乃至図５に示す枠４に設けられた照明である。

図８に、処理装置１０の機能ブロック図の一例を示す。本実施形態の処理装置１０は、調整部１６を有する点で、第１の実施形態と異なる。

調整部１６は、算出部１３が算出した評価値が基準を満たさない場合、撮影条件を変更する。評価値及び基準は、第１の実施形態で説明した通りである。例えば、調整部１６は、評価値が基準を満たさない場合、カメラ２０及び照明３０の少なくとも一方に制御信号を送信し、カメラ２０のパラメータ、及び照明３０の明るさの少なくとも一方を変更する。変更するカメラ２０のパラメータは、評価値に影響し得るものであり、例えば露出に影響し得るパラメータ（絞り、シャッター速度、ＩＳＯ感度等）等である。照明３０の明るさの変更は、広く知られている調光機能（ＰＷＭ調光、位相制御調光、デジタル制御調光等）で実現される。以下、調整部１６による撮影条件の調整例を示す。

「調整例１」
例えば、調整部１６は、対象領域の輝度に関する値が所定の数値範囲よりも高い（対象領域の輝度が高すぎる）場合、「照明３０を暗くする」、及び、「画像の輝度（明るさ）を低くする方向にカメラ２０のパラメータを変更する」の少なくとも一方の調整を実行する。

また、調整部１６は、対象領域の輝度に関する値が所定の数値範囲よりも低い（対象領域の輝度が低すぎる）場合、「照明３０を明るくする」、及び、「画像の輝度（明るさ）を高くする方向にカメラ２０のパラメータを変更する」の少なくとも一方の調整を実行する。

「調整例２」
その他、例えば図３乃至図５に示す例のように複数の照明３０でカメラ２０の撮影領域を照らす場合、調整部１６は、複数の照明３０を個別に制御することができる。

そして、調整部１６は、対象領域の輝度に関する値が所定の数値範囲よりも低い（対象領域の輝度が低すぎる）場合、「商品を挟んでカメラ２０と反対側に位置する照明３０を暗くする」、及び、「カメラ２０からみて商品よりも手前側に位置する照明３０を明るくする」の少なくとも一方の調整を行う。

また、調整部１６は、対象領域の輝度に関する値が所定の数値範囲よりも高い（対象領域の輝度が高すぎる）場合、「カメラ２０からみて商品よりも手前側に位置する照明３０を暗くする」調整を行う。

「調整例３」
その他、例えば図３乃至図５に示す例のように互いに異なる方向から複数のカメラ２０で商品を撮影し、取得部１１が複数のカメラ２０により生成された複数の画像を取得する場合、調整部１６は、複数のカメラ２０が生成した画像各々における画像内の商品の大きさに基づき１つのカメラ２０を選択し、選択結果に基づき、商品を照らす照明３０の明るさを調整することができる。例えば、調整部１６は、画像内の商品の大きさが最も大きい画像を生成したカメラ２０を選択する。この選択は、複数のカメラ２０の中からその商品の撮影に最も適しているカメラ２０を選択することを意味する。商品を最も大きく撮影できるカメラ２０が、その商品の撮影に最も適しているカメラ２０として選択されている。

そして、選択したカメラ２０が生成した画像において、対象領域の輝度に関する値が所定の数値範囲よりも低い（対象領域の輝度が低すぎる）場合、調整部１６は、「商品を挟んで選択したカメラ２０と反対側に位置する照明３０を暗くする」、及び、「選択したカメラ２０からみて商品よりも手前側に位置する照明３０を明るくする」の少なくとも一方の調整を行う。

また、選択したカメラ２０が生成した画像において、対象領域の輝度に関する値が所定の数値範囲よりも高い（対象領域の輝度が高すぎる）場合、調整部１６は、「選択したカメラ２０からみて商品よりも手前側に位置する照明３０を暗くする」調整を行う。

「調整例４」
その他、例えば商品陳列棚１の段毎に個別に明るさを調整可能な複数の照明３０が設置されてもよい。図９に一例を示す。図示する例では、３段の商品陳列棚１において、個別に明るさを調整可能な６個の照明９－１乃至９－６が設置されている。

調整部１６は、候補画像に含まれる商品が陳列されていた段を特定する。候補画像に含まれる商品が陳列されていた段を特定する手段は、様々である。例えば、図５に示すように商品陳列棚１を含むように時系列な複数の候補画像が生成される場合、その時系列な複数の候補画像に基づき商品の位置を追跡することで、商品がどの段から取り出されたかを特定することができる。

そして、調整部１６は、特定した段に対応する照明の明るさを調整する。調整の仕方は、上述した調整例１乃至３と同様である。当該調整例によれば、商品の近くに位置し、商品への影響が大きい照明３０のみを調整することで、不要な照明３０の調整を回避しつつ、十分な調整の効果を実現することができる。

なお、調整部１６は、予め生成された「撮影領域に存在する商品を挟んで各カメラ２０と反対側に位置する照明３０を示す情報」や、「各カメラ２０からみて撮影領域に存在する商品よりも手前側に位置する照明３０を示す情報」に基づき、各カメラ２０と各照明３０との位置関係を特定し、上記制御を行う。

次に、図１０のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、取得部１１が商品を含む候補画像を取得すると（Ｓ２０）、検出部１２は観察対象が含まれる領域である対象領域を候補画像から検出する（Ｓ２１）。観察対象は、商品、商品以外の所定の物体、又は所定のマーカである。取得部１１は、例えばカメラ２０が生成した候補画像をリアルタイム処理で取得する。

次いで、算出部１３は、Ｓ２１で検出された対象領域の画像の評価値を算出する（Ｓ２２）。観察対象が商品である場合、評価値は、対象領域の輝度に関する値、対象領域の大きさに関する値、又は対象領域から抽出された特徴点数である。観察対象が商品以外の所定の物体又は所定のマーカである場合、評価値は、対象領域の輝度に関する値又は対象領域から抽出された特徴点数である。

そして、登録部１４は、Ｓ２２で算出された評価値が予め定められた基準を満たす場合（Ｓ２３のＹｅｓ）、その候補画像を、機械学習やディープラーニングの学習用の画像として登録する（Ｓ２４）。以降、同様の処理を繰り返す。

一方、Ｓ２２で算出された評価値が予め定められた基準を満たさない場合（Ｓ２３のＮｏ）、登録部１４は、その候補画像を、機械学習やディープラーニングの学習用の画像として登録しない。この場合、調整部１６は、例えば上述した調整例１乃至４に示すように、商品を照らす照明の明るさ、及び画像を生成するカメラのパラメータの少なくとも一方を変更する（Ｓ２５）。結果、リアルタイムかつ動的に照明の明るさやカメラのパラメータが変更される。そして、以降、同様の処理を繰り返す。

本実施形態の処理装置１０のその他の構成は、第１の実施形態と同様である。

以上説明した本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、商品を照らす照明の明るさや、画像を生成するカメラのパラメータを、生成された画像に基づき、リアルタイムかつ動的に変更することができる。このため、オペレータによる面倒な調整作業なしで、効率的に、評価値が基準を満たす候補画像を生成することが可能となる。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 商品を含む画像を取得する取得手段と、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段と、
前記対象領域の画像の評価値を算出する算出手段と、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段と、
を有する処理装置。
２． 前記観察対象は、前記商品、前記商品以外の所定の物体、又は所定のマーカである１に記載の処理装置。
３． 前記観察対象が前記商品である場合、前記評価値は、前記対象領域の輝度に関する値、前記対象領域の大きさに関する値、又は前記対象領域から抽出された特徴点数であり、
前記観察対象が前記商品以外の所定の物体又は前記所定のマーカである場合、前記評価値は、前記対象領域の輝度に関する値又は前記対象領域から抽出された特徴点数である１又は２に記載の処理装置。
４． 前記評価値が基準を満たさない場合、撮影条件を変更する調整手段をさらに有する１から３のいずれかに記載の処理装置。
５． 前記調整手段は、前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさ、及び前記画像を生成するカメラのパラメータの少なくとも一方を変更する４に記載の処理装置。
６． 前記取得手段は、互いに異なる方向から前記商品を撮影する複数のカメラが生成した前記画像を取得し、
前記調整手段は、
前記複数のカメラ各々が生成した前記画像各々における前記画像内の前記商品の大きさに基づき、１つの前記カメラを選択し、
選択結果に基づき、前記商品を照らす照明の明るさを調整する５に記載の処理装置。
７． 前記調整手段は、
前記商品を挟んで前記選択したカメラと反対側に位置する照明を暗くする、及び、
前記選択したカメラからみて前記商品よりも手前側に位置する照明を明るくする、
の少なくとも一方を行う６に記載の処理装置。
８． 前記取得手段は、複数段の商品陳列棚から取り出された前記商品を含む前記画像を取得し、
前記商品陳列棚の段毎に照明が設けられており、
前記調整手段は、
前記画像に含まれる前記商品が陳列されていた段を特定し、
特定した段に対応する照明の明るさを調整する請求項５から７のいずれか１項に記載の処理装置。
９． コンピュータが、
商品を含む画像を取得し、
観察対象が含まれる領域である対象領域を前記画像から検出し、
前記対象領域の画像の評価値を算出し、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する処理方法。
１０． コンピュータを、
商品を含む画像を取得する取得手段、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段、
前記対象領域の画像の評価値を算出する算出手段、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段、
として機能させるプログラム。

Claims (9)

1. 商品を含む画像を取得する取得手段と、
   観察対象が含まれる領域である対象領域を前記画像から検出する検出手段と、
   前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出手段と、
   前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段と、
   前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整手段と、
   を有し、
   前記取得手段は、
   互いに異なる方向から前記商品を撮影する複数のカメラが生成した前記画像を取得し、
   前記調整手段は、
   前記複数のカメラ各々が生成した前記画像各々における前記画像内の前記商品の大きさに基づき、１つの前記カメラを選択し、
   選択結果に基づき、前記商品を照らす照明の明るさを調整する処理装置。
2. 前記調整手段は、
   前記商品を挟んで前記選択したカメラと反対側に位置する照明を暗くする、及び、
   前記選択したカメラからみて前記商品よりも手前側に位置する照明を明るくする、
   の少なくとも一方を行う請求項１に記載の処理装置。
3. 商品を含む画像を取得する取得手段と、
   観察対象が含まれる領域である対象領域を前記画像から検出する検出手段と、
   前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出手段と、
   前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段と、
   前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整手段と、
   を有し、
   前記取得手段は、
   複数段の商品陳列棚から取り出された前記商品を含む前記画像を取得し、
   前記商品陳列棚の段毎に照明が設けられており、
   前記調整手段は、
   前記画像に含まれる前記商品が陳列されていた段を特定し、
   特定した段に対応する照明の明るさを調整する処理装置。
4. 前記観察対象は、前記商品、前記商品以外の所定の物体、又は所定のマーカである請求項１から３のいずれか１項に記載の処理装置。
5. 前記調整手段は、前記評価値が基準を満たさない場合、前記画像を生成するカメラのパラメータをさらに変更する請求項１から４のいずれか１項に記載の処理装置。
6. コンピュータが、
   商品を含む画像を取得する取得工程と、
   観察対象が含まれる領域である対象領域を前記画像から検出する検出工程と、
   前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出工程と、
   前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録工程と、
   前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整工程と、
   を実行し、
   前記取得工程では、
   互いに異なる方向から前記商品を撮影する複数のカメラが生成した前記画像を取得し、
   前記調整工程では、
   前記複数のカメラ各々が生成した前記画像各々における前記画像内の前記商品の大きさに基づき、１つの前記カメラを選択し、
   選択結果に基づき、前記商品を照らす照明の明るさを調整する処理方法。
7. コンピュータが、
   商品を含む画像を取得する取得工程と、
   観察対象が含まれる領域である対象領域を前記画像から検出する検出工程と、
   前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出工程と、
   前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録工程と、
   前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整工程と、
   を実行し、
   前記取得工程では、
   複数段の商品陳列棚から取り出された前記商品を含む前記画像を取得し、
   前記商品陳列棚の段毎に照明が設けられており、
   前記調整工程では、
   前記画像に含まれる前記商品が陳列されていた段を特定し、
   特定した段に対応する照明の明るさを調整する処理方法。
8. コンピュータを、
   商品を含む画像を取得する取得手段、
   観察対象が含まれる領域である対象領域を前記画像から検出する検出手段、
   前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出手段、
   前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段、
   前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整手段、
   として機能させ、
   前記取得手段は、
   互いに異なる方向から前記商品を撮影する複数のカメラが生成した前記画像を取得し、
   前記調整手段は、
   前記複数のカメラ各々が生成した前記画像各々における前記画像内の前記商品の大きさに基づき、１つの前記カメラを選択し、
   選択結果に基づき、前記商品を照らす照明の明るさを調整するプログラム。
9. コンピュータを、
   商品を含む画像を取得する取得手段、
   観察対象が含まれる領域である対象領域を前記画像から検出する検出手段、
   前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出手段、
   前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段、
   前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整手段、
   として機能させ、
   前記取得手段は、
   複数段の商品陳列棚から取り出された前記商品を含む前記画像を取得し、
   前記商品陳列棚の段毎に照明が設けられており、
   前記調整手段は、
   前記画像に含まれる前記商品が陳列されていた段を特定し、
   特定した段に対応する照明の明るさを調整するプログラム。

Images