JP6864242B2 - ロボットシステム、システム、その制御方法とプログラム - Google Patents

Description

ロボットシステム、その制御方法とプログラムの技術に関する。

小売り業界では、近年の人手不足問題を解消するために、ネットワークカメラを用いた無人店舗等、人の手を介さずに商品を自動決済し購入可能な仕組みが市場にて実証されている。

特許文献１には、陳列エリアの撮影画像に基づいて商品の位置を検出し、その検出結果から商品の乱れに関する複数の評価指標を用いて今の陳列状態を評価する技術が開示されている。

特開２０１６−２０７１６４号公報

特許文献１の技術では、陳列状態を店舗スタッフに提示することはできても、別の仕事で手は離せずに直ぐに対応できない場合には、結果的に販売機会損失を招いてしまう。

本発明は、販売機会損失を招いてしまうような陳列状態にいち早く対応することが可能な仕組みを提供することを目的とする。

本発明は、商品を保持可能なロボットアームを備えるロボットシステムであって、陳列された商品を撮影する撮影手段と、前記撮影した商品の陳列状態に乱れがあるか否かを判定する乱れ判定手段と、前記陳列された商品の３次元空間の位置又は形状を認識する認識手段と、前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、前記乱れ判定手段で陳列状態に乱れがあると判定され、かつ、前記判定手段で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の乱れが改善するように並べ替える並替手段と、を備えることを特徴とする。

本発明は、商品を保持可能なロボットアームを備えるロボットシステムであって、陳列された商品を撮影する撮影手段と、前記撮影した商品の陳列状態に死角があるか否かを判定する死角判定手段と、前記陳列された商品の３次元空間の位置又は形状を認識する認識手段と、前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、前記死角判定手段で陳列状態に死角があると判定され、かつ、前記判定手段で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の死角が減るように並べ替える並替手段と、を備えることを特徴とする。

本発明により、販売機会損失を招いてしまうような陳列状態にいち早く対応する仕組みを提供することが可能となる。

本発明の、陳列状態の乱れを確認する場合の循環ロボットと商品棚との相対的な位置関係を示す図である。 本発明の循環ロボットが商品棚に対面する方向から見た正面図である。 本発明の循環ロボットが店内を循環して、乱れた陳列を並び替える店舗内マップを示した図である。 本発明の循環ロボットが店内を循環して、乱れ判定を行うために撮影した画像の中で、奇麗な一例を示した図である。 本発明の循環ロボット３００が店内を循環して、乱れ判定を行うために撮影した画像の中で、乱れていると判定される一例を示した図である。 本発明で、ロボットアームで乱れた陳列を並び替え出来ないと判定された場合に、店舗スタッフに支援を通知する電子棚札の一例を示した図である。 本発明の循環ロボットが店舗内を循環する場合に行う各処理の順序を示すフローチャートを示す図である。 本発明の循環ロボットが行う撮影を行う処理の順序を示すフローチャートを示す図である。 本発明の循環ロボットが行う乱れ判定処理の順序を示すフローチャートを示す図である。 本発明の循環ロボットが行う並べ替え判定処理の順序を示すフローチャートを示す図である。 本発明のロボットシステムが行う陳列支援の通知処理の順序を示すフローチャートを示す図である。 本発明のロボットシステムが行う対応完了時の通知処理の順序を示すフローチャートを示す図である。 本発明のロボットシステムのシステム構成図を示す図である。 本発明のロボットシステムで用いるデータテーブル構造を示す図である。 本発明のロボットシステムで用いる情報処理装置のハードウエア構成図を示す図である。 本発明のロボットシステムで用いる情報処理装置の機能ブロック図を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１を説明する。

図１は、本発明において、店舗内を自動走行で循環し、ある商品棚において陳列状態の乱れを発見した場合に、ロボットアームを使ってその陳列状態の乱れが減るように、商品の陳列を並び替える循環ロボットで３００である。

この循環ロボットで３００は、商品棚３１１を撮影するカメラ３０２、商品の陳列を並び替えるロボットアーム３０５、陳列された商品をつかんで保持し持ち上げるエンドエフェクタ３０７、陳列された商品の３次元空間の位置を認識するステレオカメラ３０６、ロボットアーム３０５一式を固定する台座３０８、カメラ３０２を固定位置に設置するための柱３０３、カメラ３０２一式やロボットアーム３０５一式を自動走行で移動させられる荷台３０９、カメラ３０２が撮影する方向を自在に変えるパン部３０１（左右方向）及びチルト部３０１（上下方向）、荷台３０９を、店舗内で自動走行させる車輪３１０、ロボットアーム３０５の各軸を回動させる回動部３０４を備えている。

更にカメラ３０２が固定されている位置は店舗に来客する顧客の目線の高さに合うように、平均的な日本人男性の身長と同じ１７０ｃｍから小さめの日本人女性の身長と同じ１５０ｃｍの間が好ましく、本実施例ではその中間の１６０ｃｍ程度の高さに設置されている。これは、来店した顧客の目線方向からでどのように陳列状態がみえるのかをリアルに再現するために、カメラ３０２の固定高さ（１６０ｃｍ）と、循環ロボットで３００が走行する場合のカメラ３０２と商品棚３１１との間隔（５０ｃｍ〜１００ｃｍ）が、買い物中に店内を見て回る顧客の目線の位置と同じになるルートを循環ロボットで３００が自動走行するように、予め自動走行のルートが設定されている。

なお、更にカメラ３０２が固定されている位置は店舗に来客する顧客の年齢層や国籍に応じた平均身長に従って、１００ｃｍ〜１２０ｃｍ等適宜最適な高さを設定可能なものとする。

この循環ロボット３００は、商品棚３１１を撮影するカメラ３０２が商品棚３１１の正面を向きながら、商品棚３１１の正面と交錯しない方向に自動走行する。

図１では、この循環ロボット３００を交錯しない方向側から見た図を示しており、商品棚３１１をその側面側から見た図を示している。

図１では、商品棚３１１の棚数は４段で、上の棚から順に商品３１２（Ａメーカー製）、商品３１３（Ｂメーカー製）、商品３１４（Ｃメーカー製）がそれぞれメーカー製別に分けて陳列されている状態を表している。

更に、下段に置かれた商品３１４（Ｄメーカー製）は棚の後方側に置かれているため、、商品棚３１１を撮影するカメラ３０２の高さからも見えづらく、顧客目線から死角の位置に置かれている陳列状態を表している。

図１は、循環ロボット３００を商品棚３１１の配列とほぼ平行である自動走行する方向から見た側面図である。

図２を説明する。

図１は、本発明の循環ロボット３００を商品棚３１１に対面する方向から見た正面図である。

商品棚３１１を1枚で撮影するカメラ３０２の撮影範囲（視野角）は、パン部３０１のパン角を数ステップ変えることで、商品棚３１１の左右方向を自在に撮影することが可能で、チルト部３０１のチルト角を変えることで、商品棚３１１の上下方向も撮影することが可能になる。

また商品棚３１１を1枚で撮影するカメラ３０２の撮影範囲（視野角）は、顧客視線を適切に再現するように人間の目の平均的な視野角（約９０°から約１２０°程度）と、ほぼ同じように設定されている。また商品棚３１１を1枚で撮影するカメラ３０２のズーム値（画角）も、カメラ３０２と商品棚３１１との相対的な距離から、顧客視線を適切に再現するように人間の目の平均的な距離感とほぼ同じようなズーム値に設定されている。

更に、ルート上の商品棚３１１前の、ある箇所で循環ロボット３００が停止する場合、パン角を変えて複数方向の画像を撮影し、チルト角を変えて複数方向のカメラ画像５００を撮影する。

得られた１方向の商品の陳列状態を撮影したカメラ画像から、撮影した商品の陳列状態に乱れがあるか否かを判定して、その結果で（１）乱れがあるか否かを示すフラグ情報、（２）死角があるか否かを示すフラグ情報、更に、（３）ＧＰＳを用いて、ルート上の商品棚３１１前の、その箇所の正確な位置を示す情報、（４）パン角とチルト角を用いた、その箇所の向きや商品棚の段数を算出するための高さを示す情報、（５）撮影した日時や、乱れがあるか否を確認した発生時刻の５つを、撮影した画像１枚のカメラ画像ＩＤに一意に関連付けて、ＥＸＩＦ情報などに追加して記録保存する。

ステレオカメラ３０６の撮影範囲は、回動部３０４のΘ角を数ステップ変えることで、商品棚３１１の左右方向を撮影することが可能で、回動部３０４のΘ角を変えることで、商品棚３１１の上下方向を撮影することも可能になる。さらにロボットアーム３０５がＸＹＺ座標を自在に変えることで、撮影する位置も自在に変えて撮影することが可能とする。

このように、ルート上の商品棚３１１前の、ある箇所で循環ロボット３００が停止する場合には、回動部３０４のΘ角やロボットアーム３０５のＸＹＺ座標を自在に変えることで、異なる複数方向からステレオ画像（図示しない）を撮影するので、陳列された商品の３次元空間の位置を、より正確に認識することが可能となる。

得られた複数方向から商品の３次元空間の位置を認識できるステレオ画像から、陳列状態を撮影したカメラ画像で判定した乱れがなくなるように、ロボットアーム３０５でも並べ替えが可能な、３次元空間である否かを判定して、その結果で、（６）ロボットアーム３０５でも並べ替えが可能か否かを示すフラグ情報を、（１）乱れがあるか否かを示すフラグ情報を持つ画像１枚のカメラ画像ＩＤに一意に関連付けて、ＥＸＩＦ情報などに追加して記録保存する。

ロボットアーム３０５の駆動範囲は、各段の棚で、乱れた陳列状態や死角になった陳列状態を改善するように、棚の中で分散して置かれている商品を、棚の前方に寄せる。棚の中で倒れている商品を正しく立てる。棚の中で、顧客の目線に対して正面を向いていない商品を正しい向きにする。棚の後方側に置かれている商品３１４（Ｄメーカー製）を、棚の前方に寄せる等、陳列が奇麗な並び方になるように、各商品を動かして陳列状態を並び替える動作を行う。

既に陳列されている商品群は、賞味期限や消費期限が近いものであり、できるだけ棚の前方に寄せて、顧客の目に止まる状態にして、顧客目線で見つけてもらう必要がある。

更に、既に陳列されている商品群は、賞味期限や消費期限が近いものであり、できるだけ棚の前方に寄せることで、その後の商品の追加補充の場合に、スペースの確保が完了しており、店舗スタッフ又は循環ロボット３００による、商品の追加補充の作業も容易になる。尚、ロボットアーム３０５で各商品を動かして陳列状態を並び替える動作を行う際に、各商品に記載された賞味期限や消費期限を読み取って、賞味期限や消費期限の順に棚の前方や一箇所（中央や棚のコーナー部分）に寄せてもよい。

図３を説明する。

図３は循環ロボット３００が店内を循環して、乱れた陳列を並び替える店舗内マップ４００を示した図である。この例ではコンビニエンスストアの店内レイアウトを示している。また店舗内端末１０２で、店内レイアウトが表示される場合にもこのような店舗内マップ４００がＵＩで表示され、店内で、現在の循環ロボット３００が走行している位置や、商品棚で陳列が乱れていることを点灯いる電子棚札の位置や、が店舗内マップ４００のＵＩで表示される。

図３での→は循環ロボットが店内を循環する走行ルートである。この循環ロボットの循環は、営業時間内に行い、陳列が乱れている商品棚の商品を見つけて、ロボットアームで出来るだけ早く正しい状態に戻している。

図４を説明する。

図４は循環ロボット３００が店内を循環して、乱れ判定を行うために撮影した画像の中で、奇麗であると判定されるケースのカメラ画像５００の一例を示した図である。

各商品棚で、商品毎に１つの電子棚札が設置されている。例えば、牛乳である商品３１３（Ｃメーカー製）は、賞味期限日が近い（古い）ものが棚の前方に寄せられ、賞味期限日順に棚の後ろの方まで奇麗に並べられている。開店時又は品出し直後の陳列状態はこのように店舗スタッフによって奇麗な状態である。

図５を説明する。

図５は循環ロボット３００が店内を循環して、乱れ判定を行うために撮影した画像の中で、陳列状態が開店時又は品出し直後と比べて乱れている又は、顧客目線からみて死角の位置に置かれた商品があると判定されるケースのカメラ画像６００の一例を示した図である。

夕方や特売セール後の陳列状態はこのように、棚の後ろの方に商品３１４が偏ったり、商品３１４の向きがおかしくなったり、商品３１４が倒れたりする。その結果、前方の方の賞味期限日が近い（古い）もの、陳列状態の悪い商品３１４だけが売れ残ったりすることになる。このように陳列状態が乱れると、顧客が手に取って商品購入を検討するチャンスが減ってしまう可能性が増え、特売セール品や牛乳やケーキのような賞味期限が数日しかないものは、できるだけ開店時又は品出し直後の陳列状態に戻して、顧客目線からの陳列状況を回復させることが大事である。

図６を説明する。

図６は電子棚札７００を示している。７０１に商品棚３１１に置かれた商品名や特徴、産地、価格、デザイン等が毎日切り替わって表示される。７０２は支援通知表示指示を受信した場合に、点灯する支援通知ランプである。又、支援通知ランプ７０２が店舗スタッフに押されると消灯する。７０３は正解ボタンであり店舗スタッフが押すことができる。７０４は不正解ボタンであり店舗スタッフが押すことができる。

次に図７〜図１２のフローチャートを用いて、本実施形態において、ロボットシステムが実行する処理について説明する
図７を説明する。

図７は、ロボットシステムが実行する全体処理の一例を示すフローチャートである。各処理ステップは、循環ロボット３００のＣＰＵ２０１にて実行される。

ステップＳ１０１では、店舗内を自動走行で循環する自律移動ルートと、ＧＰＳを用いた循環ロボット３００の現在位置を比べて、自律移動ルートの自動走行が終了したか否かを判断する。終了した（ＹＥＳ）の場合には全体処理を終了する。終了しない（ＮＯ）の場合には、Ｓ１０２に進んで商品棚の前で商品の陳列状況を確認するための撮影を行う処理を行う。

ステップＳ１０３では、商品棚の前で商品の陳列状況を確認するカメラ画像から、陳列状態に乱れや死角があるかを判定する処理を行う。

ステップＳ１０４では、陳列状態に乱れや死角がある商品の３次元空間の位置を認識できるステレオ画像から、乱れや死角がある商品に対して、ロボットアームによる並び替えが可能であるかを判定する処理を行う。

ステップＳ１０５では、乱れや死角がある商品に対して、店舗スタッフに並び替えの支援を通知する処理を行う。

図８を説明する。

図８は、ロボットシステムが実行する撮影を行う処理の一例を示すサブフローチャートである。各処理ステップは、循環ロボット３００のＣＰＵ２０１にて実行される。

ステップＳ２０１では、予め登録されている店舗内を自動走行で循環する自律移動ルート上を自律走行し、店舗内の商品棚３１１の前方（図３の→に示した通路）への移動をスタートする。

ステップＳ２０２では、現在の走行位置が商品の陳列状況を確認するべき商品棚３１１の前方であるかを判断する。確認するべき商品棚３１１の前方である（ＹＥＳ）の場合、ステップＳ２０３に進む。確認するべき商品棚３１１の前方でない（ＮＯ）の場合、ステップＳ２０１に戻る。

ステップＳ２０３では、確認するべき商品棚３１１の前方で移動を一旦停止する。この停止位置は、確認するべき商品棚３１１の幅方向に対して中心の位置であることが望ましいが、店舗内で確認するべき商品棚３１１の陳列状態が確認できる停止位置であればよい。

ステップＳ２０４では、商品棚３１１を撮影するカメラ３０２の撮影範囲を変えて、複数方向（例えば左中右で３方向×上中下で３方向の９方向）のカメラ画像５００を撮影して、撮影したカメラ画像を循環ロボット３００の画像記録部２１１に記録する。

この時に、カメラ画像には画像ＩＤが付与され、（３）ＧＰＳを用いて、ルート上の商品棚３１１前の、その箇所の正確な位置を示す情報、（４）パン角とチルト角を用いた、その箇所の向きや商品棚の段数を算出するための高さを示す情報、（５）撮影した日時や、乱れがあるか否を確認した発生時刻がＥＸＩＦ情報などに追加して記録保存される。

（３）の情報から店舗内での商品棚３１１の前方位置を特定可能であり、（４）の情報から棚の段数を特定可能であり、（５）の情報から陳列状態を確認した時刻が特定可能である。

ステップＳ２０５では、決められたすべての方向を撮影したかを判断する。撮影終了（ＹＥＳ）の場合、撮影を行う処理を終了する。撮影終了でない（ＮＯ）の場合、ステップＳ２０４に戻る。

図９を説明する。

図９は、ロボットシステムが実行する乱れ判定を行う処理の一例を示すサブフローチャートである。各処理ステップは、循環ロボット３００のＣＰＵ２０１にて実行される。

ステップＳ３０１では、この停止位置で、ステップＳ２０４で撮影された、ある１つの方向のカメラ画像５００を１枚読み出す。

ステップＳ３０２では、読み出したカメラ画像５００を解析して、その入力情報として、商品３１３の特徴量（商品矩形の検出、商品種別の特定、背景種別の特定、商品間どうしの相対距離、商品間どうしの相対的な色味、商品種別どうしの差異）を抽出して、予め奇麗な陳列状態を学習した学習済みモデルを用いて、出力情報として、商品の陳列状態に乱れがあるか否かを判定する。

更に、読み出したカメラ画像５００を解析して、その入力情報として、商品３１３の特徴量（商品矩形の検出、商品種別の特定、背景種別の特定、商品間どうしの相対距離、商品間どうしの相対的な色味、商品種別どうしの差異）を抽出して、予め死角がない陳列状態（商品が棚の前方に置かれている）を学習した学習済みモデルを用いて、出力情報として、商品の陳列状態に死角があるか否かを判定する。

出力情報として、商品の陳列状態に乱れがある場合、又は商品の陳列状態に死角がある場合（両方該当又は１つ該当）は、Ｓ３０３に進む。商品の陳列状態に乱れがない場合、又は商品の陳列状態に死角がない場合（両方該当せず）は、Ｓ３０４に進む。

ステップＳ３０３では、読み出したカメラ画像には画像ＩＤに、（１）乱れがある陳列状態を示すフラグ情報、（２）死角がある陳列状態を示すフラグ情報、がＥＸＩＦ情報などに追加して記録保存される。

ステップＳ３０４では、読み出したカメラ画像には画像ＩＤに、（１）乱れがない奇麗な陳列状態を示すフラグ情報、（２）死角がない正しい陳列状態を示すフラグ情報、がＥＸＩＦ情報などに追加して記録保存される。

次に丸１に戻って、この停止位置で、ステップＳ２０４で撮影された、別方向のカメラ画像５００を１枚読み出す。このループを複数方向のカメラ画像５００で繰り返す。

図１０を説明する。

図１０は、ロボットシステムが実行する並び替え判定を行う処理の一例を示すサブフローチャートである。各処理ステップは、循環ロボット３００のＣＰＵ２０１にて実行される。

ステップＳ４０１では、この停止位置で、ステップＳ３０３で（１）乱れがある陳列状態を示すフラグ情報、（２）死角がある陳列状態を示すフラグ情報、がＥＸＩＦ情報などに追加して記録保存された、カメラ画像５００を１枚読み出す。

ステップＳ４０２では、ステップＳ２０４で書きまれたこの画像IDの（３）及び（４）の情報から、循環ロボットの停止位置に対する陳列に問題がある商品棚の詳細箇所（何段目か、ロボットアームからの方位を示す）の位置を取得する。

ステップＳ４０３では、取得した陳列が乱れている商品棚の詳細箇所を、ステレオカメラ３０６で複数方向から撮影する。

ステップＳ４０４では、複数方向のステレオ画像（図示しない）から、乱れがある陳列状態の商品群の３次元空間の位置、又は、死角がある陳列状態の商品群の３次元空間の位置を認識して、ロボットアームで、乱れがある陳列状態の商品群の３次元空間の位置、又は、死角がある陳列状態の商品群の３次元空間の位置を並べ替え可能か否かを判定する。例えば、認識した陳列状態の商品群の３次元空間の位置が、ロボットアームでは届かない位置や形状である場合、ロボットアームでは保持出来ない位置や形状である場合、ロボットアームが衝突する位置や形状である場合、に並べ替えできないと判定する。

並べ替え可能（YES）と判定した場合はＳ４０５に進む。並べ替えが不可能（NO）と判定した場合は、Ｓ４０７に進む。

ステップＳ４０５では、ステップＳ４０１で読み出した画像ＩＤに、（６）ロボットアーム３０５でも並べ替えが可能を示すフラグ情報がＥＸＩＦ情報などに追加して記録保存される。

ステップＳ４０６では、循環ロボット３００が、認識した陳列状態の商品群の３次元空間の位置に従って、ロボットアーム３０５を使って、陳列状態が問題となっている対象の商品３１４を１つずつピッキングし、棚の前方側等の異なる場所に移動させることで、陳列状態の乱れや死角が減るように動作する。

このように、陳列状態に乱れがある商品を、ロボットアーム３０５を用いて陳列状態の乱れがなくなるように並べ替えるので、販売機会損失を招いてしまうような陳列状態にいち早く対応することができる。

ステップＳ４０７では、ステップＳ４０１で読み出した画像ＩＤに、（６）ロボットアーム３０５でも並べ替え不可能を示すフラグ情報がＥＸＩＦ情報などに追加して記録保存される。

次に丸２に戻って、この停止位置で、ステップＳ３０３で（１）乱れがある陳列状態を示すフラグ情報、（２）死角がある陳列状態を示すフラグ情報、がＥＸＩＦ情報などに追加して記録保存された、別のカメラ画像５００を１枚読み出す。このループを（１）、（２）のフラグが付与されているカメラ画像５００で繰り返す。

図１１を説明する。

図１１は、ロボットシステムが実行する陳列支援の通知を行う処理の一例を示すサブフローチャートである。各処理ステップは、循環ロボット３００、店舗内コントローラ１００、店舗内端末１０２、電子棚札７００のＣＰＵ２０１にて実行される。

ステップＳ５０１で循環ロボット３００は、この停止位置で、ステップＳ４０７で画像ＩＤに、（６）ロボットアーム３０５でも並べ替え不可能を示すフラグ情報がＥＸＩＦ情報などに追加して記録保存された、カメラ画像５００を１枚読み出す。

ステップＳ５０２で循環ロボット３００は、ステップＳ２０４でＥＸＩＦ情報に書きまれたこの画像ＩＤの（３）及び（４）の情報から、循環ロボットの停止位置に対する陳列に問題がある商品棚の詳細箇所（何段目か）の位置を取得する。

ステップＳ５０３で循環ロボット３００は、取得した陳列に問題がある商品棚の詳細箇所（何段目か）の位置を、店舗内コントローラ１００に送信する。

店舗内コントローラ１００は送信された陳列に問題がある商品棚の詳細箇所（何段目か）の位置を、電子棚札対応テーブルと照合して、照合された電子棚札７００のＩＤにだけ支援通知表示指示を送る。

支援通知表示指示を受信した電子棚札７００は、支援通知ランプ７０２を点灯させる。これによって店舗スタッフが、ロボットでは並び替えができず、陳列に問題がある商品棚の場所を視覚的に早く見つけ出すことができる。なお、電子棚札７００を別の色（赤）なので変色させたり、店舗スタッフが確認したすい支援マークを表示させたり、店舗スタッフが陳列に問題がある商品棚の場所を視覚的に早く見つけ出すことができる様態であればよい。又、電子棚札７００を導入できない店舗の場合には、陳列に問題がある商品棚の場所毎に設けた、支援通知表示指示を受信した無線通信可能なパトライト（登録商標）等の表示灯を点灯させても、同様の効果がある。

更に、店舗内コントローラ１００は送信された陳列に問題がある商品棚の詳細箇所（何段目か）の位置を、電子棚札対応テーブルと照合して、照合された電子棚札７００の場所を店舗内マップ４００で認識可能な支援通知表示指示を店舗内端末１０２に送る。

支援通知表示指示を受信した店舗内端末１０２は、店舗内端末で表示可能な、図３に示した様な表示内容の店舗内マップ画面内で照合された電子棚札７００の箇所や、対象となる電子棚札７００のＩＤにだけ支援通知マークを識別表示させる。これによって店舗スタッフが、ロボットでは並び替えができず、陳列に問題がある商品棚が発生したことを、視覚的に早く見つけ出すことができる。

図１２を説明する。

図１２は、ロボットシステムが実行する対応完了時の通知を行う処理の一例を示すサブフローチャートである。各処理ステップは、店舗内コントローラ１００、電子棚札７００のＣＰＵ２０１にて実行される。

ステップＳ６０１で電子棚札７００は、図６に示した電子棚札７００内の支援通知ランプ７０２の消灯指示を受け付けたか否かを判断する。受けつけた場合（ＹＥＳ）はＳ６０２に進み。受けつけない（ＮＯ）の場合、Ｓ６０１の状態に戻る。受け付けたか否かの判断は、電子棚札７００内の支援通知ランプ７０２の点灯後に、陳列の乱れを直した店舗スタッフがその支援通知ランプ７０２を押下し、消灯させたことで判断させている。

ステップＳ６０２で電子棚札７００は、電子棚札７００内の支援通知ランプ７０２を消灯する。さらに店舗内コントローラ１００には、陳列の乱れを直した店舗スタッフが、その支援通知ランプ７０２を押下し、対応完了したことを販促データとして登録するべく、対応完了登録要求を送信する。その後、店舗内コントローラ１００はこの時陳列の乱れを店舗スタッフが直した時間を登録するために、ここで受け付けた時間を対応完了時間として、改善テーブルに新規登録する。更に既に登録した発生時間と対応完了時間との差分から店舗スタッフが陳列の乱れを直すまで、どの程度時間が経過したかを算出して、改善テーブルに登録する。

ステップＳ７０１で電子棚札７００は、図６に示した電子棚札７００内の正解ボタン７０３の登録指示を受け付けたか否かを判断する。受けつけた場合（ＹＥＳ）はＳ７０２に進み。受けつけない（ＮＯ）の場合、Ｓ７０１の状態に戻る。受け付けたか否かの判断は、陳列の乱れを目視で確認した店舗スタッフが、循環ロボット３００による乱れ判定処理等の結果は正しかったので、その正解ボタン７０３を押下したことで判断させている。

ステップＳ７０２で電子棚札７００は、店舗内コントローラ１００に、陳列の乱れを直した店舗スタッフがその正解ボタン７０３を押下し、目視確認したことを教師データとして登録するべく教師データ登録要求を送信する。その後、店舗内コントローラ１００は、ステップＳ５０１で一度読み出されたカメラ画像ＩＤを、再び読み出して、そのカメラ画像ＩＤのＥＸＩＦ情報に（７）正解フラグを対応付けて登録するように指示する。

ステップＳ８０１で電子棚札７００は、図６に示した電子棚札７００内の間違いボタン７０４の登録指示を受け付けたか否かを判断する。受けつけた場合（ＹＥＳ）はＳ８０２に進み。受けつけない（ＮＯ）の場合、Ｓ８０１の状態に戻る。受け付けたか否かの判断は、陳列の乱れを目視確認した店舗スタッフが、循環ロボット３００による乱れ判定処理等の結果は間違っていたのでその間違いボタン７０４を押下したことで判断してもよい。

ステップＳ７０２で電子棚札７００は、店舗内コントローラ１００には、陳列の乱れを直した店舗スタッフがその間違いボタン７０４を押下し、目視確認したことを教師データとして登録するべく、教師データ登録要求を送信する。その後、店舗内コントローラ１００は、ステップＳ５０１で一度読み出したカメラ画像ＩＤを、再び読み出して、そのカメラ画像ＩＤのＥＸＩＦ情報に（８）間違いフラグを対応付けて登録するように指示する。

図１３を説明する。

図１３は、本発明のロボットシステムの構成の一例を示すシステム構成図である。

ロボットシステムは、循環ロボット３００、店舗内コントローラ１００、複数の店舗内端末１０２、複数の電子棚札７００、データ管理クラウド２００、無線通信ルータ１０１、がインターネット回線やＬＡＮを介して接続される構成となっている。

又、循環ロボット３００、店舗内コントローラ１００、複数の店舗内端末１０２、複数の電子棚札７００、無線通信ルータ１０１、は店舗内に配置されている。

データ管理クラウド２００は、循環ロボット３００で撮影されたカメラ画像５００やその中のＥＸＩＦ情報、循環ロボット３００にインストールされた学習済みモデル、店舗内コントローラ１００が記憶する電子棚札対応テーブル、改善テーブルをバックアップ用としても保存する。適宜、新しい教師画像で追加学習された最新の学習済みモデルを循環ロボット３００にインストールさせる。またデータ管理クラウド２００は、多数の店舗から、新しい教師画像を収集して、乱れ判定、死角判定、並び替え可能判定の判定精度を日々向上させている。

データ管理クラウド２００は、商品が陳列された大量の教師画像（学習用データセット）から、画像特徴量（商品矩形の検出、商品種別の特定、棚や背景等の種別の特定、商品間どうしの相対距離、商品間どうしの相対的な色味、商品種別どうしの差異、棚や背景等どうしの相対距離、棚や背景等間どうしの相対的な色味、棚や背景等種別どうしの差異、）を抽出して、予め乱れがない陳列状態（商品が開店当初のように置かれている等）、予め死角がない陳列状態（商品が棚の前方に置かれている等）を学習した学習済みモデルを作成し、循環ロボット３００に、最新の学習済みモデルを定期的に送信する。

データ管理クラウド２００は、循環ロボット３００から受信したカメラ画像５００や、店舗内コントローラ１００から受信した電子棚札対応テーブル、改善テーブルを保存する。

循環ロボット３００は無線通信（Ｗｉ−Ｆｉ）で、店舗内コントローラ１００やデータ管理クラウド２００と常時通接続している。

店舗内コントローラ１００も無線通信（Ｗｉ−Ｆｉ）で、店舗内の多数の電子棚札７００や多数の店舗スタッフが携帯する店舗内端末１０２と常時通接続している。

図１４を説明する。
次に図１４のデータ構成図を用いて、本実施形態においてロボットシステムが使用する電子棚札対応テーブル、改善テーブルの一例について説明する。

電子棚札対応テーブルは、電子棚札のIDと電子棚札の位置や高さを関連づけるマスタテーブルである。

電子棚札のIDは、電子棚札の固有の番号で、カメラ画像６００のEXIF情報から読み出した位置や高さに一意に関連する電子棚札のIDの特定がなされる。

商品棚番号は、商品棚の固有の名前で、どの商品が置かれた商品棚かの特定がなされある。

段数は、電子棚札の固有の段数で、カメラ画像６００のEXIF情報から読み出した位置や高さに一意に関連する電子棚札のIDの特定がなされる。

地上高さは、電子棚札の固有の高さで、段数と同じく、カメラ画像６００のEXIF情報から読み出した位置や高さに一意に関連する電子棚札のIDの特定がなされる。

経度情報と、緯度情報は、電子棚札の固有の位置であり、カメラ画像６００のEXIF情報から読み出した位置や高さに一意に関連する電子棚札のIDの特定がなされる。

改善テーブルは、電子棚札のIDと乱れや死角の発生や対応完了を関連づけるマスタテーブルである。

発生時刻は、循環ロボットが乱れや死角の発生を確認した時間である。

対応完了時刻は、循環ロボット又は店舗スタッフが奇麗に並べる対応を完了した時間である。

経過時間は、乱れや死角の発生確認から、循環ロボット又は店舗スタッフが奇麗に並べる対応を完了した時間までの経過時間である。

また画像ID毎のEXIF情報は以下のようなフラグや位置情報、日時が上書きされる。

（１）乱れがある、或いは、乱れがないの何れか一方を示すフラグ。

（２）死角がある、或いは、死角がないの何れか一方を示すフラグ。

（３）ＧＰＳを用いて、ルート上の商品棚３１１の前の、その箇所の正確な位置を示す情報。（４）パン角とチルト角を用いた、その箇所の向きや商品棚の段数を算出するための高さを示す情報。

（５）商品を撮影した日時や、乱れや死角があるか否を、循環ロボットが確認した発生時刻。

（６）ロボットアーム３０５でも並べ替え可能、或いは、不可能の何れか一方を示すフラグ。

（７）正解を示すフラグ。

（８）間違いを示すフラグ。

図１５は、本発明の実施形態における循環ロボット３００、店舗内コントローラ１００、複数の店舗内端末１０２、複数の電子棚札７００、データ管理クラウド２００、無線通信ルータ１０１適用可能な情報処理装置のハードウェア構成を示すブロック図である。各装置ともに、同様な構成を備えるため、同一の符号を用いて説明する。

循環ロボット３００、店舗内コントローラ１００、複数の店舗内端末１０２、複数の電子棚札７００、データ管理クラウド２００、無線通信ルータ１０１は、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８等が接続された構成を採る。ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２あるいは外部メモリ２１１（外部メモリ）には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、各サーバあるいは各ＰＣが実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。また、本発明を実施するために必要な情報が記憶されている。なお外部メモリはデータベースであってもよい。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

入力コントローラ２０５は、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。また、入力コントローラ２０５は、カメラデバイス２１３からのカメラ画像入力も制御する。受講者用ＰＣ１４１にはカメラデバイスとしてＷｅｂカメラ等が装備され、顔認証に使用するカメラ画像を撮影するが、顔認証用に別途カメラデバイスを用意してもよい。

ビデオコントローラ２０６は、ディスプレイ２１０等の表示器への表示を制御する。尚、表示器は液晶ディスプレイ等の表示器でもよい。これらは、必要に応じて管理者が使用する。

メモリコントローラ２０７は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、あるいは、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）カードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ２０８は、ネットワークを介して外部機器と接続・通信し、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を用いた通信等が可能である。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上に表示することが可能である。また、ＣＰＵ２０１は、ディスプレイ２１０上のマウスカーソル（図示しない）等によるユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。

以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明におけるプログラムは、各図に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は各図の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは各図の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 店舗内コントローラ
１０２ 店舗内端末
２００ データ管理クラウド
３００ 循環ロボット
３１１ 商品棚
３１２〜３１４ 商品
３０２ カメラ
３０５ ロボットアーム
３０６ ステレオカメラ
４００ 店舗内マップ
５００ カメラ画像
６００ カメラ画像
７００ 電子棚札

Claims (22)

1. 商品を保持可能なロボットアームを備えるロボットシステムであって、
   陳列された商品を撮影する撮影手段と、
   前記撮影した商品の陳列状態に乱れがあるか否かを判定する乱れ判定手段と、
   前記陳列された商品の３次元空間の位置又は形状を認識する認識手段と、
   前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
   前記乱れ判定手段で陳列状態に乱れがあると判定され、かつ、前記判定手段で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の乱れが改善するように並べ替える並替手段と、
   を備えることを特徴とするロボットシステム。
2. 前記ロボットアームに固定された第２の撮影手段と、
   前記第２の撮影手段で撮影された前記陳列された商品の画像に従って、前記認識手段が前記陳列された商品の３次元空間の位置又は形状を認識することを特徴とする請求項１に記載のロボットシステム。
3. 前記撮影した商品及び乱れがない陳列状態の商品の画像特徴量に従って、前記乱れ判定手段が前記撮影した商品の陳列状態に乱れがある否かを判定することを特徴とする請求項１又は請求項２に記載のロボットシステム。
4. 商品を保持可能なロボットアームを備えるロボットを制御するシステムであって、
   陳列された商品の画像を読み出す第１の読出手段と、
   前記読み出した商品の画像の陳列状態に乱れがあるか否かを判定する乱れ判定手段と、
   前記陳列された商品の３次元空間の位置又は形状を認識する画像を読み出す第２の読出手段と、
   前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
   前記乱れ判定手段で陳列状態に乱れがあると判定され、かつ、前記判定手段で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の乱れが改善するように前記ロボットに動作させる制御手段と、
   を備えることを特徴とするシステム。
5. 前記３次元空間の位置又は形状を認識する画像が前記ロボットアームに固定されたステレオカメラを用いて撮影された画像であることを特徴とする請求項４に記載のシステム。
6. 前記第１の読出手段で読み出した商品の画像及び乱れがない陳列状態の商品の画像特徴量に従って、前記乱れ判定手段が前記第１の読出手段で読み出した商品の画像の陳列状態に乱れがある否かを判定することを特徴とする請求項４又は請求項５に記載のロボットシステム。
7. 商品を保持可能なロボットアームを備えるロボットシステムであって、
   陳列された商品を撮影する撮影手段と、
   前記撮影した商品の陳列状態に乱れがあるか否かを判定する乱れ判定手段と、
   前記陳列された商品の３次元空間の位置又は形状を認識する認識手段と、
   前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
   前記乱れ判定手段で陳列状態に乱れがあると判定され、かつ、前記判定手段で保持可能でないと判定された場合に、前記陳列状態に乱れがある旨を通知する通知手段と、
   を備えることを特徴とするロボットシステム。
8. 商品を保持可能なロボットアームを備えるロボットシステムであって、
   陳列された商品を撮影する撮影手段と、
   前記撮影した商品の陳列状態に死角があるか否かを判定する死角判定手段と、
   前記陳列された商品の３次元空間の位置又は形状を認識する認識手段と、
   前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
   前記死角判定手段で陳列状態に死角があると判定され、かつ、前記判定手段で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の死角が減るように並べ替える並替手段と、
   を備えることを特徴とするロボットシステム。
9. 商品を保持可能なロボットアームを備えるロボットを制御するシステムであって、
   陳列された商品の画像を読み出す第１の読出手段と、
   前記読み出した商品の画像の陳列状態に死角があるか否かを判定する死角判定手段と、
   前記陳列された商品の３次元空間の位置又は形状を認識する画像を読み出す第２の読出手段と、
   前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
   前記死角判定手段で陳列状態に死角があると判定され、かつ、前記判定手段で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の死角が減るように前記ロボットに動作させる制御手段と、
   を備えることを特徴とするシステム。
10. 商品を保持可能なロボットアームを備えるロボットシステムであって、
    陳列された商品を撮影する撮影手段と、
    前記撮影した商品の陳列状態に死角があるか否かを判定する死角判定手段と、
    前記陳列された商品の３次元空間の位置又は形状を認識する認識手段と、
    前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
    前記死角判定手段で陳列状態に死角があると判定され、かつ、前記判定手段で保持可能でないと判定された場合に、前記陳列状態に死角がある旨を通知する通知手段と、
    を備えることを特徴とするロボットシステム。
11. 商品を保持可能なロボットアームを備えるロボットシステムの制御方法であって、
    前記ロボットシステムの撮影手段が、陳列された商品を撮影する撮影工程と、
    前記ロボットシステムの乱れ判定手段が、前記撮影した商品の陳列状態に乱れがあるか否かを判定する乱れ判定工程と、
    前記ロボットシステムの認識手段が、前記陳列された商品の３次元空間の位置又は形状を認識する認識工程と、
    前記ロボットシステムの判定手段が、前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定工程と、
    前記ロボットシステムの並替手段が、前記乱れ判定工程で陳列状態に乱れがあると判定され、かつ、前記判定工程で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の乱れが改善するように並べ替える並替工程と、
    を含むことを特徴とする制御方法。
12. 商品を保持可能なロボットアームを備えるロボットを制御するシステムの制御方法であって、
    前記システムの第１の読出手段が、陳列された商品の画像を読み出す第１の読出工程と、
    前記システムの乱れ判定手段が、前記読み出した商品の画像の陳列状態に乱れがあるか否かを判定する乱れ判定工程と、
    前記システムの第２の読出手段が、前記陳列された商品の３次元空間の位置又は形状を認識する画像を読み出す第２の読出工程と、
    前記システムの判定手段が、前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定工程と、
    前記システムの制御手段が、前記乱れ判定工程で陳列状態に乱れがあると判定され、かつ、前記判定工程で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の乱れが改善するように前記ロボットに動作させる制御工程と、
    を含むことを特徴とする制御方法。
13. 商品を保持可能なロボットアームを備えるロボットシステムの制御方法であって、
    前記ロボットシステムの撮影手段が、陳列された商品を撮影する撮影工程と、
    前記ロボットシステムの乱れ判定手段が、前記撮影した商品の陳列状態に乱れがあるか否かを判定する乱れ判定工程と、
    前記ロボットシステムの認識手段が、前記陳列された商品の３次元空間の位置又は形状を認識する認識工程と、
    前記ロボットシステムの判定手段が、前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定工程と、
    前記ロボットシステムの通知手段が、前記乱れ判定工程で陳列状態に乱れがあると判定され、かつ、前記判定工程で保持可能でないと判定された場合に、前記陳列状態に乱れがある旨を通知する通知工程と、
    を含むことを特徴とする制御方法。
14. 商品を保持可能なロボットアームを備えるロボットシステムの制御方法であって、
    前記ロボットシステムの撮影手段が、陳列された商品を撮影する撮影工程と、
    前記ロボットシステムの乱れ判定手段が、前記撮影した商品の陳列状態に死角があるか否かを判定する死角判定工程と、
    前記ロボットシステムの認識手段が、前記陳列された商品の３次元空間の位置又は形状を認識する認識工程と、
    前記ロボットシステムの判定手段が、前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定工程と、
    前記ロボットシステムの並替手段が、前記死角判定工程で陳列状態に死角があると判定され、かつ、前記判定工程で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の死角が減るように並べ替える並替工程と、
    を含むことを特徴とする制御方法。
15. 商品を保持可能なロボットアームを備えるロボットを制御するシステムの制御方法であって、
    前記システムの第１の読出手段が、陳列された商品の画像を読み出す第１の読出工程と、
    前記システムの死角判定手段が、前記読み出した商品の画像の陳列状態に死角があるか否かを判定する死角判定工程と、
    前記システムの第２の読出手段が、前記陳列された商品の３次元空間の位置又は形状を認識する画像を読み出す第２の読出工程と、
    前記システムの判定手段が、前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定工程と、
    前記システムの制御手段が、前記死角判定工程で陳列状態に死角があると判定され、かつ、前記判定工程で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の死角が減るように前記ロボットに動作させる制御工程と、
    を含むことを特徴とする制御方法。
16. 商品を保持可能なロボットアームを備えるロボットシステムの制御方法であって、
    前記ロボットシステムの撮影手段が、陳列された商品を撮影する撮影工程と、
    前記ロボットシステムの死角判定手段が、前記撮影した商品の陳列状態に死角があるか否かを判定する死角判定工程と、
    前記ロボットシステムの認識手段が、前記陳列された商品の３次元空間の位置又は形状を認識する認識工程と、
    前記ロボットシステムの判定手段が、前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定工程と、
    前記ロボットシステムの通知手段が、前記死角判定工程で陳列状態に死角があると判定され、かつ、前記判定工程で保持可能でないと判定された場合に、前記陳列状態に死角がある旨を通知する通知工程と、
    を含むことを特徴とする制御方法。
17. 商品を保持可能なロボットアームを備えるロボットシステムで読み取り実行可能なプログラムであって、
    前記ロボットシステムを、
    陳列された商品を撮影する撮影手段と、
    前記撮影した商品の陳列状態に乱れがあるか否かを判定する乱れ判定手段と、
    前記陳列された商品の３次元空間の位置又は形状を認識する認識手段と、
    前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
    前記乱れ判定手段で陳列状態に乱れがあると判定され、かつ、前記判定手段で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の乱れが改善するように並べ替える並替手段と、
    して機能させるためのプログラム。
18. 商品を保持可能なロボットアームを備えるロボットを制御するシステムであって、
    前記システムを、
    陳列された商品の画像を読み出す第１の読出手段と、
    前記読み出した商品の画像の陳列状態に乱れがあるか否かを判定する乱れ判定手段と、
    前記陳列された商品の３次元空間の位置又は形状を認識する画像を読み出す第２の読出手段と、
    前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
    前記乱れ判定手段で陳列状態に乱れがあると判定され、かつ、前記判定手段で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の乱れが改善するように前記ロボットに動作させる制御手段と、
    して機能させるためのプログラム。
19. 商品を保持可能なロボットアームを備えるロボットシステムで読み取り実行可能なプログラムであって、
    前記ロボットシステムを、
    陳列された商品を撮影する撮影手段と、
    前記撮影した商品の陳列状態に乱れがあるか否かを判定する乱れ判定手段と、
    前記陳列された商品の３次元空間の位置又は形状を認識する認識手段と、
    前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
    前記乱れ判定手段で陳列状態に乱れがあると判定され、かつ、前記判定手段で保持可能でないと判定された場合に、前記陳列状態に乱れがある旨を通知する通知手段と、
    して機能させるためのプログラム。
20. 商品を保持可能なロボットアームを備えるロボットシステムで読み取り実行可能なプログラムであって、
    前記ロボットシステムを、
    陳列された商品を撮影する撮影手段と、
    前記撮影した商品の陳列状態に死角があるか否かを判定する死角判定手段と、
    前記陳列された商品の３次元空間の位置又は形状を認識する認識手段と、
    前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
    前記死角判定手段で陳列状態に死角があると判定され、かつ、前記判定手段で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の死角が減るように並べ替える並替手段と、
    して機能させるためのプログラム。
21. 商品を保持可能なロボットアームを備えるロボットを制御するシステムで読み取り実行可能なプログラムであって、
    前記システムを、
    陳列された商品の画像を読み出す第１の読出手段と、
    前記読み出した商品の画像の陳列状態に死角があるか否かを判定する死角判定手段と、
    前記陳列された商品の３次元空間の位置又は形状を認識する画像を読み出す第２の読出手段と、
    前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
    前記死角判定手段で陳列状態に死角があると判定され、かつ、前記判定手段で保持可能であると判定された前記陳列された商品を、前記ロボットアームを用いて前記陳列状態の死角が減るように前記ロボットに動作させる制御手段と、
    して機能させるためのプログラム。
22. 商品を保持可能なロボットアームを備えるロボットシステムで読み取り実行可能なプログラムであって、
    前記ロボットシステムを、
    陳列された商品を撮影する撮影手段と、
    前記撮影した商品の陳列状態に死角があるか否かを判定する死角判定手段と、
    前記陳列された商品の３次元空間の位置又は形状を認識する認識手段と、
    前記認識した前記陳列された商品の前記位置又は形状に従って、前記陳列された商品が前記ロボットアームで保持可能かを判定する判定手段と、
    前記死角判定手段で陳列状態に死角があると判定され、かつ、前記判定手段で保持可能でないと判定された場合に、前記陳列状態に死角がある旨を通知する通知手段と、
    して機能させるためのプログラム。

Images