JP7419004B2 - 情報処理装置 - Google Patents

Description

本発明の実施形態は、情報処理装置に関する。

商品棚に配置される商品を認識する情報処理装置には、商品棚に配置された商品と棚割計画との差異を提示するものがある。そのような情報処理装置は、棚割計画が変更されると、商品棚に配置された商品と変更された棚割計画との差異を提示する。即ち、情報処理装置は、オペレータに対して、商品棚に配置されている商品の変更を提示する。

オペレータに対して、商品棚に配置されている商品の変更を効果的に提示する技術が望まれている。

特開２０１２－７４０１４号公報

上記の課題を解決するために、配置されている商品の変更を効果的に提示する情報処理装置を提供する。

実施形態によれば、情報処理装置は、画像インターフェースと、プロセッサと、を備える。画像インターフェースは、所定の領域に配置されている物品の画像を撮影した撮影画像を取得する。プロセッサは、前記撮影画像に基づいて、前記物品の棚割情報を生成し、前記所定の領域に配置される物品の棚割計画を示す棚割計画情報を取得し、前記棚割情報と前記棚割計画情報との差異を示す差異情報を生成し、前記差異情報に基づいて、前記所定の領域に配置されている物品を変更することを指示する中間画像を前記撮影画像に重ねた指示画像を生成する。

図１は、第１の実施形態に係る表示システムの構成例を示す図である。 図２は、第１の実施形態に係る情報処理装置の構成例を示すブロック図である。 図３は、第１の実施形態に係る表示端末の構成例を示すブロック図である。 図４は、第１の実施形態に係る撮影画像の例を示す図である。 図５は、第１の実施形態に係る棚割情報の例を示す図である。 図６は、第１の実施形態に係る棚割計画情報の例を示す図である。 図７は、第１の実施形態に係る差異情報の例を示す図である。 図８は、第１の実施形態に係る指示画像の表示例を示す図である。 図９は、第１の実施形態に係る指示画像の表示例を示す図である。 図１０は、第１の実施形態に係る情報処理装置の動作例を示すフローチャートである 図１１は、第２の実施形態に係る表示端末の構成例を示す図である

以下、実施形態について、図面を参照して説明する。
（第１の実施形態について）
まず、第１の実施形態について説明する。
実施形態に係る表示システムは、商品棚（所定の領域）に配置される商品を認識し、認識した商品と棚割計画との差異を示す差異情報を生成する。表示システムは、差異情報に基づいて、配置されている商品を変更することを指示する指示画像を出力する。たとえば、表示システムは、オペレータが所持する端末に指示画像を表示させる。また、表示システムは、用紙に指示画像を印刷してもよい。表示システムは、商品を販売する店舗などに設置される。

なお、表示システムは、棚などに配置される部品又は荷物などの物品を認識するものであってもよい。表示システムは、配置されている物品を変更することを指示する指示画像を出力するものであってもよい。

図１は、実施形態に係る表示システム１の構成例を示す。図１が示すように、表示システム１は、カメラ２、商品棚３、商品４、情報処理装置１０及び表示端末３０などを備える。情報処理装置１０は、カメラ２及び表示端末３０と接続する。

なお、表示システム１は、図１が示すような構成の他に必要に応じた構成を具備したり、表示システム１から特定の構成が除外されたりしてもよい。

商品棚３は、商品４を配置する棚である。商品棚３は、所定の方向を開放し外部から商品を閲覧可能に配置する。たとえば、商品棚３は、商品４を販売する店舗内に設置される。

カメラ２は、撮影範囲２ａを撮影する。カメラ２は、撮影範囲２ａに含まれる商品棚３を撮影する。カメラ２は、商品棚３が開放している方向に向って商品棚３を撮影し、商品棚３に配置される商品４を撮影する。カメラ２は、商品棚３を撮影可能な位置に設置される。また、カメラ２は、移動可能なものであってもよい。カメラ２は、撮影によって得られた撮影画像を情報処理装置１０に送信する。たとえば、カメラ２は、ＣＣＤ（Charge Coupled Device）カメラなどである。なお、カメラ２は、商品棚３及び商品４などを照らす照明などを備えるものであってもよい。

情報処理装置１０は、カメラ２からの撮影画像などに基づいて、指示画像を生成する。情報処理装置１０は、指示画像を印刷し又は表示端末３０へ出力する。情報処理装置１０については、後に詳述する。

表示端末３０は、情報処理装置１０からの指示画像を表示する。たとえば、表示端末３０は、商品棚３に商品４を配置するオペレータが所持する端末である。表示端末３０は、オペレータが持ち運び可能な端末である。また、表示端末３０は、据え置き型の端末であってもよい。表示端末３０については、後に詳述する。

次に、情報処理装置１０について説明する。
図２は、情報処理装置１０の構成例を示すブロック図である。図２が示すように、情報処理装置１０は、基本的な構成として、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、操作部１５、表示部１６、通信部１７、カメラインターフェース１８、プリンタインターフェース１９、プリンタ２０及び端末インターフェース２１などを備える。プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、操作部１５、表示部１６、通信部１７、カメラインターフェース１８、プリンタインターフェース１９及び端末インターフェース２１とは、データバスを介して互いに接続される。プリンタインターフェース１９と、プリンタ２０とは、互いに接続する。なお、情報処理装置１０は、図２が示すような構成の他に必要に応じた構成を具備したり、情報処理装置１０から特定の構成が除外されたりしてもよい。

プロセッサ１１は、情報処理装置１０全体の動作を制御する機能を有する。プロセッサ１１は、内部キャッシュおよび各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部メモリ、ＲＯＭ１２又はＮＶＭ１４が予め記憶するプログラムを実行することにより種々の処理を実現する。

なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭ１２は、予め制御用のプログラム及び制御データなどが記憶された不揮発性のメモリである。ＲＯＭ１２に記憶される制御プログラム及び制御データは、予め情報処理装置１０の仕様に応じて組み込まれる。ＲＯＭ１２は、たとえば、情報処理装置１０の回路基板を制御するプログラム（例えば、ＢＩＯＳ）などを格納する。

ＲＡＭ１３は、揮発性のメモリである。ＲＡＭ１３は、プロセッサ１１の処理中のデータなどを一時的に格納する。ＲＡＭ１３は、プロセッサ１１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ１３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

ＮＶＭ１４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ１４は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどにより構成される。ＮＶＭ１４は、情報処理装置１０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータを格納する。

ＮＶＭ１４は、画像処理によって商品を認識するための辞書情報を格納してもよい。たとえば、辞書情報は、商品の画像である。また、辞書情報は、商品の画像から抽出された特徴量又は特徴量の分布などであってもよい。

操作部１５は、情報処理装置１０のオペレータによって、種々の操作指示が入力される。操作部１５は、オペレータに入力された操作指示の信号をプロセッサ１１へ送信する。操作部１５は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。

表示部１６は、プロセッサ１１の制御により種々の情報を表示する表示装置である。表示部１６は、たとえば、液晶モニタなどである。なお、操作部１５がタッチパネルなどで構成される場合、表示部１６は、操作部１５と一体的に形成されてもよい。

通信部１７は、外部装置とデータを送受信するためのインターフェースである。たとえば、通信部１７は、外部装置から棚割計画を示す棚割計画情報などを取得する。通信部１７は、取得した棚割計画情報などをプロセッサ１１へ送信する。たとえば、通信部１７は、インターネットなどのネットワークを通じて外部装置と接続するものであってもよい。たとえば、通信部１７は、ＬＡＮ（Local Area Network）接続などをサポートする。

カメラインターフェース１８（画像インターフェース）は、カメラ２とデータを送受信するためのインターフェースである。たとえば、カメラインターフェース１８は、カメラ２から撮影画像を取得する。カメラインターフェース１８は、取得した撮影画像をプロセッサ１１へ送信する。

プリンタインターフェース１９は、プリンタ２０とデータを送受信するためのインターフェースである。たとえば、プリンタインターフェース１９は、プロセッサ１１からのデータをプリンタ２０へ送信する。たとえば、プリンタインターフェース１９は、ＵＳＢ（Universal Serial Bus）接続をサポートする。

プリンタ２０は、プロセッサ１１からの信号に従って用紙に画像を印刷する。たとえば、プリンタ２０は、用紙を供給する供給部、用紙を搬送する搬送モータ、搬送モータを制御するモータ制御部及び用紙に印字する印字部などから構成される。

たとえば、供給部は、画像を印刷する用紙を格納する。搬送モータは、モータ制御部からの信号などによって用紙を供給部から印字部へ搬送する。
印字部は、供給部から供給された用紙に画像を印刷する。たとえば、印字部は、インクを用紙に付加して画像を形成する。

また、用紙が感熱紙である場合、印字部は、用紙を加熱して画像を形成する。たとえば、印字部は、用紙を加熱するサーマルヘッド、及び、サーマルヘッドを制御するサーマルヘッド制御部などから構成される。

端末インターフェース２１（出力インターフェース）は、表示端末３０とデータを送受信するためのインターフェースである。たとえば、端末インターフェース２１は、無線又は有線で表示端末３０と接続する。たとえば、端末インターフェース２１は、プロセッサ１１から画像を表示端末３０に送信する。たとえば、端末インターフェース２１は、ＬＡＮ接続などをサポートする。なお、端末インターフェース２１は、通信部１７と一体的に形成されるものであってもよい。

次に、表示端末３０について説明する。
図３は、表示端末３０の構成例を示すブロック図である。図３が示すように、表示端末３０は、基本的な構成として、プロセッサ３１、ＲＯＭ３２、ＲＡＭ３３、ＮＶＭ３４、操作部３５、表示部３６及び装置インターフェース３７などを備える。プロセッサ３１と、ＲＯＭ３２、ＲＡＭ３３、ＮＶＭ３４、操作部３５、表示部３６及び装置インターフェース３７とは、データバスを介して互いに接続される。なお、表示端末３０は、図３が示すような構成の他に必要に応じた構成を具備したり、表示端末３０から特定の構成が除外されたりしてもよい。

プロセッサ３１は、表示端末３０全体の動作を制御する機能を有する。プロセッサ３１は、内部キャッシュおよび各種のインターフェースなどを備えてもよい。プロセッサ３１は、内部メモリ、ＲＯＭ３２又はＮＶＭ３４が予め記憶するプログラムを実行することにより種々の処理を実現する。

なお、プロセッサ３１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、プロセッサ３１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭ３２は、予め制御用のプログラム及び制御データなどが記憶された不揮発性のメモリである。ＲＯＭ３２に記憶される制御プログラム及び制御データは、予め表示端末３０の仕様に応じて組み込まれる。ＲＯＭ３２は、たとえば、表示端末３０の回路基板を制御するプログラムなどを格納する。

ＲＡＭ３３は、揮発性のメモリである。ＲＡＭ３３は、プロセッサ３１の処理中のデータなどを一時的に格納する。ＲＡＭ３３は、プロセッサ３１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ３３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

ＮＶＭ３４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ３４は、例えば、ＨＤＤ、ＳＳＤ又はフラッシュメモリなどにより構成される。ＮＶＭ３４は、表示端末３０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータを格納する。

操作部３５は、表示端末３０のオペレータによって、種々の操作指示が入力される。操作部３５は、オペレータに入力された操作指示の信号をプロセッサ３１へ送信する。操作部３５は、たとえば、キーボード、テンキー及びタッチパネルなどである。ここでは、操作部３５は、タッチパネルから構成される。

表示部３６は、プロセッサ３１の制御により種々の情報を表示する表示装置である。表示部３６は、たとえば、液晶モニタなどである。また、表示部３６は、操作部３５と一体的に形成される。

装置インターフェース３７は、情報処理装置１０とデータを送受信するためのインターフェースである。たとえば、装置インターフェース３７は、無線又は有線で情報処理装置１０と接続する。たとえば、装置インターフェース３７は、情報処理装置１０から指示画像を取得する。装置インターフェース３７は、取得した指示画像などをプロセッサ３１へ送信する。たとえば、装置インターフェース３７は、ＬＡＮ（Local Area Network）接続などをサポートする。

プロセッサ３１は、情報処理装置１０からの指示画像を表示部３６に表示する。たとえば、プロセッサ３１は、装置インターフェース３７を通じて情報処理装置１０から指示画像を取得する。プロセッサ３１は、取得した指示画像を表示部３６に表示する。

プロセッサ３１は、操作部３５を通じて所定の操作の入力を受け付けた場合に、情報処理装置１０へ指示画像のリクエストを送信し情報処理装置１０から指示画像を取得してもよい。

次に、情報処理装置１０のプロセッサ１１が実現する機能について説明する。情報処理装置１０が実現する機能は、プロセッサ１１がＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。

まず、プロセッサ１１は、カメラ２を用いて商品４が配置されている商品棚３を含む撮影領域の撮影画像を取得する機能を有する。
プロセッサ１１は、操作部１５を通じて所定の操作を受け付けると、カメラインターフェース１８を通じてカメラ２に画像を撮影させる信号を送信する。カメラ２は、当該信号に従って画像を撮影する。カメラ２は、カメラインターフェース１８を通じて撮影画像をプロセッサ１１へ送信する。プロセッサ１１は、カメラインターフェース１８を通じてカメラ２から撮影画像を取得する。

また、オペレータは、カメラ２を所定の位置にセットしてもよい。また、オペレータは、カメラ２に所定の操作を入力してカメラ２に画像を撮影させてもよい。

図４は、プロセッサ１１が取得した撮影画像６０の例を示す。図４が示すように、撮影画像６０は、商品棚３及び商品棚３に配置されている商品４などを写す。ここでは、商品棚３は、３段に形成される。商品棚３は、各棚段に商品４を配置する。

また、プロセッサ１１は、撮影画像から商品及び商品の位置を認識する機能を有する。
プロセッサ１１は、商品として、商品を示す商品コードを特定する。

たとえば、プロセッサ１１は、撮影画像から商品が写る商品領域を特定する。たとえば、プロセッサ１１は、商品棚の背景色に基づいて商品領域を特定してもよい。また、プロセッサ１１は、エッジを検出して商品領域を特定してもよい。プロセッサ１１は、特定された商品領域の位置を商品の位置として特定する。

商品領域を特定すると、プロセッサ１１は、商品領域に写る商品を認識する。たとえば、プロセッサ１１は、ＮＶＭ１４に格納される辞書情報を取得する。プロセッサ１１は、取得した辞書情報と商品領域の画像とをマッチングすることで商品領域に写る商品を認識する。
なお、プロセッサ１１が商品及び商品の位置を特定する方法は、特定の構成に限定されるものではない。

また、プロセッサ１１は、認識した商品及び位置を示す棚割情報を生成する機能を有する。
たとえば、プロセッサ１１は、特定した商品を示す商品コードと商品の座標とを対応付けて格納した棚割情報を生成する。また、棚割情報は、商品の位置として商品が配置されている棚段などを示すものであってもよい。また、棚割情報は、商品の位置として、棚段及び棚段における位置を示すものであってもよい。棚割情報の構成は、特定の構成に限定されるものではない。

図５は、プロセッサ１１が生成した棚割情報の例を示す。図５が示す例では、棚割情報は、商品棚３の上段に３つの商品Ａ及び１つの商品Ｂが左から順に配置されていることを示す。また、棚割情報は、商品棚３の中断に３つの商品Ｃ及び２つの商品Ｄが左から順に配置されていることを示す。また、棚割情報は、商品棚３の下段に４つの商品Ｅが２段で及び４つの商品Ｆが２段で左から順に配置されていることを示す。

また、プロセッサ１１は、棚割計画を示す棚割計画情報を取得する機能を有する。
棚割計画は、商品棚３に配置する商品の計画である。棚割計画情報は、商品４と商品棚３において商品４を配置する位置とを対応付けて示す。たとえば、棚割計画情報は、位置として、商品棚３の棚段及び棚段における位置を示すものであってもよい。棚割計画情報の構成は、特定の構成に限定されるものではない。

プロセッサ１１は、通信部１７を通じて所定のタイミングで外部装置から棚割計画情報を受信する。たとえば、プロセッサ１１は、表示システム１が設置される店舗を管理する管理サーバなどから棚割計画情報を受信する。プロセッサ１１は、受信した棚割計画情報をＮＶＭ１４に格納する。プロセッサ１１は、ＮＶＭ１４から棚割計画情報を取得する。

また、プロセッサ１１は、情報処理装置１０に接続されるメモリなどから棚割計画情報を取得してもよい。
プロセッサ１１が棚割計画情報を取得する方法は、特定の方法に限定されるものではない。

たとえば、棚割計画情報は、商品の発注データ又は販売データなどに基づいて生成される。また、棚割計画情報は、店舗毎の特性に応じて生成されるものであってもよい。棚割計画情報が生成される方法は、特定の方法に限定されるものではない。

図６は、棚割計画情報の例を示す。図６が示すように、棚割計画情報は、商品棚３に配置する商品と、配置する位置とを示す。図６が示す例では、棚割計画情報は、上段に２つの商品Ａと３つの商品Ｂとを左から順に配置することを示す。また、棚割計画情報は、中段に４つの商品Ｃと１つの商品Ｄとを左から順に配置することを示す。また、棚割計画情報は、下段に６つの商品Ｅを２段に、６つの商品Ｇを二段に、左から順に配置することを示す。

また、プロセッサ１１は、棚割情報と棚割計画情報との差異を示す差異情報を生成する機能を有する。

たとえば、プロセッサ１１は、同一の位置において、棚割情報が示す商品と、棚割計画情報が示す商品とを比較する。プロセッサ１１は、各位置において、棚割情報が示す商品と、棚割計画情報が示す商品とを比較する。プロセッサ１１は、両者が異なる位置、当該位置において棚割情報が示す商品、及び、当該位置において棚割計画が示す商品を示す差異情報を生成する。また、差異情報は、棚割情報では商品が存在するが棚割計画情報では商品が存在しない位置を示すものであってもよい。また、差異情報は、棚割情報では商品が存在しないが棚割計画情報では商品が存在する位置及び当該商品を示すものであってもよい。差異情報の構成は、特定の構成に限定されるものでない。

図７は、プロセッサ１１が生成した差異情報の例を示す。図７が示す例では、差異情報は、商品棚３の上段の左から３番目の位置において差異があり当該位置において棚割情報が商品Ａを示し棚割計画情報が商品Ｂを示すことを表す。また、差異情報は、商品棚３の中段の左から４番目の位置において差異があり当該位置において棚割情報が商品Ｄを示し棚割計画情報が商品Ｃを示すことを表す。また、差異情報は、商品棚３の下段の右半分において差異があり当該位置において棚割情報が商品Ｆを示し棚割計画情報が商品Ｇを示すことを表す。

また、プロセッサ１１は、差異情報に基づいて、商品棚３の商品４を変更することを指示する指示画像を生成する機能を有する。
プロセッサ１１は、撮影画像に変更内容を重ねて表示する指示画像を生成する。

プロセッサ１１は、変更内容を示す中間画像を生成する。即ち、プロセッサ１１は、差異情報が示す各位置において、棚割情報が示す商品から棚割計画情報が示す商品に変更することを指示する中間画像を生成する。たとえば、プロセッサ１１は、商品棚３に配置されている商品４の画像上に変更後の物品を示す画像を表示する中間画像を生成する。また、プロセッサ１１は、矢印などを用いて棚割情報が示す商品から棚割計画情報が示す商品に変更することを指示する中間画像を生成してもよい。

また、差異情報が棚割情報では商品が存在するが棚割計画情報では商品が存在しない位置を示す場合、プロセッサ１１は、当該位置において、商品を取り出すことを指示する中間画像を生成する。たとえば、プロセッサ１１は、矢印又はゴミ箱などのアイコンを表示する中間画像を生成する。

また、差異情報が棚割情報では商品が存在しないが棚割計画情報では商品が存在する位置及び当該商品を示す場合、プロセッサ１１は、当該位置において、棚割計画情報が示す商品を追加することを指示する中間画像を生成する。たとえば、プロセッサ１１は、矢印などで当該商品を追加することを指示する中間画像を生成する。また、プロセッサ１１は、当該商品の画像を含む中間画像を生成してもよい。

中間画像を生成すると、プロセッサ１１は、撮影画像に中間画像を重ねて指示画像を生成する。たとえば、プロセッサ１１は、中間画像を半透明にして撮影画像に重ねて指示画像を生成する。

なお、中間画像は、棚割計画情報が示す各商品及び各商品の位置を示すものであってもよい。この場合、中間画像は、変更内容を強調して表示するものであってもよい。たとえば、中間画像は、変更内容をカラー表示し他の内容をモノクロ表示してもよい。

また、プロセッサ１１は、撮影画像をモノクロ画像とし中間画像をカラー画像としてもよい。また、プロセッサ１１は、中間画像としてアニメーションなどの動画を生成してもよい。プロセッサ１１が生成する中間画像及び指示画像は、特定の構成に限定されるものではない。

また、プロセッサ１１は、指示画像を出力する機能を有する。
たとえば、プロセッサ１１は、端末インターフェース２１を通じて、生成した指示画像を表示端末３０に出力する。プロセッサ１１は、表示端末３０からのリクエストに応じて指示画像を表示端末３０に出力してもよい。

表示端末３０のプロセッサ３１は、装置インターフェース３７を通じて指示画像を取得する。プロセッサ３１は、指示画像を取得すると、表示部３６に指示画像を表示する。

図８は、プロセッサ３１が表示する指示画像１０１の例を示す。図８が示すように、指示画像１０１は、図４に示される撮影画像６０に変更内容を示す中間画像７０を重ねて生成される。図８が示す例では、指示画像１０１は、商品棚３の上段の左から３番目の位置において商品Ａを商品Ｂに変更することを指示する。また、指示画像１０１は、商品棚３の中段の左から４番目の位置において商品Ｄを商品Ｃに変更することを指示する。また、指示画像１０１は、商品棚３の下段の右半分において商品Ｆを商品Ｇに変更することを指示する。

また、プロセッサ１１は、プリンタ２０を用いて指示画像を用紙に印刷してもよい。
図９は、プロセッサ１１が指示画像１０１を印刷した用紙２００の例を示す。図９が示すように、用紙２００は、指示画像１０１を印刷される。
なお、プロセッサ１１は、指示画像に加えて文字で変更内容を示してもよい。

次に、情報処理装置１０の動作例について説明する。図１０は、情報処理装置１０の動作例について説明するためのフローチャートである。

まず、情報処理装置１０のプロセッサ１１は、カメラ２を用いて商品棚３の撮影画像を取得する（ＡＣＴ１１）。撮影画像を取得すると、プロセッサ１１は、撮影画像から商品棚３に配置されている商品及び当該商品の位置を特定する（ＡＣＴ１２）。

商品及び当該商品の位置を特定すると、プロセッサ１１は、商品及び当該商品の位置を示す棚割情報を生成する（ＡＣＴ１３）。棚割情報を生成すると、プロセッサ１１は、棚割計画情報を取得する（ＡＣＴ１４）。

棚割計画情報を取得すると、プロセッサ１１は、棚割情報と棚割計画情報とに基づいて差異情報を生成する（ＡＣＴ１５）。差異情報を生成すると、プロセッサ１１は、差異情報に基づいて、商品棚３の商品４を変更することを指示する指示画像を生成する（ＡＣＴ１６）。

指示画像を生成すると、プロセッサ１１は、指示画像を出力する（ＡＣＴ１７）。指示画像を出力すると、プロセッサ１１は、動作を終了する。

なお、プロセッサ１１は、さらに商品棚３のレイアウトを示す棚割情報を生成してもよい。たとえば、プロセッサ１１は、撮影画像から商品棚３のレイアウト（たとえば、段数、仕切りの有無又は位置など）を特定する。プロセッサ１１は、特定したレイアウトをさらに示す棚割情報を生成する。この場合、棚割計画情報は、さらに商品棚３のレイアウトの計画を示す。プロセッサ１１は、棚割情報が示すレイアウトと棚割計画情報が示すレイアウトとの差異をさらに示す差異情報を生成する。プロセッサ１１は、差異情報に基づいて、商品棚３のレイアウトを棚割計画情報が示すレイアウトに変更することをさらに指示する指示画像を生成し出力する。

以上のように構成された表示システムは、商品棚に配置された商品と棚割計画との差異に基づいて指示画像を生成する。表示システムは、商品棚を撮影した撮影画像上に変更内容を示す中間画像を重ねて指示画像を生成する。その結果、表示システムは、オペレータに対して商品の変更を効果的に提示することができる。
（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態に係る表示システムは、ヘッドアップディスプレイに指示画像を表示する点で第１の実施形態に係るそれと異なる。従って、その他の点については、同一の符号を付して詳細な説明を省略する。

図１は、第２の実施形態に係る表示システム１’の構成例を概略的に示す。図１が示すように、表示システム１’は、カメラ２、商品棚３、商品４、情報処理装置１０’及び表示端末３０’などを備える。情報処理装置１０’は、カメラ２及び表示端末３０’と接続する。

なお、表示システム１’は、図１が示すような構成の他に必要に応じた構成を具備したり、表示システム１’から特定の構成が除外されたりしてもよい。

図２は、情報処理装置１０’ の構成例を示すブロック図である。図２が示すように、情報処理装置１０は、基本的な構成として、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、操作部１５、表示部１６、通信部１７、カメラインターフェース１８、プリンタインターフェース１９、プリンタ２０及び端末インターフェース２１’などを備える。プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、操作部１５、表示部１６、通信部１７、カメラインターフェース１８、プリンタインターフェース１９及び端末インターフェース２１’とは、データバスを介して互いに接続される。なお、情報処理装置１０’は、図２が示すような構成の他に必要に応じた構成を具備したり、情報処理装置１０’から特定の構成が除外されたりしてもよい。

端末インターフェース２１’は、表示端末３０’とデータを送受信するためのインターフェースである。たとえば、端末インターフェース２１’は、無線又は有線で表示端末３０’と接続する。たとえば、端末インターフェース２１’は、プロセッサ１１から画像を表示端末３０’に送信する。たとえば、端末インターフェース２１’は、ＬＡＮ接続などをサポートする。なお、端末インターフェース２１’は、通信部１７と一体的に形成されるものであってもよい。

次に、表示端末３０’について説明する。
図１１は、表示端末３０’の構成例を示す図である。図１１が示すように、表示端末３０’は、キャップ５０に装着されて用いられる。表示端末３０’は、ヘッドアップディスプレイ４１及びカメラ４２などから構成される。

ヘッドアップディスプレイ４１は、情報処理装置１０からの信号に従ってキャップ５０を装着するオペレータに指示画像を表示する。ヘッドアップディスプレイ４１は、オペレータの視界に重ねて指示画像を表示する。ヘッドアップディスプレイ４１は、オペレータの眼前に形成される。

カメラ４２は、オペレータの視線が向う方向を撮影する。たとえば、カメラ４２は、オペレータの視界と同様の領域を撮影する。カメラ４２は、撮影した画像を情報処理装置１０へ送信する。たとえば、カメラ４２は、ＣＣＤカメラなどである。

次に、情報処理装置１０’のプロセッサ１１が実現する機能について説明する。情報処理装置１０’が実現する機能は、プロセッサ１１がＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。

情報処理装置１０’のプロセッサ１１は、第１の実施形態において実現する機能に加えて以下の機能を実現する。

プロセッサ１１は、ヘッドアップディスプレイ４１に指示画像を表示する機能を有する。

プロセッサ１１は、カメラ４２を用いて画像を撮影する。プロセッサ１１は、撮影した画像からオペレータの視野における商品棚３の領域（位置及び角度など）を特定する。プロセッサ１１は、ヘッドアップディスプレイ４１を用いて、特定した領域に指示画像を表示する。即ち、プロセッサ１１は、現実の商品棚３に指示画像が重なるようにヘッドアップディスプレイ４１に指示画像を表示する。
なお、プロセッサ１１は、特定した領域に中間画像を表示してもよい。

以上のように構成された表示システムは、ヘッドアップディスプレイを用いて、オペレータの視野における商品棚に重ねて指示画像を表示する。その結果、表示システムは、より効果的に商品の変更をオペレータに提示することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１及び１’…表示システム、２…カメラ、２ａ…撮影範囲、３…商品棚、４…商品、１０及び１０’…情報処理装置、１１…プロセッサ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＮＶＭ、１５…操作部、１６…表示部、１７…通信部、１８…カメラインターフェース、１９…プリンタインターフェース、２０…プリンタ、２１…端末インターフェース、２１’…端末インターフェース、３０及び３０’…表示端末、３１…プロセッサ、３２…ＲＯＭ、３３…ＲＡＭ、３４…ＮＶＭ、３５…操作部、３６…表示部、３７…装置インターフェース、４１…ヘッドアップディスプレイ、４２…カメラ、５０…キャップ、１０１…指示画像、２００…用紙。

Claims (6)

1. 所定の領域に配置されている物品の画像を撮影した撮影画像を取得する画像インターフェースと、
   前記撮影画像に基づいて、前記物品の棚割情報を生成し、
   前記所定の領域に配置される物品の棚割計画を示す棚割計画情報であって、前記物品と前記所定の領域において前記物品を配置する位置とを対応付けて示す棚割計画情報を取得し、
   前記棚割情報と前記棚割計画情報との差異を示す差異情報を生成し、
   前記差異情報に基づいて、前記所定の領域に配置されている前記棚割情報が示す物品から前記棚割計画情報が示す物品に変更することを指示する中間画像を生成し、
   前記中間画像を前記撮影画像に重ねた指示画像を生成する、
   プロセッサと、
   を備える情報処理装置。
2. 前記プロセッサは、矢印を用いて前記棚割情報が示す物品から前記棚割計画情報が示す物品に変更することを指示する前記中間画像を生成する、請求項１に記載の情報処理装置。
3. 前記差異情報が、前記棚割情報では物品が存在しないが前記棚割計画情報では物品が存在する位置及び物品を示す場合、前記プロセッサは、前記位置において、前記棚割計画情報が示す物品を追加することを指示する前記中間画像を生成する、請求項１又は２に記載の情報処理装置。
4. 前記中間画像は、前記棚割計画情報が示す各物品及び各物品の位置を示す、請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記プロセッサは、前記撮影画像をモノクロ画像とし、前記中間画像をカラー画像として前記指示画像を生成する、請求項１乃至４の何れか一項に記載の情報処理装置。
6. コンピュータに、
   所定の領域に配置されている物品の画像を撮影した撮影画像を取得する機能と、
   前記撮影画像に基づいて、前記物品の棚割情報を生成する機能と、
   前記所定の領域に配置される物品の棚割計画を示す棚割計画情報であって、前記物品と前記所定の領域において前記物品を配置する位置とを対応付けて示す棚割計画情報を取得する機能と、
   前記棚割情報と前記棚割計画情報との差異を示す差異情報を生成する機能と、
   前記差異情報に基づいて、前記所定の領域に配置されている前記棚割情報が示す物品から前記棚割計画情報が示す物品に変更することを指示する中間画像を生成する機能と、
   前記中間画像を前記撮影画像に重ねた指示画像を生成する機能と、
   を実行させることが可能なプログラム。