JP7435771B2 - 制御装置、制御方法、およびプログラム - Google Patents

Description

本発明は、制御装置、制御方法、およびプログラムに関する。

画像を用いて商品などの物品を特定することは、様々な場所で行われている。店舗において、画像を用いて商品登録を行うＰＯＳ（Point Of Sales）端末装置の一例が特許文献１に記載されている。特許文献１では、筐体内に３次元カメラを設置して商品を撮像して得られた画像を認識処理することで、商品以外の物体の写り込みを防止し、商品の認識精度を向上させている。

特開２０１９－１９４９２６号公報

棚から顧客が取り出した商品を画像処理によって特定する場合、認識精度を向上させるためには、商品が画像に明瞭に写るように、撮像条件を定めることが好ましい。また、棚から顧客が取り出す際に、顧客に対して様々な情報を提供する場合もある。本発明者は、商品が画像に明瞭に写るようにしたり、又は、提供した情報を顧客が認識しやすくすることを検討した。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは商品が画像に明瞭に写るようにしたり、又は、提供した情報を顧客が認識しやすくすることにある。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第一の側面は、制御装置に関する。
第一の側面に係る制御装置は、
棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する推定手段と、
前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する制御手段と、を有する。

第二の側面は、少なくとも１つのコンピュータにより実行される制御方法に関する。
第二の側面に係る制御方法は、
制御装置は、
棚の前方を含む領域を撮影する撮像装置とともに使用され、
前記制御装置が、
前記撮像装置が撮像した画像を処理することにより顧客の身長を推定し、
前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する、ことを含む。

なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、制御装置上で、その制御方法を実施させるコンピュータプログラムコードを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

上記各側面によれば、画像処理による商品の特定を迅速かつ正確にしやすくなる。

本発明の実施の形態に係る制御装置の商品登録システムにおける使用環境を示す図である。 商品登録システムの撮像装置を説明するための図である。 図２の撮像装置を構成する撮像ユニットを説明するための図である。 実施形態の制御装置の機能構成の一例を示す機能ブロック図である。 各実施形態の制御装置を実現するコンピュータのハードウェア構成を例示するブロック図である。 実施形態の制御装置の動作例を示すフローチャートである。 身長に応じたスピーカの制御例を説明するための図である。 身長と制御対象装置の対応テーブルのデータ構造の例を示す図である。 実施形態の制御装置の動作例を示すフローチャートである。 身長に応じた発光部の制御例を説明するための図である。 実施形態の制御装置の商品登録システムにおける使用環境を示す図である。 身長に応じた表示装置の制御例を説明するための図である。 実施形態の制御装置の動作例を示すフローチャートである。 実施形態の制御装置の商品登録システムにおける使用環境を示す図である。 実施形態の制御装置の機能構成の一例を示す機能ブロック図である。 実施形態の制御装置の商品登録システム１における使用環境を示す図である。 実施形態の制御装置の機能構成の一例を示す機能ブロック図である。 商品選択のための画面の一例を示す図である。 実施形態の制御装置の動作例を示すフローチャートである。 制御部による発光装置の発光状態の制御例を示す図である。 制御部による発光装置の発光状態の制御例を示す図である。 制御部によるプロジェクタの投影動作の制御例を示す図である。 制御部によるプロジェクタの投影動作の制御例を示す図である。 操作端末の使用例を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。

実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報を入力すること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、および、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。

（第１実施形態）
＜システム概要＞
図１は、本発明の実施の形態に係る制御装置１００の商品登録システム１における使用環境を示す図である。図２は、商品登録システム１の撮像装置２００を説明するための図である。図３は、図２の撮像装置２００を構成する撮像ユニット２０２を説明するための図である。

陳列棚４０は、例えば店舗に配置されている什器であり、少なくとも一つの棚を有している。棚の上には商品が載置される。商品登録システム１では、商品登録作業を、店員や顧客による商品バーコードなどの読み取り作業に依らずに、撮像画像を用いて行う。例えば、顧客は店舗内の棚から商品を取り出してカートや買い物カゴ、あるいは、顧客のバッグに入れるだけで、商品登録処理が完了する。

撮像装置２００は、陳列棚４０の棚およびその前方の少なくとも一方を撮影する。撮像装置２００は２つの撮像ユニット２０２を有している。図２に示す例において、撮像装置２００は陳列棚４０の棚およびその前方の双方を撮影する。

撮像ユニット２０２は、照明部２２２およびカメラ２１２を有している。カメラ２１２は、撮像部筐体２１０内に収容され、照明部２２２は照明部筐体２２０に収容されている。

照明部２２２の光放射面は一方向に延在しており、発光部および発光部を覆うカバーとして機能する照明部筐体２２０を有している。照明部２２２は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤ（Light Emitting Diode）などの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明部２２２が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。

そしてカメラ２１２は、照明部２２２の一端側に設けられており、照明部２２２の光が放射される方向を撮像範囲としている。２つの撮像ユニット２０２の一方は、上側から下方向を撮影し、他方は下側から上方向を撮影するように設置される。

例えば図１および図２の左側の撮像ユニット２０２において、カメラ２１２は下方および右斜め下を撮像範囲としている。また、図１および図２の右側の撮像ユニット２０２において、カメラ２１２は上方および左斜め上を撮像範囲としている。

カメラ２１２は、レンズとＣＣＤ（Charge Coupled Device）イメージセンサといった撮像素子を備える。カメラ２１２は、カメラ本体やレンズの向き、画角、ズーム倍率、焦点合わせ等を調整して設置される。

カメラ２１２により生成される画像は、リアルタイムに撮影され、制御装置１００に送信されるのが好ましい。ただし、制御装置１００に送信される画像は、カメラ２１２から直接送信されなくてもよく、所定の時間遅延した画像であってもよい。カメラ２１２で撮像された画像は、一旦他の記憶装置に格納され、制御装置１００が記憶装置から逐次または所定間隔毎に読み出してもよい。さらに、制御装置１００に送信される画像は、動画像であるのが好ましいが、所定間隔毎のフレーム画像であってもよいし、静止画であってもよい。

図２に示すように、２つの撮像ユニット２０２は、陳列棚４０の前面フレーム（または両側の側壁の前面）４２に取り付けられる。この際、一方の撮像ユニット２０２は、一方の前面フレーム４２に、カメラ２１２が下方に位置する向きに取り付けられ、他方の撮像ユニット２０２は、一方の撮像ユニット２０２とは逆側の前面フレーム４２に、カメラ２１２が上方に位置する向きに取り付けられる。このため、棚が延在する方向において、一方のカメラ２１２、陳列棚４０、および他方のカメラ２１２は、この順に並んでいる。また、一方のカメラ２１２は陳列棚４０の棚より上に位置し、他方のカメラ２１２は陳列棚４０の棚より下に位置している。これにより、２つのカメラ２１２の間隔は広くなる。

そして一方の撮像ユニット２０２のカメラ２１２は、陳列棚４０の開口部およびその前方を撮像範囲に含むように、そのカメラ２１２の上方および斜め上方を撮像する。他方の撮像ユニット２０２のカメラ２１２は、陳列棚４０の開口部およびその前方を撮像範囲に含むように、下方および斜め下方を撮像する。このように２つの撮像ユニット２０２を用いることで、陳列棚４０の開口部およびその前方の全範囲を含む３次元空間を撮影することができる。このため、商品登録装置３０は、撮像装置２００が生成した画像を処理すると、陳列棚４０から取り出された商品を特定することができる。そして、特定された商品を決済処理の対象として登録する。

撮像装置２００が生成した画像を画像処理装置７０により処理することにより商品を特定する場合、シリーズ品などの類似品が複数ある商品では商品の特定が困難な場合がある。商品画像の類似度の差が閾値未満となる複数の候補が見つかった場合、決済処理では商品を正確に特定する必要がある。

そこで、本実施形態の制御装置１００は、陳列棚４０から顧客によって取り出された決済対象となる商品を迅速かつ正確に特定するために、陳列棚４０に関連する発光装置および音声出力装置８０の動作状態を制御する。

＜機能構成例＞
図４は、本実施形態の制御装置１００の機能構成の一例を示す機能ブロック図である。制御装置１００は、推定部１０２と、制御部１０４とを備える。制御装置１００は、陳列棚４０の前方を含む領域を撮影する撮像ユニット２０２とともに使用される。
推定部１０２は、撮像ユニット２０２により撮影された画像を処理することにより顧客の身長を推定する。制御部１０４は、顧客の身長を用いて、陳列棚４０に関連する発光装置および音声出力装置８０の少なくとも一方の動作状態を制御する。

陳列棚４０の前方を含む領域は、撮像ユニット２０２のカメラ２１２により撮像され、画像が生成される。陳列棚４０の前に位置する人が商品に手を伸ばした場合、撮像ユニット２０２が生成した画像は、この人の手のひらおよび腕を含んでいる。推定部１０２は、撮像ユニット２０２が生成した画像を処理することにより、手のひらの高さおよび腕の角度を推定する。そして推定部１０２は、手のひらの高さおよび腕の角度を用いて、その人の身長を推定する。

ただし、顧客の身長の推定方法はこれに限定されず、他の方法で推定してもよい。例えば、店舗に設けられた他のカメラ、例えば、監視カメラなどの画像を用いて、顧客の身長を推定してもよい。

陳列棚４０に関連する発光装置は、一例として、撮像ユニット２０２の照明部２２２の発光部である。また、陳列棚４０に関連する音声出力装置８０は、陳列棚４０に設置される複数のスピーカ（不図示）である。複数のスピーカは陳列棚４０の高さ方向の異なる高さにそれぞれ配置される。音声出力装置８０は、顧客に対して、画像認識により商品の特定ができない旨を伝える音声メッセージまたは注意を促す報知音を出力する。

さらに、画像認識精度を向上させるために、顧客に対して要求される指示内容を示すメッセージなどを出力してもよい。例えば、取り出した商品をカメラに向けるように指示したり、商品の高さを所定の高さに移動させて静止させるように指示したりしてもよい。さらに、後述する第５実施形態では、画像認識により見つかった複数候補の中から決済対象となる商品を選択するように顧客に指示するメッセージが出力される。

制御部１０４は、例えば、推定部１０２により推定された身長に応じて、照明部２２２の発光部の光の照射方向を制御する。身長に応じた照射方法は以下に例示されるが、これらに限定されない。

（ａ１）推定部１０２により推定された顧客の身長が基準未満の場合、照明部２２２の発光部を下側から上方向に照射させる。推定部１０２により推定された顧客の身長が基準以上の場合、照明部２２２の発光部の上側から下方向に照射させる。
（ａ２）推定部１０２により推定された顧客の身長が基準未満の場合、照明部２２２の発光部を上側から下方向に照射させる。推定部１０２により推定された顧客の身長が基準以上の場合、照明部２２２の発光部の下側から下方向に照射させる。

上記（ａ１）は、画像処理装置７０による画像認識精度を向上させるための制御方法である。例えば、顧客の背が高い場合、陳列棚４０から取り出された商品は、比較的高い位置で移動するため、上側から下方向に光を照射すると商品に対して近くから光を照射することになる。そのため、撮像画像中の商品パッケージなどに光が写り込んでしまったり反射したりして認識精度が低下する可能性がある。よって、顧客の背が高い場合は、商品に対して下側から上方向に光を照射する方が認識精度向上の点において好ましい。

一方、顧客の背が低い場合には、陳列棚４０から取り出された商品は比較的低い位置で移動するため、下側から上方向に光を照射すると商品に対して近くから光を照射することになる。そのため、撮像画像中に商品と一緒に照明の光が入り込んでしまい、商品の認識精度が低下する可能性がある。よって顧客の背が低い場合、商品に対して上側から下方向に光を照射する方が認識精度向上の点において好ましい。

上記（ａ２）は、顧客にとって陳列棚４０から取り出す商品を見易くするための制御方法である。例えば、顧客の背が高い場合、陳列棚４０から取り出された商品は、比較的高い位置で移動するため、商品に対して上側から光を照射した方が、顧客にとって商品が見易い。顧客の背が低い場合、陳列棚４０から取り出された商品は、比較的低い位置で移動するため、商品に対して下側から光を照射した方が、顧客にとって商品が見易い。

さらに、音声出力装置８０の動作状態の制御について説明する。
例えば、顧客の身長の高さを複数に区分し、各区分に属する顧客が聞こえやすい高さに、スピーカはそれぞれ配置される。制御部１０４による各スピーカへの音声出力は個別に制御可能である。制御部１０４は、例えば、どの高さのスピーカから音声出力を行うか、あるいは、各スピーカから出力される音声または報知音の音量を制御する。

さらに、スピーカが指向性を有する場合、音声出力の方向を制御してもよい。例えば、複数の陳列棚４０が並設されている場合、各陳列棚４０のスピーカからの音声出力は、陳列棚４０の前に居る顧客に聞こえる程度の音量であり、隣接する陳列棚４０の前に居る顧客には聞こえない程度の音量であるのが好ましい。さらに、スピーカが指向性を有している場合、各陳列棚４０のスピーカからの音声出力は、当該陳列棚４０の前に居る顧客であって、音声出力の対象となっている顧客に向けた方向で音声出力するので好ましい。

＜ハードウェア構成例＞
図５は、各実施形態の制御装置１００を実現するコンピュータ１０００のハードウェア構成を例示するブロック図である。制御装置１００は、例えば、サーバコンピュータ、パーソナルコンピュータである。また、商品登録装置３０、画像処理装置７０などもコンピュータ１０００によって実現される。制御装置１００の少なくとも一部の機能は、商品登録装置３０を実現するコンピュータ１０００が実現してもよい。例えば、制御装置１００は、商品登録装置３０の一部の機能として組み込まれてもよい。上記したように、画像処理装置７０は制御装置１００と同じコンピュータ１０００に含まれてもよい。また、後述する第３および第５実施形態の操作端末６０もコンピュータ１０００によって実現される。

コンピュータ１０００は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、およびネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、およびネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は制御装置１００の各機能（例えば、推定部１０２、制御部１０４など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は制御装置１００の各データおよび設定、あるいは、撮像装置２００から取得した画像も記憶してもよい。

プログラムモジュールは、記録媒体に記録されてもよい。プログラムモジュールを記録する記録媒体は、非一時的な有形のコンピュータ１０００が使用可能な媒体を含み、その媒体に、コンピュータ１０００（プロセッサ１０２０）が読み取り可能なプログラムコードが埋め込まれてよい。

入出力インタフェース１０５０は、コンピュータ１０００と各種入出力機器とを接続するためのインタフェースである。入出力インタフェース１０５０は、ブルートゥース（登録商標）、ＮＦＣ（Near Field Communication）などの近距離無線通信を行う通信インタフェースとしても機能する。

ネットワークインタフェース１０６０は、コンピュータ１０００を通信ネットワークに接続するためのインタフェースである。この通信ネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０が通信ネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

そして、コンピュータ１０００は、入出力インタフェース１０５０またはネットワークインタフェース１０６０を介して、必要な機器（例えば、操作端末６０、撮像ユニット２０２のカメラ２１２、照明部２２２、プロジェクタ８０等）に接続する。

図４の制御装置１００の各構成要素は、図５のコンピュータ１０００のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各実施形態の制御装置１００を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。

＜動作例＞
図６は、本実施形態の制御装置１００の動作例を示すフローチャートである。まず、推定部１０２は、撮像ユニット２０２のカメラ２１２により陳列棚４０の前方を含む領域を撮影した画像を画像処理装置７０に処理させる（ステップＳ１０１）。そして、推定部１０２は、画像処理装置７０から取得した画像処理結果に基づいて、顧客の身長を推定する（ステップＳ１０３）。そして、制御部１０４は、顧客の身長を用いて、陳列棚４０に関連する発光装置（照明部２２２の発光部）および音声出力装置８０の少なくとも一方の動作状態を制御する（ステップＳ１０５）。

以下、ステップＳ１０５の制御部１０４による制御について、具体例を説明する。
例えば、発光装置は、照射方向が制御可能である。制御部１０４は、ステップＳ１０３で推定された身長が基準未満の場合、照明部２２２の発光部を下側から上方向に照射させる。基準は、例えば、１６０ｃｍである。基準は、制御装置１００の設定画面（不図示）により設定可能であってよい。基準は複数であってもよい。また、制御部１０４は、ステップＳ１０３で推定された身長が基準以上の場合、照明部２２２の発光部の上側から下方向に照射させる。

あるいは、制御部１０４は、ステップＳ１０３で推定された身長が基準未満の場合、照明部２２２の発光部を上側から下方向に照射させる。また、ステップＳ１０３で推定された身長が基準以上の場合、照明部２２２の発光部の下側から下方向に照射させる。

図７は、身長に応じたスピーカの制御例を説明するための図である。
制御部１０４は、ステップＳ１０３で推定された身長が基準以上の場合、図７（ａ）に示すように、陳列棚４０の上方に設置されたスピーカから音声または報知音を出力させる。また、制御部１０４は、ステップＳ１０３で推定された身長が基準未満の場合、図７（ｂ）に示すように、陳列棚４０の下方に設置されたスピーカから音声または報知音を出力させる。

本実施形態によれば、推定部１０２は、陳列棚４０の前方を含む領域を撮影した画像を処理することにより顧客の身長を推定し、制御部１０４は、顧客の身長を用いて、陳列棚４０に関連する発光装置および音声出力装置８０の少なくとも一方の動作状態を制御する。これにより、商品を撮像する撮像ユニット２０２において、商品が画像に明瞭に写るようになる。さらに、発光装置および音声出力装置８０の少なくとも一方により提供される情報を顧客が認識しやすくなる。

したがって、顧客の身長に関わらず、顧客が陳列棚４０から取り出した商品の画像認識精度を向上させることができ、画像処理による商品の特定を迅速かつ正確にしやすくなる。

（第２実施形態）
本実施形態の制御装置１００は、上記実施形態の制御対象である照明部２２２が高さ方向に複数に区分されていて、身長に応じて各区分の発光状態を制御する構成を有する点以外は上記第１実施形態と同様である。本実施形態の制御装置１００は、図４の第１実施形態と同様な構成を有するため、以下、第１実施形態の図４の機能ブロック図を用いて説明する。ただし、本実施形態の構成は、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。

＜機能構成例＞
制御部１０４により制御される発光装置は、一例として、撮像ユニット２０２の照明部２２２の発光部である。照明部２２２の発光部は、上記したように、陳列棚４０の高さ方向に延在する。本実施形態では、照明部２２２の発光部は、当該高さ方向に複数に区分されており、制御部１０４により区分毎に独立して制御可能である。制御部１０４は、照明部２２２の発光部の各区分の発光状態を、推定部１０２により推定された身長に応じて制御する。

本実施形態では、照明部２２２の発光部は３つに区分されている。身長も３つに区分される。発光部の各区分には、識別情報が割り当てられている。身長の区分と発光部の区分を示す識別情報（以下、発光部ＩＤとも呼ぶ）は、図８の対応テーブル１２０において関連付けられ、コンピュータ１０００のストレージデバイス１０４０またはメモリ１０３０に記憶されている。対応テーブル１２０は、制御装置１００の設定画面（不図示）により設定可能であってよい。

図８（ａ）の例では、身長は、１５０ｃｍ以上、かつ１７０ｃｍ以下の範囲の「標準」と、１７０ｃｍ超えの「高」と、１５０ｃｍ未満の「低」とに区分されている。発光部ＩＤは、高さ方向の高い順に、上から、「００１」、「００２」、「００３」が割り当てられている。

制御部１０４は、推定部１０２により推定された身長を取得し、対応テーブル１２０を参照し、身長に対応する発光部ＩＤを取得する。そして、制御部１０４は、当該発光部ＩＤが示す発光部の発光状態を制御する。発光部の発光状態の制御方法は様々考えられ、以下に例示されるがこれらに限定されない。

（ｂ１）当該区分の発光部を他の区分の発光部より明るさを強くする。
（ｂ２）当該区分の発光部を他の区分の発光部より明るさを弱くする。
（ｂ３）当該区分の発光部を点滅させる。
（ｂ４）当該区分の以外の発光部を点滅させる。
（ｂ５）当該区分の発光部のみ発光させ、他の区分の発光部は消灯する。
（ｂ６）当該区分の発光部のみ消灯し、他の区分の発光部は発光させる。

図８（ａ）の例では、身長が高い程、関連付けられる発光部の設置位置も高くなっていたが、他の例では、身長が高い程、関連付けられる発光部の設置位置が低くなってもよい。

さらなる他の例では、図８（ｂ）に示すように、身長が高い場合は、発光部ＩＤ００３に対応する低い位置の発光部を発光させ、身長が標準または低い場合は、発光部ＩＤ００１に対応する高い位置の発光部を発光させてもよい。

＜動作例＞
図９は、本実施形態の制御装置１００の動作例を示すフローチャートである。図９のフローチャートは、図６のフローチャートと同じステップＳ１０１とステップＳ１０３を含むとともに、さらに、ステップＳ２０１～ステップＳ２０７を含む。

なお、本実施形態のフローは、図６のフローと組み合わせて並列に実行されてもよい。図１０は、身長に応じた発光部の制御例を説明するための図である。
ステップＳ１０３で顧客の身長が推定された後、制御部１０４は、身長に応じて、照明部２２２の発光部の動作状態を制御する（ステップＳ２０１）。例えば、ステップＳ１０３で推定された身長が１７０ｃｍを超える（「高」）の場合、対応テーブル１２０を参照し、「高」に対応する発光部ＩＤ「００１」を取得する。図１０（ａ）に示すように、制御部１０４は、発光部ＩＤ００１に対応する上から１番目の発光部２２２ａを発光させる（ステップＳ２０３）。

また、ステップＳ１０３で推定された身長が１５０～１７０ｃｍ（「標準」）の場合、対応テーブル１２０を参照し、「標準」に対応する発光部ＩＤ「００２」を取得する。図１０（ｂ）に示すように、制御部１０４は、発光部ＩＤ００２に対応する上から２番目の発光部２２２ｂを発光させる（ステップＳ２０５）。

また、ステップＳ１０３で推定された身長が１５０ｃｍ未満（「低」）の場合、対応テーブル１２０を参照し、「低」に対応する発光部ＩＤ「００３」を取得する。制御部１０４は、発光部ＩＤ００３に対応する上から３番目の発光部２２２ｃを発光させる（ステップＳ２０７）。

本実施形態によれば、照明部２２２の発光部は複数に区分され、制御部１０４は、推定部１０２により推定された顧客の身長に対応する区分の発光部の動作を制御できるので、身長に適した照明動作を実現できる。上記実施形態と同様に画像認識精度を向上させることができるので、画像処理による商品の特定を迅速かつ正確にしやすくなる。

（第３実施形態）
本実施形態では、陳列棚４０の高さ方向において異なる高さに設置される複数の表示装置を発光装置とし、身長に応じてアクティブにする表示装置を選択して動作制御する構成を有する点以外は、上記第１実施形態と同様である。本実施形態の制御装置１００は、図４の第１実施形態と同様な構成を有するため、以下、第１実施形態の図４の機能ブロック図を用いて説明する。ただし、本実施形態の構成は、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。

＜システム構成例＞
図１１は、本実施形態の制御装置１００の商品登録システム１における使用環境を示す図である。本実施形態では、制御装置１００は、陳列棚４０の所定の位置に配置される表示装置を制御する。表示装置は、液晶ディスプレイ、有機ＥＬディスプレイなどである。本実施形態では、表示装置は、例えば、タブレット端末、スマートフォンなどの操作端末６０である。操作端末６０は、図５のコンピュータ１０００によって実現される。

操作端末６０は、入出力装置として、表示部、操作受付部、音声入出力部、振動部などを有してよい。表示部は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、ＬＥＤ（Light Emitting Diode）表示器、ライトなどである。操作受付部は、タッチパネル、キーボード、操作キー、操作ボタン、スイッチ、ジョグダイヤル、タッチパッドなどである。音声入出力部は、マイクロフォン、およびスピーカである。振動部は、バイブレータである。操作端末６０の表示部（ディスプレイ６２）は、タッチパネルであり、操作受付部を兼ねている。

＜機能構成例＞
制御部１０４により制御される発光装置は、陳列棚４０の高さ方向において異なる高さに設置される複数の表示装置である。図１２に示すように、複数の操作端末６０が陳列棚４０の高さ方向において異なる高さに３つの操作端末６０（図中、上から６０ａ、６０ｂ、６０ｃと示す）が設置されている。

制御部１０４は、推定部１０２により推定された身長に応じて、いずれの高さの操作端末６０をアクティブにさせるかを制御する。

制御部１０４による操作端末６０のアクティブな状態とは、例えば、画像認識精度を向上させるために、顧客に対して要求される指示内容を示すメッセージなどをディスプレイ６２に表示したり、スピーカ（不図示）から音声出力したり、報知音を出力したり、ライトを点灯したりする状態である。例えば、取り出した商品をカメラに向けるように指示したり、商品の高さを所定の高さに移動させて静止させるように指示したりしてもよい。さらに、後述する第５実施形態では、画像認識により見つかった複数候補の中から決済対象となる商品を選択するように顧客に指示するメッセージおよび選択画面の少なくとも一方をディスプレイ６２に表示したり、スピーカから音声出力したり報知音を出力たり、ライトを点灯したりしてもよい。

制御部１０４による操作端末６０の非アクティブな状態とは、ディスプレイ６２に待機画面を表示させたり、非表示にさせたり、スピーカは消音したり、ライトを消灯したりした状態である。

本実施形態でも対応テーブル１２０を用いて、身長に関連付けてアクティブにする表示装置の識別情報を記憶してもよい。

＜動作例＞
図１３は、本実施形態の制御装置１００の動作例を示すフローチャートである。図１３のフローチャートは、図９のフローチャートと同じステップＳ１０１、ステップＳ１０３、およびステップＳ２０１を含むとともに、さらに、ステップＳ３０１～ステップＳ３０７を含む。なお、本実施形態のフローは、図６および図９の少なくとも一方のフローと組み合わせて並列に実行されてもよい。

本実施形態の対応テーブル１２０では、顧客の身長の区分に、表示装置の識別情報が関連付けられている。
ステップＳ１０３で顧客の身長が推定された後、制御部１０４は、身長に応じて、照明部２２２の発光部の動作状態を制御する（ステップＳ２０１）。例えば、ステップＳ１０３で推定された身長が１７０ｃｍを超える（「高」）の場合、対応テーブル１２０を参照し、「高」に対応する表示装置の識別情報を取得する。図１２（ａ）に示すように、制御部１０４は、表示装置の識別情報に対応する上から１番目の操作端末６０ａのディスプレイ６２をアクティブにする（ステップＳ３０３）。

また、ステップＳ１０３で推定された身長が１５０～１７０ｃｍ（「標準」）の場合、対応テーブル１２０を参照し、「標準」に対応する表示装置の識別情報を取得する。図１２（ｂ）に示すように、制御部１０４は、表示装置の識別情報に対応する上から２番目の操作端末６０ｂのディスプレイ６２をアクティブにする（ステップＳ３０５）。

また、ステップＳ１０３で推定された身長が１５０ｃｍ未満（「低」）の場合、対応テーブル１２０を参照し、「低」に対応する表示装置の識別情報を取得する。制御部１０４は、表示装置の識別情報に対応する上から３番目の操作端末６０ｃのディスプレイ６２をアクティブにする（ステップＳ３０７）。

本実施形態によれば、制御部１０４は、複数のディスプレイ６２を陳列棚４０の高さ方向の異なる高さに配置し、推定される顧客の身長に応じたディスプレイ６２をアクティブに制御する。つまり、顧客が見易い位置、または気付き易い位置のディスプレイ６２をアクティブにするので、効率よく顧客に指示内容を伝えることができる。よって、本実施形態の制御装置１００によれば、画像認識精度をより迅速に向上させることができるので、画像処理による商品の特定を迅速かつ正確にしやすくなる。

（第４実施形態）
本実施形態では、制御部１０４により制御される発光装置は、プロジェクタ９０である点以外は、上記第１実施形態と同様である。ただし、本実施形態の構成は、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。

＜システム構成例＞
図１４は、本実施形態の制御装置１００の商品登録システム１における使用環境を示す図である。本実施形態では、制御装置１００に制御される発光装置は、プロジェクタ９０である。

＜機能構成例＞
図１５は、本実施形態の制御装置１００の機能構成の一例を示す機能ブロック図である。制御装置１００は、図４の制御装置１００と同じ、推定部１０２と、制御部１０４と、を有するとともに、さらに、位置特定部１０６を有する。

位置特定部１０６は、推定部１０２により推定された顧客の身長を用いて、プロジェクタ９０の投影位置を特定する。制御部１０４は、特定された投影位置に所定の画像をプロジェクタに投影させる。

プロジェクタ９０により投影される場所は様々考えられ、以下に例示されるがこれらに限定されない。以下の複数を組み合わせてもよい。
（ｃ１）陳列棚４０の前面フレーム４２
（ｃ２）陳列棚４０の棚および棚に陳列されている商品を含む領域
（ｃ３）商品の表面
（ｃ４）顧客の身体の一部（例えば、手の甲など）

上記（ｃ３）および上記（ｃ４）の場合、制御装置１００は、さらに、画像を処理することで顧客の身体および商品のうち少なくとも一方を検出する検出部（不図示）をさらに備える。制御部１０４は、検出部により検出された顧客の身体の一部および商品のうち少なくとも一方を投影位置として所定の画像を投影する。

所定の画像は、画像認識精度を向上させるために、顧客に対して要求される指示内容を示すメッセージなどを示す画像である。例えば、所定の画像は、顧客に対して商品の位置や向きの変更を指示する内容を示す画像である。具体的には、取り出した商品をカメラに向けるように指示したり、商品の高さを所定の高さに移動させて静止させるように指示したりする内容を示してもよい。さらに、後述する第５実施形態では、画像認識により見つかった複数候補の中から決済対象となる商品を選択するように顧客に指示するメッセージを示す画像を投影してもよい。

検出部を用いる構成では、推定部１０２により推定された顧客の身長は用いずに画像の投影位置を特定することができる。

上記（ｃ１）および上記（ｃ２）の例では、推定部１０２により推定された顧客の身長を用いて、投影位置を特定する。例えば、上記（ｃ１）の例では、前面フレーム４２を高さ方向において複数に区分し、投影位置をいずれの区分にするか、身長に応じて選択する。上記（ｃ２）の例では、陳列棚４０の複数の棚段のうち、投影位置を何段目の棚にするか、身長に応じて選択する。

本実施形態によれば、位置特定部１０６は、顧客の身長を用いてプロジェクタ９０の投影位置を特定し、制御部１０４は、特定された投影位置に所定の画像をプロジェクタ９０に投影させる。所定の画像は、画像認識精度を向上させるために、顧客に商品の位置や向きの変更を指示する内容を含む。顧客の身長にあった位置にプロジェクタ９０に投影させることができるので、顧客が指示内容に気付きやすくなる。よって、本実施形態の制御装置１００によれば、画像認識精度をより迅速に向上させることができるので、画像処理による商品の特定を迅速かつ正確にしやすくなる。

（第５実施形態）
本実施形態の制御装置１００は、画像処理により顧客が陳列棚４０から取り出した商品を特定し、複数の候補が特定された場合に顧客に選択させる構成を有する点で上記実施形態と相違する。ただし、本実施形態の制御装置１００は、他の実施形態の構成の少なくともいずれか一つと矛盾を生じない範囲で組み合わせてもよい。

＜システム構成例＞
図１６は、本実施形態の制御装置１００の商品登録システム１における使用環境を示す図である。図１７は、本実施形態の制御装置１００の機能構成の一例を示す機能ブロック図である。図１６では、商品登録システム１は、図１の音声出力装置８０に替えて、操作端末６０を備えている。ただし、商品登録システム１は、後述するように、図１４の音声出力装置８０およびプロジェクタ９０をさらに備えてもよい。

近年、店舗において省人化または無人化などを目的として、商品登録作業を、店員や顧客による商品バーコードなどの読み取り作業に依らずに、撮像画像を用いて行うシステムが実用化されてきている。このような店舗では、顧客は店舗内の棚から商品を取り出してカートや買い物カゴ、あるいは、顧客のバッグに入れるだけで、商品登録処理が完了する。

しかしながら、同じシリーズの商品であっても、通常の商品と、カロリーオフや糖質オフの商品や、フレーバーが異なる商品など、複数の類似商品が存在する場合がある。そのため、画像を用いた商品の特定にあっては、商品パッケージの画像を元にした画像処理では類似する商品の正確な判別が困難な場合があった。しかしながら、決済処理においては、商品は正確に特定される必要がある。

そこで、本実施形態では、画像認識の結果、複数の類似商品が候補として検出された場合に、操作端末６０を用いて顧客に複数候補の中から決済対象となる商品を選択させる。

操作端末６０は、所定のアプリケーションを起動し、通信ネットワーク３を介して制御装置１００と接続する。操作端末６０は、制御装置１００により制御され、ディスプレイ６２への表示、ライトの発光、および音声出力などを行うことができる。

図１８は、商品選択のための画面３００の一例を示す図である。画面３００は、操作端末６０のディスプレイ６２に表示される。操作画面３００は、選択指示部３０２と、候補商品情報表示部３０４と、選択ボタン３０６と、金額表示部３０８と、会計ボタン３１０と、クリアボタン３１２と、キャンセルボタン３１４とを含む。

選択指示部３０２は、商品の候補が複数あることを顧客に知らせるとともに、候補の中から買上商品の選択を指示するメッセージを表示する。候補商品情報表示部３０４は、候補商品の情報、例えば、商品名、商品の属性（容量、カロリーオフ、糖質ゼロ、特保、フレーバー種別、色、サイズ、容量、セット数などの特徴など）、商品画像、価格などを表示する。選択ボタン３０６は、当該ボタンの押下を受け付けると、商品登録装置３０は、当該商品を決済対象商品に追加する。

金額表示部３０８は、決済対象となっている商品の合計金額を表示する。会計ボタン３１０は、当該ボタンの押下を受け付けると、商品登録装置３０は、決済対象として登録済みの商品の決済処理を精算装置（不図示）に指示する。クリアボタン３１２は、当該ボタンの押下を受け付けると、商品登録装置３０は、決済対象となっている商品の登録を削除し、合計金額をクリアする。キャンセルボタン３１４は、当該ボタンの押下を受け付けると、商品登録装置３０は、候補の選択をキャンセルし、画面３００の候補商品情報を消去する。

この画面３００により、複数候補の中から、決済対象となる商品を顧客に選択させることができる。

しかしながら、そもそも商品を棚から取り出してカートに入れれば商品登録が完了する店舗において、顧客は操作の必要性を認識していない。さらには、操作端末６０の存在を顧客は認識していない場合もある。

そこで、制御部１０４は、発光装置を所定の発光状態で発光させることで、顧客に操作端末６０の存在を通知するとともに、選択操作が必要であることを伝える。

図１７に示すように、制御装置１００は、制御部１０４と、商品特定部１１０と、を備える。
商品特定部１１０は、陳列棚４０の前方を含む領域を撮影した画像を処理することにより、顧客が陳列棚４０から取り出した商品を特定する。制御部１０４は、陳列棚４０に関連する発光装置および表示装置を制御する。
商品特定部１１０により、複数の候補の商品が特定された場合に、制御部１０４は、表示装置に当該複数の候補から顧客に選択させる表示を行わせるとともに、発光装置に所定の発光状態で発光させる。

＜動作例＞
図１９は、本実施形態の制御装置１００の動作例を示すフローチャートである。まず、推定部１０２は、撮像ユニット２０２のカメラ２１２により陳列棚４０の前方を含む領域を撮影した画像を画像処理装置７０に処理させる（ステップＳ１０１）。そして、商品特定部１１０は、顧客が陳列棚４０から取り出した商品を特定する（ステップＳ４０１）。

ステップＳ４０１で特定された商品の候補が複数特定された場合（ステップＳ４０３のＹＥＳ）、制御部１０４は、複数の候補から顧客に決済対象となる商品を選択させる操作画面３００を操作端末６０に表示させる（ステップＳ４０５）。さらに、制御部１０４は、発光装置の発光状態を制御する（ステップＳ４０７）。

以下、ステップＳ２０７における発光装置の制御について具体例を説明する。
一例として、発光装置は、プロジェクタ９０である。
図２０は、制御部１０４による発光装置の発光状態の制御例を示す図である。
この例では、制御部１０４は、プロジェクタ９０に、陳列棚４０の前面フレーム４２に複数候補が見つかったこと、および複数候補の中から決済対象となる商品を選択する必要がある旨を顧客に伝えるためのメッセージを投影させている。

さらに、操作端末６０の設置位置を示す矢印などのアイコン画像を投影してもよい。
顧客は、このメッセージを見て、選択操作が必要であること、および操作端末６０の存在を知ることができる。

また、他の例では、発光装置は、撮像ユニット２０２の照明部２２２である。例えば、複数候補の数を照明部２２２の発光部の発光回数で示してもよい。
制御部１０４は、照明部２２２の発光部を、候補の数の回数分、発光させてもよい。

図２１は、制御部１０４による発光装置の発光状態の制御例を示す図である。
この例では、発光装置は、プロジェクタ９０である。制御部１０４は、プロジェクタ９０に、複数の候補商品のパッケージの画像４０２と、当該候補の中から決済対象の商品の選択を促すメッセージ４０４とを含む画像４００を投影する。

画像４００の投影位置は、該当商品が陳列されている棚の領域であってもよいし、上記実施形態の推定部１０２により推定された顧客の身長に応じて選択される棚の領域であってもよいし、顧客の視線方向を画像処理により特定し、特定された視線方向の棚の領域であってもよい。
投影画像４００は、棚と、棚に陳列されている商品との表面に投影される。

商品画像を含む投影画像の場合、決済対象となる商品の選択は、投影画像上で顧客が所定のジェスチャ（例えば、商品画像上でタップ操作）をすることで、画像処理によりジェスチャとジェスチャの位置（例えば、投影されている商品画像の位置に相当）を特定して、商品の選択操作として受け付けてもよいし、ディスプレイ６２に表示される画面３００を用いて選択を受け付けてもよい。選択操作方法は、操作端末６０や陳列棚４０に設けられたスピーカ（不図示）から音声によりガイダンスを出力して、顧客に伝えてもよい。

さらに、制御装置１００は、さらに、画像を処理することで顧客の身体および商品のうち少なくとも一方を検出する検出部（不図示）をさらに備えてもよい。制御部１０４は、検出部により検出された顧客の身体の一部および商品のうち少なくとも一方を投影位置として所定の画像を投影する。

図２２および図２３は、制御部１０４によるプロジェクタ９０の投影動作の制御例を示す図である。
図２２の例では、制御部１０４は、検出部により検出された顧客の手の甲に、複数の候補から決済対象となる商品を選択するよう指示するメッセージを含む画像を投影している。
図２３の例では、制御部１０４は、検出部により検出された商品パッケージの表面に、複数の候補から決済対象となる商品を選択するよう指示するメッセージを含む画像を投影している。

本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、商品特定部１１０により顧客が陳列棚４０から取り出した商品の候補が複数あった場合に、制御部１０４は、顧客に候補から選択をさせる表示を行うとともに、発光装置の発光状態を制御する。この構成により、顧客に複数候補の中から決済対象となる商品の選択を効率よく伝え、選択操作を促すことができる。また、発光装置や音声出力装置により操作端末６０の存在を顧客に気付かせることができる。さらに、推定部１０２により推定された顧客の身長に応じて発光装置、表示装置、および音声出力装置の動作状態を制御してもよいので、より効率よく顧客に選択操作の必要性や操作端末６０の存在を気付かせることができる。

よって、決済対象となる商品の複数候補の選択操作を顧客に円滑にかつ迅速に行わせることができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
例えば、第５実施形態において、複数候補の中から決済対象となる商品の選択を行う操作端末６０の存在を顧客に伝える際に、制御部１０４は、第１実施形態の推定部１０２により推定された顧客の身長を用いてもよい。

図２４は、操作端末６０の使用例を示す図である。この図の例では、操作端末６０は、陳列棚４０の上部に設置されている。そのため、図２４（ａ）に示すように、顧客の背が高い場合には、操作端末６０に気付きやいが、図２４（ｂ）に示すように、顧客の背が低い場合には、操作端末６０に気付きにくい場合がある。

そこで、第１実施形態から第４実施形態の少なくともいずれか一つに記載されたように、第５実施形態の制御装置１００は、さらに、推定部１０２を備えてもよい。制御部１０４は、類似品の複数の候補の中から、商品登録対象となる商品の選択を顧客に促すために、発光装置および音声出力装置の少なくとも一方の動作状態を、推定された顧客の身長に応じて制御してもよい。制御部１０４は、複数候補の中から、商品登録対象となる商品の選択を顧客に促すメッセージ、操作端末６０の存在および位置を示す情報などを示す画面表示制御、照明部２２２の発光部の発光状態の制御、音声または報知音の出力状態の制御などを行ってもよい。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者（顧客）に関する情報を取得、利用する場合は、これを適法に行うものとする。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。

１． 棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する推定手段と、
前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する制御手段と、を備える、制御装置。
２． １．に記載の制御装置において、
前記発光装置は照明装置であり、
前記制御手段は、前記照明装置の光の照射方向を制御する、制御装置。
３． １．または２．に記載の制御装置において、
前記発光装置は照明装置であり、
前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
前記制御手段は、前記照明装置の各前記区分の発光状態を、前記推定手段により推定された前記身長に応じて制御する、制御装置。
４． １．から３．のいずれか一つに記載の制御装置において、
前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
前記制御手段は、前記推定手段により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御装置。
５． １．から４．のいずれか一つに記載の制御装置において、
前記発光装置はプロジェクタである、制御装置。
６． ５．に記載の制御装置において、
前記推定手段により推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する特定手段をさらに備え、
前記制御手段は、特定された前記投影位置に所定の画像を前記プロジェクタに投影させる、制御装置。
７． ６．に記載の制御装置において、
前記顧客の身体を検出する検出手段をさらに備え、
前記制御手段は、前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御装置。

８． 制御装置は、
棚の前方を含む領域を撮影する撮像装置とともに使用され、
前記制御装置が、
前記撮像装置が撮像した画像を処理することにより顧客の身長を推定し、
前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する、制御方法。
９． ８．に記載の制御方法において、
前記発光装置は照明装置であり、
前記制御装置が、
前記照明装置の光の照射方向を制御する、制御方法。
１０． ８．または９．に記載の制御方法において、
前記発光装置は照明装置であり、
前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
前記制御装置が、
前記照明装置の各前記区分の発光状態を、推定された前記身長に応じて制御する、制御方法。
１１． ８．から９．のいずれか一つに記載の制御方法において、
前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
前記制御装置が、
推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御方法。
１２． ８．から１１．のいずれか一つに記載の制御方法において、
前記発光装置はプロジェクタである、制御方法。
１３． １２．に記載の制御方法において、
前記制御装置が、さらに、
推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定し、
特定された前記投影位置に所定の画像を前記プロジェクタに投影させる、制御方法。
１４． １３．に記載の制御方法において、
前記制御装置が、さらに、
前記顧客の身体を検出し、
前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御方法。

１５． 棚の前方を含む領域を撮影する撮像装置とともに使用されるコンピュータに、
前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する手順、
前記顧客の身長を用いて、前記棚に関連する発光装置および音声出力装置の少なくとも一方の動作状態を制御する手順、を実行させるためのプログラム。
１６． １５．に記載のプログラムにおいて、
前記発光装置は照明装置であり、
前記照明装置の光の照射方向を制御する手順をコンピュータに実行させるためのプログラム。
１７． １５．または１６．に記載のプログラムにおいて、
前記発光装置は照明装置であり、
前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
前記照明装置の各前記区分の発光状態を、前記推定する手順により推定された前記身長に応じて制御する手順をコンピュータに実行させるためのプログラム。
１８． １５．から１７．のいずれか一つに記載のプログラムにおいて、
前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
前記推定する手順により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する手順をコンピュータに実行させるためのプログラム。
１９． １５．から１８．のいずれか一つに記載のプログラムにおいて、
前記発光装置はプロジェクタである、プログラム。
２０． １９．に記載のプログラムにおいて、
前記推定する手順により推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する手順、
特定された前記投影位置に所定の画像を前記プロジェクタに投影させる手順、をコンピュータに実行させるためのプログラム。
２１． ２０．に記載のプログラムにおいて、
前記顧客の身体を検出する手順、
前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる手順、をコンピュータに実行させるためのプログラム。

２２． 棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより、前記顧客が前記棚から取り出した商品を特定する特定手段と、
前記棚に関連する発光装置および表示装置を制御する制御手段と、
を備え、
前記特定手段により、複数の候補の商品が特定された場合に、前記制御手段は、前記表示装置に当該複数の候補から前記顧客に選択させる表示を行わせるとともに、前記発光装置に所定の発光状態で発光させる、制御装置。
２３． ２２．に記載の制御装置において、
前記制御手段は、前記候補の数の回数分、前記発光装置を発光させる、制御装置。
２４． ２２．または２３．に記載の制御装置において、
さらに、前記画像を処理することにより顧客の身長を推定する推定手段を備え、
前記制御手段は、前記顧客の身長を用いて、前記発光装置および前記表示装置の少なくとも一方の動作状態を制御する、制御装置。
２５． ２２．から２４．のいずれか一つに記載の制御装置において、
前記発光装置は照明装置であり、
前記制御手段は、前記照明装置の光の照射方向を制御する、制御装置。
２６． ２２．から２５．のいずれか一つに記載の制御装置において、
前記発光装置は照明装置であり、
さらに、前記画像を処理することにより顧客の身長を推定する推定手段を備え、
前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
前記制御手段は、前記照明装置の各前記区分の発光状態を、前記推定手段により推定された前記身長に応じて制御する、制御装置。
２７． ２２．から２６．のいずれか一つに記載の制御装置において、
前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
さらに、前記画像を処理することにより顧客の身長を推定する推定手段を備え、
前記制御手段は、前記推定手段により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御装置。
２８． ２２．から２７．のいずれか一つに記載の制御装置において、
前記発光装置はプロジェクタである、制御装置。
２９． ２８．に記載の制御装置において、
さらに、前記画像を処理することにより顧客の身長を推定する推定手段を備え、
前記推定手段により推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する特定手段をさらに備え、
前記制御手段は、特定された前記投影位置に所定の画像を前記プロジェクタに投影させる、制御装置。
３０． ２９．に記載の制御装置において、
前記顧客の身体を検出する検出手段をさらに備え、
前記制御手段は、前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御装置。

３１． 制御装置が、
棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより、前記顧客が前記棚から取り出した商品を特定し、
前記棚に関連する発光装置および表示装置を制御し、
複数の候補の商品が特定された場合に、前記表示装置に当該複数の候補から前記顧客に選択させる表示を行わせるとともに、前記発光装置に所定の発光状態で発光させる、制御方法。
３２． ３１．に記載の制御方法において、
前記制御装置が、
前記候補の数の回数分、前記発光装置を発光させる、制御方法。
３３． ３１．または３２．に記載の制御方法において、
前記制御装置が、
さらに、前記画像を処理することにより顧客の身長を推定し、
前記顧客の身長を用いて、前記発光装置および前記表示装置の少なくとも一方の動作状態を制御する、制御方法。
３４． ３１．から３３．のいずれか一つに記載の制御方法において、
前記発光装置は照明装置であり、
前記制御装置が、
前記照明装置の光の照射方向を制御する、制御方法。
３５． ３１．から３４．のいずれか一つに記載の制御方法において、
前記発光装置は照明装置であり、
前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
前記制御装置が、
さらに、前記画像を処理することにより顧客の身長を推定し、
前記照明装置の各前記区分の発光状態を、推定された前記身長に応じて制御する、制御方法。
３６． ３１．から３５．のいずれか一つに記載の制御方法において、
前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
前記制御装置が、
さらに、前記画像を処理することにより顧客の身長を推定し、
推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御方法。
３７． ３１．から３６．のいずれか一つに記載の制御方法において、
前記発光装置はプロジェクタである、制御方法。
３８． ３７．に記載の制御方法において、
前記制御装置が、さらに、
前記画像を処理することにより顧客の身長を推定し、
推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定し、
特定された前記投影位置に所定の画像を前記プロジェクタに投影させる、制御方法。
３９． ３８．に記載の制御方法において、
前記制御装置が、さらに、
前記顧客の身体を検出し、
前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御方法。

４０． 棚の前方を含む領域を撮影する撮像装置とともに使用されるコンピュータに、
前記撮像装置が撮像した画像を処理することにより、前記顧客が前記棚から取り出した商品を特定する手順、
前記棚に関連する発光装置および表示装置を制御する手順、
前記特定する手順により、複数の候補の商品が特定された場合に、前記表示装置に当該複数の候補から前記顧客に選択させる表示を行わせるとともに、前記発光装置に所定の発光状態で発光させる手順、を実行させるためのプログラム。
４１． ４０．に記載のプログラムにおいて、
前記候補の数の回数分、前記発光装置を発光させる手順をコンピュータに実行させるためのプログラム。
４２． ４０．または４１．に記載のプログラムにおいて、
さらに、前記画像を処理することにより顧客の身長を推定する手順、
前記顧客の身長を用いて、前記発光装置および前記表示装置の少なくとも一方の動作状態を制御する手順、をコンピュータに実行させるためのプログラム。
４３． ４０．から４２．のいずれか一つに記載のプログラムにおいて、
前記発光装置は照明装置であり、
前記照明装置の光の照射方向を制御する手順をコンピュータに実行させるためのプログラム。
４４． ４０．から４３．のいずれか一つに記載のプログラムにおいて、
前記発光装置は照明装置であり、
前記照明装置は、前記棚の高さ方向に延在し、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
さらに、前記画像を処理することにより顧客の身長を推定する手順、
前記照明装置の各前記区分の発光状態を、前記推定する手順により推定された前記身長に応じて制御する手順、をコンピュータに実行させるためのプログラム。
４５． ４０．から４４．のいずれか一つに記載のプログラムにおいて、
前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
さらに、前記画像を処理することにより顧客の身長を推定する手順、
前記推定する手順により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する手順、をコンピュータに実行させるためのプログラム。
４６． ４０．から４５．のいずれか一つに記載のプログラムにおいて、
前記発光装置はプロジェクタである、プログラム。
４７． ４６．に記載のプログラムにおいて、
前記制御装置が、さらに、
前記画像を処理することにより顧客の身長を推定する手順、
前記推定する手順により推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する手順、
特定された前記投影位置に所定の画像を前記プロジェクタに投影させる手順、をコンピュータに実行させるためのプログラム。
４８． ４７．に記載のプログラムにおいて、
さらに、
前記顧客の身体を検出する手順、
前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる手順、をコンピュータに実行させるためのプログラム。

１ 商品登録システム
３ 通信ネットワーク
３０ 商品登録装置
４０ 陳列棚
４２ 前面フレーム
６０、６０ａ、６０ｂ、６０ｃ 操作端末
６２ ディスプレイ
７０ 画像処理装置
８０ 音声出力装置
９０ プロジェクタ
１００ 制御装置
１０２ 推定部
１０４ 制御部
１０６ 位置特定部
１１０ 商品特定部
１２０ 対応テーブル
２００ 撮像装置
２０２ 撮像ユニット
２１０ 撮像部筐体
２１２ カメラ
２２０ 照明部筐体
２２２ 照明部
２２２ａ、２２２ｂ、２２２ｃ 発光部
３００ 画面
３００ 操作画面
３０２ 選択指示部
３０４ 候補商品情報表示部
３０６ 選択ボタン
３０８ 金額表示部
３１０ 会計ボタン
３１２ クリアボタン
３１４ キャンセルボタン
１０００ コンピュータ
１０１０ バス
１０２０ プロセッサ
１０３０ メモリ
１０４０ ストレージデバイス
１０５０ 入出力インタフェース
１０６０ ネットワークインタフェース

Claims (13)

1. 棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する推定手段と、
   前記顧客の身長を用いて、前記棚に関連する複数の音声出力装置の動作状態をそれぞれ制御する制御手段と、を備え、
   前記複数の音声出力装置は、前記棚の高さ方向の異なる高さにそれぞれ配置される、制御装置。
2. 棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する推定手段と、
   前記顧客の身長を用いて、前記棚に関連する発光装置の動作状態を制御する制御手段と、を備え、
   前記発光装置は照明装置であり、
   前記照明装置は、前記棚の高さ方向に延在しており、
   前記制御手段は、前記推定手段により推定された前記身長が基準未満の場合、前記照明装置の下側から上方向に照射させ、前記推定手段により推定された前記身長が基準以上の場合、前記照明装置の上側から下方向に照射させるように、前記照明装置の光の照射方向を制御する、制御装置。
3. 請求項２に記載の制御装置において、
   前記照明装置は、当該高さ方向に複数に区分されており、前記区分毎に独立して制御可能であり、
   前記制御手段は、前記照明装置の各前記区分の発光状態を、前記推定手段により推定された前記身長に応じて制御する、制御装置。
4. 棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する推定手段と、
   前記顧客の身長を用いて、前記棚に関連する発光装置の動作状態を制御する制御手段と、を備え、
   前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
   前記制御手段は、前記推定手段により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御装置。
5. 棚の前方を含む領域を撮影する撮像装置とともに使用され、前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する推定手段と、
   前記顧客の身長を用いて、前記棚に関連する発光装置の動作状態を制御する制御手段と、を備え、
   前記発光装置はプロジェクタであり、
   前記推定手段により推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する特定手段をさらに備え、
   前記制御手段は、特定された前記投影位置に所定の画像を前記プロジェクタに投影させ、
   前記顧客の身体を検出する検出手段をさらに備え、
   前記制御手段は、前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御装置。
6. 制御装置は、
   棚の前方を含む領域を撮影する撮像装置とともに使用され、
   前記制御装置が、
   前記撮像装置が撮像した画像を処理することにより顧客の身長を推定し、
   前記顧客の身長を用いて、前記棚に関連する複数の音声出力装置の動作状態をそれぞれ制御し、
   前記複数の音声出力装置は、前記棚の高さ方向の異なる高さにそれぞれ配置される、制御方法。
7. 制御装置は、
   棚の前方を含む領域を撮影する撮像装置とともに使用され、
   前記制御装置が、
   前記撮像装置が撮像した画像を処理することにより顧客の身長を推定し、
   前記顧客の身長を用いて、前記棚に関連する発光装置の動作状態を制御し、
   前記発光装置は照明装置であり、
   前記照明装置は、前記棚の高さ方向に延在しており、
   制御手段は、推定手段により推定された前記身長が基準未満の場合、前記照明装置の下側から上方向に照射させ、前記推定手段により推定された前記身長が基準以上の場合、前記照明装置の上側から下方向に照射させるように、前記照明装置の光の照射方向を制御する、制御方法。
8. 制御装置は、
   棚の前方を含む領域を撮影する撮像装置とともに使用され、
   前記制御装置が、
   前記撮像装置が撮像した画像を処理することにより顧客の身長を推定し、
   前記顧客の身長を用いて、前記棚に関連する発光装置の動作状態を制御し、
   前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
   制御手段は、推定手段により推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する、制御方法。
9. 制御装置は、
   棚の前方を含む領域を撮影する撮像装置とともに使用され、
   前記制御装置が、
   前記撮像装置が撮像した画像を処理することにより顧客の身長を推定し、
   前記顧客の身長を用いて、前記棚に関連する発光装置の動作状態を制御し、
   前記発光装置はプロジェクタであり、
   推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定し、
   特定された前記投影位置に所定の画像を前記プロジェクタに投影させ、
   前記顧客の身体を検出し、
   前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる、制御方法。
10. 棚の前方を含む領域を撮影する撮像装置とともに使用されるコンピュータに、
    前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する手順、
    前記顧客の身長を用いて、前記棚に関連する複数の音声出力装置の動作状態をそれぞれ制御する手順、を実行させ、
    前記複数の音声出力装置は、前記棚の高さ方向の異なる高さにそれぞれ配置される、プログラム。
11. 棚の前方を含む領域を撮影する撮像装置とともに使用されるコンピュータに、
    前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する手順、
    前記顧客の身長を用いて、前記棚に関連する発光装置の動作状態を制御する手順、を実行させ、
    前記発光装置は照明装置であり、
    前記照明装置は、前記棚の高さ方向に延在しており、
    推定された前記身長が基準未満の場合、前記照明装置の下側から上方向に照射させ、推定された前記身長が基準以上の場合、前記照明装置の上側から下方向に照射させるように、前記照明装置の光の照射方向を制御する手順、を実行させるためのプログラム。
12. 棚の前方を含む領域を撮影する撮像装置とともに使用されるコンピュータに、
    前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する手順、
    前記顧客の身長を用いて、前記棚に関連する発光装置の動作状態を制御する手順、を実行させ、
    前記発光装置は、前記棚の高さ方向において異なる高さに設置される複数の表示装置であり、
    推定された前記身長に応じて、いずれの前記高さの前記表示装置をアクティブにさせるかを制御する手順を実行させるためのプログラム。
13. 棚の前方を含む領域を撮影する撮像装置とともに使用されるコンピュータに、
    前記撮像装置が撮像した画像を処理することにより顧客の身長を推定する手順、
    前記顧客の身長を用いて、前記棚に関連する発光装置の動作状態を制御する手順、を実行させ、
    前記発光装置はプロジェクタであり、
    推定された前記顧客の身長を用いて、前記プロジェクタの投影位置を特定する手順、
    特定された前記投影位置に所定の画像を前記プロジェクタに投影させる手順、
    前記顧客の身体を検出する手順、
    前記プロジェクタに、検出された前記顧客の身体を前記投影位置として前記所定の画像を投影させる手順、を実行させるためのプログラム。

Images