JP5551196B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、物品を撮像した画像データから対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、商品等の判別に用いたシステムが提案されている。

しかしながら、上述した従来技術においては、照合用のデータのもととなった画像を確認することができず、一般物体認識に用いる照合用のデータを検証することが困難であった。

上述した課題を解決するために、実施形態の情報処理装置は、商品マスタデータに登録された各商品について、当該商品の画像データを記憶する記憶手段と、前記商品ごとに、当該商品の画像データの表示指示を操作者の操作により受け付ける表示受付手段と、前記表示指示を受け付けた商品について、当該商品の画像データを読み出して表示する画像表示手段と、を備える。

また、実施形態のプログラムは、商品マスタデータに登録された各商品について、当該商品の画像データを記憶する記憶手段を備える情報処理装置のコンピュータを、前記商品ごとに、当該商品の画像データの表示指示を操作者の操作により受け付ける表示受付手段と、前記表示指示を受け付けた商品について、当該商品の画像データを読み出して表示する画像表示手段と、して機能させる。

図１は、実施形態にかかるチェックアウトシステム（店舗システム）の一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＣＰＵがプログラムを順次実行することで実現される機能構成を示すブロック図である。 図５は、確認処理の動作の一例を示すフローチャートである。 図６は、確認画面の一例を示す概念図である。 図７は、確認画面の一例を示す概念図である。

以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、実施形態にかかるチェックアウトシステム１（店舗システム）の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引に係る商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。

商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１、画像ファイルＦ２である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品の各々について、商品を識別するための商品ＩＤ、商品が属する分類（商品分類）、販売価格（単価）、画像ファイルＦ２として商品の画像を記録したファイル名（商品画像）等の商品マスタデータが記録されたファイルである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品ごとに、ユニークに割り当てられた商品ＩＤ、商品が属する商品分類、商品名、単価等の商品に関する情報と、画像ファイルＦ２として商品の画像を記録したファイル名（商品画像）と、「類似度：０．ＸＸ」（図示例では「０．５０」）という閾値とを、その商品のマスタデータとして格納するファイルである。詳細は後述するが、この「類似度：０．ＸＸ」という閾値は、商品が果物や生鮮品等であり、鮮度が落ち変色した場合等は、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し（参照）可能に構成されている。

なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、各商品について、商品画像から算出された特徴量（色合いや表面の凹凸状況等）を、対応付けて格納する形態としてもよい。

図２に戻り、画像ファイルＦ２は、例えばＪＰＥＧ（Joint Photographic Experts Group）形式で画像データを記録するファイルであり、色合いや表面の凹凸状況等の商品の特徴量の算出もととなる商品の画像を記録している。この画像ファイルＦ２については、商品の特徴量を算出するため、一つの商品について撮影条件（撮影方向、輝度など）を変えて撮影した複数の画像ファイルＦ２が用意される。複数の画像ファイルＦ２については、ユニークなファイル名が設定されている。ＰＬＵファイルＦ１の商品画像の項目には商品の画像を記録したファイル名が記述されており、ＰＬＵファイルＦ１に登録された各商品の画像ファイルＦ２が特定できるようになっている。なお、画像ファイルＦ２は、ＰＯＳ端末１１に記憶される以外に、商品読取装置１０１の記憶部に記憶されてもよく、また、通信可能なサーバ装置上に記憶されてもよい。

ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１、画像ファイルＦ２が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現される機能部について、図４を参照して説明する。

図４は、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現される機能構成を示すブロック図である。図４に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、類似度算出部１６１３、登録商品通知部１６１４、商品画像確認部１６１５、商品画像表示部１６１６、商品画像設定部１６１７としての機能を備える。また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、売上登録部６１１としての機能を備える。

画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部１６１２は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品Ｇの写り込みを検出する。

なお、商品Ｇを検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。

類似度算出部１６１３は、商品読取装置１０１の撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部１６１３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。

また、類似度算出部１６１３は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として算出し、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしてもよい。また、類似度算出部１６１３は、登録商品の各々について算出した類似度が、当該商品に予め定められた閾値（「類似度：０．ＸＸ」）を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの候補（以下、商品候補という）として認識（判定）する。なお、ＰＬＵファイルＦ１に各商品画像の特徴量が対応付けて格納されている場合には、ＰＬＵファイルＦ１に格納された特徴量を用いて比較する形態としてもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

前者の算出方法を用いる場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、後者の算出方法を用いる場合、例えば、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出する。

登録商品通知部１６１４は、売上登録を行う商品を示す情報（例えば、商品ＩＤや商品名等）を、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知する。具体的には、登録商品通知部１６１４は、類似度算出部１６１３により算出された類似度の高い商品を売上登録を行う商品として表示デバイス１０６に表示させ、タッチパネル１０５より操作者からの確認操作を受け付ける。次いで、確認操作を受け付けた商品の商品ＩＤを、販売個数とともにＰＯＳ端末１１に通知する。

商品画像確認部１６１５は、ＰＬＵファイルＦ１に登録された商品の確認を行う確認画面を表示デバイス１０６に表示させ、この確認画面における操作者からの操作をタッチパネル１０５より受け付ける確認処理を行う。具体的には、商品画像確認部１６１５は、キーボード１０７、タッチパネル１０５による操作をもとに、ＰＬＵファイルＦ１に登録された商品の確認を行う確認画面を表示デバイス１０６に表示させる。次いで、商品画像確認部１６１５は、操作画面上のカーソル操作などをキーボード１０７、タッチパネル１０５より受け付けて、ＰＬＵファイルＦ１に登録された商品の確認指示を受け付ける。次いで、商品画像確認部１６１５は、確認指示のあった商品について、その商品の商品ＩＤをもとにＰＬＵファイルＦ１に記録されたデータを読み出して、表示デバイス１０６に表示させる。より具体的には、商品画像確認部１６１５は、ＰＬＵファイルＦ１に登録された商品の一覧を表示デバイス１０６に表示させ、その商品ごとに、商品の特徴量の算出もととなる画像の表示指示を受け付ける。なお、上述した確認処理の詳細は後述する。

商品画像表示部１６１６は、確認処理において商品画像確認部１６１５により商品の特徴量の算出もととなる画像の表示指示を受け付けた場合に、表示指示を受け付けた商品を撮影した画像を画像ファイルＦ２より読み出して表示デバイス１０６に表示させる。具体的には、商品画像表示部１６１６は、表示指示を受け付けた商品の商品ＩＤをもとにＰＬＵファイルＦ１の商品画像に記述された画像ファイルＦ２を読み出して表示デバイス１０６に一覧表示させる。ここで、商品画像表示部１６１６は、タッチパネル１０５による操作をもとに、表示デバイス１０６に一覧表示した画像の中から削除の指示を受け付けてもよい。なお、商品画像表示部１６１６による、画像ファイルＦ２を読み出して行う一覧表示の詳細は後述する。

商品画像設定部１６１７は、上述した確認画面での操作者の操作をタッチパネル１０５より受け付けて、ＰＬＵファイルＦ１に登録された商品の画像についての設定を行う。具体的には、商品画像設定部１６１７は、商品画像表示部１６１６により表示デバイス１０６に一覧表示した商品の画像の中から削除の指示をタッチパネル１０５より受け付けた場合、その商品の商品ＩＤにおいてＰＬＵファイルＦ１に登録された商品画像から、削除の指示があった商品に対応する画像ファイルＦ２を削除する。これにより、チェックアウトシステム１では、操作者が確認画面で確認した際に商品の特徴量の算出もととなる画像として適正でない画像を、登録から削除することができる。

売上登録部６１１は、登録商品通知部１６１４により通知された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

ここで、上述した確認画面にかかる商品読取装置１０１の動作について詳細に説明する。図５は、確認処理の動作の一例を示すフローチャートである。

図５に示すように、商品画像確認部１６１５は、キーボード１０７又はタッチパネル１０５による操作をもとに、ＰＬＵファイルＦ１に登録された商品の確認を行う確認画面の表示が指示されて確認処理が開始されると、ＰＬＵファイルＦ１の読み出しを行い（Ｓ１）、ＰＬＵファイルＦ１に登録された商品ごとの商品画像（画像ファイルＦ２）を読み出す（Ｓ２）。次いで、商品画像確認部１６１５は、ＰＬＵファイルＦ１に登録された商品の確認を行う確認画面を表示デバイス１０６に表示させる（Ｓ３）。

図６は、確認画面Ｇ１の一例を示す概念図である。図６に示すように、確認画面Ｇ１には、ＰＬＵファイルＦ１に登録された商品のイラスト、品名（商品名）、商品画像の項目に登録されている画像ファイルＦ２の枚数である登録画像枚数など、商品ごとの情報が表示される。ここで、商品のイラストについては、画像ファイルＦ２の中の一枚の画像をもとに作成したサムネイル画像であってよい。また、登録画像枚数については、各商品の商品画像の項目において記述されている画像ファイルＦ２の枚数がカウントされたものである。

確認画面Ｇ１には、商品ごとに、その商品の特徴量の算出もととなる画像の表示指示を受け付ける選択ボタンＢＴ１〜ＢＴ６と、登録内容を了承する確認ボタンＢＴ７とが表示される。操作者は、タッチパネル１０５のタッチ操作などにより選択ボタンＢＴ１〜ＢＴ６を選択することで、所望の商品についての表示指示を入力することができる。また、操作者は、確認ボタンＢＴ７を選択することで、確認画面Ｇ１に表示された登録内容での確認指示を入力することができる。

図５に戻り、商品画像確認部１６１５は、商品の詳細の表示指示、すなわち図６に例示した選択ボタンＢＴ１〜ＢＴ６の操作による画像の表示指示を受け付けたか否かを判定する（Ｓ４）。

ここで、選択ボタンＢＴ１〜ＢＴ６の操作による画像の表示指示を受け付けた場合（Ｓ４：ＹＥＳ）、商品画像表示部１６１６は、詳細を表示する商品について、その商品の商品ＩＤに対応した商品画像の項目に記述されている画像ファイルＦ２を読み出す（Ｓ５）。次いで、商品画像表示部１６１６は、読み出した画像ファイルＦ２の画像を表示デバイス１０６に一覧表示させる。具体的には、商品画像表示部１６１６は、読み出した画像ファイルＦ２から所定サイズのサムネイル画像を生成して表示デバイス１０６に一覧表示させる。なお、一覧表示するサムネイル画像の順序は、後述する選択ボタンＢＴ１３、ＢＴ１４、ＢＴ１５（図７参照）による日付（日時）順、撮影者順、輝度順等の指定がない場合は、ＰＬＵファイルＦ１の商品画像の項目に登録された順序どおりであってよい。

図７は、確認画面Ｇ２の一例を示す概念図であり、より具体的には、商品画像表示部１６１６によりサムネイル画像Ｇ１０が一覧表示された確認画面Ｇ２を例示する図である。図７に示すように、確認画面Ｇ２には、商品画像表示部１６１６により作成されたサムネイル画像Ｇ１０が一覧表示される。操作者は、この確認画面Ｇ２により、商品の特徴量の算出もととなる画像の確認を容易に行うことができる。

また、確認画面Ｇ２には、操作者からの操作を受け付ける選択ボタンＢＴ１１〜ＢＴ１５が表示される。選択ボタンＢＴ１１は、カーソルＣ１で指定されているサムネイル画像Ｇ１０の詳細情報の表示を指示するボタンである。商品画像表示部１６１６は、タッチパネル１０５のタッチ操作などにより選択ボタンＢＴ１１の選択があった場合は、カーソルＣ１で指定されているサムネイル画像Ｇ１０についての画像ファイルＦ２を読み出して詳細情報を表示デバイス１０６に表示させる。詳細情報の例としては、画像ファイルＦ２に付与されている日付、撮影者等の付帯情報や、画像ファイルＦ２に記録されている実サイズの画像などであってよい。

選択ボタンＢＴ１２は、カーソルＣ１で指定されているサムネイル画像Ｇ１０にかかる商品の画像について、ＰＬＵファイルＦ１の登録から削除を指示するボタンである。商品画像設定部１６１７は、後述するデータ更新時（Ｓ１０）において、ＰＬＵファイルＦ１に登録された商品画像から、選択ボタンＢＴ１２で指示されたサムネイル画像Ｇ１０にかかる画像ファイルＦ２の記述を削除する。なお、本実施形態ではＰＬＵファイルＦ１の商品画像の項目における記述を削除しているが、画像ファイルＦ２そのものを削除する構成であってもよい。図示例では、サムネイル画像Ｇ１０の中でサムネイル画像Ｇ１１が「レモン」とは異なる「みかん」である。したがって、確認画面Ｇ２を見た操作者は、カーソルＣ１でサムネイル画像Ｇ１１を指定して選択ボタンＢＴ１２を選択することで、サムネイル画像Ｇ１１にかかる商品の画像をＰＬＵファイルＦ１の登録から削除することができる。

選択ボタンＢＴ１３〜ＢＴ１５は、日時（日時）、撮影者、輝度等のサムネイル画像Ｇ１０のソートを行う項目の選択を受け付けるボタンである。商品画像表示部１６１６は、画像ファイルＦ２の付帯情報をもとに、選択ボタンＢＴ１３〜ＢＴ１５で選択された項目についてソートした順でサムネイル画像Ｇ１０を並び替えて表示する。これにより、操作者は、ＰＬＵファイルＦ１に登録された複数の商品の画像について、確認を要する画像の検索を容易に行うことができる。

この選択ボタンＢＴ１３〜ＢＴ１５は、一つ又は複数の項目の選択を受け付けてよい。例えば、日付（日時）の項目である選択ボタンＢＴ１３が選択された場合は、日付、日時等の時系列順にサムネイル画像Ｇ１０がソートされることとなる。また、日時と撮影者の項目である選択ボタンＢＴ１３、ＢＴ１４が選択された場合は、時系列順かつ撮影者順（例えば撮影者の五十音順）にサムネイル画像Ｇ１０がソートされることとなる。

図５に戻り、商品画像設定部１６１７は、カーソルＣ１と選択ボタンＢＴ１２についてのタッチパネル１０５の操作をもとに、商品の画像の登録削除を受け付け（Ｓ７）、確認画面Ｇ２の確認ボタンＢＴ７の操作により商品の詳細を終了するか否かを判定する（Ｓ８）。確認ボタンＢＴ７の操作がなく、商品の詳細を終了しない場合（Ｓ８：ＮＯ）はＳ５へ処理を戻して確認画面Ｇ２の表示を継続する。確認ボタンＢＴ７の操作があり、商品の詳細を終了する場合（Ｓ８：ＹＥＳ）はＳ３へ処理を戻して確認画面Ｇ１の表示に戻る。

確認画面Ｇ１において、選択ボタンＢＴ１〜ＢＴ６の操作による画像の表示指示を受け付けていない場合（Ｓ４：ＮＯ）、商品画像確認部１６１５は、確認画面Ｇ１の確認ボタンＢＴ７の操作により確認ＯＫの指示があるか否かを判定する（Ｓ９）。確認ボタンＢＴ７の操作がなく、確認ＯＫの指示がない場合（Ｓ９：ＮＯ）、商品画像確認部１６１５は、Ｓ３へ処理を戻して確認画面Ｇ１の表示を継続する。

確認ボタンＢＴ７の操作があり、確認ＯＫの指示がある場合（Ｓ９：ＹＥＳ）、商品画像設定部１６１７は、確認画面Ｇ１、Ｇ２で確認された内容でＰＬＵファイルＦ１のデータを更新し（Ｓ１０）、処理を終了する。具体的には、Ｓ１０では、確認画面Ｇ２において、選択ボタンＢＴ１２で指示されたサムネイル画像Ｇ１０にかかる画像ファイルＦ２の記述がＰＬＵファイルＦ１に登録された商品画像から削除される。

なお、本実施形態の情報処理装置としての商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態の商品読取装置１０１で実行されるプログラムは、上述した機能構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから〜プログラムを読み出して実行することにより上述した機能構成が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。

また、本実施形態では、チェックアウトシステム１の商品読取装置１０１が情報処理装置としての機能を実現する構成を例示した。しかしながら、上述した機能構成については、チェックアウトシステム１のＰＯＳ端末１１がプログラムを実行して実現してもよいことは言うまでもないことである。

１…チェックアウトシステム、１１…ＰＯＳ端末、２１…ドロワ、２２…キーボード、２２ｄ…テンキー、２２ｅ…仮締めキー、２２ｆ…締めキー、２３…表示デバイス、２３ａ…表示面、２４…顧客用表示デバイス、２４ａ…表示面、２５…通信インターフェース、２６…タッチパネル、５１…チェックアウト台、６０…マイクロコンピュータ、６１…ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ、６４…ＨＤＤ、６５…接続インターフェース、６６…プリンタ、１０１…商品読取装置、１０２…ハウジング、１０３…読取窓、１０４…表示・操作部、１０５…タッチパネル、１０６…表示デバイス、１０７…キーボード、１０８…カード読取溝、１０９…顧客用表示デバイス、１１０…商品読取部、１５１…カウンタ台、１５２…荷受面、１５３…買物カゴ、１５３ａ…第１の買物カゴ、１５３ｂ…第２の買物カゴ、１６０…マイクロコンピュータ、１６１…ＣＰＵ、１６２…ＲＯＭ、１６３…ＲＡＭ、１６４…撮像部、１６５…音声出力部、１７５…接続インターフェース、１７６…接続インターフェース、６１１…売上登録部、１６１１…画像取込部、１６１２…商品検出部、１６１３…類似度算出部、１６１４…登録商品通知部、１６１５…商品画像確認部、１６１６…商品画像表示部、１６１７…商品画像設定部、ＢＴ１〜ＢＴ１５…選択ボタン、Ｃ１…カーソル、Ｆ１…ＰＬＵファイル、Ｆ２…画像ファイル、Ｇ…商品、Ｇ１、Ｇ２…確認画面、Ｇ１０、Ｇ１１…サムネイル画像、ＰＲ…プログラム、ＳＣ…ストアコンピュータ

特開２０００−１４８７９５号公報

Claims (6)

1. 商品マスタデータに登録された各商品について、当該商品の画像データを記憶する記憶手段と、
   前記商品ごとに、当該商品の画像データの表示指示を操作者の操作により受け付ける表示受付手段と、
   前記表示指示を受け付けた商品について、当該商品の画像データを読み出して表示する画像表示手段と、
   を備える情報処理装置。
2. 前記表示された画像データの中から削除の指示を受け付ける削除受付手段と、
   前記削除の指示を受け付けた画像データを、前記記憶手段から削除する登録削除手段と、を更に備える、
   請求項１に記載の情報処理装置。
3. 日時、撮影者、輝度の中でソートを行う項目の選択を少なくとも一つ受け付ける選択手段を更に備え、
   前記画像表示手段は、前記選択された項目についてソートした順で前記画像データを並び替えて表示する、
   請求項１又は２に記載の情報処理装置。
4. 商品マスタデータに登録された各商品について、当該商品の画像データを記憶する記憶手段を備える情報処理装置のコンピュータを、
   前記商品ごとに、当該商品の画像データの表示指示を操作者の操作により受け付ける表示受付手段と、
   前記表示指示を受け付けた商品について、当該商品の画像データを読み出して表示する画像表示手段と、
   して機能させるためのプログラム。
5. 前記表示された画像データの中から削除の指示を受け付ける削除受付手段と、
   前記削除の指示を受け付けた画像データを、前記記憶手段から削除する登録削除手段として更に機能させる、
   請求項４に記載のプログラム。
6. 日時、撮影者、輝度の中でソートを行う項目の選択を少なくとも一つ受け付ける選択手段として更に機能させ、
   前記画像表示手段は、前記選択された項目についてソートした順で前記画像データを並び替えて表示する、
   請求項４又は５に記載のプログラム。

Images