JP5270770B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、商品に添付したバーコードやＱＲコード（登録商標）などのコード情報の読み取り、又は物品を撮像した画像データから当該物品の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識（検出）する一般物体認識に係る技術を用いて青果品等の商品の識別を行うことで、売上登録する商品を特定する技術がある。

上述した従来技術では、認識率の向上が望まれていた。

上述した課題を解決するために、実施形態の情報処理装置は、物品を撮像する撮像手段と、前記撮像手段が撮像したカラー画像を取り込む取込手段と、前記取込手段にて取り込まれたカラー画像をモノクロ画像へ変換する画像変換手段と、前記画像変換手段にて変換されたモノクロ画像をもとに、前記撮像手段により撮像された画像に含まれる物品を特定する第１の読取手段と、前記第１の読取手段により物品が特定できなかった場合、前記取り込まれたカラー画像をもとに、前記撮像手段により撮像された画像に含まれる物品を特定する第２の読取手段と、前記第１の読取手段、又は前記第２の読取手段により特定された物品を示す情報を出力する出力手段と、前記変換されたモノクロ画像に含まれるサービス情報を示すマーク画像から当該マーク画像に対応したサービス情報を特定し、前記マーク画像に対応したサービス情報の特定ができない場合、前記取り込まれたカラー画像から前記マーク画像に対応したサービス情報を特定するサービス情報読取部と、を備える。

また、実施形態のプログラムは、情報処理装置を制御するコンピュータを、物品を撮像する撮像手段と、前記撮像手段が撮像したカラー画像を取り込む取込手段と、前記取込手段にて取り込まれたカラー画像をモノクロ画像へ変換する画像変換手段と、前記画像変換手段にて変換されたモノクロ画像をもとに、前記撮像手段により撮像された画像に含まれる物品を特定する第１の読取手段と、前記第１の読取手段により物品が特定できなかった場合、前記取り込まれたカラー画像をもとに、前記撮像手段により撮像された画像に含まれる物品を特定する第２の読取手段と、前記第１の読取手段、又は前記第２の読取手段により特定された物品を示す情報を出力する出力手段と、前記変換されたモノクロ画像に含まれるサービス情報を示すマーク画像から当該マーク画像に対応したサービス情報を特定し、前記マーク画像に対応したサービス情報の特定ができない場合、前記取り込まれたカラー画像から前記マーク画像に対応したサービス情報を特定するサービス情報読取部として機能させる。

図１は、実施形態に係るチェックアウトシステム（店舗システム）の一例を示す斜視図である。 図２は、商品読取装置の概略的な縦断側面図である。 図３は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図４は、ＰＬＵファイルのデータ構成を例示する概念図である。 図５は、ＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。 図６は、商品読取装置の動作の一例を示すフローチャートである。 図７は、ＰＯＳ端末の動作の一例を示すフローチャートである。

以下、添付図面を参照して、情報処理装置及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入された、一取引にかかる商品の登録・精算を行うＰＯＳ端末を備えるチェックアウトシステム（店舗システム）への適用例である。

図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、商品読取装置１０１を本実施形態にかかる情報処理装置として適用する例について説明する。尚、以下では、複数の図面に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する場合がある。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転可能に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。

商品読取装置１０１では、ＰＬＵファイルＦ１（図３参照）を参照し、撮像部１６４により撮像された画像に含まれる商品Ｇを、商品Ｇに添付されたバーコードやＱＲコード（登録商標）等のコード情報の読み取り、又は一般物体認識により特定する（詳細は後述する）。次いで、商品読取装置１０１では、特定した商品Ｇの確認や、個数などの入力を受け付ける画面を表示・操作部１０４に表示し、確認の入力が受け付けられた商品Ｇの商品ＩＤ、入力された個数などの情報をＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤ、個数等の情報に基づき、商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

図２は、商品読取装置１０１の概略的な縦断側面図である。商品読取装置１０１には、ハウジング１０２に商品読取部１１０が内蔵されている。商品読取部１１０は、撮像領域Ｂ３に存在する商品Ｇや、商品Ｇに付されたコードシンボルから商品ＩＤを読み取るための画像を取得する撮像部１６４を備える。

撮像部１６４は、商品Ｇが配置される撮像領域Ｂ３側に配置された表側カバー部材１１７と、表側カバー部材１１７の反対側に配置され、その表側カバー部材１１７と組み合わせて配置される裏側カバー部材１１８とで形成された箱形の筐体１１２を有している。

筐体１１２内には、カラー画像を撮像するＣＣＤ撮像素子を備える撮像ボード１１３と、撮像領域Ｂ３に照明光を照射する照明装置である照明ボード１１６と、ＣＣＤ（Charged Coupled Device）撮像素子（またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子）が取得した撮像画像（カラー画像）に対して画像処理を行う画像処理ボード１１５と、を備えている。

表側カバー部材１１７は、表面板１１７ａが配置されるほか、表面板１１７ａの中央部には、内部に向けて凹設部１１７ｂが形成されている。凹設部１１７ｂは、奥に行くほどその断面積が減少する四角錘形の壁面を備えて形成され、凹設部１１７ｂの最奥部には開口部１１７ｃが開設されている。

撮像ボード１１３は、カラーイメージセンサであるＣＣＤ撮像素子（又はＣＭＯＳ撮像素子）およびＣＣＤ撮像素子の駆動回路を備えた撮像基板１１４と、ＣＣＤ撮像素子に撮像領域Ｂ３の撮像画像を結像する結像レンズ１１９と、を備えている。画像処理ボード１１５は、画像処理装置であって、撮像ボード１１３から出力された動画像データ（フレームデータ）を出力する。

照明ボード１１６は、開口部１１７ｃの奥側に配置される。照明ボード１１６の基板１１６ａには、撮像ボード１１３の撮像用の開口部１１６ｃが開設されている。凹設部１１７ｂの最奥部の開口部１１７ｃ内に位置する照明ボード１１６の基板１１６ａ上には、複数のＬＥＤ発光素子１１６ｂが開口部１１６ｃを囲うように配置されている。これにより、複数のＬＥＤ発光素子１１６ｂは、撮像領域Ｂ３より広い照明領域に光を照射する。

このように構成された撮像部１６４は、開口部１１７ｃの位置を商品読取装置１０１のハウジング１０２に形成された読取窓１０３に位置合わせして、ハウジング１０２に内蔵されている。これにより、撮像ボード１１３は、読取窓１０３の外部に位置する撮像領域Ｂ３に向けられている。そして、結像レンズ１１９は、撮像領域Ｂ３からの反射光がＣＣＤ撮像素子に焦点を結ぶような焦点距離を有している。これにより、撮像ボード１１３に設けられている撮像基板１１４と結像レンズ１１９とは、撮像領域Ｂ３に位置する商品Ｇのカラー画像を取得する。

図３は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの画像との関連付けが設定された商品ファイルである。

図４は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図４に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像（基準画像）とを、その商品Ｇの商品情報として格納するファイルである。尚、商品画像は、類似度の判定に用いられる商品の撮像画像（写真）である。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１にて読み出し可能に構成されている。

なお、ＰＬＵファイルＦ１のデータ構成は図４の例に限らず、例えば、商品画像から読み取られる色合いや表面の凹凸状況等の商品の特徴量を、各商品について格納する形態としてもよい。また、商品情報が記憶されているＰＬＵファイルＦ１は、ＰＯＳ端末１１以外のサーバ装置等の外部装置に記憶されていてもよい。

図３に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、前述したとおり、ＣＣＤ撮像素子やＣＭＯＳ撮像素子などのカラーイメージセンサであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像をカラーで行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図５を参照して説明する。

図５は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図５に示すように、商品読取装置１０１のＣＰＵ１６１は、ＲＯＭ１６２が格納するプログラムを実行することにより、画像取込部５１、モノクロ画像生成部５２、コード読取部５３、オブジェクト認識部５４、サービス情報読取部５５、入力受付部５６、情報出力部５７としての機能を備える。また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、プログラムＰＲを実行することにより、売上登録部６１１としての機能を備える。

画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部５１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたカラーのフレーム画像を順次取り込む。画像取込部５１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

モノクロ画像生成部５２は、画像取込部５１により取り込まれたカラーのフレーム画像からモノクロのフレーム画像（モノクロ画像）を生成する。具体的には、取り込まれたカラーのフレーム画像をもとに、例えば２４ｂｉｔのフルカラー画像を２５６階調のモノクロ画像にグレースケール変換してモノクロ画像の生成を行う。なお、モノクロ画像生成部５２は、２５６階調にグレースケール変換したモノクロ画像から所定の閾値で２値化したモノクロ画像を生成してもよい。モノクロ画像生成部５２により生成されたモノクロ画像は、順次ＲＡＭ１６３に保存される。

コード読取部５３は、撮像領域Ｂ３を撮像したカラーのフレーム画像を変換して生成されたモノクロ画像をもとに、撮像領域Ｂ３において撮像された商品Ｇに添付されているバーコードや二次元コード（例えばＱＲコード（登録商標））等のコード情報を読み取る。この読み取られたコード情報をもとに、ＰＬＵファイルＦ１を参照することで撮像された商品Ｇが特定される。具体的には、コード読取部５３は、ＲＡＭ１６３に保存されたモノクロ画像を読み出して、パターンマッチング技術によるバーコードの検出や、所定のファインダパターンから二次元コードの検出を行う。次いで、コード読取部５３は、検出されたバーコードや二次元コードから、商品コード（商品ＩＤ）等の商品Ｇの商品情報を読み取る。次いで、コード読取部５３は、ＰＬＵファイルＦ１を参照して読み取った商品情報（例えば商品コード）に該当する商品Ｇを特定する。

オブジェクト認識部５４は、撮像領域Ｂ３を撮像したカラーのフレーム画像をもとに、撮像領域Ｂ３において撮像された商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。この読み取られた特徴量をもとに、ＰＬＵファイルＦ１を参照することで撮像された商品Ｇが特定される。具体的には、オブジェクト認識部５４は、ＲＡＭ１６３に保存されたカラーのフレーム画像を読み出して、商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。例えば、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、売上登録のために読取窓１０３に向けられた商品Ｇを検出する。

なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。

次いで、本実施形態でのオブジェクト認識部５４は、撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、オブジェクト認識部５４は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。ただし、処理時間の短縮を考慮しない場合は、商品Ｇの輪郭や大きさを考慮してもよい。

また、オブジェクト認識部５４は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の画像から、その登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。次いで、オブジェクト認識部５４は、ＰＬＵファイルＦ１の商品の中で、算出した類似度がもっとも高い商品を、撮像された商品Ｇとして特定する。

このように画像中に含まれる物体を認識するオブジェクト認識は一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。

サービス情報読取部５５は、撮像領域Ｂ３を撮像したカラーのフレーム画像をもとに変換したモノクロ画像、又は撮像領域Ｂ３を撮像したカラーのフレーム画像をもとに、商品Ｇに添付された値引きシール等の標章に印字された所定形状のマーク画像（例えば値引きシールを示す所定形状の模様）を読み取って、商品Ｇに添付された値引きシール等の標章を特定する。これにより、サービス情報読取部５５は、特定された値引きシールに対応する値引き額や値引き率等のサービス情報を読み取る。この値引きシール等の標章ごとの形状、標章の画像、及び特徴量と、その値引きシールに対応する値引き額や値引き率等のサービス情報とを含む情報は、ＲＯＭ１６２に予め記憶されている。サービス情報読取部５５は、ＲＯＭ１６２に記憶された標章にかかる情報を読み出し、パターンマッチング技術により、撮像領域Ｂ３を撮像したカラーのフレーム画像をもとに変換したモノクロ画像、又は撮像領域Ｂ３を撮像したカラーのフレーム画像を参照することで商品Ｇに添付された標章を特定する。

入力受付部５６は、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受け付ける。例えば情報出力部５７は、コード読取部５３やオブジェクト認識部５４により特定された商品Ｇの確認画面を表示デバイス１０６に表示させ、その確認画面に対する選択操作に基づいて、特定された商品Ｇの売上登録を行うことの入力操作（確認操作）をキーボード１０７で受け付ける。この情報出力部５７が受け付けた確認操作は、情報出力部５７によりＰＯＳ端末１１に通知される。また、入力受付部５６は、商品Ｇの売上登録を行うことの確認操作の後、売上登録を行う商品Ｇの個数の入力を受け付ける操作画面を表示デバイス１０６に表示させ、個数の入力操作をキーボード１０７で受け付ける。この入力受付部５６が受け付けた個数は、情報出力部５７によりＰＯＳ端末１１に通知される。ＰＯＳ端末１１では、確認操作、個数の通知を受信して、売上登録部６１１における売上登録を行う。

情報出力部５７は、上述のようにして確認操作が行われた商品Ｇについて、その商品を示す情報（例えば、商品ＩＤや商品名等）や個数を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。情報出力部５７がＰＯＳ端末１１に出力する情報としては、コード読取部５３やオブジェクト認識部５４により特定された商品Ｇをもとに、情報出力部５７がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、商品画像のファイル名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知してもよい。また、情報出力部５７は、サービス情報読取部５５により読み取られた値引き額や値引き率等のサービス情報をＰＯＳ端末１１に出力する。

ＰＯＳ端末１１の売上登録部６１１は、情報出力部５７から出力された商品ＩＤ、売上登録を行う個数、値引き額や値引き率等のサービス情報に基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、個数、値引き額や値引き率とともに売上マスタファイル等に記録して売上登録を行う。

次に、チェックアウトシステム１の動作について詳細に説明する。先ず、商品読取装置１０１の動作について説明する。図６は、商品読取装置１０１の動作の一例を示すフローチャートである。

図６に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（Ｓ１１）。次いで、画像取込部５１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたカラーのフレーム画像（カラー画像データ）を取り込む（Ｓ１２）。次いで、モノクロ画像生成部５２は、カラーのフレーム画像からモノクロ画像を生成する（Ｓ１３）。

次いで、コード読取部５３は、Ｓ１３で生成されたモノクロ画像をもとに、撮像領域Ｂ３において撮像された商品Ｇに添付されているバーコード等のコード情報を読み取る。ここで、コード読取部５３は、Ｓ１３で生成されたモノクロ画像にてバーコード等のコード情報の読み取りができたか否か、すなわちコード情報の読み取りにより商品Ｇの特定ができたか否かを判定する（Ｓ１４）。

モノクロ画像にてバーコードの読み取りができた場合（Ｓ１４：ＹＥＳ）、サービス情報読取部５５は、Ｓ１３で生成されたモノクロ画像をもとに、値引きシール等の標章の読み取りを行う。ここで、サービス情報読取部５５は、Ｓ１３で生成されたモノクロ画像にて値引きシール等の標章の読み取りができたか否か、すなわち標章に対応する値引き率や値引き額等のサービス情報の読み取りができたか否かを判定する（Ｓ１５）。

モノクロ画像にて値引きシールの読み取りができた場合（Ｓ１５：ＹＥＳ）、情報出力部５７は、値引きシールに対応する値引き額や値引き率等のサービス情報をＰＯＳ端末１１に出力する（Ｓ２０）。

モノクロ画像にてバーコードの読み取りができなかった場合（Ｓ１４：ＮＯ）、オブジェクト認識部５４は、ＲＡＭ１６３などのメモリに保存されたカラーのフレーム画像を取得し（Ｓ１６）、取得したカラーのフレーム画像をもとに、前述したオブジェクト認識による商品Ｇの特定を行う。ここで、オブジェクト認識部５４は、カラーのフレーム画像にてオブジェクト認識ができたか否か、すなわちオブジェクト認識による商品Ｇの特定ができた否かを判定する（Ｓ１７）。この判定については、前述したＰＬＵファイルＦ１を参照して算出した商品ごとの類似度が所定の閾値を上回らない場合に、オブジェクト認識による商品Ｇの特定ができなかったものとしてよい。

カラーのフレーム画像にてオブジェクト認識ができなかった場合は（Ｓ１７：ＮＯ）、Ｓ１２で取り込まれたフレーム画像からはモノクロ画像及びカラー画像のいずれにおいても商品Ｇの特定に至らなかったことから、Ｓ１２に処理を戻して次のフレーム画像についての処理を行わせる。

カラーのフレーム画像にてオブジェクト認識ができた場合（Ｓ１７：ＹＥＳ）、サービス情報読取部５５は、Ｓ１６で取得したカラーのフレーム画像をもとに、値引きシール等の標章の読み取りを行う。なお、サービス情報読取部５５は、モノクロ画像にて値引きシールの読み取りができなかった場合（Ｓ１５：ＮＯ）も、ＲＡＭ１６３などのメモリに保存されたカラーのフレーム画像を取得し（Ｓ１８）、その取得したカラーのフレーム画像をもとに、値引きシール等の標章の読み取りを行う。ここで、サービス情報読取部５５は、カラーのフレーム画像にて値引きシール等の標章の読み取りができたか否か、すなわち標章に対応する値引き率や値引き額等のサービス情報の読み取りができたか否かを判定する（Ｓ１９）。

カラーのフレーム画像にて値引きシールの読み取りができた場合（Ｓ１９：ＹＥＳ）、情報出力部５７は、値引きシールに対応する値引き額や値引き率等のサービス情報をＰＯＳ端末１１に出力する（Ｓ２０）。また、カラーのフレーム画像にて値引きシールの読み取りができなかった場合は（Ｓ１９：ＮＯ）、Ｓ１２で取り込まれたフレーム画像から商品Ｇの特定はできたが、値引きシールの読み取りができなかったことから、Ｓ２０の処理を行うことなくＳ２１へ処理を進める。

Ｓ２０に次いで、入力受付部５６は、売上登録を行う商品Ｇの個数の入力を受け付ける（Ｓ２１）。次いで、情報出力部５７は、商品Ｇについての商品ＩＤやＳ２１で受け付けた個数をＰＯＳ端末１１に出力する（Ｓ２２）。

次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（Ｓ２３）。業務を継続する場合（Ｓ２３：Ｎｏ）、ＣＰＵ１６１は、Ｓ１２へ処理を戻して処理を継続させる。業務を終了する場合（Ｓ２３：ＹＥＳ）、画像取込部５１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（Ｓ２４）、処理を終了する。

次に、ＰＯＳ端末１１の動作について説明する。図７は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。

まず、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１が図６のＳ２０で出力した、値引きにかかるサービス情報と、Ｓ２２で出力した商品Ｇの商品ＩＤとその個数とを受信する（Ｓ３１）。次いで、売上登録部６１１は、Ｓ３１で受信した商品ＩＤ、個数、サービス情報に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（Ｓ３２）。続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（Ｓ３３）。業務を継続する場合（Ｓ３３：ＮＯ）、ＣＰＵ６１は、Ｓ３１へ再び戻り処理を継続させる。業務を終了する場合（Ｓ３３：ＹＥＳ）、ＣＰＵ６１は処理を終了する。

以上のように、商品読取装置１０１では、撮像部１６４が撮像したカラーのフレーム画像を画像取込部５１で取り込み、取り込まれたカラーのフレーム画像をモノクロ画像生成部５２によりモノクロ画像へ変換して、撮像部１６４が撮像した画像からモノクロ画像を生成する。そして、コード読取部５３では、モノクロ画像生成部５２により変換されたモノクロ画像をもとに、撮像部１６４により撮像された画像に含まれる商品Ｇに添付されたコード情報を読み取って、商品Ｇを特定する。また、オブジェクト認識部５４では、コード読取部５３により商品Ｇが特定できなかった場合、撮像部１６４により取り込まれたカラーのフレーム画像をもとに、オブジェクト認識を行なって、そのフレーム画像に含まれる商品Ｇを特定する。このため、商品読取装置１０１では、コード情報を読み取るためにモノクロ画像を撮像するイメージセンサ、及びオブジェクト認識（一般物体認識）を行うためにカラー画像を撮像するイメージセンサの２つのイメージセンサを備える必要がなく、装置の簡便化を図ることができる。

また、商品読取装置１０１は、商品Ｇの値引き率や値引き額等のサービス情報に対応した標章についても、モノクロ画像生成部５２により変換されたモノクロ画像をもとに、コード読取部５３において撮像部１６４により撮像された画像に含まれるマーク画像（標章の模様等）を読み取って、標章の特定を行う。そして、コード読取部５３により商品Ｇが特定できなかった場合、撮像部１６４により取り込まれたカラーのフレーム画像をもとに、オブジェクト認識部５４において撮像部１６４により撮像された画像に含まれるマーク画像（標章の色、模様等）を読み取って、標章の特定を行う。このため、商品読取装置１０１では、標章の形状を読み取るためにモノクロ画像を撮像するイメージセンサ、及び標章の色を読み取るためにカラー画像を撮像するイメージセンサの２つのイメージセンサを備える必要がなく、装置の簡便化を図ることができる。また、モノクロ画像にて標章の特定ができない場合、再度、カラー画像にて標章を特定する処理を実行することとなるので、標章の認識率の向上を図ることができる。また、実施形態では商品読取装置１０１と、ＰＯＳ端末１１とが別体の構成を例示したが、商品読取装置１０１と、ＰＯＳ端末１１とは一体型の構成であってもよい。また、実施形態では、店員が商品Ｇの売上登録を行うチェックアウトシステムを例示したが、秤装置を備えたセルフチェックアウトシステムであり、顧客が商品Ｇの売上登録を行う構成であってもよいことは言うまでもないことである。

なお、本実施形態の商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態の商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（画像取込部５１、モノクロ画像生成部５２、コード読取部５３、オブジェクト認識部５４、サービス情報読取部５５、入力受付部５６、情報出力部５７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。

１…チェックアウトシステム、１１…ＰＯＳ端末、２１…ドロワ、２２…キーボード、２２ｄ…テンキー、２２ｅ…仮締めキー、２２ｆ…締めキー、２３…表示デバイス、２３ａ…表示面、２４…顧客用表示デバイス、２４ａ…表示面、２５…通信インターフェース、２６…タッチパネル、４１…チェックアウト台、５１…画像取込部、５２…モノクロ画像生成部、５３…コード読取部、５４…オブジェクト認識部、５５…サービス情報読取部、５６…入力受付部、５７…情報出力部、６０…マイクロコンピュータ、６１…ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ、６４…ＨＤＤ、６５…接続インターフェース、６６…プリンタ、１０１…商品読取装置、１０２…ハウジング、１０３…読取窓、１０４…表示・操作部、１０５…タッチパネル、１０６…表示デバイス、１０７…キーボード、１０８…カード読取溝、１０９…顧客用表示デバイス、１１０…商品読取部、１１２…筐体、１１３…撮像ボード、１１４…撮像基板、１１５…画像処理ボード、１１６…照明ボード、１１６ａ…基板、１１６ｂ…ＬＥＤ発光素子、１１６ｃ…開口部、１１７…表側カバー部材、１１７ａ…表面板、１１７ｂ…凹設部、１１７ｃ…開口部、１１８…裏側カバー部材、１１９…結像レンズ、１５１…カウンタ台、１５２…荷受面、１５３…買物カゴ、１５３ａ…第１の買物カゴ、１５３ｂ…第２の買物カゴ、１６０…マイクロコンピュータ、１６１…ＣＰＵ、１６２…ＲＯＭ、１６３…ＲＡＭ、１６４…撮像部、１６５…音声出力部、１７５…接続インターフェース、１７６…接続インターフェース、６１１…売上登録部、Ｂ３…撮像領域、Ｇ…商品、Ｆ１…ＰＬＵファイル、ＰＲ…プログラム、ＳＣ…ストアコンピュータ

特開２０１０−２５２０７７号公報

Claims (4)

1. 物品を撮像する撮像手段と、
   前記撮像手段が撮像したカラー画像を取り込む取込手段と、
   前記取込手段にて取り込まれたカラー画像をモノクロ画像へ変換する画像変換手段と、
   前記画像変換手段にて変換されたモノクロ画像をもとに、前記撮像手段により撮像された画像に含まれる物品を特定する第１の読取手段と、
   前記第１の読取手段により物品が特定できなかった場合、前記取り込まれたカラー画像をもとに、前記撮像手段により撮像された画像に含まれる物品を特定する第２の読取手段と、
   前記第１の読取手段、又は前記第２の読取手段により特定された物品を示す情報を出力する出力手段と、
   前記変換されたモノクロ画像に含まれるサービス情報を示すマーク画像から当該マーク画像に対応したサービス情報を特定し、前記マーク画像に対応したサービス情報の特定ができない場合、前記取り込まれたカラー画像から前記マーク画像に対応したサービス情報を特定するサービス情報読取部と、
   を備える情報処理装置。
2. 前記第１の読取手段は、前記変換されたモノクロ画像に含まれるコード情報を読み取って、当該コード情報に対応した物品を特定し、
   前記第２の読取手段は、前記コード情報に対応した物品の特定ができない場合、前記取り込まれたカラー画像に含まれる物品の特徴量を読み取り、予め記憶された物品ごとの特徴量と比較することで、前記撮像手段により撮像された画像に含まれる物品を特定する、
   請求項１に記載の情報処理装置。
3. 情報処理装置を制御するコンピュータを、
   物品を撮像する撮像手段と、
   前記撮像手段が撮像したカラー画像を取り込む取込手段と、
   前記取込手段にて取り込まれたカラー画像をモノクロ画像へ変換する画像変換手段と、
   前記画像変換手段にて変換されたモノクロ画像をもとに、前記撮像手段により撮像された画像に含まれる物品を特定する第１の読取手段と、
   前記第１の読取手段により物品が特定できなかった場合、前記取り込まれたカラー画像をもとに、前記撮像手段により撮像された画像に含まれる物品を特定する第２の読取手段と、
   前記第１の読取手段、又は前記第２の読取手段により特定された物品を示す情報を出力する出力手段と、
   前記変換されたモノクロ画像に含まれるサービス情報を示すマーク画像から当該マーク画像に対応したサービス情報を特定し、前記マーク画像に対応したサービス情報の特定ができない場合、前記取り込まれたカラー画像から前記マーク画像に対応したサービス情報を特定するサービス情報読取部と、
   して機能させるためのプログラム。
4. 前記第１の読取手段は、前記変換されたモノクロ画像に含まれるコード情報を読み取って、当該コード情報に対応した物品を特定し、
   前記第２の読取手段は、前記コード情報に対応した物品の特定ができない場合、前記取り込まれたカラー画像に含まれる物品の特徴量を読み取り、予め記憶された物品ごとの特徴量と比較することで、前記撮像手段により撮像された画像に含まれる物品を特定する、
   請求項３に記載のプログラム。

Images