JP5658720B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、物品を撮像等することでその物体の色や色分布、サイズ、形状等の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、この物品の種別等を認識する技術が存在している。また、この技術を、青果品等の商品の識別に用いて、識別された商品を売上登録するシステムが提案されている。

ところで、例えば、物品を手で保持した状態で撮像するような場合、その物品が写り込んだ画像中の領域から特徴量を抽出することで、物品の特徴量を効率的に読み取ることが可能である。しかしながら、従来の技術では、物品の写り込み領域と、この物品以外の写り込み領域と、を区分けすることが困難であるという問題があった。

実施の形態の情報処理装置は、第１特定手段と、判別手段と、第２特定手段と、抽出手段と、物体認識手段とを備える。第１特定手段は、撮像領域中の温度分布を表す熱画像から、人体温の温度範囲にある手形状の第１領域を特定する。判別手段は、前記第１領域の形状から人の手が物体を掴んでいる方向を判別する。第２特定手段は、前記第１領域に隣接し且つ前記判別手段が判別した方向に存在する第２領域を特定する。抽出手段は、前記第２特定手段が特定した前記第２領域に基づいて、前記撮像領域を撮像した撮像画像中の特定の領域から特徴量を抽出する。物体認識手段は、前記抽出手段が抽出した特徴量を用いて、前記撮像領域中に存在する物体を認識する。

図１は、実施形態に係るチェックアウトシステムの外観構成を示す斜視図である。 図２は、図１に示したＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、図２に示したＰＬＵファイルのデータ構成の一例を模式的に示す図である。 図４は、図２に示した除外領域特定用ファイルのデータ構成の一例を模式的に示す図である。 図５は、図２に示した確定領域特定用ファイルのデータ構成の一例を模式的に示す図である。 図６は、図２に示した商品特性ファイルのデータ構成の一例を模式的に示す図である。 図７は、図１に示したＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。 図８は、商品読取装置の表示デバイスに表示された商品候補の表示例を示す図である。 図９は、商品読取装置が実行する商品認識処理の手順を示すフローチャートである。 図１０は、ＰＯＳ端末が実行する売上登録処理の手順を示すフローチャートである。 図１１は、実施形態に係るセルフＰＯＳの構成を示す斜視図である。 図１２は、図１１に示したセルフＰＯＳのハードウェア構成を示すブロック図である。

以下、添付図面を参照して、情報処理装置及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入された、一取引にかかる商品の登録・精算を行うＰＯＳ端末と、商品に関する情報を読み取る商品読取装置とを備えるチェックアウトシステムへの適用例である。

図１は、チェックアウトシステム１の外観構成を示す斜視図である。図１に示すように、チェックアウトシステム１は、ＰＯＳ端末１１と、情報処理装置としての商品読取装置１０１とを備える。

ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。

なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。

ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に第１カメラ１６４及び第２カメラ１６５（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された第１カメラ１６４及び第２カメラ１６５（図２参照）は商品Ｇを撮像する。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。

ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、各種プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。

また、ＨＤＤ６４には、ＰＬＵファイルＦ１、除外領域特定用ファイルＦ２、確定領域特定用ファイルＦ３及び商品特性ファイルＦ４等のデータファイルが記憶されている。なお、ＰＬＵファイルＦ１、除外領域特定用ファイルＦ２、確定領域特定用ファイルＦ３及び商品特性ファイルＦ４は、後述する接続インターフェース６５を介し、商品読取装置１０１から読み出し（参照）可能に保持されているものとする。

ＰＬＵファイルＦ１は、店舗内で販売される商品Ｇと、その商品Ｇの売上登録に係る情報と、の関連付けが設定されたデータファイルである。

図３は、ＰＬＵファイルＦ１のデータ構成の一例を模式的に示す図である。同図に示すように、ＰＬＵファイルＦ１には、商品Ｇ毎に、ユニークに割り当てられた商品ＩＤと、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を示すイラスト画像とが、その商品Ｇの商品情報として登録されている。以下、商品ＩＤと関連付けられた商品Ｇを登録商品という。

除外領域特定用ファイルＦ２は、商品読取装置１０１で撮像される撮像画像において、後述する特徴量の抽出対象から除外する領域（除外領域）を特定するための条件（以下、除外条件という）を格納したデータファイルである。

図４は、除外領域特定用ファイルＦ２のデータ構成の一例を模式的に示す図である。同図に示すように、除外領域特定用ファイルＦ２には、除外領域の特定に係る種々の除外条件が、各除外条件を識別するための管理番号と関連付けて格納されている。除外条件には、例えば、所定の温度範囲、その温度範囲を有する領域の形状、当該領域の配置位置等を定義することが可能である。

ここで、管理番号“０１”の除外条件は、人が商品Ｇ等の対象物を片手で保持した状態を、後述する第１カメラ１６４で撮像した際の熱画像（サーモグラフィ）を用いて定義した例を示している。この例では、人体温の温度範囲（３４〜４０度）を有する領域Ａ１１（人の手に相当する形状の領域）を条件としている。

また、管理番号“０２”の除外条件は、人が商品Ｇ等の対象物を両手で保持した状態を、後述する第１カメラ１６４で撮像した際の熱画像を用いて定義した例を示している。この例では、人体温の温度範囲を有する領域Ａ１２、Ａ１３（人の手に相当する形状の領域）と、この領域Ａ１２、Ａ１３の配置位置（例えば、対向配置されている等）を条件としている。

このように、除外領域特定用ファイルＦ２の除外条件には、店員が商品Ｇを読取窓１０３に向けた際の撮像画像から、商品Ｇの認識の妨げとなる人の手等の写り込み領域を特定するための条件が保持されている。

確定領域特定用ファイルＦ３は、商品読取装置１０１で撮像される撮像画像において、特徴量の抽出対象とする領域（以下、確定領域という）を特定するための条件（以下、確定条件という）を格納したデータファイルである。

図５は、確定領域特定用ファイルＦ３のデータ構成の一例を模式的に示す図である。同図に示すように、確定領域特定用ファイルＦ３には、確定領域の特定に係る種々の確定条件が、管理番号と関連付けて格納されている。確定条件には、先の除外条件と同様、例えば、所定の温度範囲、その温度範囲を有する領域の形状、当該領域の配置位置等を定義することが可能である。

ここで、管理番号“０１”の確定条件は、図４に示した管理番号“０１”の除外条件を用いて定義されており、人体温の温度範囲を有した手形状の領域Ａ１１に隣接する領域（破線で囲んだ領域Ａ２１参照）であることを条件としている。この場合、手の形状から物を掴んでいる方向を判別し、その方向に応じて領域Ａ２１を定義する形態としてもよい。

また、管理番号“０２”の確定条件は、図４に示した管理番号“０２”の除外条件を用いて定義されており、領域Ａ１２とＡ１３との間に存在する領域（破線で囲んだ領域Ａ２２参照）であることを条件としている。また、管理番号“０３”の確定条件は、冷蔵・冷凍の温度範囲（例えば、−１０〜１０度）等の所定の温度範囲の領域であることを条件としている。

このように、確定領域特定用ファイルＦ３の除外条件には、店員が商品Ｇを読取窓１０３に向けた際の撮像画像から、認識の対象となる商品Ｇが存在する領域を特定するための条件が保持されている。

なお、図４、図５の一部では、熱画像を用いて除外条件、確定条件を定義する例を示したが、これに限らず、特定対象とする領域の形状、位置関係、温度分布等の条件を、それらの状態の特徴を表す特徴量（数値パラメータ等）、関係式等を用いて定義する形態としてもよい。また、図５では、除外領域（除外条件）に付随して確定条件を定義する形態としたが、これに限らず、除外条件とは独立して確定条件を定義する形態としてもよい。また、本実施形態では、除外条件及び確定条件の両条件を定義する形態としたが、これに限らず、何れか一方の条件を定義する形態としてもよい。

また、後述する第２カメラ１６５の撮像画像に基づき定めた除外条件及び確定条件を、除外領域特定用ファイルＦ２や確定領域特定用ファイルＦ３に格納してもよい。例えば、撮像画像中の肌色領域を、人の手の写り込み領域（除外領域）とする除外条件を定義してもよい。また、店舗内で販売される商品Ｇの全部または一部の輪郭線を別途記憶しておき、この輪郭線に略一致した撮像画像中の領域を、読取窓１０３に向けられた商品の写り込み領域（確定領域）とする確定条件を定義してもよい。

商品特性ファイルＦ４には、店舗内で販売される商品Ｇの各々と、その商品Ｇの特徴を表す情報とが関連付けて格納されている。

図６は、商品特性ファイルＦ４のデータ構成の一例を模式的に示す図である。同図に示すように、商品特性ファイルＦ４には、商品Ｇ毎に、商品ＩＤと、その商品Ｇを撮像した撮像画像（以下、商品画像という）と、が関連付けて登録されている。ここで、商品ＩＤは、ＰＬＵファイルＦ１に登録された商品ＩＤに対応する。なお、商品特性ファイルＦ４のデータ構成は図６の例に限らず、例えば、商品画像から読み取られる商品Ｇの色合いや模様、表面の凹凸状況、形状等の特徴量を、商品画像の代わりに登録する形態としてもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１等が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

一方、商品読取装置１０１は、ＰＯＳ端末１１と同様にマイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。

ＣＰＵ１６１には、第１カメラ１６４、第２カメラ１６５、音声出力部１６６が各種の入出力回路（いずれも図示せず）を介して接続されている。第１カメラ１６４、第２カメラ１６５、音声出力部１６６は、ＣＰＵ１６１によって動作が制御される。なお、読取窓１０３の奥側等に、第１カメラ１６４及び第２カメラ１６５の撮像領域に照明光を照射する照明部が設けられているものとする（図示せず）。

第１カメラ１６４は、遠赤外線を用いたサーモカメラ等である。第１カメラ１６４は、ＣＰＵ１６１の制御の下で読取窓１０３から撮像を行い、撮像領域中の被写体から放射される遠赤外線、つまり撮像領域中の温度の分布を熱画像（サーモグラフィ）として出力する。第２カメラ１６５は、カラーＣＣＤセンサやカラーＣＭＯＳセンサ等のイメージセンサを有した撮像装置である。第２カメラ１６５は、ＣＰＵ１６１の制御の下で読取窓１０３から撮像を行い、撮像により得られた画像を撮像画像として出力する。なお、第１カメラ１６４及び第２カメラ１６５の撮像範囲は、読取窓１０３の外側に向けて略同位置となる設定されているものとする。

第１カメラ１６４及び第２カメラ１６５は、例えば３０ｆｐｓ等の所定のフレームレートで撮像を行う。撮像された画像は、ＲＡＭ１６３に順次保存される。なお、第１カメラ１６４及び第２カメラ１６５の撮像タイミングは同期していることが好ましい。

音声出力部１６６は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６６は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。

また、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、接続インターフェース１７５には、接続インターフェース１７６を介して、表示・操作部１０４が接続されており、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図７を参照して説明する。

図７は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図７に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、除外領域特定部１６１２、確定領域特定部１６１３、特徴量抽出部１６１４、類似度判定部１６１５、商品候補提示部１６１６、入力受付部１６１７及び情報出力部１６１８としての機能を備える。

画像取込部１６１１は、第１カメラ１６４に撮像オン信号を出力して第１カメラ１６４に撮像動作を開始させ、この第１カメラ１６４の撮像によりＲＡＭ１６３に保存された熱画像を順次取り込む。また、画像取込部１６１１は、第２カメラ１６５に撮像オン信号を出力して第２カメラ１６５に撮像動作を開始させ、この第２カメラ１６５の撮像によりＲＡＭ１６３に保存された撮像画像を順次取り込む。なお、画像取込部１６１１による熱画像及び撮像画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。また、画像取込部１６１１による熱画像及び撮像画像の取り込みは、同じタイミングで行われることが好ましい。

除外領域特定部１６１２は、除外領域特定用ファイルＦ２に格納された除外条件に従い、画像取込部１６１１により取り込まれた熱画像内から除外領域を特定する。

例えば、画像取込部１６１１が取得した熱画像中に、図４に示した管理番号“０１”の除外条件（領域Ａ１１）を満たす充足領域が存在する場合、除外領域特定部１６１２は、この充足領域を除外領域と特定する。また、画像取込部１６１１が取得した熱画像中に、図４に示した管理番号“０２”の除外条件（領域Ａ１２、Ａ１３）を満たす充足領域が存在する場合、除外領域特定部１６１２は、これらの充足領域を除外領域と特定する。

なお、除外領域特定用ファイルＦ２に、第２カメラ１６５の撮像画像に基づく除外条件が定義されている場合には、除外領域特定部１６１２は、画像取込部１６１１により取り込まれた撮像画像を解析し、この撮像画像中に除外条件を満たす充足領域が存在するか否かを判定する。

また、除外領域特定部１６１２は、除外領域特定用ファイルＦ２に格納された除外条件を管理番号単位で個別に判定するものとするが、複数の管理番号での除外条件をＡＮＤ、ＯＲ等で論理的に組み合わせた複合除外条件を用いて判定する形態としてもよい。なお、画像取込部１６１１により取り込まれた熱画像及び撮像画像と、除外条件との判定方法は特に問わず、例えば、パターンマッチングや後述する物体認識技術等の公知技術を用いる形態としてもよい。

確定領域特定部１６１３は、確定領域特定用ファイルＦ３に格納された確定条件に従い、画像取込部１６１１により取り込まれた撮像画像内から確定領域を特定する。

例えば、画像取込部１６１１が取得した熱画像中に、図５に示した管理番号“０１”の確定条件（領域Ａ２１）を満たす充足領域が存在する場合、確定領域特定部１６１３は、この充足領域を確定領域と特定する。また、画像取込部１６１１が取得した熱画像中に、図５に示した管理番号“０２”の除外条件（領域Ａ２２）を満たす充足領域が存在する場合、確定領域特定部１６１３は、この充足領域を除外領域と特定する。また、画像取込部１６１１が取得した熱画像中に、図５に示した管理番号“０３”の除外条件を満たす充足領域が存在する場合、確定領域特定部１６１３は、この充足領域を除外領域と特定する。

なお、図５の管理番号“０１”、“０２”のように、確定条件の判定に除外領域を用いる場合には、確定領域特定部１６１３は、除外領域特定部１６１２の特定結果を用いて確定領域の特定を行うものとする。

また、確定領域特定用ファイルＦ３に、第２カメラ１６５の撮像画像に基づく確定条件が定義されている場合には、確定領域特定部１６１３は、画像取込部１６１１により取り込まれた撮像画像を解析し、この撮像画像中に確定条件を満たす充足領域が存在するか否かを判定するものとする。

また、確定領域特定部１６１３は、確定領域特定用ファイルＦ３に格納された確定条件を管理番号単位で個別に判定するものとするが、複数の管理番号での確定条件をＡＮＤ、ＯＲ等で論理的に組み合わせた複合除外条件を用いて判定する形態としてもよい。なお、画像取込部１６１１により取り込まれた熱画像及び撮像画像と、確定条件との判定方法は特に問わず、例えば、パターンマッチングや後述する物体認識技術等の公知技術を用いてもよい。

特徴量抽出部１６１４は、除外領域特定部１６１２及び確定領域特定部１６１３で特定された領域に基づき、画像取込部１６１１により取り込まれた撮像画像から、当該撮像画像に含まれた商品Ｇの表面の状態（表面の色合い、模様（パターン）、凸凹状況、形状等）を特徴量として抽出する。

具体的に、特徴量抽出部１６１４は、除外領域特定部１６１２で特定された除外領域に対応する撮像画像中の領域を、特徴量の抽出対象から除外する。また、特徴量抽出部１６１４は、確定領域特定部１６１３で特定された確定領域に対応する撮像画像中の領域を特徴量の抽出対象とし、この領域に含まれる画像から特徴量を抽出する。

ここで、特徴量の抽出対象となる領域は、読取窓１０３に向けられた商品Ｇの写り込み領域となる。これにより、商品Ｇの特徴量を効率的に抽出することができ、また、その精度を向上することができるため、後述する類似度判定部１６１５での商品Ｇの認識率を向上させることができる。

なお、除外領域及び確定領域のうち、除外領域が特定された場合には、撮像画像から除外領域を除外した残りの領域から特徴量を抽出するものとする。また、除外領域及び確定領域のうち、確定領域が特定された場合には、この確定領域から特徴量を抽出するものとする。

類似度判定部１６１５は、特徴量抽出部１６１４で抽出された特徴量と、ＰＯＳ端末１１の商品特性ファイルＦ４に登録された各登録商品の特徴量とを比較し、両特徴量がどの程度類似しているかを示す類似度が所定の閾値以上となる登録商品（商品ＩＤ）を、商品特性ファイルＦ４から特定する。

具体的に、類似度判定部１６１５は、特徴量を比較することで、撮像画像中に含まれた商品と、商品特性ファイルＦ４に登録された各登録商品との類似度をそれぞれ算出し、その類似度が所定の閾値以上となった登録商品（商品ＩＤ）を、第２カメラ１６５で撮像された商品Ｇの候補として認識する。

上記のように画像中に含まれる物体を認識することは、一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２４年７月２６日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２４年７月２６日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ｇの画像と、商品特性ファイルＦ４に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、商品特性ファイルＦ４に登録された登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、商品特性ファイルＦ４に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品Ｇと、商品特性ファイルＦ４に登録された各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。

商品候補提示部１６１６は、類似度判定部１６１５で候補として認識された登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。具体的に、商品候補提示部１６１６は、候補として認識された登録商品の商品情報をＰＯＳ端末１１のＰＬＵファイルＦ１から読み出し、類似度の高いものから、表示デバイス１０６に順次表示させる。

図８は、商品候補の表示例を示す図である。図８に示すように、表示デバイス１０６の表示画面のうち、商品候補提示領域Ａ３１には、類似度の高い登録商品の順に、その商品候補の商品情報に含まれたイラスト画像Ｇ１、Ｇ２、Ｇ３が商品名とともに表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３は、タッチパネル１０５に対するタッチ操作に応じて選択可能に構成されている。また、商品候補提示領域Ａ３１の下部には、商品リストから商品を選択するための選択ボタンＢ１１が設けられており、商品リストから選択された商品は後述する確定商品として処理される。また、領域Ａ３２には、画像取込部１６１１により取り込まれた第２カメラ１６５の撮像画像が表示される。

なお、図８では、３つの商品候補を提示する例を示したが、商品候補の提示方法はこれに限定されるものではない。例えば、イラスト画像に替えて商品特性ファイルＦ４に登録された商品画像を表示する形態としてもよい。また、領域Ａ３３に第１カメラ１６４の熱画像を表示する形態としてもよい。

図７に戻り、入力受付部１６１７は、タッチパネル１０５又はキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受け付ける。例えば、入力受付部１６１７は、表示デバイス１０６に表示された商品候補のイラスト画像（図８参照）の中から何れか一つの商品候補に対する選択操作を受け付ける。入力受付部１６１７は、選択されたイラスト画像の商品候補を、第２カメラ１６５によって撮像された商品Ｇに対応する商品（確定商品）として受け付ける。

情報出力部１６１８は、上述のように確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。

なお、情報出力部１６１８は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともにＰＯＳ端末１１に出力してもよい。また、情報出力部１６１８がＰＯＳ端末１１に出力する情報としては、情報出力部１６１８がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、イラスト画像、イラスト画像のファイル名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）を通知してもよい。

一方、ＰＯＳ端末１１のＣＰＵ６１は、プログラムを実行することにより、売上登録部６１１としての機能を備える。売上登録部６１１は、商品読取装置１０１の情報出力部１６１８から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照し、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録することで売上登録を行う。

次に、チェックアウトシステム１の動作について説明する。まず、商品読取装置１０１の動作について説明する。図９は、商品読取装置１０１が実行する商品認識処理の手順を示すフローチャートである。

図９に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部１６１１は、第１カメラ１６４及び第２カメラ１６５に撮像オン信号を出力して第１カメラ１６４及び第２カメラ１６５による撮像を開始する（ステップＳ１１）。続いて、画像取込部１６１１は、第１カメラ１６４及び第２カメラ１６５での撮像によりＲＡＭ１６３に保存された熱画像及び撮像画像を取り込む（ステップＳ１２）。

除外領域特定部１６１２は、ＰＯＳ端末１１の除外領域特定用ファイルＦ２に格納された除外条件に基づき、画像取込部１６１１が取得した熱画像内に、除外条件を満たす充足領域が存在するか否かを判定する（ステップＳ１３）。なお、除外領域特定用ファイルＦ２に撮像画像に基づき除外条件が定義されている場合には、画像取込部１６１１が取得した撮像画像についても、除外条件の判定を行うものとする。

ステップＳ１３において、充足領域が存在すると判定した場合（ステップＳ１３；Ｙｅｓ）、除外領域特定部１６１２は、その充足領域を除外領域と特定し（ステップＳ１４）、ステップＳ１５に移行する。また、充足領域が存在しないと判定した場合には（ステップＳ１３；Ｎｏ）、ステップＳ１５に直ちに移行する。

確定領域特定部１６１３は、ＰＯＳ端末１１の確定領域特定用ファイルＦ３に格納された確定条件に基づき、画像取込部１６１１が取得した熱画像内（或いは撮像画像内）に、確定条件を満たす充足領域が存在するか否かを判定する（ステップＳ１５）。

ステップＳ１５において、充足領域が存在すると判定した場合（ステップＳ１５；Ｙｅｓ）、確定領域特定部１６１３は、その充足領域を確定領域と特定し（ステップＳ１６）、ステップＳ１７に移行する。また、充足領域が存在しないと判定した場合には（ステップＳ１５；Ｎｏ）、ステップＳ１７に直ちに移行する。

続いて、特徴量抽出部１６１４は、ステップＳ１４、Ｓ１６で特定された除外領域、確定領域に基づき、ステップＳ１２で取り込まれた撮像画像内での商品Ｇの写り込み領域から特徴量を抽出する（ステップＳ１７）。類似度判定部１６１５は、ステップＳ１７で抽出された特徴量と、ＰＯＳ端末１１の商品特性ファイルＦ４に登録された各商品の特徴量との類似度を算出する（ステップＳ１８）。次いで、類似度判定部１６１５は、ステップＳ１８で類似度を算出した登録商品の中に、商品Ｇの特徴量との類似度が閾値以上となった登録商品が存在するか否かを判定する（ステップＳ１９）。

ステップＳ１９において、類似度が閾値以上の登録商品が存在すると判定した場合（ステップＳ１９；Ｙｅｓ）、類似度判定部１６１５は、その登録商品を商品Ｇの候補として認識しステップＳ２０に移行する。なお、類似度が閾値以上の登録商品が存在しないと判定した場合には（ステップＳ１９；Ｎｏ）、ステップＳ１２に再び戻る。

続くステップＳ２０において、商品候補提示部１６１６は、ステップＳ１９で候補として認識された登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる（ステップＳ２０）。

入力受付部１６１７は、タッチパネル１０５又はキーボード１０７を介して、表示デバイス１０６に表示された商品候補の選択を受け付けたか否かを判定する（ステップＳ２１）。ここで、選択操作を受け付けた場合（ステップＳ２１；Ｙｅｓ）、入力受付部１６１７は、選択された商品候補を、第２カメラ１６５によって撮像された商品Ｇに対応する確定商品として受け付け、ステップＳ２２に移行する。一方、選択を受け付けない場合には（ステップＳ２１；Ｎｏ）、ステップＳ１２に再び戻る。

続いて、情報出力部１６１８は、ステップＳ２１で選択された確定商品について、その商品を示す商品ＩＤ等の情報を、接続インターフェース１７５を介してＰＯＳ端末１１に出力し（ステップＳ２２）、ステップＳ２３に移行する。

ここで、タッチパネル１０５又はキーボード１０７を介して販売個数が別途入力された場合には、ステップＳ２２において、確定商品を示す情報とともに、その販売個数をＰＯＳ端末１１に出力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“１”を出力する形態としてもよい。

ステップＳ２３において、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２３）。ここで、業務を継続する場合（ステップＳ２３；Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。また、業務を終了する場合（ステップＳ２３；Ｙｅｓ）、画像取込部１６１１は、第２カメラ１６５に撮像オフ信号を出力することで、第２カメラ１６５による撮像を終了し（ステップＳ２４）、処理を終了する。

なお、上記の処理では、ステップＳ１３、Ｓ１４の後にステップＳ１５、Ｓ１６を実行する形態としたが、これに限らず、ステップＳ１５、Ｓ１６の後にステップＳ１３、Ｓ１４を実行する形態としてもよいし、ステップＳ１３、Ｓ１４の処理と、ステップＳ１５、Ｓ１６の処理とを並列で行う形態としてもよい。また、類似度が閾値以上となる登録商品が存在しない場合には、類似する登録商品が存在しない旨を表示デバイス１０６に表示させ、商品リストからの選択を促すものとする。

次に、ＰＯＳ端末１１の処理動作について説明する。図１０は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。

まず、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１が図９のステップＳ２３で出力した、確定商品の商品ＩＤとその販売個数とを受信する（ステップＳ３１）。次いで、売上登録部６１１は、ステップＳ３１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（ステップＳ３２）。

続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ３３）。業務を継続する場合（ステップＳ３３；Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ３３；Ｙｅｓ）、ＣＰＵ６１は処理を終了する。

以上のように、本実施形態によれば、第１カメラ１６４により取得される熱画像を用いて、除外領域と確定領域とを特定することができるため、商品Ｇの認識の妨げとなる人の手等の写り込み領域と、認識の対象となる商品Ｇが存在する領域と、容易に区分けすることができる。これにより、特徴量の抽出を効率的に行うことができるとともに、その精度を向上することができるため、商品Ｇの認識率を向上させることができる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ＰＯＳ端末１１が、ＰＬＵファイルＦ１、除外領域特定用ファイルＦ２、確定領域特定用ファイルＦ３及び商品特性ファイルＦ４を備える形態としたが、これに限らず、商品読取装置１０１が、ＰＬＵファイルＦ１、除外領域特定用ファイルＦ２、確定領域特定用ファイルＦ３及び商品特性ファイルＦ４の一部又は全てを備える形態としてもよい。

また、上記実施形態では、商品読取装置１０１において、商品候補の識別を行う形態としたが、商品読取装置１０１の機能部の一部又は全てをＰＯＳ端末１１が備える形態としてもよい。例えば、ＰＯＳ端末１１が、除外領域特定部１６１２、確定領域特定部１６１３、特徴量抽出部１６１４、類似度判定部１６１５を備え、商品読取装置１０１が、画像取込部１６１１、商品候補提示部１６１６、入力受付部１６１７及び情報出力部１６１８を備える形態としてもよい。この場合、商品読取装置１０１側では、画像取込部１６１１により取り込まれた撮像画像をＰＯＳ端末１１に送信し、ＰＯＳ端末１１側で認識された商品（登録商品）の結果を受信し、この受信した結果を商品候補提示部１６１６が商品候補として提示する構成とすることができる。また、商品読取装置１０１の機能部の全てをＰＯＳ端末１１が備える場合、商品読取装置１０１は撮像装置として機能し、ＰＯＳ端末１１では、商品読取装置１０１から送信された撮像画像に基づき商品候補の表示と選択を行う。

また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１のうち、商品読取装置１０１に本発明の実施形態を適用したが、これに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置または、例えば、図１に示す商品読取装置１０１及びＰＯＳ端末１１が有線又は無線にて接続されて構成されるチェックアウトシステムに適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１１は、セルフＰＯＳ２００の外観構成を示す斜視図、図１２は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１及び図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。

図１１及び図１２に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品Ｇの種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備えている。

表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部１１０は、客が商品を商品読取部１１０の読取窓１０３にかざすことでその商品Ｇの熱画像及び撮像画像を第１カメラ１６４及び第２カメラ１６５により取得するものである。

また、本体２０２の右側にはかごに入った未精算の商品Ｇを置くための商品載置台２０３が設けられ、本体２０２の左側には精算済みの商品Ｇを置くための商品載置台２０４が設けられ、精算済みの商品Ｇを入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品Ｇを袋に入れる前に一時的に置いておくための一時置き台２０６が設けられている。商品載置台２０３及び２０４には計量器２０７、２０８がそれぞれ備えられており、精算の前後で商品Ｇの重量が同じであることを確認する機能を有している。

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１が設けられている。

このような構成のセルフＰＯＳ２００に本発明の実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。なお、ＰＯＳ端末１１と商品読取装置１０１との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７及び２０８を除いて構成された装置であってもよい。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

また、上記実施形態のプログラムを、通信機能を有する携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistant）等の携帯情報端末に組み込んで、その機能を実現させる形態としてもよい。

１ チェックアウトシステム
１１ ＰＯＳ端末
６１１ 売上登録部
１０１ 商品読取装置
１６１１ 画像取込部
１６１２ 除外領域特定部
１６１３ 確定領域特定部
１６１４ 特徴量抽出部
１６１５ 類似度判定部
１６１６ 商品候補提示部
１６１７ 入力受付部
１６１８ 情報出力部
Ｆ１ ＰＬＵファイル
Ｆ２ 除外領域特定用ファイル
Ｆ３ 確定領域特定用ファイル
Ｆ４ 商品特性ファイル

特開２００１−３４８４１号公報

Claims (2)

1. 撮像領域中の温度分布を表す熱画像から、人体温の温度範囲にある手形状の第１領域を特定する第１特定手段と、
   前記第１領域の形状から人の手が物体を掴んでいる方向を判別する判別手段と、
   前記第１領域に隣接し且つ前記判別手段が判別した方向に存在する第２領域を特定する第２特定手段と、
   前記第２特定手段が特定した前記第２領域に基づいて、前記撮像領域を撮像した撮像画像中の特定の領域から特徴量を抽出する抽出手段と、
   前記抽出手段が抽出した特徴量を用いて、前記撮像領域中に存在する物体を認識する物体認識手段と、
   を備える情報処理装置。
2. コンピュータを、
   撮像領域中の温度分布を表す熱画像から、人体温の温度範囲にある手形状の第１領域を特定する第１特定手段と、
   前記第１領域の形状から人の手が物体を掴んでいる方向を判別する判別手段と、
   前記第１領域に隣接し且つ前記判別手段が判別した方向に存在する第２領域を特定する第２特定手段と、
   前記第２特定手段が特定した前記第２領域に基づいて、前記撮像領域を撮像した撮像画像中の特定の領域から特徴量を抽出する抽出手段と、
   前記抽出手段が抽出した特徴量を用いて、前記撮像領域中に存在する物体を認識する物体認識手段と、
   して機能させるためのプログラム。

Images