JP7461051B2

JP7461051B2 - システム

Info

Publication number: JP7461051B2
Application number: JP2020209331A
Authority: JP
Inventors: 信一松本; 浩太岩元; 哲夫井下; 壮馬白石; 寛山田; 準小林; 英路村松; 秀雄横井
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2018-12-28
Filing date: 2020-12-17
Publication date: 2024-04-03
Anticipated expiration: 2034-03-31
Also published as: JP2021044019A

Description

本発明は、ＰＯＳ（Point Of Sale）システムに関し、特に対象を画像認識で物体認識するシステム、及び商品特定方法に関する。

昨今、画像認識技術を取り入れたＰＯＳシステムが開発されている。
この画像認識技術を使用するＰＯＳシステムでは、撮像された対象（画像）とデータベース内の対比データとを比べ、一致度や尤度の算定を行う。次に、ＰＯＳシステムは、一致度や尤度の算定結果に基づいて、ＰＬＵ（Price Look Up）コードに対応付いた１ないし複数の候補を求め、画像に描写されていた対象のＰＬＵコード、もしくはＰＬＵコード候補を求める。その後、既存のＰＯＳシステム同様に代金の支払いや在庫管理に供される。

このような画像認識技術を取り込んだＰＯＳシステムでは、バーコードに頼らない商品管理が可能になる。

関連する技術は、例えば特許文献１が挙げられる。

特許文献１には、商品を撮像した撮像画像から対象商品を物体認識する品種識別部を有するＰＯＳシステムが記載されている。また、このＰＯＳシステムでは、品種識別処理の後に、識別した対象商品を固体識別する画像認識処理を実行する。固体識別結果は、必要に応じて、予めこの個体向けに準備しておいた情報（例えば、産地、等級、生産者、収穫日など）と関連付けられ、会計処理時に利用されている。

特開２０１３－２１０９７１号公報

商品画像を画像認識して商品種別を認識する際に、幾つか課題がある。

その一つは、商品の大きさや商品の等級を、画像から判別することが困難な点が挙げられる。特許文献１に記載された手法では、この問題に対して、予め商品に付された等級を表したマーク（特性シンボル）を画像マッチング技術で探索することで、予めこの個体向けに準備しておいた情報と物品を関連付けて解消している。他方で、この手法では、マークが無ければ等級等を判別できない問題を指摘できる。

また、別の観点では、撮像範囲に商品全体を適切に入れることが困難な物品が多くある。商品の大きさ、長さ、撮像手段の配置（撮像範囲）などがＰＯＳシステムの利用を制限することに繋がってしまう。これらの商品では、結果的に、人間がキーボードやバーコードスキャナなどで商品種別を選定することになる。

また、商品が小さい場合や纏まっている場合にも商品種別や等級などを識別することに困難性を有する。

本発明は、上記課題に鑑み、撮像画像に描写されている対象を的確に識別及び／又は区分するシステム、及び商品特定方法を提供することを目的とする。

本発明に係るシステムは、撮像手段によって撮像された画像から物品を物体認識する物体認識手段と、前記画像に基づいて前記物品の大きさを識別する識別手段と、物体認識される物品の大きさと物品の区分とが対応づけられた情報テーブルを参照し、前記識別手段で識別された前記物品の大きさに基づいて、物体認識された前記物品の区分を確定する分類手段と、前記分類手段で確定された前記物品に関して商品データに有る前記物品の区分に対応付いた値段を読み出す照合手段と、を含み、前記情報テーブルには、物体認識される物品ごとに予め定めた物品毎の区分用大きさ項目が含まれ、前記識別手段は、認識結果として前記物体認識手段で認識された物品について前記物品毎の区分用大きさ項目を前記画像から計測して前記物品の大きさを演算により識別する、ことを特徴とする。

本発明に係る商品特定方法は、商品データにアクセス可能な情報処理システムが、物体認識される物品の大きさと物品の区分とが対応づけられた情報テーブルにアクセス可能であり、該情報テーブルには、物体認識される物品ごとに予め定めた物品毎の区分用大きさ項目が含まれており、撮像手段で撮像された物品が写る画像を取得し、前記画像から前記物品を物体認識手段により物体認識して得られた認識結果を取得すると共に、前記画像に基づいて前記物品の大きさを、識別手段により、前記認識結果として前記物体認識手段で認識された物品について前記物品毎の区分用大きさ項目を前記画像から計測して識別し、前記情報テーブルを参照し、前記識別手段で識別された前記物品の大きさに基づいて、前記物体認識手段で認識された物品について、前記物品の区分を何れかに確定し、その結果に基づいて、確定された前記物品に関して前記商品データに有る前記物品の区分に対応付いた値段を読み出すことを特徴とする。

本発明によれば、撮像画像に描写されている対象を的確に識別及び／又は区分するシステム、及び商品特定方法を提供できる。

実施形態にかかるＰＯＳシステムを示した機能ブロック図である。実施形態にかかるＰＯＳシステムでの対象の区分に係る処理動作例を示したフローチャートである。区分用テーブル情報例を示した説明図である。

本発明の実施の形態を図面を参照しつつ説明する。

図１は、実施形態にかかるＰＯＳシステムを示した機能ブロック図である。本実施形態では、スーパーに配置されるＰＯＳシステムを念頭に説明する。

ＰＯＳシステムは、撮像部１０、物体認識部２０と共に、対象の大きさを識別処理する識別部３０と、対象の大きさと対象の認識結果とに基づいて該対象を区分する分類部４０を含んでいる。識別部３０と分類部４０は、区分を導出する区分導出手段として動作する。

なお、ＰＯＳシステムの有する公知の機構（例えば各種演算部、各種データベース、通信部、ドロア、レシートプリンタなど）や処理動作（例えば、ＰＬＵ参照処理や、精算処理、ドロワとの連携、レシート排出処理など）について、説明を簡略化若しくは省略する。本実施形態にかかるＰＯＳシステムも、１ないし複数の制御部（ＣＰＵ: Central Processing Unit）がＲＡＭに展開された各種プログラムによって、各部を制御する。

撮像部１０は、撮像範囲に入った識別対象（品物）を画像化する。また必要に応じて複眼カメラや、マルチスペクトルカメラなどを撮像部１０として用いてもよい。

物体認識部２０は、撮像部１０で画像化された画像から識別対象（品物）を物体認識する。物体認識手法は、画像マッチング方式や、特徴量による一般物体認識方式、バーコードやＱＲコード（登録商標）による２次元コード画像識別方式、これらの複合方式を用いることができる。物体認識部２０の演算リソース及び対比データは、必ずとも店舗システム内に有る必要はない。演算リソース及び対比データは、必要に応じて、筐体内、店舗内、社内ネットワーク内、クラウド上、などに適宜設置すればよい。

識別部３０は、画像から対象の大きさを対象との距離を踏まえて識別処理する。
対象までの距離は、距離算定手段として物理装置を撮像部近傍に配置して識別してもよいし、距離算定手段として商品画像が描写された画像から画像解析によって識別してもよい。

例えば、レーザ光や超音波などによる距離測定や、ステレオ視用画像から視差に基づく距離算定解析、同一対象の異なる時間の連続的画像上の差分に基づく距離算定解析が用いれる。また、識別性を有する既知寸法のシンボルや模様、色彩に基づく逆算処理や、ＴＯＦ（Time of Flight）センサを用いた距離測定で、対象との距離を取得してもよい。

対象の大きさは、画像に含まれている対象の画像領域範囲と距離に基づいて大きさを導出処理する。大きさの導出手法や項目は、対象の種別や形状に応じて適宜自動的に変更するアルゴリズムを採用してもよい。この変更は、物体認識結果に応じて変更したり、大きさを求める画像解析の初期に画像特徴分析によって適する項目、アルゴリズムを選定してもよい。

大きさの導出処理手法は、例えば、画像に識別対象の全体が収まっていれば、画像から対象の輪郭線を抽出して、必要に応じて輪郭推定線に丸め、直径や半径、体積（容積）、縦幅、横幅、厚さなどを求める。一度に一面の画像から全ての値を求められない場合、対象を回転させるアナウンスを出すなどして、他面（他角度画像）を撮像して不足している値を求めればよい。この際、複数の画像で各々識別された対象領域内で、共通する点や面を判定し、不足している値を求めるための画像認識を適宜実行すればよい。

例えば、箱状物体の体積を求める手法では、表面のみが描写されている１画像から表面面積（画像範囲（x×y）と距離で算定）を求め、回転が加わっている別の画像から異なる面の表面積(x×z or y×z)を求める。この２面の画像上の面積と距離から体積を推定処理すればよい。

また例えば、球状物体の体積を求める手法では、１画像から断面積や直径、円周、扁平率，縦長さ、横長さなどを求め、体積を推定処理すればよい。また、複数の画像を用いて体積を推定してもよい。

また例えば、袋に入れられた複数個の商品を、個別に画像解析で袋内の物品の数量や大きさを求め、袋内の総量を導出してもよい。”人参”のような物品であれば、所要な値として本数や総体積の一方を推定処理すればよい。

また、”イチゴ”のようにパックに入れられた商品を、画像内に描写されていた複数物体を個別に大きさ若しくは大きさを定める１ないし複数の項目を求め、”イチゴ”の集合を１つの纏まった商品としてパックの大きさや等級を求めてもよい。なお、大きさの識別は、全個体に実施せずに数個の個体を識別して、その結果をパックや、袋内の個体全部に反映するアルゴリズムを含めてもよい。

また、画像に識別対象の全体が収まっていない物体であっても、品種や形状ごとに適切な対応を取ればよい。

例えば、”ネギ”や”ごぼう”のような長物であれば、撮像範囲を通して全体を連続的画像で取得して大きさを求めればよい。具体的には、複数画像をつなぎ合わせて一画像化した上で長さを求めればよい。必要に応じて画像に描写されている複数の長物の長さを同時並行的に求めて、本数と共に総体積を求めるようにしてもよい。

また、例えば、”スイカ”のような大物であれば、撮像範囲の設定で一部しか写せないことが生じ得る。このような対象については、撮像部１０で撮像された対象の画像に写っている一部領域を識別して、該一部領域の有した輪郭の曲率を求めて、他の要素（距離や一部領域の長さなど）を踏まえ、大きさを導出すればよい。曲率は、例えば画像のコントラスト比で輪郭を求め、その変移から求められる。また特徴量から求めてもよく、どのような手法で求めてもよい。求めた曲率と画像に描写されていた対象の一部分の長さから、描写されていない部分の推定輪郭が導出できる。また、上記長物のように全体を複数画像で写して求めることも可能である。

識別部３０は、画像から対象の大きさを識別処理する際に、例示したような多くの画像解析を同時並行的に実施する構成を採用してもよい。一方で、大きさを識別する必要がない商品や、商品販売にあたり、大きさに関係する全ての要素を必要としない物品も多い。この一つの対策として、識別部３０は、物体認識部２０から出力される識別結果（候補）を参照して、大きさを求める必要性やその項目を判別すればよい。各物品について算定する項目は、アクセス可能なデータベースに予め区分用大きさ項目（指定項目）として設定しておけばよい。例えば、ＰＬＵファイル（ＰＬＵマスタデータ）に予め指定項目を用意してもよいし、ＰＬＵファイルと連携するテーブル情報（区分用サイズ判定テーブル）を別途準備してもよい。
例えば、”トマト”や”オレンジ”のように球に近い物品であれば、必ずしも体積を求めなくとも、直径や半径、円周などの一要素で”Ｌ”,”Ｍ”,”Ｓ”などの区分が可能になる。

ＰＬＵファイルと区分用サイズ判定テーブルに分けて参照テーブルを構成した場合、区分用サイズ判定テーブルに”トマト”や”オレンジ”を示す一般名称とその指定項目を記載すればよい。この指定項目を限定することで、演算量の削減や物品の読み込み速度の向上が図れる。

以下の物品の大きさ区分の例示も、上記説明と同様にテーブル情報で指定項目を定めてもよい。また、大まかな物体形状から大きさの指定項目を自動的に決定するアルゴリズムを採用してもよい。

例えば、”グレープフルーツ”のように球状の物品であれば、簡単に長辺の長さや短辺の長さ（直径）のみからサイズの区分を求めてもよい。

また例えば、”卵”のようにサイズ（重さ）により等級が変化する物品であっても、長辺と短辺と想定比重から重量を推定してもよいが、簡単に長辺の長さや短辺の長さ（直径）のみから”Ｌ”,”Ｍ”,”Ｓ”などの区分を求めてもよい。

また、”サツマイモ”のように形状が様々な物品であれば、様々な項目要素から体積を求めればよい。また、体積に変えて独自の計算式で大きさを定めて、区分を求めてもよい。

また、”バナナ”のような曲線を有する棒状の物品であれば、曲線を踏まえた長さを求めればよい。

一方で、”マスクメロン”のようにサイズや他の区分要素（メロンであれば網目密度）を有する物品であれば、識別部３０が体積と共に個々の区分要素を画像解析で算定して出力する構成でもよい。この画像処理時に、必要に応じて”紋様”から固体識別処理を行ってもよい。

なお、上記区分要素としては、”色合い”や”光沢度合”，”本数”，”個数”，”キズの有り”などを用いることができる。”色合い”は、追加的にマルチスペクトルカメラを動作させて得た１ないし複数の画像を用いることとしてもよい。この区分要素は、”鮮魚”や”フルーツ”の食べ頃や賞味期限の時期を自動算定する情報としても用いることができる。また、物品個数を区分要素として出力することで、まとめ売りの値引きコードを自動設定できる。また、区分要素は、物体認識部２０の補完情報としても利用できる。例えば、”光沢度合”の項目であれば、大きさを求める必要が無い同一形状の物品の”つや消し商品”と”つや有り商品”とを区分する際に利用できる。

分類部４０は、物体認識部２０から得られた対象の認識結果（候補）と対象の大きさ項目と区分要素項目とを踏まえ、予め設定された区分に振り分ける。例えば、対象毎に、フルーツの等級や野菜のサイズ、まとめ売りフラグ有無、キズの有無などを区分する。次に、分類部４０は、対象の物体認識結果とその区分をＰＬＵ照合部（図示せず）に出力する。この際、対象の物体認識結果に複数の候補が有る場合、分類部４０は、個々の候補ごとに対象の物体認識結果とその区分を出力すればよい。なお、分類部４０は、ＰＬＵ照合処理まで行う構成としてもよい。

ＰＬＵ照合部では、受け付けた物品毎にＰＬＵデータに有る物品と区分とに対応付いた値段を読み出して、その物品を未精算リストに追加する。複数の候補があった場合や値引きなどの処置を行う場合、ＰＯＳシステムは、適宜操作者から選定を受けて、未精算リストを確定させればよい。なお、ＰＬＵ照合部の演算リソース及び対比データも、必ずとも店舗システム内に有る必要はない。演算リソース及び対比データは、必要に応じて、筐体内、店舗内、社内ネットワーク内、クラウド上、などに適宜設置すればよい。

以後の会計処理は、店舗のスタイルに合わせて適宜構成すればよい。

なお、ＰＯＳシステムは、対象の区分結果に従って端末で値付け処理を実行する構成でもよい。例えば、ＰＬＵコードに対応した物品で、内在数量や体積あたりの単価、等級項目と体積あたりの単価、区分要素項目と体積あたりの単価などの値付け数式が予め登録されており、その数式に基づいて撮像した対象の値段を端末が算定してもよい。

この仕組みによれば、例えば、ＰＬＵコードに“野菜袋詰め”と個々の野菜の体積あたりの値段が登録されている場合に、顧客が”人参”と”玉ねぎ”と”ジャガイモ”を同一の袋に入れて、同時に撮像したとしても、適正な値付けを端末で行える。

上記説明した構成によって、ＰＯＳシステムは、撮像画像に描写されている対象を的確に識別及び／又は区分して、未精算リストを作成できる。

図２は、実施形態にかかるＰＯＳシステムでの対象の区分に係る処理動作例を示したフローチャートである。

ＰＯＳシステムは、まず、撮像部２０の撮像範囲で購入する物品を撮像し、撮像した画像を物体認識部２０と識別部３０に出力する（ステップＳ１０１）。なお、物体認識部２０と識別部３０に出力する物品の画像を異なる撮像素子から取得するようにしても構わない。

次に、ＰＯＳシステム（物体認識部２０）は、撮像した画像に描写されている対象の物体認識を実行し、その結果を分類部４０に出力する（ステップＳ１０２）。

同時的に、ＰＯＳシステム（識別部３０）は、撮像した画像に描写されている対象の大きさを求める大きさ識別処理を実行し、その結果を分類部４０に出力する（ステップＳ１０３）。この際、識別部３０は、区分要素を画像から抽出処理して、分類部４０に出力してもよい。また、物体認識部２０から物体認識結果を受け付けて、大きさを識別処理するか否か、解析が必要な項目種別を識別してもよい。

次に、ＰＯＳシステム（分類部４０）は、分類が必要な物品又は物品候補について、対象の大きさと対象の認識結果と区分要素に基づいて、撮像した画像に描写されていた物品と区分を確定し、その結果をＰＬＵ照合部に出力する（ステップＳ１０４）。

その後、ＰＯＳシステムは、ＰＬＵファイルから商品の値段を取得して、未精算リストに追加処理若しくは候補選定処理に移行する。

このようにＰＯＳシステムを動作させることで、撮像画像に描写されている対象を的確に識別及び／又は区分して、未精算リストを作成できる。
例えば、既存の物体認識を実行するＰＯＳシステムにおいて機械が区分けを精確にしきれていなかった、”トマト”と”ミニトマト”との区分けや、”イチゴパック”の値段分け、”スイカ”や”ねぎ”などの大きさ区分けなどが可能になる。
結果、作業者の手間などが低減され、レジ業務の高速化が図れる。

また、物品の値付けの自由度が高くなる。
また、セルフレジであれば、顧客にとって煩雑な操作を削減できる。
また、店舗などで個々の商品に値段を付与する際にも本仕組みで値付けが可能であり、ハンドラベラーやバーコードプリンタなどによる値付け作業が簡便になる。

次に、区分用サイズ判定テーブルの構成例を説明する。図３は、区分用テーブル情報例を示した説明図である。

図３（ａ）に示したＰＬＵマスタでは、ＰＬＵコード（図中ではＪＡＮ（Japanese Article Number）コード）に対応付いて、品名や値段と共に、追加で算定する区分要素を一覧に構成している。
図３（ｂ）に示した区分用サイズ判定テーブルでは、物品名に対応付いて、大きさを求めるか否かを示すフラグ、求める項目、追加で算定する区分要素を一覧に構成している。また、当該区分用サイズ判定テーブルを用いてＰＬＵコードを特定できるように構成している。

尚、ＰＯＳシステムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭにＰＯＳシステム用プログラム（ＰＬＵ区分特定プログラム）が展開され、プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させる。このことによって、各部を各種手段として動作させる。また、このプログラムは、記録媒体に非一時的に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

本発明を実施形態を用いて説明したが、具現化する際には様々な構成を取り得る。例えば、撮像手段、物体認識手段、識別手段、分類手段を、全て一つの筐体内に有して、１つの制御部がＰＬＵ特定処理まで実行するＰＯＳ端末装置が挙げられる。また、複数の筐体に分散された、撮像手段、物体認識手段、識別手段、分類手段を、１つの制御部受け持つＰＯＳ端末装置も一態様である。また、既存のＰＯＳ端末装置のように、レジスタ側とスキャナ側にそれぞれ制御部を有する態様であっても、適宜、撮像手段、物体認識手段、識別手段、分類手段を、ＰＯＳ端末装置内で分ければよい。

また、多数のＰＯＳ端末装置で画像を取得し、店舗内サーバで物体認識や識別処理を実行して、各ＰＯＳ端末装置に結果を応答するＰＯＳシステムも考えられる。
上記実施形態のＰＯＳシステムの特徴を別の表現で説明すれば、撮像手段を有する１ないし複数のＰＯＳ端末装置と、物体認識手段と、識別手段と、分類手段と、を有する情報処理装置と、を備えることになる。

また、上記実施形態を別の表現で説明すれば、ＰＯＳ用サーバとして動作させる情報処理装置を、ＲＡＭに展開されたＰＯＳ用プログラムに基づき、物体認識手段、識別手段、分類手段としてとして制御部を動作させることで実現することが可能である。

以上実施形態及び実施例を図示して説明したが、そのブロック構成の分離併合、手順の入れ替えなどの変更は本発明の趣旨および説明される機能を満たせば自由であり、上記説明が本発明を限定するものではない。

以上説明したように、本発明を適用したＰＯＳシステムは、撮像画像に描写されている対象を的確に識別及び／又は区分可能になる。

すなわち、本発明によれば、撮像画像に描写されている対象を的確に識別及び／又は区分するＰＯＳ端末装置、サーバ、ＰＯＳシステム、ＰＬＵ特定方法、およびプログラムを提供できる。

また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。
［付記１］
対象の画像を撮像する撮像手段と、
前記対象を物体認識する物体認識手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有することを特徴とするＰＯＳ端末装置。

［付記２］
前記対象までの距離を識別する距離算定手段を有し、
前記識別手段は、
撮像された前記対象の画像に含まれている対象の画面領域範囲と前記距離算定手段で求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＯＳ端末装置。

［付記３］
前記撮像手段は、視差を有する複数の画像を取得し、
前記識別手段は、
視差を有した各々の対象の画像の差分から前記対象までの距離を識別処理し、
撮像された前記対象の画像に含まれている対象の画像領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＯＳ端末装置。

［付記４］
前記識別手段は、
前記撮像手段で異なる時間に取得された同一対象の画像の差分から、物体認識する画像の前記対象までの距離を識別し、
撮像された前記対象の画像に含まれている対象の領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＯＳ端末装置。

［付記５］
前記識別手段は、画像内に描写されていた複数物体を個別に大きさ若しくは大きさを定める１ないし複数の項目を求め、前記複数物体を１つの纏まった対象として大きさを導出処理することを特徴とする上記付記記載のＰＯＳ端末装置。

［付記６］
前記識別手段は、前記撮像手段で撮像された前記対象の連続した複数画像をつなぎ合わせて、前記対象の大きさを推定処理することを特徴とする上記付記記載のＰＯＳ端末装置。

［付記７］
前記識別手段は、前記撮像手段で撮像された前記対象の画像に写っている一部領域を識別して、該一部領域の有した輪郭の曲率から前記対象の大きさを推定処理することを特徴とする上記付記記載のＰＯＳ端末装置。

［付記８］
前記識別手段は、予め準備された識別対象の大きさを定める基準に用いる項目を物体認識結果として出力される物体名に対応させて記録したテーブル情報と、前記物体認識手段の物体認識結果とを参照して、前記対象の大きさを定める基準に用いる項目を特定し、該特定した項目に基づいて前記対象の大きさを識別処理することを特徴とする上記付記記載のＰＯＳ端末装置。

［付記９］
前記識別手段は、予め準備された識別対象の区分要素項目を物体認識結果として出力される物体名に対応させて記録したテーブル情報と、前記物体認識手段の物体認識結果とを参照して、前記対象の区分要素項目を画像解析で求め、その結果を前記分類手段に出力することを特徴とする上記付記記載のＰＯＳ端末装置。

［付記１０］
前記分類手段は、少なくとも前記対象の大きさを反映させた各項目の値に基づいて、ＰＬＵコードに対応している区分の何れかに、物体認識した前記対象を分類することを特徴とする上記付記記載のＰＯＳ端末装置。

［付記１１］
該ＰＯＳ端末装置は、前記対象の大きさに基づいた区分結果に従った値付け処理を実行可能にすることを特徴とする上記付記記載のＰＯＳ端末装置。

［付記１２］
前記対象を物体認識する物体認識手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有することを特徴とするサーバ。

［付記１３］
前記識別手段は、
撮像された前記対象の画像に含まれている対象の画面領域範囲と通知された撮像位置からの距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のサーバ。

［付記１４］
前記識別手段は、
視差を有する複数の画像を取得し、視差を有した各々の対象の画像の差分から前記対象までの距離を識別処理し、
撮像された前記対象の画像に含まれている対象の画像領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のサーバ。

［付記１５］
前記識別手段は、
異なる時間に取得された同一対象の画像の差分から、物体認識する画像の前記対象までの距離を識別し、
撮像された前記対象の画像に含まれている対象の領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のサーバ。

［付記１６］
前記識別手段は、画像内に描写されていた複数物体を個別に大きさ若しくは大きさを定める１ないし複数の項目を求め、前記複数物体を１つの纏まった対象として大きさを導出処理することを特徴とする上記付記記載のサーバ。

［付記１７］
前記識別手段は、前記対象の連続した複数画像をつなぎ合わせて、前記対象の大きさを推定処理することを特徴とする上記付記記載のサーバ。

［付記１８］
前記識別手段は、前記対象の画像に写っている一部領域を識別して、該一部領域の有した輪郭の曲率から前記対象の大きさを推定処理することを特徴とする上記付記記載のサーバ。

［付記１９］
前記識別手段は、予め準備された識別対象の大きさを定める基準に用いる項目を物体認識結果として出力される物体名に対応させて記録したテーブル情報と、前記物体認識手段の物体認識結果とを参照して、前記対象の大きさを定める基準に用いる項目を特定し、該特定した項目に基づいて前記対象の大きさを識別処理することを特徴とする上記付記記載のサーバ。

［付記２０］
前記識別手段は、予め準備された識別対象の区分要素項目を物体認識結果として出力される物体名に対応させて記録したテーブル情報と、前記物体認識手段の物体認識結果とを参照して、前記対象の区分要素項目を画像解析で求め、その結果を前記分類手段に出力することを特徴とする上記付記記載のサーバ。

［付記２１］
前記分類手段は、少なくとも前記対象の大きさを反映させた各項目の値に基づいて、ＰＬＵコードに対応している区分の何れかに、物体認識した前記対象を分類することを特徴とする上記付記記載のサーバ。

［付記２２］
前記対象の大きさに基づいた区分結果に従った値段を特定し、該値段を値付け処理用データとして出力することを特徴とする上記付記記載のサーバ。

［付記２３］
対象の画像を撮像する撮像手段を有するＰＯＳ端末装置と、
前記対象を物体認識する物体認識手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有する情報処理装置と、
を備えるＰＯＳシステム。

［付記２４］
対象の画像を撮像する撮像手段と、
前記対象の大きさを識別処理する識別手段と、
を有するＰＯＳ端末装置と、
前記対象を物体認識する物体認識手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有する情報処理装置と、
を備えるＰＯＳシステム。

［付記２５］
対象を物体認識する物体認識手段を有する情報処理装置と、
前記対象の画像を撮像する撮像手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有するＰＯＳ端末装置と、
を備えるＰＯＳシステム。

［付記２６］
対象を物体認識する物体認識手段と、
前記対象の大きさを識別処理する識別手段と、
を有する情報処理装置と、
前記対象の画像を撮像する撮像手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段と、
を有するＰＯＳ端末装置と、
を備えるＰＯＳシステム。

［付記２７］
前記情報処理装置は、上記付記１２から２２の何れかに記載のサーバであるＰＯＳシステム。

［付記２８］
ＰＬＵデータにアクセス可能な情報処理システムは、
撮像部で撮像された対象画像と、該対象画像を物体認識処理して得られた認識結果とを取得し、
前記対象の大きさを識別処理し、
前記対象の大きさと前記対象の認識結果とに基づいて該対象をＰＬＵ区分の何れかに分類処理し、
前記対象の認識結果と分類結果に基づいて、前記ＰＬＵデータから該対象のＰＬＵコードを特定する
ことを特徴とするＰＬＵ特定方法。

［付記２９］
該情報処理システムは、前記対象の大きさを識別する処理として、
撮像された前記対象の画像に含まれている対象の画面領域範囲と、前記対象までの距離を識別する距離算定部で求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。

［付記３０］
該情報処理システムは、前記対象の大きさを識別する処理として、
前記撮像部で取得された視差を有する複数の画像を用いて、視差を有した各々の対象の画像の差分から前記対象までの距離を識別処理し、
撮像された前記対象の画像に含まれている対象の画像領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。

［付記３１］
該情報処理システムは、前記対象の大きさを識別する処理として、
前記撮像部で異なる時間に取得された同一対象の画像の差分から、物体認識する画像の前記対象までの距離を識別し、
撮像された前記対象の画像に含まれている対象の領域範囲と画像間の差分から求めた距離に基づいて前記対象の大きさを導出処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。

［付記３２］
該情報処理システムは、前記対象の大きさを識別する処理として、
画像内に描写されていた複数物体を個別に大きさ若しくは大きさを定める１ないし複数の項目を求め、前記複数物体を１つの纏まった対象として大きさを導出処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。

［付記３３］
該情報処理システムは、前記対象の大きさを識別する処理として、
前記撮像部で撮像された前記対象の連続した複数画像をつなぎ合わせて、前記対象の大きさを推定処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。

［付記３４］
該情報処理システムは、前記対象の大きさを識別する処理として、
前記撮像部で撮像された前記対象の画像に写っている一部領域を識別して、該一部領域の有した輪郭の曲率から前記対象の大きさを推定処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。

［付記３５］
該情報処理システムは、前記対象の大きさを識別する処理として、
予め準備された識別対象の大きさを定める基準に用いる項目を物体認識結果として出力される物体名に対応させて記録したテーブル情報と、物体認識結果とを参照して、前記対象の大きさを定める基準に用いる項目を特定し、該特定した項目に基づいて前記対象の大きさを識別処理する
ことを特徴とする上記付記記載のＰＬＵ特定方法。

［付記３６］
該情報処理システムは、予め準備された識別対象の区分要素項目を物体認識結果として出力される物体名に対応させて記録したテーブル情報と、物体認識結果とを参照して、前記対象の区分要素項目を画像解析で求め、その結果を分類することを特徴とする上記付記記載のＰＬＵ特定方法。

［付記３７］
該情報処理システムは、少なくとも前記対象の大きさを反映させた各項目の値に基づいて、ＰＬＵコードに対応している区分の何れかに、物体認識した前記対象を分類することを特徴とする上記付記記載のＰＬＵ特定方法。

［付記３８］
該情報処理システムは、前記対象の大きさに基づいた区分結果に従った値付け処理を実行可能にすることを特徴とする上記付記記載のＰＬＵ特定方法。

［付記３９］
情報処理システムを、
撮像部で撮像された対象の画像から物体認識する画像認識手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を区分する分類手段、
として、動作させることを特徴とするプログラム。

［付記４０］
情報処理装置を、
対象の画像を撮像する撮像手段と、
前記対象の大きさを識別処理する識別手段、
として、動作させることを特徴とするプログラム。

［付記４１］
情報処理装置を、
対象を物体認識する物体認識手段と、
対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段、
として、動作させることを特徴とするプログラム。

［付記４２］
情報処理装置を、
対象の画像を撮像する撮像手段と、
前記対象の大きさを識別処理する識別手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段、
として、動作させることを特徴とするプログラム。

［付記４３］
情報処理装置を、
対象を物体認識する物体認識手段と、
前記対象の大きさを識別処理する識別手段、
として、動作させることを特徴とするプログラム。

［付記４４］
情報処理装置を、
対象の画像を撮像する撮像手段と、
前記対象の大きさと前記対象の認識結果とに基づいて該対象を分類する分類手段、
として、動作させることを特徴とするプログラム。

［付記４５］
上記付記１から１１の何れかに記載のＰＯＳ端末装置として動作させることを特徴とするプログラム。

［付記４６］
上記付記１２から２２の何れかに記載のサーバとして動作させることを特徴とするプログラム。

本発明は、スーパーやコンビニ、デパードなどに配置されているＰＯＳ端末装置に適用できる。また、タブレットＰＯＳシステムやスマートフォンＰＯＳシステムにも適用できる。

１０撮像部（撮像手段）
２０物体認識部（物体認識手段）
３０識別部（識別手段、画像解析手段）
４０分類部（分類手段）

Claims

撮像手段によって撮像された画像から物品を物体認識する物体認識手段と、
前記画像に基づいて前記物品の大きさを識別する識別手段と、
物体認識される物品の大きさと物品の区分とが対応づけられた情報テーブルを参照し、前記識別手段で識別された前記物品の大きさに基づいて、物体認識された前記物品の区分を確定する分類手段と、
前記分類手段で確定された前記物品に関して商品データに有る前記物品の区分に対応付いた値段を読み出す照合手段と、
を含み、
前記情報テーブルには、物体認識される物品ごとに予め定めた物品毎の区分用大きさ項目が含まれ、
前記識別手段は、認識結果として前記物体認識手段で認識された物品について前記物品毎の区分用大きさ項目を前記画像から計測して前記物品の大きさを演算により識別する、
ことを特徴とするシステム。
前記識別手段は、前記情報テーブルに準備されている物品毎の区分用大きさ項目を参照し、前記画像に含まれている前記物品の画像領域範囲と、前記物品までの測定された距離と、該認識結果の区分用大きさ項目とに基づいて前記物品の大きさを演算により識別する、ことを特徴とする請求項１に記載のシステム。
前記分類手段は、分類が必要な物品又は物品候補について、前記物体認識手段から得られた前記物品の認識結果と、前記識別手段から得た前記物品の大きさと、を参照し、前記情報テーブルに含まれる物品の区分の何れかに、前記画像に描写されていた物品の区分を確定し、その結果を前記照合手段に出力することを特徴とする請求項２に記載のシステム。
前記情報テーブルは、物体認識される物品に対応付けて、該物品に関して大きさを求めるか否かを示すフラグが設定可能に構成され、
前記識別手段は、前記物体認識手段で認識された物品について、該物品に関して大きさを求めるか否かを示すフラグを参照し、該物品の大きさを識別するか否かを決定する、
ことを特徴とする請求項１ないし３の何れか一項に記載のシステム。
前記物品毎の区分用大きさ項目には、物品の直径、物品の半径、物品の円周、物品の体積、物品の長辺の長さ、物品の短辺の長さ、物品の曲線に沿った長さ、の何れかが少なくとも設定可能に構成され、
前記識別手段は、前記物体認識手段で認識された物品について前記物品毎の区分用大きさ項目に示された指定項目を計測して前記物品の大きさを演算により識別する、
ことを特徴とする請求項１ないし４の何れか一項に記載のシステム。
前記識別手段は、大きさの導出手法と求める指定項目について、認識対象となる物品の大まかな物体形状に応じて、画像解析中に自動的に選定し、
前記物体認識手段で認識された物品について前記選定した指定項目を計測して前記物品の大きさを演算により識別する、
ことを特徴とする請求項１ないし４の何れか一項に記載のシステム。
前記識別手段は、画像内に描写されていた複数物体を個別に、区分用大きさ項目の値を求め、求めた複数物体各々の区分用大きさ項目の値と各物品までの測定された距離とを前記複数物体の１つの纏まった物品としての大きさを導出処理する際に用いるパラメータに含めることを特徴とする請求項１ないし６の何れか一項に記載のシステム。
前記識別手段は、前記撮像手段で撮像された前記物品の連続した複数画像をつなぎ合わせて一画像化し、一画像化した画像に描写されている前記物品の画像領域範囲と前記物品までの測定された距離とをパラメータに含めて、前記物品の大きさを推定処理することを特徴とする請求項１ないし７の何れか一項に記載のシステム。
前記識別手段は、前記撮像手段で撮像された前記物品の画像に写っている画像領域範囲とその一部領域を識別して、前記対象の画像領域範囲と該一部領域の有した輪郭の曲率と前記物品までの測定された距離とをパラメータに含めて、前記物品の大きさを推定処理することを特徴とする請求項１ないし８の何れか一項に記載のシステム。
前記照合手段は、クラウド上に設けられることを特徴とする請求項１ないし９の何れか一項に記載のシステム。
該システムは、
前記撮像手段を有する１ないし複数のＰＯＳ端末装置を含み、
前記１ないし複数のＰＯＳ端末装置は、タブレット端末もしくはスマートフォン端末を用い、
前記照合手段は、クラウド上に設けられる、
ことを特徴とする請求項１ないし９の何れか一項に記載のシステム。
商品データにアクセス可能な情報処理システムは、
物体認識される物品の大きさと物品の区分とが対応づけられた情報テーブルにアクセス可能であり、該情報テーブルには、物体認識される物品ごとに予め定めた物品毎の区分用大きさ項目が含まれており、
撮像手段で撮像された物品が写る画像を取得し、
前記画像から前記物品を物体認識手段により物体認識して得られた認識結果を取得すると共に、
前記画像に基づいて前記物品の大きさを、識別手段により、前記認識結果として前記物体認識手段で認識された物品について前記物品毎の区分用大きさ項目を前記画像から計測して識別し、
前記情報テーブルを参照し、前記識別手段で識別された前記物品の大きさに基づいて、前記物体認識手段で認識された物品について、前記物品の区分を何れかに確定し、
その結果に基づいて、確定された前記物品に関して前記商品データに有る前記物品の区分に対応付いた値段を読み出す
ことを特徴とする商品特定方法。
前記情報処理システムは、前記商品データとしてＰＬＵ（Price Look Up）データを用いることを特徴とする請求項１２記載の商品特定方法。