JP5984096B2 - 物体を識別する方法及び機構 - Google Patents

物体を識別する方法及び機構 Download PDF

Info

Publication number
JP5984096B2
JP5984096B2 JP2014528612A JP2014528612A JP5984096B2 JP 5984096 B2 JP5984096 B2 JP 5984096B2 JP 2014528612 A JP2014528612 A JP 2014528612A JP 2014528612 A JP2014528612 A JP 2014528612A JP 5984096 B2 JP5984096 B2 JP 5984096B2
Authority
JP
Japan
Prior art keywords
image
product
pos system
system scanner
distortion cancellation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014528612A
Other languages
English (en)
Other versions
JP2014531636A (ja
JP2014531636A5 (ja
Inventor
ブルース， エル． デイビス，
ブルース， エル． デイビス，
ジョン， ディー． ロード，
ジョン， ディー． ロード，
ヤン バイ，
ヤン バイ，
コンウェル，　ウィリアム，　ワイ．
ウィリアム， ワイ． コンウェル，
エリック， ディー． エーヴァンズ，
エリック， ディー． エーヴァンズ，
トーマス フィラー，
トーマス フィラー，
レベッカ， エル． ガーラック，
レベッカ， エル． ガーラック，
アラステアー， エム． リード，
アラステアー， エム． リード，
ジェフェリー， ビー． ロォーズ，
ジェフェリー， ビー． ロォーズ，
トニー， エフ． ロドリゲス，
トニー， エフ． ロドリゲス，
ジョン スタック，
ジョン スタック，
Original Assignee
ディジマーク コーポレイション
ディジマーク コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/231,893 external-priority patent/US9033238B2/en
Application filed by ディジマーク コーポレイション, ディジマーク コーポレイション filed Critical ディジマーク コーポレイション
Publication of JP2014531636A publication Critical patent/JP2014531636A/ja
Publication of JP2014531636A5 publication Critical patent/JP2014531636A5/ja
Application granted granted Critical
Publication of JP5984096B2 publication Critical patent/JP5984096B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064—Geometric transfor invariant watermarking, e.g. affine transform invariant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Description

本技術は物体の識別に関し、例えばスーパーマーケットの精算所における物体の識別に適する。
関連出願データ
米国において、本出願は、２０１１年８月３０日に出願された同時係属仮出願第６１／５２９，２１４号、２０１１年９月６日に出願された同時係属仮出願第６１／５３１，５２５号、及び２０１１年９月９日に出願された同時係属仮出願第６１／５３３，０７９号に対する優先権を主張する２０１１年９月１３日に出願された出願第１３／２３１，８９３号の一部同時係属出願である。本出願は、２０１１年９月２１日に出願された仮出願第６１／５３７，５２３号、及び、２０１２年８月２４日に出願された第６１／６９３，２２５号に対する優先権の利益も主張する。
バーコードの使用の普及により、スーパーマーケットの精算は大幅に容易になった。しかし、依然として多くの問題が残っており、買い物客に不便を生じさせると共に、小売業者には費用の増大を生じさせている。
問題の１つは、パッケージのバーコードを見つけることである。経験の長いスーパーマーケット店員はよく売れる製品のバーコードの場所を最終的に覚えるが、優れた店員でも普段あまり扱わない製品では苦労することがある。セルフサービスの精算所を利用する買い物客にとっては、どのような製品も分かりにくい可能性がある。
別の問題は、バーコードが読み取りの適所に来るようにパッケージの向きを変えることに関する。多くの商品は簡単に向きを変えることができる。しかし、特に大きな商品（例えば箱入りのおむつや大袋のドッグフード等）の場合は、バーコードが読み取り機にさらされるように製品を操ることが物理的に困難な場合がある。しばしば、セルフサービスの精算所では、精算所の物理的な制約のためにさらに困難になる。すなわち、そのような精算所は、通例、従来の精算レジが備える手持ち型の読み取り機能を備えないため、買い物客は製品を操ってバーコードが精算台のガラスの読み取り板の方を向くようにしなければならない。（適当な位置になると、読み取り板又はバーコードのどちらかが買い物客から見えなくなる場合があり、問題がさらに悪化する。）さらに、バーコードが読み取り機から見えるだけでは十分でなく、読み取り機に概ね向き合うように提示しなければならない（すなわち、読み取られるためには、製品表面の垂線が読み取り装置に対して約４０〜５０度の角度で向き合わなければならない）。
時に、バーコードを探して製品をひっくり返し、回転させた揚句、そこにバーコードがないことが分かることもある。例えばワインの瓶には通例はバーコードがない。
さらに別の問題は、バーコードを見つけ、正しい位置にした後に、読み取り機器でバーコードの読み取りを成功させるのが時に難しいことである。これは特にバーコード面に皺があることや、その他の形で物理的に歪みがある柔らかい商品（例えば袋入りの冷凍豆）で問題となる。
これらの問題を改善するために、無線で感知可能な受動タグ（例えばＲＦＩＤチップやＮＦＣチップ）で製品を識別する提案がなされている。しかし、そのようなタグの費用は、利幅の低い食料雑貨品事業では障害となる。また、精算台で数個の異なる商品からの応答を区別することが難しい場合がある。さらに、精算を待つ製品の中のいずれかの素材が無線を透過せず、一部の識別子が読み取られない場合がある。プライバシーの問題もさらなる懸念を生じさせる。
他の精算技術も試行されている。例えば米国特許公開第２００４／００８１７９９号で、Ｋｏｄａｋは、無光沢の領域と光沢のある領域の形態で読み取り可能な情報を定義したポリマー層を付加することにより、マーキングをスーパーマーケット用の包装に付加する方法を記載する。無光沢領域及び光沢領域は、バーコードやデジタル透かしなどの標識を形成することができる。しかし、この技術ではポリマー層を包装に付けることが必要となるためにさらに費用がかかり、また追加的な処理工程が必要となり、包装機は現在はそのための機能を備えていない。
バーコードを利用する製品識別に関連して他の識別技術が提案されている。例えば、米国特許公開第２００４／０１９９４２７号の提案では、製品の２Ｄ（２次元）画像を撮影し、その色のヒストグラムを、感知されたバーコードデータで識別される製品に関連付けられたヒストグラムと照合することにより、正確な製品識別を保証する。同じ出願公開は、同様に、搬送ベルト上の物品の重量を測定して、この場合もバーコードで示される製品と整合するかどうかを調べることを提案する。米国特許公開第２００４／０２２３６６３号及び米国特許公開第２００９／００６０２５９号はそれに関連する機構を教示し、製品の画像を使用して、取り替えられた可能性のあるバーコードがないかどうかを調べる。
本出願人による米国特許第７，０４４，３９５号は、販売の小売の時点の用途で、ＵＰＣ記号や他の標準的な製品コードなどのバーコードの代わりに透かしを用いることを教示する。精算台の読み取り機が透かしから製品の識別子を抽出し、その識別子を使用して製品とその価格を調べる。
特許第４，６５４，８７２号は２台のビデオカメラを用いるシステムを記載し、カメラで３Ｄ（３次元）物品の画像を撮影し、その画像を使用して物品を認識する。米国特許第７，３９８，９２７号は、別の２台カメラシステムを教示し、鏡面反射がある場合でも物品から製品コードを読み取る。米国特許第７，９０９，２４８号は、撮影画像を参照画像のデータベースと比較して、一致する製品を識別することを試みるセルフサービス式の精算端末について詳細に記載する。
米国特許公開第２００４／００８１７９９号 米国特許公開第２００４／０１９９４２７号 米国特許公開第２００４／０２２３６６３号 米国特許公開第２００９／００６０２５９号 米国特許第７，０４４，３９５号 米国特許第７，３９８，９２７号 米国特許第７，９０９，２４８号
本技術の各種実施形態によると、従来技術の特定の欠点が克服され、新規の能力が提供される。
例えば、一態様では、本技術は、関連情報を符号化したデジタル透かしを製品の包装に付加することを含む（例えば、ＵＰＣ−ＡやＵＰＣ−Ｅなどの全世界共通の製品コード、電子製品コード（ＥＰＣ）、欧州製品番号コード（ＥＡＮ）、又はＵＲＩやウェブアドレス等）。マーキングは、包装の表面積のかなりの部分にわたり、そのため、商品の位置を変えることなく、精算所にある１つ又は複数の固定カメラから感知することができる。透かしの標識が、その他の包装の図柄と一体化された他の印刷と共に包装に付加される。
そのような一実施形態では、各種の認識技術を精算所で使用して、製品識別の各種標識（透かし、バーコード、色のヒストグラム、重量、温度等）を探す。システムは、収集された証拠に対して規則のセットを適用し、利用可能な情報に基づく製品の識別を出力する。
別の態様では、柔らかい製品包装の皺や他の変形が光学的に感知され、歪みのある表面から識別子を復号する際にその変形を使用する（例えば皺のある表面を仮想的に平坦化してから識別子を復号することができる）。そのような構成の特定の１つでは、皺のある外形がｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ技術で感知する。別の構成では、製品の外形が、構造化光スキャナ（例えばＭｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔセンサに代表される種類）で感知される。
さらに別の態様では、精算所は、マーキングを含む搬送ベルトを備え、そのマーキングを光学的に感知し、使用して精算の速度及び精度を向上させる。
さらに別の態様では、精算所で搬送ベルトで移送されている商品から撮影された画像を処理して動きによるブレを補償してから製品認識技術を適用する。
さらに別の態様では、精算所でプレノプティック（plenoptic）カメラシステムが情報を感知する。そして、収集された光照射野データを処理して、焦点の合った画像の複数の異なる面を生成し、それに対して製品認識技術を適用する。一部の実施形態では、それらの面は、各種の非平行な面を含む。
さらに別の態様では、精算所で取得された２Ｄ画像をＧＰＵに適用し、ＧＰＵで、当該画像を透視変換したバージョンを複数算出する。そして、製品認識のためにその異なるバージョンの画像を分析する。ＧＰＵは、例えば複数の固定焦点カメラ、又は焦点面を周期的に変化させるカメラ、又はプレノプティック感知で撮影された、いくつかの異なる焦点距離の入力画像を処理することができる。
さらに別の態様では、精算のために提示される積み重ねられた商品をボリュームとしてモデル化し、セグメント化して積み重ねられた商品を構成している商品を識別する。
さらに別の態様では、隠れている商品の位場所を積み重ねられた商品内で特定し、判定することにより、店員又は機械的な要素が識別のためにその商品を露出させることができるようにする。
さらに別の態様では、商品についての識別の仮定の確実性を示す信頼度スコアを算出する。その仮説を、信頼度スコアが閾値を超えるまで（又は処理が曖昧な判定で終了するまで）、収集された証拠に照らして検査する。
さらに別の態様では、精算所から離れた場所（例えば店舗内の通路）で取得されたデータを精算時に商品を識別する際に使用する。このデータは、例えば、棚から製品が取り出されたことを明示するセンサデータ、買い物客が特定の製品の近くで立ち止まったことを示す位置データ等を含むことができる。そのようなデータに、感知から商品の精算までの間に経過した時間と共に変化する重みを付与することができる。
さらに別の態様では、店員又は買い物客の商品との対話を感知して、商品の識別を支援する。例えば、店員の注視を追跡して、商品表面の目立つ特徴の場所を識別する、又は買い物客が商品をカートに入れる、又は精算用搬送ベルトに載せる際に商品をつかむ特定の手の姿勢から、商品の識別に関する何らかの証拠を得ることができる。
さらに別の態様では、例えば購入商品の形状、重量、及び温度に基づいて、システムが、袋への商品の詰め方に関して店員又は買い物客に指示を与える。
さらに別の態様では、精算所にある種々の商品に異なる色の光を当てて、例えば、識別が成功した（又はしていない）商品を知らせる、又はどの商品をどの袋に入れるとよいかを知らせる等することができる。
本技術の上記及び多数の他の特徴及び利点は、添付図面を参照しながら進める以下の詳細な説明からより容易に明らかになろう。
カメラで撮影されるスーパーマーケットの搬送ベルトに沿った２つの位置にある柔らかい商品を示す図である。 カメラで撮影されるスーパーマーケットの搬送ベルトに沿った２つの位置にある柔らかい商品を示す図である。 数個の平坦な部分表面を持つ商品を仮想的に「平らに」して商品の識別を支援する方法を示す図である。 数個の平坦な部分表面を持つ商品を仮想的に「平らに」して商品の識別を支援する方法を示す図である。 図１Ａ及び図１Ｂと同様であるが、２台のカメラで撮影される商品を示す図である。 図１Ａ及び図１Ｂと同様であるが、２台のカメラで撮影される商品を示す図である。 ２台のカメラを用いる別の実施形態の図である。 プレノプティックセンサを使用して、平行な面及び非平行な面を含む、１つの撮影ボリューム内で焦点の合った画像の種々の面を生成する方法を説明する図である。 プレノプティックセンサを使用して、平行な面及び非平行な面を含む、１つの撮影ボリューム内で焦点の合った画像の種々の面を生成する方法を説明する図である。 プレノプティックカメラシステムでスーパーマーケットの精算用搬送ベルトを撮影して、異なる焦点面にある複数の画像フレームを抽出できるようにすることを説明する図である。 複数の異なる種類の入力情報を、記憶された分析の規則及び参照データと併せて検討して製品の識別を判定する精算システムの概略図である。 特定実施形態のハードウェア構成の概略図である。 精算用搬送ベルト上の商品の透視図である。 円筒形の商品を含む、精算用搬送ベルト上の商品の別の透視図である。 大半の円筒形の商品の最も目立つテキストは円筒の軸に平行な向きであることを示す図である。 特定の円筒形の商品は、円筒の軸から（右回りに）２７０度の位置に最も目立つテキストを含むことを示す図である。 図９の円筒形の商品の詳細を示す図である。 シリアルの箱全体にわたる透かしパターンのタイル状の配置を示す図である。 図１１の円筒形の表面の部分と、その円筒形の表面にあるテキストが表面の向きに関する重要な手がかりをもたらすことを示す図である。 図９の円筒形の表面を回転させて、最も目立つテキストが縦方向の向きになるようにした図である。 図９の円筒形の表面を回転させて、最も目立つテキストが縦方向から２７０度の向きになるようにした図である。 図１２の円筒形の表面をＧＰＵのコアにより、３０度、６０度、９０度、１２０度、１５０度、１８０度、２１０度、２４０度、２７０度、３００度、及び３３０度回転させ、それらの回転のうち２つが識別情報を導出するのに最適である可能性があるものとして示す図である。 セグメント化された画像領域の長いエッジを、透かしの向きについての手がかりとして使用する方法を示す図である。 図１６の長いエッジを２つの縦方向の向きに回転させた図である。 図１６の長いエッジを２つの縦方向の向きに回転させた図である。 楕円の短軸を透かしの向きについての手がかりとして使用する方法を示す図である。 楕円の一部であっても透かしの向きについての手がかりとして使用できることを示す図である。 楕円の一部であっても透かしの向きについての手がかりとして使用できることを示す図である。 図１２のシリアルの箱の図柄の遠近歪みを示す図である。 搬送ベルト上の円筒形（例えば缶）を描写する等角画像の図である。 図２２の拡大詳細図である。 図２３の画像の図であって、缶のラベルの軸の向きを縦方向に変えた図である。 図２４の画像を処理して、円筒形の缶のエッジ近傍のラベルの図柄の見かけ上の圧縮を反転した図である。 図９に似るが、搬送ベルトの向きを異なる方向にし、物体が、他の商品で一部が隠された円筒形の物品を含む図である。 缶のエッジが判別可能である場合に、缶の円筒形の図柄を「広げる」際に使用される形状寸法を示す図である。 図２７に似るが、缶のエッジが判別できない場合の形状寸法を示す図である。 テキストの行を使用して遠近歪みを推定する方法を例示する製品包装の図である。 ２つの直角の次元における遠近歪みである傾斜と倒れを示す図である。 本明細書に詳細に記載される技術の他の態様を説明する図である。 本明細書に詳細に記載される技術の他の態様を説明する図である。 本明細書に詳細に記載される技術の他の態様を説明する図である。 本明細書に詳細に記載される技術の他の態様を説明する図である。 本明細書に詳細に記載される技術の他の態様を説明する図である。 本明細書に詳細に記載される技術の他の態様を説明する図である。 本明細書に詳細に記載される技術の他の態様を説明する図である。
一態様によれば、本技術は、例えばスーパーマーケットの精算システムで商品を識別する方法に関する。第１のそのような方法は、購入対象の商品を搬送ベルトなどで経路に沿って移動させることを含む。商品が経路に沿った第１の位置にある時に、第１のカメラ機構が、商品を記述する第１の２Ｄ画像データを捕捉する。商品が経路に沿った第２の位置にある時に、第２の２Ｄ画像データが捕捉される。プログラムされたコンピュータ又は他の装置が、捕捉された画像データを、経路及びカメラについての幾何学的情報と併せて処理して、商品表面上の第１のパッチについての３Ｄ空間における向き情報を判別する。この３Ｄ空間の向き情報を参照することにより、システムは、少なくとも第１のパッチのカメラの描写から物体識別情報を判定する。
変形実施形態では、商品が経路に沿った第１の位置又は第２の位置にある時に、第２のカメラ機構で第２の２Ｄ画像データが捕捉される。
物体識別情報は、バーコードやステガノグラフィーのデジタル透かし等の機械可読の識別子とすることができ、どちらも複数ビットのペイロードを伝達することができる。この情報は、それに加えて、又はそれに代えてテキストを含んでもよく、それを光学文字認識エンジンで認識することができる。さらに、製品は、製品データベースの参照指紋情報と照合される画像指紋情報などの他のマーキングで識別することもできる。
一部の実施形態では、システムは、経路及びカメラについての幾何学的情報と併せて第１及び第２の２Ｄ画像データを処理して、この場合は商品表面の第２のパッチについての第２の３Ｄ空間的の向き情報を判別する。この第２の３Ｄ空間の向き情報は、通例は、第１の３Ｄ空間の向き情報とは異なる。すなわち、第２のパッチは第１のパッチと同一平面にはない（例えば２つのパッチが箱の異なる側面を記述している、又は表面が変形している、若しくは皺がある等）。判別された第１及び第２の３Ｄ空間の向き情報を参照することにより、システムは商品の識別情報を判定する。そのような構成では、識別情報は、通例、少なくとも第１のパッチの一部と第２のパッチの一部に基づく。例えばバーコードの場合は、両方のパッチにまたがる場合がある。
同様にして、システムは、商品表面の任意数の互いに非平行なパッチの３Ｄ姿勢を判定し、複数のそのようなパッチから得られる情報に基づいて商品を識別することができる。
一部の実施形態では、マーキング（例えば印刷又は他の方法で表面に付加される）を備えた搬送ベルトで商品を移動させる。このマーキングは、ステガノグラフィーであっても、顕在的であってもよい。（１つ又は複数の）カメラ機構で撮影された画像は、それらマーキングの少なくとも一部を含む。システムは、撮影画像中のマーキングを製品識別との関連で分析する。例えば、システムは、そのようなマーキングを用いて、搬送ベルトの速度を感知する、又は搬送ベルトに載せられている商品の表面上の点までの距離を感知する、又は搬送ベルト上の商品の大きさを感知する、又は（１つ又は複数の）画像内の色情報（例えばホワイトバランス）を校正する、又は動きのブレ補償若しくは他の画像向上処理のためのブレ除去カーネルを求める際に有用な「画像プライアー（image prior）」を得ることができる。
例示的なマーキングの１つは、黒色の搬送ベルト全域に均等に配置された、既知の寸法を持つ白色の「＋」の標識のパターンである。別の例は、この場合も黒の背景に白で印刷された２Ｄバーコードの記号体系（例えばＱＲコード（登録商標））である。同じ記号を規則的に繰り返しても、又は異なる記号をベルト上の異なる場所で使用してもよい（例えば読み取り窓からの様々な距離に、バーコードでベルト上の位置に関する情報を符号化することができる）。
事例によっては、マーキングは目に見え、販売促進用（例えばテキストによるマーキング）であるが、本明細書に詳細に記載する目的の１つ又は複数を満たすことができる。
上記の内容は以下の特定の例で明瞭になろう。
図１Ａはスーパーマーケットの精算所１０を示し、購入しようとする商品１２が搬送ベルト１４で移送される。第１のカメラ１６が、商品を描写する画像データを捕捉する。
商品１２は、冷凍豆の袋等、形状が不規則である可能性がある。商品の外形は隣り合う表面パッチ（例えばパッチ１８）の集まりと考えることができ、各パッチは異なる角度を向いている（パッチの向きは２つの角度で記述することができる。一方の角度は、搬送ベルトの長さ方向の軸に対する角度（θ）、すなわち、パッチの面が長さ方向の軸と交差する角度である。第２の角度は搬送ベルトの横方向の軸に対する角度（φ。図１Ａには図示せず）、すなわち、パッチの面が横方向の軸と交差する角度である。無論、他の形状寸法を代わりに使用することも可能である。）
カメラ１６は、（１）パッチの２つの向きの角度、（２）搬送ベルト上での商品の２Ｄ位置、すなわち長さ方向及び幅方向の両方、（３）搬送ベルトに対するパッチの高さ、（４）カメラのレンズ機能、及び（５）パッチの形状寸法自体、に基づいて、画像フレーム内で各パッチが特定の大きさ、形状、及び位置で描写された画像を生成する。
図１Ａでは、パッチ１８は、角度アルファ（α）を張る。図の表現では、このパッチは、カメラセンサの視野「ｙ」内で距離「ｘ」にわたっており、カメラセンサの特定範囲の感知素子（典型的にはＣＣＤ又はＣＭＯＳ）に対応する。
少し後の時点で、図１Ｂに示すように、豆の袋１２が搬送ベルトに沿って距離「ｄ」だけ移動している。センサの視野内におけるパッチの範囲「ｘ」が変化したのに伴って、角度αが変化している。
既知のパラメータ、例えば搬送距離ｄ、パッチが占めている画素の変化（角度αと相関する）、及びカメラのレンズ機能を参照することにより、システムは図１Ｂ（また図１Ａ）の角度θを求める。
角度θが求められると、例示的なシステムが、図１Ｂの撮影画像のパッチ１８の描写に対して視点変換（例えばアフィン変換）を行って、角度θを補償した変換後画像を得る。すなわち、パッチからカメラレンズへの光線２２に直交する角度θ’で、パッチが面２０にあるかのように見える変換後の画像パッチが生成される。
同様にして角度φ（側面図であるため図１Ｂには図示せず）を求めることができる。この場合も、パッチ１８の描写を適宜変換することによってこの角度φを補償して、光線２２に直交する面にあるように仮想的に向きを変えたパッチを得る。
撮影画像からパッチ１８の３Ｄの形状寸法を導出する技術は当業者にはよく知られており、「ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ」及び「同時位置特定及びマッピング」（ＳＬＡＭ（simultaneous location and mapping））法がある。これらの技術は、通例、１つの画像内で特徴的な特徴（主要点）を識別し、別の画像でそれに対応する特徴を識別することに依拠する。２つの画像間の特徴の相対的な位置の差が、それらの特徴がある表面の形状寸法を表す。（そのような分析に適した特徴的な特徴のクラスの１つは「隅の点」のクラスである。隅の点は、対照となる背景上の線の端部などの特徴を含む。バーコードは、そのような特徴を複数有する、すなわちバーコードの各線に２つずつ有することが認識されよう。別のそのような特徴的な特徴は、例えばＳＩＦＴ及びＳＵＲＦ技術で使用されるもの等のロバストな局所的識別子である。）
図１Ａ及び図１Ｂの両方でカメラから見える、商品１２を構成するすべての他のパッチも同様に変換される。そのような変換では記述されるパッチのスケールも変換して、変換後の各パッチがカメラセンサから同じ距離にあり、カメラの軸に対して直交するように見えるようにすることが望ましい。
そのような処理により、システムは、構成面のパッチが同一平面にあり、カメラの方を向いているかのように表現された、仮想的に平坦化した豆の袋（又は他の３Ｄ形状）を描画する。
図２Ａ及び図２Ｂは、この仮想的な平坦化を模式的に示す図である。商品１２は、互いに異なる面にある構成パッチ１８、２０、及び２２を含む。これらのパッチは、２つ（又はそれ以上）の異なる視点からカメラ１６で撮影される（例えば商品が搬送ベルトに沿って移動される時に）。その情報に基づいて、システムは、３Ｄ空間における３つのパッチの位置を求める。次いで、共通の面２４に位置するように３つのパッチを再投影して、パッチがカメラの方を向いている、すなわちカメラの画像センサに対して平行であるかのようにする。（図２Ｂでは、再投射後の３つの構成表面を点線で区切っている。無論、この図示は１次元に沿った表面の仮想的な平坦化を示すものに過ぎない。好ましい実施形態では、搬送ベルトの横方向の次元、すなわち図面の奥に向かう方向にも表面を仮想的に平坦化する。）
この再マッピングされた画像データのセットに対して、抽出処理を適用して、商品に対応する識別データを生成する。好ましい実施形態ではデジタル透かしの解読アルゴリズムを適用するが、他の識別技術（例えばバーコードの復号、画像指紋技術、ＯＣＲ等）を代わりに使用してもよい。
透かし又はバーコードが商品１２表面に存在する場合は、搬送ベルト上の商品の外形又は提示が不規則であっても、復号できる可能性が高い。そのようなマーキングは１つのパッチ内にある場合も、２つ以上のパッチにまたがる場合もある。好ましい実施形態では、デジタル透かしは、包装の範囲のかなりの部分を占める。印刷がない領域（例えば白い空白）に、黄色又は他の目障りにならない透かしの着色を付加することができる。（黄色の透かしについては、例えば２０１０年５月５日に出願された出願第１２／７７４，５１２号及び特許第６，３４５，１０４号で詳細に論じられる。）
一部の実施形態では、θ及びφの両角度を補償するために、（１つ又は複数の）パッチの向きを仮想的に変える必要がない。多くの復号器は多少の角度の歪みには耐性があるため、（１つ又は複数の）パッチのθ及び／又はφの角度を部分的に補償することで、信頼性の高い復号のためには充分であることが多い。例えば、すべてのパッチのθの角度は同じであるが、φの角度が異なるようにパッチを再マッピングすることができる。或いは、それら寸法のいずれか一方又は両方の部分的な補正を適用することもできる。（部分的な補正はアフィン変換を使用することにより実施できるのに対し、完全な補正には非アフィンの透視変換が必要となる可能性がある。）
物体の識別に使用される画像指紋技術（例えばＳＩＦＴ、ＳＵＲＦ、及びＯＲＢ等）も、物体の非平面の表示にはある程度ロバストである。それでも、画像を仮想的に再マッピングしてより平坦な状態に再投射すると、最良の結果を保証する助けとなる。
搬送ベルトに沿った距離は、搬送ベルトの速度が一定で、且つ既知である場合には、図１Ａ及び図１Ｂの画像が撮影された時間の差を参照して求めることができる。上記のように、代法として、ベルトの移動を求めることを可能にするマーキングをベルトに設けてもよい。（マーキングは、例えばＫｅｌｌｏｇｓ社提供のＴｏｎｙ ｔｈｅ Ｔｉｇｅｒ等、販売促進用とすることができる。）さらに他の実施形態では搬送ベルトを使用しない。代わりに、手で商品を移動してカメラの前を通過させる。そのような場合、距離及び他の経路パラメータは、撮影画像に含まれる特徴から、特徴追跡で推定することができる。或いは、構造化光のスキャン機構を用いてもよい。
実施によっては、搬送ベルトの速度が、例えばレジ係の足で操作される制御装置からの信号に応じて変化する。速度は、電気機械式の機構（例えば回転車や光チョッパー）により、又は撮影画像の分析から感知することができる。そのような搬送ベルトの速度の知識を、搬送ベルト上の物体に関する識別情報を抽出する際に使用することができる（例えば識別情報を抽出する前に動きのブレを再度緩和する等）。
図３Ａ及び図３Ｂは、２台のカメラが使用されるさらに他の構成を示す。このような構成では、１台のカメラからでは見えない可能性のある商品のパッチから画像を撮影することができる。そのような実施形態では、各カメラは搬送ベルトに対して異なる高さにすることができる（例えばガラス板を通して見上げるなど、搬送ベルトの下方を含む）。各カメラは搬送ベルトに対して異なる角度（θ及び／又はφ）を向いていてもよい。カメラは、搬送ベルトの長さに沿って異なる位置に配置して、商品が２つのカメラで撮影される時間間隔が同じにならないようにすることもできる。すなわち、第１のカメラは第１の期間中に商品の画像を撮影し、第２のカメラはそれより後の期間（第１の期間と重なっていてもいなくともよい）に商品の画像を撮影する。パッチが両方のカメラから見える場合は、追加的に画像を撮影することにより、描写される画像パッチの仮想的な変換をより正確に行って、識別子の判別を容易にすることができる。パッケージ表面の仮想的な平面への再構築は、２台のカメラから得た画像を使用して生成することが望ましい。
図３Ｃは２台のカメラを用いる別の構成を示す。この構成は、精算台３３のガラスの窓３２を通して上方を見る第１のカメラと、縦方向の筐体の窓３４を通して、精算台を横切る方向に見る第２のカメラとを含む。２台のカメラは、各自のカメラ軸が直角に交差するように配置される。
セグメント化技術を使用して、２台のカメラで撮影された画像内で異なる商品を識別する。セグメント化された形状内で一方のカメラの画像に見つかる特徴点を、第２のカメラの画像の対応する点と一致させる。両方の画像にそのような点（例えば図３Ｃでは「＋」の記号で示す）が３つ以上見つかる場合、それらの点で定義される面の向きは、２つの異なる画像内のその３つの点の位置で定義することができる。（例えば、図３Ｃの２次元描写では、３つの点を含む線２５の向きのために、それらの点はカメラ２の画像よりもカメラ１の画像でより互いの近くにあるように見える。）製品表面の向きに関するこの手がかりを使用して、表面の画像を処理して、付随する遠近の歪みを除去した（すなわち画像の修正）後に、画像に透かし復号アルゴリズムを適用することができる。
他の実施形態では、３台以上のカメラを用いる構成を使用することができる。
本技術の別の態様によると、精算所が、例えば対象エリアを異なる色の光で照明することにより、異なる色の画像を撮影する。異なる色の画像は、同時に（例えばいくつかの異なるカメラで）、又は順次撮影することができる。異なるフレームの情報を処理して、種々の情報を得る、又は種々の目的を満たすことができる。
特定の一実施では、白色、赤外線、及び紫外線の３つの色を順次繰り返して商品を照明する。各色は、異なる目的に適している。例えば、白色光は、顕在的な製品識別の記号を捕捉することができ、紫外光は、真正な製品に付けられた偽造防止用のマーキングを励起することができ、赤外光は、クーポン発行や他の販売戦略に関連するマーキングを感知するために使用することができる。
撮影画像の異なるフレームを利用して、上記のように（例えば製品の識別、偽造防止、及び販売促進）使用するための強化した画像フレームを合成することができる。
本技術の他の態様では、１つ又は複数のプレノプティックカメラ（多開口センサ、放射輝度カメラ、又は光照射野カメラと呼ぶこともある）を利用する。そのようなカメラの中には、典型的には共通の基板上に形成され、それぞれが独自のレンズを備えた複数のコンポーネントカメラの配列を用いるものがある。そのようなカメラは、４Ｄの光照射野を感知するものと考えることができる。各カメラが収集したデータから、任意の焦点面におけるデータのフレームを生成することができる。それにより、撮影画像の焦点を「事後に」合わせることができる。
例えば、図４Ａでは、プレノプティックカメラシステムが自身の構成要素であるセンサで捕捉されたデータを処理して、焦点面「ａ」で焦点が合ったフレームを得る。同じデータを処理して、焦点面「ｂ」又は「ｃ」で焦点が合ったフレームも得ることができる。
焦点面は、図４Ａに示すように平行である必要はない。代わりに非平行であってもよい（例えば図４Ｂの焦点面「ｄ」「ｅ」、及び「ｆ」）。傾いた焦点面を合成する特定の技術の１つが、Vaishらの「Synthetic Aperture Focusing using a Shear-Warp Factorization of the Viewing Transform」（2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 129-13）から当業者に知られる。
一実施形態では、捕捉されたプレノプティック情報を使用して、商品の少なくとも一部を包含するボリュームを通る第１の面と一致する焦点面を有する第１の画像セットを得る。同様にプレノプティック情報を処理して、前記ボリュームを通る第２の面と一致する焦点面を有する第２の画像のセットを得、第１の面と第２の面は平行でない。次いで、そのようにして処理された情報を分析して物体の識別情報を判別する。
図５（例示的実施形態の搬送ベルトを見下ろした平面図）を参照すると、カメラ５０からのプレノプティック情報を処理して、搬送ベルト上の商品を包含するボリュームを通る画像の異なる焦点面を多数得る。商品が搬送ベルト１４上で半球形の領域５２を占めると想定すると、焦点面の１つ５４（点線で示す）は、搬送ベルトの中心軸５１から垂直上方に延び、半球を二等分にする。他の３つの面５６、５８、６０も同様に搬送ベルトの面から直角上方に延び、それぞれ搬送ベルトの縁部６２に３インチずつ近くなるように間隔が空けられている。（図を簡潔にするために図示しないが、３つのさらなる面が同様に搬送ベルトの他方の縁部６４の近傍に配置される）。
この第１の複数の平行な面に加えて、プレノプティックデータを処理して、やはり搬送ベルトの面から垂直上方に延在するが、搬送ベルトの中心軸５１に対して斜めの第２の複数の焦点面を得る。図示されるこの第２の複数の面６６、６８、７０、及び７２は、第１の複数の面に対応するが、＋１５度傾斜している。
図５には（図を分かりやすくするために）示さないが、焦点面画像のセットがさらに同様にしてプレノプティックカメラデータから導出され、例えば＋３０、＋４５、及び＋６０度の傾斜角度の方向を向く。同様に、同様の面が傾斜角度−１５度、−３０度、−４５度、及び−６０度で生成される。
上記の面はすべて搬送ベルトから直角に縦方向上方に延在する。
プレノプティック情報を処理して、傾斜した焦点面、すなわち、搬送ベルトから垂直上方に延びるのではなく、傾いている焦点面も得る。上記の面それぞれに対応する対応面が、１５度の傾き角度で生成される。そして、他の面を３０度、４５度、及び６０度の傾き角度で生成する。そしてさらに他の面を−１５度、−３０度、−４５度、及び−６０度の傾き角度で生成する。
このように、この例示的実施形態では、カメラ５０で捕捉されたプレノプティック情報を処理して、画像情報の異なる焦点面を多数生成して、半球形のボリュームを３インチごと、且つ１５度ごとの面で切り分ける。次いで、その結果得られた画像情報のセットを分析して製品の識別情報を探す（例えば透かし復号器、バーコード復号器、指紋識別モジュール等を適用することによる）。検査対象のボリュームにおける商品表面の位置及び向きに応じて、異なる面は、異なる製品識別情報を示す可能性がある。
プレノプティックカメラは一般にはフルカラーの装置として考案されているが、製品の識別のためにはフルカラーである必要はない。例えば、透かし信号を製品の包装中で赤色のチャネルとして符号化し、それに対応する単色（赤色）のプレノプティックカメラを復号に使用することができる。そのようなカメラでは、通常の赤／緑／緑／青の４セルのＢａｙｅｒパターンをなくし、すべてのセンサ素子が赤色のみを感知することができる。
（上記では１台のプレノプティックカメラを参照して説明したが、実際の実施では図５の点線で示すように２台以上のカメラを使用することができる。そのような複数のカメラからの情報を組み合わせるか、他の形で連携して使用することができる。）
プレノプティック情報を用いる実施形態との関連で詳細に説明したが、製品の識別情報を求めて画像の複数の異なる焦点面を調べるというこの概念は、他の方式で実施することもできる。その１つは、固定焦点カメラを使用して単一の面の画像を撮影し、その画像を、種々の画像変換の集まりを適用するＧＰＵに供給するものである。例えば、ＧＰＵは＋１５度の補正用の透視変換を適用することができる。この処理は、画像の焦点面に対して−１５度傾いている物理的表面を取り出して（すなわち典型的な実施形態ではカメラセンサに対して−１５度傾いている）、カメラに正面から対向しているように見えるようにその表面を歪める効果がある。（画面を適度に照明して、撮影画像が、撮像対象の表面に及ぶ被写界深度を有するようにすることが望ましい。）ＧＰＵは同様に、−６０度、−４５度、−３０度、−１５度、＋１５度、＋３０度、＋４５度、及び＋６０度の水平方向の傾斜と、−６０度、−４５度、−３０度、−１５度、＋１５度、＋３０度、＋４５度、及び＋６０度の垂直方向の傾斜を付けて元の画像を再投射することができる。同様に、元の画像を、それら水平方向の傾斜と垂直方向の傾斜との各組み合わせで歪めることができる。それにより得られる画像データの各セットを識別モジュールで処理して、物体識別情報を抽出することができる。
（捕捉された画像データを透視変換のためにＧＰＵに適用する前、又はＧＰＵで変換された画像データを識別モジュールに適用する前に、適切な焦点があるかどうかデータを検査することが望ましい。焦点の合った領域は、焦点の合っていない画像と比べて周波数成分が高いこと、又はコントラストが高いことで識別することができる。焦点が合っていないと判定された画像はそれ以上処理する必要はない。）
従来の固定焦点カメラの被写界深度が十分でない場合は、被写界深度を拡張した公知の撮像技術を使用することができる（例えば特許第７，２１８，４４８号、第７，０３１，０５４号、及び第５，７４８，３７１号を参照されたい）。
さらに他の構成では、システムは可変焦点カメラを使用し、その焦点面を（例えば機械的に、又は流体作用により）周期的に変更して、異なる焦点距離にある連続した面の画像を撮影する。それらの画像をＧＰＵに提供して、上記で詳しく説明したように種々の画像変換を適用する。
ＧＰＵは、複数の処理コアを使用して数個のデータセットに同時に同様の命令を実行することから、ここで詳細に説明する構成で使用するのに適する。そのようなＧＰＵを同様に用いて、透かし又はバーコードの復号動作、又は指紋抽出動作、又はＯＣＲ動作を複数のデータセット（例えば異なる変換が行われた画像セット）に同時に行うことができる。
ＧＰＵを使用して、プレノプティックカメラを用いる構成で取得された情報の処理を行うこともできる。例えば、ＧＰＵは、焦点の合った画像の複数の異なる面を抽出することができる。又は、別のプロセッサが焦点の合った画像の平行な面（例えば図５の面５４〜６０）を抽出し、その後ＧＰＵがそれらの面を透視変換して、面５４〜６０に平行でない種々の他の面を得ることができる。さらに他の構成では、ＧＰＵを用いて、捕捉された情報を処理する（それにより異なる焦点面にある複数の画像セットを得る）と共に、その複数の画像セットを処理して識別情報を抽出する。さらに他の構成では、複数のカメラを用いる実施形態を含む、複数のＧＰＵが使用される。
図８に、例示的な撮影カメラの視点から見た、購入する各種商品を搬送する精算用搬送ベルト１４を示す。各商品は、商品８０の大部分が隠れるような形で搬送ベルトに配置されている。商品８０の位置は、商品が搬送ベルトに沿って通過する際にどのカメラからもバーコードが見えないような位置であり、見える表面が小さ過ぎて、画像指紋技術やデジタル透かし等の他の技術に基づく物体認識を行うことができない可能性がある。
本技術の別の態様によると、３Ｄ画像のセグメント化アルゴリズムを適用して搬送ベルト上の種々の形状を判定する。システムは、搬送ベルト上のセグメント化された種々の形状を、センサ情報から導出された異なる物体識別子に関連付ける。数が一致しない場合（例えばセグメント化では図８の搬送ベルトに４つの商品があることが示されるが、システムが３つの製品識別しか出力しない場合等）は、その状況をオペレータに警告する。異常商品（すなわち図８の商品８０）を強調した画像データを管理者に提供して点検及び対策を行うことができ、及び／又は誘導者が精算所を通る商品の流れから商品を取り除いて、他の精算の進行を停止することなく人手で処理することができる。
（例示的なセグメント化アルゴリズムの記事としては、例えばWirjadi, Survey of 3d Image Segmentation Methods, Reports of Fraunhofer ITWM, No. 123, 2007を参照されたい。セグメント化技術の一般的な２つのクラスは閾値処理と領域拡張である。スーパーマーケットの搬送ベルト上の物体の寸法を決定する関連技術が特許第７，３４４，０８２号に詳細に記載される。）
本技術のさらなる態様によれば、図１及び図８の精算用搬送ベルトは一定の速度で移動する。しかし、画像のフレームは、同様に均等な間隔では捕捉されない。代わりに、システムは、不均等な間隔でフレームを捕捉する。
例えば、カメラの画像から、搬送ベルトの長手方向の商品間に隙間があることが明らかになる場合がある。（そのような隙間「ｘ」を図８の商品８２と８４の間に示す。）そのような隙間がある場合は、短時間だけ露出される可能性のある製品の面を描写した画像を撮影する機会が得られる（例えば、概ね商品８２で隠されている商品８４の面８５の部分８６）。システムはカメラを制御して、部分８６が最大に現れる時に画像フレームを捕捉する。この瞬間が時間ｔ＝１７５ｍｓに到来し、システムが通常は５０ｍｓの均等な間隔で画像フレームを捕捉している場合は、ｔ＝１７５ｍｓに余分なフレームが捕捉される（例えば０ｍｓ、５０ｍｓ、１００ｍｓ、１５０ｍｓ、１７５ｍｓ、２００ｍｓ．．．にフレームが捕捉される）。或いは、システムは、通常の画像フレームの撮影を遅くするか、早めることにより、所望の瞬間（例えば０ｍｓ、５０ｍｓ、１００ｍｓ、１７５ｍｓ、２００ｍｓ、２５０ｍｓ．．．）にフレームを捕捉することもできる。そのような事象駆動型のフレーム捕捉により、後続のフレームが均等間隔で捕捉されるタイミングを設定することができる（例えば０ｍｓ、５０ｍｓ、１００ｍｓ、１７５ｍｓ、２２５ｍｓ、２７５ｍｓ．．．）。
代替の構成では、フレームの捕捉が規則的な間隔で行われる。ただし、システムは、搬送ベルト１４の速度を落とすか、又は一時停止することにより、カメラに短い時間のみ見える表面（例えば部分８６）の画像を撮影できるようにする。そのような画像が撮影されると、搬送ベルトは通常の動きを再開する。
図９は同様の搬送ベルトを示すが、今度は円筒形の物品９０を含んでいる。（円筒形の表面は一部だけしか見えない。一部の表面は下を向いており、表面の別の部分はカメラから見ると商品８４で隠れている。）
本技術の別の態様によると、画像中に見つかるテキストが、商品識別を抽出する際に有用な回転及び向きの情報となる。
図１０Ａに示す円筒形の食料商品を考えたい。各商品は目立つテキストを含んでおり、概ね水平方向であるテキストの線が傾斜している（点線で示すように右上がりに傾斜している）。しかし、そのような傾斜にも関わらず、各文字の上下方向の軸は、垂直上方を向いている（実線の矢印で示す）。
図１０Ｂに対照事例を示す。この場合は、目立つ各文字の上下方向の軸が側方、すなわち垂直上方から２７０度右回りを向いている。（ここで言う「目立つ」テキストとは、商品表面に見える最も小さいテキストよりも大きいテキストを言う。）
無論例外があるが、概して、商品（円筒形でも他の形でも）表面の最も大きいテキストの上下方向の軸は、一般に商品の主軸の１つと平行である。
当業者にはよく知られるように、デジタル透かしパターンは通例タイル方式で商品に適用され、単一の矩形の透かしパターンが透かしを入れる対象商品の横及び下方向へと繰り返される。図１２に一例を示す。ここでは、シリアルの箱の図柄に、タイルパターンでデジタル透かしを入れている。タイルは、通例、最初のタイルの左上隅（「ｘ」で示す）を図柄の左上隅と一致させて埋めて行く。そして、その開始点から横及び下にタイルが配置される。
各透かしパターンは向きを有する（図１２の矢印で示す）。この場合も、一般的な方式は、図柄と同じ方を向くように透かしのタイルを埋めるものである（すなわち、図柄の「上」が透かしパターンの「上」に対応する）。
画像データから透かしを読み取るには、透かし復号器は、まず透かしタイルの向きを判定しなければならない。この向きを判定する作業を何らかの方法で簡易化すれば、透かし復号器の作業を容易にすることができ、復号の速度を上げることができる。
包装表面の目立つテキストの上下方向の向きは、しばしばそのような簡易化の手段をもたらす。図１２の「Ｃｈｅｅｒｉｏｓ」の文字「Ｃ」の向きは、シリアルの箱の図柄中に符号化された透かしの向きを示す。
同様に、図１２の商品表面の目立つテキストの向きは、それら商品の透かしが見つかる可能性の高い向きを示唆している。
透かしが目立つテキストと同じ方向を向いているという仮定に基づく透かしの復号動作が失敗した場合は、今度は透かしが最も大きいテキストの向きから９０度ずれた方向を向いていると仮定して第２の透かし復号動作を試行することができる。図１０ＢのＣｏｋｅの缶がその場合にあたる。（すなわち、透かしパターンが図１２のシリアルの箱と同様に適用され、透かしタイルの上部が製品の上部の方を向き、これは図１０Ｂでは目立つテキスト「Ｃｏｋｅ」の向きから右回りに９０度ずれている。）
搬送ベルトの例に戻ると、セグメント化モジュールが、商品９０の遮られている表面を描写するカメラ画像部分を特定し、抽出する（ここでは知られる２Ｄセグメント化を使用することができる。）その切り出した画像をテキスト検出モジュールに渡し、テキスト検出モジュールは少なくとも１つの目立つアルファベット文字を識別する。（知られるＯＣＲ技術を使用することができる。）より詳細には、そのようなモジュールは、切り出し画像中の目立つマーキングをテキスト文字として識別し、次いで各種規則を使用してその向きを判定する。（例えば、大文字のＢ、Ｄ、Ｅ、Ｆ等の場合は、規則は、最も長い直線が上下を向いていることを規定することができる。「上」は、文字に固有のさらに別の規則で判別することができる。モジュールは他の文字には他の規則を適用する。）テキスト検出モジュールは次いで、分析された記号の向きを示すデータを出力する。
図示を分かりやすくするために、図の表面は１つの文字「Ｂ」のみを含む。テキスト検出モジュールは、この文字が切り出し画像中で２０２度の向きで表示されていることを示すデータを出力する（図１３）。
それを埋め込まれた透かしの向きに関する手がかりとして、システムは次いで切り出し画像を右回りに１５８度回転させて、図１４Ａに示すように「Ｂ」が縦方向を向く（すなわち０度）ようにする。そしてその切り出し画像に透かし復号動作が試みられる。復号器は、その向きにある透かしパターンを探す。見つかった場合は、小さな向きのオフセット（例えば図１４Ａの向きから＋／−８度の選択された向きの角度）で、さらに透かしパターンの探索を試みることができる。
透かしが見つからない場合は、システムは次いで切り出し画像をさらに２７０度右回りに回転させて、図１４Ｂに示される向きにすることができる。再度同じ復号動作を繰り返すことができる。
一部の実施形態では、それでも復号される透かしがない場合、システムは、透かしが恐らく存在しないものと判断し、切り出し画像の以降の透かし処理を打ち切ることができる。或いは、従来技術の方法を用いて、より徹底した切り出し画像の分析を行って、すべての可能な向きを考慮して透かしを見つることを試みてもよい（例えば本願の譲受人の特許第６，５９０，９９６号に詳細に記載される）。
変形実施形態を図１５に示す。この実施形態では、切り出し画像がＧＰＵに適用され、ＧＰＵは１つのコアを使用して切り出し画像を３０度回転させ、別のコアを使用して６０度回転させる等して、３３０度までのすべての刻みで回転させる。それらの操作はすべて同時に行われる。元の切り出し画像を含めて、切り出し画像の回転が異なるバージョンが１２個できる。（１２個は１枚の図面に簡便に描写できる最大数であった。実践では、１０度刻みの回転で３６個、３度刻みの回転で１２０個等、バージョン数を増やしてもよい。）
手法の１つは、描写された種々の向きで透かしが「上」を向いている（又は＋／−１５度の小さな角度オフセットの範囲内にある）と仮定して、それら回転が異なる切り出し画像各々に透かしがないか調べるものである。
ただし、より経済的なのは、システムが、その向きの状態で透かしが見つかる見込みに基づいて異なる回転状態に順位を付けるものである。図１５の例では、システムは、１５０度の回転を１位に順位付けている。その理由は、この回転が目立つテキスト文字「Ｂ」を最も直立に近い向きにするためである。切り出し画像に透かしが存在する場合には、この１位の切り出し画像（この場合も＋／−１５度）を調べることによって見つかる可能性が最も高い。
透かしが見つからない場合は、システムは次に順位が２位の切り出し画像を検討する。ここで、順位が２位の切り出し画像は６０度回転させた切り出し画像である。システムがこの切り出し画像を２位に順位付けるのは、テキスト文字「Ｂ」の向きが最も２７０度に近いためである（図１０Ｂ）。システムは、この場合も近傍の回転状態（＋／−１５度）も調べながら、再び透かし復号アルゴリズムをその回転バージョンの切り出し画像に適用する。
それでも透かしが復号されない場合、システムは断念するか、又は他の回転状態を検討することができる（例えば、検出された他のテキストの向きから、恐らくは順位が３番目の回転状態）。又は、ここでも従来技術の方法を実行して、任意の回転状態の透かしを探索してもよい。
上記のテキストの説明では円筒形の物体に注目したが、同じ原理を任意形状の商品に適用することが可能である。
別の実施は、画像中のテキストの存在を考慮せずに機能する。図１６を参照すると、システムは、セグメント化した領域をエッジ発見モジュールに渡し、エッジ発見モジュールは、切り出し画像中で最も長い直線のエッジ９８を特定する。（一実施では、セグメント化した領域の境界エッジのみを考慮する。他の実施では、内側のエッジも考慮される）。その線の角度が、透かしの向きの手がかりとなる。
（各種のエッジ検出技術が当業者に知られている。Ｃａｎｎｙエッジ検出技術は広く用いられる。他の技術にはＳｏｂｅｌ及びＨａｒｒｉｓのエッジ検出器がある。）
図１６では方向の曖昧さがある。すなわち、どちらの方向が「上」であるかを示すテキスト記号が存在しない。したがって、この例では２０２度及び２２度の２つの可能な向きが示される。
次いでシステムは図１６の切り出し画像を回転させて、図１７Ａに示すようにその最も長い線を縦方向にする。上記のように、この画像表現で透かしが上を向いていると仮定して、透かしの復号動作が試みられる。その試みが失敗した場合、システムは次に切り出し画像をさらに１８０度を回転させて（図１７Ｂ）再度試みる。
上記のように、ＧＰＵによる実施も利用することができ、方向に関する手がかり、この場合は長いエッジの向きに基づいて、システムがさらなる分析のために種々の回転状態に順位を付ける。
さらに他の実施は、直線やテキストではなく円に依拠するものである。スーパーマーケットには、数え切れないほどの円筒形の商品があり、その大半は缶入りの製品である。そのような商品は２つの円形の面を有し、通例それらの面は印刷が施されない（例えば図１１の面９２）。それでも、円形の面（又は図１１のようにその一部）の提示は、隣接する円筒形の表面の透かし符号化の向きに関する手がかりを提供する。
図１８は、搬送ベルト上で見た場合の缶１０２を示す。その円形の端部１０４（上面の可能性も底面の可能性もある）は、斜めに見ると楕円に見える。楕円は長軸と短軸によって定義される。長軸１０６が最も長い直径であり、短軸１０８が最も短い直径である。短軸は、透かしの向きに関する手がかりとして、図１６の長いエッジのように使用することができる。すなわち、短軸は、延伸すると、線１１０で示すように、上から下（又は下から上）に、缶のラベルのある側面と交差する。この線の向きは、通例、缶の円筒形表面に印刷された透かしの向きと一致する。
このように、本技術のこの実施形態に係るシステムは、図１８の線１１０の向きを図１６における線９８の向きのように使用する。例えば、この缶を描写する切り出し画像を回転させてこの線１１０を縦方向にし、透かしの復号を試みる。復号が成功しない場合は、切り出し画像を１８０度回転させ、復号を再度試みる。この場合もＧＰＵによる実施を利用することができ、システムが、線１１０が垂直方向に最も近い向きになる２つの回転を、最も見込みの高い候補として順位付ける。
しばしば、図９のように、楕円の一部分しかカメラに見えないことがある。システムは、撮影画像を分析して、例えば曲線当てはめ技術を使用して、又はハフ変換を使用して、楕円の部分を複数見つけることができる。例えば、YuenらのEllipse Detection Using the Hough Transform, Proc. Of the Fourth Alvey Vision Conf., 1988を参照されたい。一部分からでも短軸の方向を推定することができ、それを上記のように使用することができる。
楕円の短軸を求め、したがって円筒形の物体の上下方向の向き（例えば図１８の線１１０）を求める方法の１つは、楕円の曲率を調べるものである。この場合も、ハフ又は曲線当てはめ技術を使用して、切り出し画像中の楕円エッジを特定する。図１９を考察する。同図は楕円の切り出し画像１１８を示すが、楕円の残りの部分は、搬送ベルト上の他の商品で隠されており、カメラからは見えない。（この切り出し画像がある撮影画像の他の部分は図を見やすくするために省略している。）
楕円の短軸は、楕円のエッジ上の最小曲率の点を通る。このエッジに沿った異なる点における曲率を曲率モジュールで求め、したがって曲率が最小になる点１２０が特定される。その点における曲線との接線１２２が曲率モジュールにより特定される。楕円の短軸は、この接線の垂線に沿って、例えば線１２４に沿ってある。
時に、曲率が最小になる楕円上の点が撮影画像に示されないことがある（例えば他の物体がカメラの視界を遮っているために）。そのような場合でも円筒の「上下の」向きを判定することができる。
図２０を検討すると、図１９と同じ楕円１１８を示すが、さらに多くの部分が隠れている。すなわち、最小曲率点が示されていない。
この場合は、曲率モジュールを使用して、エッジに沿った最大曲率点を検出する（すなわち点１２６）。次いで曲率モジュールはその点でエッジと接する線１２８を求める。その線の向きは、通例、曲線に沿った製品ラベルのデジタル透かしの「上下」方向の向きと一致する。上記のように、システムは、切り出し画像を回転させて線１２８の向きを縦方向に変え、透かしの復号動作を試みる。復号が成功しない場合は、切り出し画像を１８０度回転させ、再度試みる。この場合もＧＰＵは画像の複数種の回転を並行して行うことができ、システムは、それらの回転を順位付けた順序で検討することができる（すなわち線１２８が最も垂直に近くなる向きに最初に注目する）。
搬送ベルト上で撮影された商品は、外形（缶、長方形の箱等）に関係なく、通例は遠近の歪みをもって描写される。図２１は、搬送ベルト上で上を向いている図１２のシリアルの箱の面が、カメラ画像でどのように描写されるかを示す図である。（透かしのタイルの配置を説明するために使用したマーキングをこの描写にも含めているが、無論カメラ画像では明示的には見えない。）
透かしを復号するために、まず商品の描写を適正な縦横比に戻すと有用である。
一手法では、画像のセグメント化を使用して視野内にある種々の商品を識別する。大半の物理的な商品は、互いに直交するエッジを特徴とする（例えばシリアルの箱は直方体であり、缶は直円柱である）。セグメント化した画像から判別されたエッジを調べて、ほぼ平行又はほぼ直角（すなわち、例えば２０度、１０度、又は５度以下以内）のエッジの対があるかどうかを判定する。描写された画像には遠近の歪みを原因とする角度の変化があるためそれらの描写が対応する物理的なエッジは、実際に平行又は直角であると仮定することができる。そして、補正用の透視変換を適用して、それらのエッジを平行又は直角の関係に戻す。
単純ではあるが、この技術は、商品がほぼ直線のエッジを持たない場合（例えば冷凍豆の袋）や、商品の特定のエッジがカメラの視野から遮られるような形で搬送ベルト上に置かれている場合には機能しない。
別の手法は、単に、使用する前に校正動作でカメラの視野の遠近の歪みを特徴づけるものである。その情報を記憶し、後に取り出して、システムの使用時に撮影された画像を補正する。
校正技術の１つは、既知の参照パターン（例えば１インチの格子パターンが付けられた基板）を搬送ベルト上に配置する。その状態をカメラで撮影し、得られた画像を分析して、カメラの視野内の各２Ｄ位置における（例えばカメラセンサの画素ごとの）遠近歪みを判別する。高さを順次増して（例えば１インチ刻み）搬送ベルトの面の上方に校正された参照パターンを配置して、この動作を繰り返すことができる。得られた画像を再度分析し、後に使用するためにその結果を記憶する。
同様にして、格子模様を入れた縦方向の基板を、搬送ベルトにわたって垂直に配置することができる。画像を撮影し、分析して、その面における遠近歪みを判別する。この場合も、搬送ベルトに沿って連続した位置に（例えば１インチ刻み）基板を移動しながら処理を繰り返して、それらの面で撮影された画像の見かけ上の歪みを判別することができる。
同様に、格子模様を付けた基板を搬送ベルトの軸に沿って長さ方向に配置することができる。画像を撮影し、分析して、その面における表面の見かけの歪みを判別することができる。この場合も連続する平行な面に基板を移動して動作を繰り返すことができる。
その後搬送ベルト上の商品の画像が撮影されると、その参照データを調べて（且つ、例えば傾斜した表面を示す物理的商品については補完して）、撮影画像の各部分に影響している遠近歪みを判別することができる。そして、補正用の逆歪みを適用してから画像を識別モジュールに渡す。
遠近歪みの補正は、画像処理及び写真測量ではよく知られている慣行である。画像の「矯正」を行うための各種の他の技術が当技術分野で知られている。（カメラ位置及び光学的特性は通例は固定されており、そのため関連するカメラパラメータを求め、補正処理で用いることができるため、従来技術の多くは簡略化した形式で適用することができる。）２つの異なる視点からの画像を取得できる場合は、立体情報から、画像補正のためのさらなる機会が得られる。
上記では検出されたテキストを回転の向きを判別する手段として使用する例を参照したが、これは遠近歪みの尺度としても有用である。
大半の製品ラベルは、縦方向の文字の字画が平行である字体を使用している。例えば、図２９では、「Ｍｉｘｅｄ」の文字「Ｍ」の縦方向の２つの文字の字画が平行である。別の言い方をすると、大半の字体は上から下への文字幅が一定である。やはり図２９で、文字「Ｍ」は、下部の幅と上部の幅が同じである。（文字「ｘ」や「ｕ」等も同様である。）
同様に直線のテキストの行の大半で、文字は一定の高さを持つ。大半の「背の高い」文字（ｔ、ｋ、ｌ等）及び大文字は、基本となるテキストの線から第１の高さまで延び、「背の低い」文字（ｗ、ｅ、ｒ等）はすべて第１の高さより低い第２の高さまで延びている。このような文字の一番上と一番下に沿った線は一般に平行である。（図２９の１行目のテキストの線「ａ」、「ｂ」、及び「ｃ」を参照されたい。）
これら基準からの逸脱が遠近歪みの尺度として有用である。対応する検出モジュールによって検出されると、補正用の画像歪みを適用して線を平行に戻し、文字の幅を上から下まで一定の値に戻す。そして、補正の歪みがかけられた画像に透かしの検出を適用する。
図３０は、２つの垂直な次元で遠近の歪みが生じ得ることを示す図であり、ここではそれぞれ「傾斜する」及び「倒れる」と表現する。「傾斜」は、正面から見た平面視において水平方向に右又は左に傾斜した表面の向きを言う。左への傾斜は、表面の左の縁が、物体の中心に比べてカメラから長い焦点距離にある向きを言う。「倒れる」は、垂直方向に傾いた表面の向きを言う。後ろに倒れているとは、表面の上部の縁が、物体の中心に比べてカメラから長い焦点距離にある向きを言う。
図３０には小さな矢印も示しており、描写されたシリアルの箱からの表面の垂線の方向を示している。左に傾斜している場合には、表面の垂線はカメラから見て左に傾く。後ろ倒れの場合、表面の垂線はカメラから見て上方に傾く。
大まかな遠近感は、図２９のテキストの行など、本明細書に記載される技術を参照して得ることができる。線が右に行くにつれて互いに近寄って行く場合は、ラベルの右側部分の方がカメラから遠いことになり、右に傾斜した姿勢であることを意味する。
別の大まかな遠近感は、透かしタイルのスケールから得ることができる。再度図２１を参照すると、透かしのタイルのスケールが物体の上部に向かって小さくなる場合は、物体の上部がより遠くにある、すなわち後ろに倒れた姿勢を意味する。他の倒れ及び傾斜の状態も同様に、描写されたタイルのスケールが異なることによって示される。（好ましい透かしタイルのスケールは、特許６，５９０，９９６号に詳細に記載されるように、埋め込まれた校正信号のｌｏｇ−ｐｏｌａｒプロットから容易に明らかになる。）
上記で示唆したように、表面の向きが正確に判別されると（例えば異なる視点を示す２つの画像フレームを分析し、各フレーム内の主要点の位置を考慮することにより）、画像を歪めることにより、見かけの歪みを正確に打ち消して、平面の表現に戻すことができる。そして、補正された画像に基づいて物体の識別を進めることができる。
正確な向き情報の代わりに、システムが大まかな向き情報（例えば文字の形状や非平行の線の短時間の分析で得られる左傾斜、後ろ倒れ等）しか持たない場合は、種々の逆歪みを試みることができる。例えば、物体が後ろに倒れているように見えるが傾きの量が分からない場合には、物体識別モジュールは、まず補正をかけずに撮影画像から透かしを抽出することを試みることができる。抽出が成功しない場合は、画像処理モジュールが画像に逆歪みをかけて、画像の焦点面が２０度前方に倒されたように見える遠近感を強制する（すなわち、後ろに倒れた見かけの表現を打ち消す）。物体識別モジュールは再度透かしの抽出を試みる。抽出が成功しない場合は、さらに補正のための逆歪みを適用し、例えば元の画像を処理して、前方に３０度倒されたように見える遠近感を強制する。物体識別モジュールは再度透かしの抽出を試みる。抽出が成功しない場合は、さらなる補正の歪みを適用する（例えば焦点面が前方に３６度倒れたように見える遠近感を強制する）。
この場合もＧＰＵがそのような作業に適し、上記で詳細に説明した一連の試みを順次ではなく並行して行うことを可能にする。
円筒形の物体の場合は、円筒形の歪みの補正を用いて、曲面の表面が視野から遠ざかるにつれて生じる包装図柄の見かけ上の空間的圧縮を補償することができる。（この補正は、遠近の補正と別個に適用しても、又は組み合わせた操作の一部として適当してもよい。）
遠近感を無視して、図２２に、斜めに見た円筒形の物体の等角図を示す。円筒形の歪みは、円筒形の表面が湾曲して視野から消える所で最大になる。円筒形の歪みは、カメラに最も近い表面の部分に沿って、円筒の軸に平行な中心線に沿って最小になる。（この線は、図１８で説明した楕円の短軸１０８を延伸した線で定義される線と同じである。）円筒の全体が見えている場合（すなわち別の商品で隠されていない場合）、この最小の円筒形歪みの線は、図２２の濃い、長い点線１２９で示すように、見えている円筒形の面を二等分する。他の点線は、縁に近くなるにつれて空間的な圧縮が徐々に大きくなる領域にあり、それらの線が互いにより近づくように見える。（図２２の点線は円筒の周囲に２０度の間隔である。）
図２３は、物体認識モジュールに渡される可能性のある図２２の切り出し画像を示す。まず円筒形の商品を背景からセグメント化で区分する。次いで、テキスト、エッジ、楕円の特徴、又はその他の方法でその上下方向の軸を推定する。次いで、推定された向きの情報に基づいて切り出し画像を回転させて図２４を得る。
次に円筒形の歪みの補正を適用して、補償用の水平方向の伸張を適用することにより、エッジ近傍の圧縮を打ち消す。切り出し画像は円筒の全幅にわたっており、その境界線は画像のセグメント化で検出されているので（図で実線として示す）、単純な補正用の三角関数が適用される。
特に、中心線からエッジまでの距離が距離「ｘ」である場合は、中心線からの任意の中間距離「ｙ」は、円筒の見かけの中心線から逆正弦（ｙ／ｘ）の曲率角度シータ（Θ）に相当する。中心線からのこの距離で適用する水平方向の縮尺率は１／ｃｏｓ（９）になる。
このような手順により、図２４の画像を水平方向に歪めて曲率を補償した図２５を得る。（再現するのが難しい湾曲した形状であるため、以降輪郭は図示しない。図の長方形の切り出し画像と異なり、画像データは、通例、カメラから見える搬送ベルトからセグメント化された、円筒形の見えている表面全体を包含する。）２０度の均等な角度間隔にある点線が、この２Ｄ表現では均等な空間距離にあることが認識されよう。したがって、円筒形の商品からラベルを取り除いて、正面から見たかのようになる。
次いで、図２５の補償後の画像データを処理して物体の識別を得る（例えば透かし復号モジュール等による）。
円筒形の物体の全体が見え、その側部のエッジが曖昧でない上記の事例は単純である。より難しいのは、それらの基準が満たされない事例である。図２６はその一例である。
この撮影画像では、一方の側面のエッジ全体と他方のエッジの一部を含む円筒１３０の多くの部分が商品１３２で隠れている。一方の側面のエッジ１３４の一部が見えている。このエッジの線は画像の他の特徴による可能性もあるが、エッジ検出モジュールが画像内でこのエッジ１３４と楕円の曲線１３８との交差点１３６を見つけるので、円筒形の物体のエッジである可能性が高い。
例えば上記で図１３〜図２０との関連で説明したように、図２７に示すように、画像から円筒形の表面をセグメント化し、上下方向と思われる向きに回転させる。（この回転は、例えば円筒表面の文字の印刷や楕円の一部分１３８に基づいて行うことができる。）エッジ１３４の位置は分かるが、最小歪みの中心線（図２４の長点線１２９に対応する）の位置は不確定である。中心線は、エッジから距離ｘ１にある線１４０ａなのか、又はエッジから距離ｘ２にある線１４０ｂなのか、又は何らかの他の線か。
例えば少なくとも部分的にＧＰＵを用い、中心線にいくつかの異なる場所を仮定し、その仮定中心線に対応する円筒形の補償を行い、そして商品の識別を行う（例えば透かしの復号による）ことを試みることにより、網羅的な探索を行う。「ｘ」のいずれかの仮定値で、補償の結果商品の識別が得られる。
この網羅的な探索には制限がない。システムは、中心線が線１４２の右側にも線１４４の左側にもあり得ないことは認識している。線１４２の右側にあり得ないのは、線１４２は円筒形の面の露出している幅１４５の中点であり、円筒の隠れている部分はその左側にあるためである。線１４４の左にあり得ないのは、システムが楕円１４６を画像に現れている楕円の一部分に合わせて曲線当てはめし、中心線はこの楕円の左にはあり得ないためである。（実際には中心線は線１４４からかなり右に行った所にあるはずである。）
探索は、線１４８で示すように、当てはめられた楕円１４６に基づく、例えば楕円の幅の中ほどの仮定中心線から開始することが好ましい。そして、システムは、その開始点から、仮定中心線１４８のどちらかの側にある線を次第に距離を増しながら繰り返し試して、商品の識別子の抽出を試みる。
（さらに単純な手法は、当てはめられた楕円１４６の短軸を延ばし、それを中心線の開始点として使用するものである。そのような手法は図２７では機能しない。その理由は、図２７の元となった図２６の表示では二点ではなく一点のみの視点を使用しており、そのため円筒の楕円面が正確に表されず、円の一部分として表されるためである。）
図２８はさらに難しい事例を示し、この場合は図２７の唯一のエッジの境界線１３４も隠されている。商品の表面に検出された文字印刷を使用して、セグメント化された切り出し画像を適切な上下方向の向きにしている。
この場合は、円筒のエッジの仮定位置と仮定中心線の両方を変化させながら２次元の網羅的な探索が行われる。すなわち、システムは、種々の曲率状態（尺度の１つは円筒の曲率半径ｘである）と、円筒の種々の位置（尺度の１つは、カメラから見た円筒の軸の位置である）で探索を行う。
この場合も、商品の上部で定義される楕円エッジの一部は検出できるため、システムはそのエッジに合わせて楕円１４６を当てはめ、それにより一部が隠れている円筒形の表面の位置を限定することを助ける。特に、システムはまず、円筒形の表面の境界エッジが、セグメント化された画像に最も近い、当てはめられた楕円のエッジから引いた線１５０上にあると仮定して開始する。さらに、円筒形の表面の中心線が、楕円の中心から引いた線１５２上にあると仮定する。それらの開始位置から両方の仮定を交互に繰り返す。
先と同様に、境界線及び中心線の試験位置ごとに、システムは、対応する補正用の歪みを適用して、想定される円筒形を「平らに」し、次いで補償された切り出し画像を使用して物体の認識を試みる。
反復中のいずれかの限界点で物体認識が成功していない場合は、試みを終了する。
一部のみが現れている円筒形表面から識別子（例えば透かし）を抽出するには複数回の試行が必要となる可能性があることが認識されよう。例えば、上下方向の向きの推定を繰り返す必要がある場合がある。したがって、湾曲した表面の中心線の位置及びエッジ位置の仮定も繰り返す必要がある。遠近が事前に校正されていない場合には、校正も繰り返す必要がある場合がある。マルチコア装置の能力があれば、そのような処理は、精算システムの典型的な時間制約内で行うことができ、好都合である。
さらに、大半の商品認識技術は特定の画像歪みにはロバストである。例えば透かしは、通例、元のスケールの５０〜２００％で、１５度以上の遠近歪みがある状態で復号される。そして、一部の透かしは、すべての回転角度に対して完全にロバストである（ただし、検出器がすべての可能な回転を考慮する必要がない場合は、検出の簡約化を実施してもよい）。さらに、透かしを入れた図柄の１つのタイルから完全な透かしのペイロードを抽出することができるため、円筒形の物体の場合は、露出している表面の小さな一部分で復号には充分であることが多い。（バーコードにはこの後者の利点がない。すなわち、バーコード部分が、露出された表面になければならない。ただし、バーコードも回転及びスケールには同様にロバストであり、現在では遠近についてのロバスト性も向上している。）
そのようなロバスト性により復号に余裕が得られるため、本明細書に記載される実施形態における反復的な増分回数は比較的多くなる可能性がある。例えば、図２８では、１回の反復のステップとして、線１５０及び１５２の位置をそれらの間隔の２０％に等しい距離だけ横方向に移動することができる。
一部の実施では円筒形の歪みを無視してもよく、完全な透かしのタイルは幅が２インチ未満であり、カメラに最も近い缶の側部表面は、幅が少なくとも２インチの軸方向を向いたラベルの細片を示す可能性があると認識してもよい。その細片は、湾曲しているが、円筒形の歪みは比較的小さい。そのような実施では、代わりに、それにより節減されたプロセッサの処理力を適用して遠近歪みに対処するようにしてもよい。
上記で詳細に説明したような技術は、円筒形以外の商品形状にも適用できるように構成できることは理解されよう。
搬送ベルトがなく、物体が手でカメラシステムの前に置かれる場合には、システムは、読み取りのために商品が置かれる際の最も一般的な姿勢についての履歴（ヒストグラム）を集計することができる。すなわち、（任意の技術で）物体の識別が成功する度に、システムは、その物体が精算所に提示された際の３Ｄの向き（及び任意で商品が移動した経路）の情報を記録する。データは、レジ係単位（又はセルフサービスの精算所の場合は顧客単位）で収集して、異なるユーザの異なる習慣を考慮する。（レジ係は、通例、例えば従業員ＩＤとパスワードをキーパッド又は同様の装置から入力することにより、ＰＯＳシステムに「サインイン」する。顧客はメンバーカードで自身を識別することができる。）物体提示の履歴データが収集されると、そのデータを使用してシステムの復号手順を最適化することができる。
例えば、レジ係Ａが普段カメラシステムに対して商品を後ろに倒し、左に傾斜させて提示する場合、システムは、場合によっては撮影画像を分析して姿勢を推定することさえせずに、撮影画像にそれに対応する補正用の逆歪みを適用することができる。最初の補正画像で物体認識が得られない場合には、そのレジ係が次によく行う提示が、後ろに倒し、右に傾斜させる姿勢であれば、その提示に合わせた補正を試すことができる。
逆に、レジ係Ｂが普段商品を前方に倒し、左に傾斜させて提示する場合は、レジ係Ａとは異なる対応する補正を、レジ係Ｂの精算所で撮影された画像に適用することができる。
同じ技術を搬送ベルト式のシステムに適用することができる。時間の経過と共に、システムは、物体が搬送ベルトに置かれる際の「標準的」な置かれ方を判別することができる。画像処理で、種々の識別技術を適用する順序を調整することにより、そのような典型的な配置に対応することができる。
異なる物体は習慣的に異なる形で提示又は（搬送ベルトに）配置される可能性がある。物体が識別されると、その物体の提示／配置データを物体ＩＤ及び他の識別情報と関連付けて記憶して、商品の種別ごとに特徴的な提示情報の豊富な供給源を構築することができる。
レジ係Ａは、箱入りのシリアルを後ろに倒し、左に傾斜させて提示するが、ソフトドリンクの１２本入りパックは前方に倒して提示することが最も多いとする。システムは、センサから特定の識別情報（例えば直線のエッジ又は曲線形状、色ヒストグラム、温度、重量等）を取得し、その情報を使用して、そのような特性を持つ物体の最もよくある提示姿勢を判定し、それに応じてそのようなセンサデータに基づいて種々の画像歪みや他の識別技術を適用することができる。
先と同様に、ＧＰＵで複数のそのような画像の逆歪みを並行して実施することができる。レジ係Ａがシステムを使用している時は、ＧＰＵは、レジ係Ｂがシステムを使用している時とは異なる画像逆歪みの集まりを実施することができる。
いくつかの点では、製品の識別は、手で読み取りを行うシステムよりも搬送ベルトを利用するシステムの方が容易に行うことができる。その理由は、製品の向きが通例は搬送ベルトで何らかの形で制約され、認識作業を容易にするためである。例えば、缶はほぼ常に２つの平坦な端部の一方で立っているか、又はそれより可能性は低いが、円筒形の軸を搬送ベルトの面と平行にして横に倒して置かれる。それにより、発生する可能性のあるカメラの像の範囲がかなり制限される。同様に、箱入りの製品は通常は平坦な表面が下を向くように置かれる。その結果、つながっている４つの表面がすべて縦方向に延在し、上部表面が搬送ベルトと平行な面に配置される。この場合も、それにより、予想され得る姿勢の範囲が限定される。（これらは上記で参照した標準姿勢の例である。）
同様にして、搬送ベルトは、ベルト上にあるすべての物体に共通の直線の動きを与える。それにより、表面の向きを判別する演算作業が容易になる。何故ならば、１台のカメラで２つの異なる瞬間に撮影された２つの画像から認識される特徴点は、すべて同じ方向に同じ距離だけ移動しているからである。（１つの点が１００画素移動し、第２の点が５０画素移動する場合、第２の点は第１の点よりも遠くにある等。）
搬送ベルトを利用するシステムの問題点は、カメラの視野で１つの製品が別の製品で隠される場合があることである。それに対して、手で読み取るシステムは、通例は、一度に１つの商品をカメラに提示する。
上記の説明では透かしの復号に着目したが、パターン認識（例えば、指紋法や製品の外形等）による物体識別も、通常の、又は基準となる提示から物体描写の回転及び遠近の状態を理解することによって簡略化されることが認識されよう。したがって、例えば、ＳＵＲＦ指紋技術を利用した認識では、カメラ画像中の物体描写を参照画像中の描写に対応するように変換すれば、カメラ画像中で判別された特徴点を、参照画像中の対応する点とより迅速に一致させることができる。
一部の実施形態では、回転の向きは重要ではない。例えば、Ｄｉｇｉｍａｒｃの特許第６，５９０，９９６号に詳細に記載される透かしの構成は回転に対して完全にロバストである。そのような実施形態では、演算の労力が物体表面の傾斜及び遠近歪みの判定により集中される。
一部の実施形態では、１つの認識技術で求められた情報が別の認識技術に有用である。例えば、色ヒストグラムの分析により、システムは、商品を例えばＣｏｋｅの６本入りパックとして仮に識別することができる。その仮の識別で、システムは、データベースからそのような製品の外形に関する情報を得ることができ、その情報を使用して、カメラ画像に描写された製品の姿勢又は向きを判別することができる。その姿勢情報を次いでデジタル透かし復号モジュールに渡すことができる。その情報により、透かし復号モジュールは、作業（通例は空間的姿勢を独自に推定することを伴う）を短縮することができる。
別の例では、画像指紋法が、商品が包装にデジタル透かしを備えている可能性が高いことを示すことができる。画像指紋法は、撮影画像中での商品のアフィン表現に関する情報も提供することができる。そして、システムは、画像を右回りに６７度回転させると、透かしを読み取りやすくなると判断することができる（例えば、当初符号化された向きに戻されるため）。システムは、画像の仮想的な６７度の回転を行い、それを透かし復号モジュールに渡す。
透かしの標識は、バーコードの標識と同様に、大きすぎる角度の歪みで描写された場合には、正しく復号することができない。本技術の別の態様によれば、小売店で販売される製品に、軸外の読み取りを助けるために予め歪みませた複数の透かしを入れる。例示的な構成では、透かしパターン（例えば特許第６，５９０，９９６号に詳細に記載されるような透かしタイル）に８通りのアフィン歪み（水平方向／縦方向）をかける。アフィン変換した８つのタイルを元のタイルと合計し、その合成パターンを製品又はその包装に付加する。構成する９つの透かしタイルを以下の表Ｉに示す。

この透かしパターンを持つ製品の表面がカメラから離れる方向に上方に４５度傾斜している場合でも、上記一覧の構成タイル＃８は容易に読み取ることができる。すなわち、４５度の上への物理的な傾斜がタイル＃８の３０度の下向きのアフィン変換を打ち消して、正味１５度の見かけの上方への歪みを生じさせ、これは透かし復号器の読み取り範囲に十分に入る。
（変形実施形態では、合成透かしタイルは、それに加えて、又はそれに代えて、種々の異なる透かしスケールの構成タイルを含む。同様に、合成透かしタイルは、非平面的に歪めた構成タイルを含むこともできる。例えば、種々の視点から見た、缶入りの製品等の湾曲した表面から透かしを感知することを見越して、種々の異なる曲線歪みを使用することができる。一部の実施形態では、種々の透かしパターンをタイル方式で適用することができ、例えば１つのパターンは通常とし、それに隣接するタイルは「左に傾斜」するように歪め、別の隣接するタイルは「右に傾斜」するように歪めることができる。）
既存の精算所では、回転する鏡を使用して、製品の包装を横切るレーザー光線の物理的な読み取りを実施することがある。本技術のさらなる態様によると、可動型の鏡をカメラシステムと併用して、製品識別モジュールに提供される画像中に種々の歪み（例えば遠近歪み）を生じさせる。
例えば、カメラを、９つの異なる鏡面を有する分割された円筒に対向させることができる。円筒をステッパモータで回転させて、各鏡を順にカメラに提示することができる。各鏡は、異なる形で歪んだ精算商品の像をカメラに対して反射する。この異なる歪みは、例えば表Ｉに示した９つの異なる変換とすることができる。１回のフレーム捕捉については、円筒は、歪みのない画像をカメラに提示する。次のフレーム捕捉では、円筒は、右に３０度歪んだように見える画像を提示する。最終的に得られる一連のフレームを例えば透かし復号器又は他の製品識別モジュールに提供して、製品識別情報を生成することができる。
関連する実施形態では、可動鏡がカメラの視野を拡大する役割を果たし、本来はカメラレンズの視野外にある情景をカメラセンサに提示する。
未知の物体を識別する（例えば未知の形状の表面から透かしを読み取る）別の有用な手法は、テイラー級数展開に似るものである。はじめに、物体が平面であり、カメラに対して直角に対向していると仮定する。透かしの読み取りを試みる。成功しない場合は、利用できるデータを使用して、平面の勾配の項（例えば倒れ及び傾斜）についての最良の推量を行う。推量した平面の勾配の項に基づいて補正のための逆歪みを適用し、透かしの読み取りを試みる。成功しない場合は、利用できるデータを使用して、推量をさらに精緻化し、一次の曲率の項を追加する。この場合も推量された曲率に基づく補正のための逆歪みを適用し、透かしの読み取りを試みる。この処理は、表面の外形についての推定をさらに精緻化する度に、そしてその推定に基づいて透かしの復号を試みる度に継続する。この作業に割り当てられた時間が切れるまで、又は製品外形の推定で有用なすべての利用可能なデータを適用してしまうまでこの手順を続ける。（この後者の場合でも、透かしの復号が可能になる可能性のある画像歪みを「当てずっぽうに（blind）」試みてもよい。）
上記では包装のかなり多くの部分を占めるデジタル透かしの標識について述べた。これは、包装のうち露出している表面積の少なくとも２５％を意味する。被覆率を露出面積の例えば５０％、７５％、９０％、又は９５％以上に増大することにより、また事例によっては１００％の被覆率に達することにより、性能の向上を実現することができる。
上記では画像を処理して特定の見かけの歪みを打ち消すと述べたが、この動作は空間（画素）領域で行う必要はない。代わりに、まず画像を補完領域（例えば空間周波数領域やＦＦＴ領域）に変換することができる。そして、その補完領域で所望の逆歪みを適用することができる。
透かしの復号は通例空間周波数領域のデータに行われるため、そのような構成は特に透かしを利用する物体識別システムで有利である。画像を一旦ＦＦＴ変換してから、各種の異なる歪みを（例えばＧＰＵで）適用し、得られた各データセットを透かし復号器に提供することができる。これは、画素領域で各種の歪みを（例えばＧＰＵで）適用してから異なる歪みがかけられた画像セット各々にＦＦＴを行って同様の透かしの復号を行うよりも計算的に容易である。
上記の特定の実施形態では規則的に１５度刻みの向きにある画像フレームを利用したが、これは必須ではない。代替の一実施形態では、カメラに平行な１つのフレーム、第１のフレームから少なくとも２０度の角度にある４つのフレーム（例えば、２つが水平方向＋Ｚ−２５度にあり、もう２つが垂直方向＋／−２５度の角度にある）、及び第１のフレームから少なくとも５０度の角度にあるさらに４つのフレーム（例えば２つのフレームが水平方向＋／−５５度にあり、２つが垂直方向＋／−５５度の角度にある）を使用する。この９つの画像フレームセットは、商品の見え方に良好な多様性をもたらし、表面の向きに関係なく、単純な透かし及びバーコード復号器で、カメラに見える大半の表面から標識を確実に復号できるようになる。
ボリュームモデルの生成等
本技術のさらに別の態様は、例えば小売の精算で積み重ねられた商品の識別に関する。
そのような構成は、精算所に積み重ねられた集合製品に関する３Ｄ情報を得ることから開始する。この３Ｄデータのセットは、本明細書の他の箇所で明らかにした技術を使用して生成することができ、それらには、立体撮像、移動ベルトと組み合わせた単一カメラによる撮像、Ｋｉｎｅｃｔセンサ、飛行時間カメラ等が含まれる。図３１に３Ｄ画像の例を示し、搬送ベルト上にある５つの物体を示している。
この３Ｄ情報を処理して複数の構成物体のボリュームを定義する。
画像から物体のボリュームを再構築する技術は古い技術である（例えばGuzman, "Decomposition of a Visual Scene into Three-Dimensional Bodies", in Automatic Interpretation and Classification of Images, Academic Press, 1969）。この分野の画期的技術の１つは、Clowes, On Seeing Things, Artificial Intelligence, 2:79-116 (1971)である。
この最初の成果はその後、主としてＭＩＴ人工機能研究所でＷａｌｔｚ、Ｈｏｆｆｍａｎらに引き継がれ、画像から導出される情報に基づいて、構成するソリッド形状を判別するアルゴリズムをさらに精緻化した。特にＷａｌｔｚは、画像中の局所的な特性（見えている頂点及びエッジ）を調べ、その情報を幾何学的規則と組み合わせて、描写されている多面体を識別するという研究で知られる。Ｗａｌｔｚは、制約の伝播を使用することにより、以前の分析方法で陥りやすかった組み合わせ的爆発の問題を克服した。
このボリューム的な物体認識の研究は、ロボットによる「ピックアンドプレース」の用途で広く展開されている。「ビンピック」は、ビンの中に無作為に分散された既知の３Ｄ形状をロボットが撮像する一般的な作業である。ロボットは画像を処理して所望の１つの形状を特定し、次いでアームを操作してビンからその品物を取り出し、所望の位置に置く。
そのような技術の大半はエッジから導出される形状寸法に依拠するが、その後の技術の中には、多数の点の群（例えば距離画像／奥行きマップから得る）の分析に移行して、表面の識別に基づいて構成形状を識別するものもある。近年測距センサ（例えばＫｉｎｅｃｔセンサや飛行時間カメラ）が商品化されたことにより、実施によってはそのような手法が魅力的になっている。
また、航空撮影された市街地の画像から形状寸法を３Ｄ構築するための実際的な研究も多く行われている。この用途は、規模を変えると、小売の精算の状況に密接に関連する。
上記を詳細に記載した多くの文献のいくつかは以下を含む。
Brady, Computational Approaches to Image Understanding, MIT AI Lab, Memo 653, 1981;
Braun, Models for Photogrammetric Building Reconstruction, Computers & Graphics, Vol19, No 1, Jan-Feb 1995, pp. 109-118;
Dowson et al, Shadows and Cracks, MIT AI Lab、Vision Group, June, 1971;
Dowson, What Corners Look Like, MIT AI Lab, Vision Group, June, 1971;
Fischer, Extracting Buildings from Aerial Images using Hierarchical Aggregation in 2D and 3D,
Computer Vision and Image Understanding, Vol 72, No 2, Nov 1998, pp. 185-203;
Haala et al, An Update on Automatic 3D Building Reconstruction, ISPRS Journal of Photogrammetry and Remote Sensing 65, 2010, pp. 570-580;
Handbook of Mathematical Models in Computer Vision, N. Paragios ed. , Springer, 2006;
Hoffman et al, Parts of Recognition, MIT AI Lab, AI Memo 732, December, 1983;
Mackworth, Interpreting Pictures of Polyhedral Scenes, Artificial Intelligence, Vol 4、No 2, 1973, pp. 121-137;
Mundy, Object Recognition in the Geometric Era - a Retrospective, Lecture Notes in Computer Science, Volume 4170, 2006, pp. 3-28;
Shapira et al, Reconstruction of Curved-Surface Bodies from a Set of Imperfect Projections, Defense Technical Information Center, 1977;
Waltz, Understanding Scenes with Shadows, MIT AI Lab, Vision Group、November, 1971 ;及び
Zhao, Machine Recognition as Representation and Search, MIT AI Lab, AI Memo 1189, December, 1989。
当業者は上記で概説した従来技術に精通していると思われるため、ここではこれ以上詳細には説明しない。
これら従来技術の方法のいずれでも本出願で用いることができる。ただし、説明を明瞭にするために、本技術については、エッジに適用される幾何学的規則の単純なセットを参照して説明する。
そのような処理は、直線及び楕円の輪郭（エッジ）と、それに関連する頂点を特定することから開始する。知られるエッジ発見技術を使用することができる。それらのエッジで囲まれた領域（表面）を通例は物体の面と考える。
Ｃａｎｎｙのアルゴリズムに基づくエッジ発見技術がよく用いられる。（例えばCanny, A Computational Approach to Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 8, 1986, pp. 679-714を参照されたい。）Ｃａｎｎｙのエッジ発見器は、広く使われるＯｐｅｎＣＶソフトウェアライブラリの例えばバージョン２．４で実装され、このライブラリは、隅検出器、ロバストな局所的特徴の検出器、楕円発見器等の多数の他の有用なツールも含む。
幾何学的規則を適用して、１つの物体の一部分を形成している面を特定する。例えば、図３１Ａに示すように、エッジＡとＢが平行で、且つ、互いと平行なエッジＤ及びＥもそこで終端するエッジＣの対向する端部の頂点（Ｉ、ＩＩ）で終端している場合には、エッジＡとＢ間の領域は、エッジＤとＥ間の領域（表面）と同じ物体の一部を形成する表面と仮定される。
他の規則を適用して、隠れている特徴の位置を判別する。例えば、垂直下方に延在しているが、別の物体の表面のエッジで中断されている（隠されている）エッジは、物体が載っていると考えられる共通の参照面（すなわち精算台の面）まで下方に延在していると仮定される。（例えば図３１Ａの線Ａ及びＢを参照されたい。）
そのような規則は通例例外がある。例えば、一部の規則は他の規則よりも優先される。図３２のエッジＦを考える。すぐ上記で述べた規則を通常通りに適用すると、エッジＦは参照面までずっと延在すると示されることになる。しかし、同じ物体面（Ｈ）を定義する平行なエッジＧから、それに反する手がかりが得られる。エッジＧは参照面までずっと延在しているのではなく、「物体Ｎ」の上面で終端している。このことは、エッジＦも同様に参照面までずっと延在しているのではなく、「物体Ｎ」の上面で終端していることを示唆する。この規則は、「エッジの端部の頂点から始まる平行なエッジ（「双子のエッジ」）は同じ長さを持つと仮定される」と言うことができる。すなわち、一方のエッジの全長さが分かれば、一部が隠れている双子のエッジは同じ長さであると推定される。
上記手順を図３１の３Ｄ構成に適用すると、図３３に表すようなセグメント化した３Ｄモデルが得られる。各物体は、例えばその形状、大きさ、向き、及び位置を示す、メモリに記憶されたデータによって表される。物体の形状は、その物体が円筒形であるか、直角六面体であるか等を示すデータによって示すことができる。物体の大きさの値は形状に応じて決まる。例えば直円柱の大きさは、直径と長さで特徴づけることができる。円筒の場合、向きは、（モデルが定義される３次元の座標系内の）主軸の向きで定義することができる。正六面体の場合、向きはその最も長い軸の向きで定義することができる。物体の位置は、物体の主要点の場所で特定することができる。円筒の場合、主要点は、座標系の原点に最も近い円形面の中心とすることができる。六面体の場合、主要点は、原点に最も近い物体の角とすることができる。
図３１の３Ｄ画像を図３３に示すセグメント化モデルと比較すると、モデルは、画像に見られない外挿された構造を持つことが分かる。例えば、図３１は物体３が円筒形の物体であることを明らかにしているが、実際には物体のごく一部しか示されていない。物体の残りの部分は他の形状で隠れている。
図３３では、物体３の形状を、長さと直径の比が約２．７の円筒になるように外挿している。（これは概ねＰｒｉｎｇｌｅｓブランドのポテトチップの缶の形状に相当する。）しかしこの形状は推測である。事実として分かっている唯一の情報は、センサシステムで捕捉され、図３１に示された情報、すなわち物体３の長さと直径の比が１．０以上であることである。Ｃａｍｂｅｌｌスープの缶等、Ｐｒｉｎｇｌｅｓの缶より背が低い円筒もこの記述を満たす。
（知られる写真測量の原理を使用して、制御／校正された条件下で撮影された画像から寸法データを抽出することができる。スーパーマーケットの精算所はそのような制御された環境である。図３１の場合、例えば、物体３の直径は３インチと判定され、その上部表面は（物体４の上部表面と共に）参照面から約８インチ上方にあることが判明する。
本技術の別の態様によれば、分かっている事と外挿（仮定／推量）される事との間の不確定性を特定する。特定の一実施では、この不確定性が人間のオペレータ又はデータ処理システムの別の要素に伝えられる。図３４に、人間のオペレータへのそのような伝達の一方式、すなわち、積み重ねられた商品のグラフィック表現を示し、不確定性が高い区域４０を表示画面上で強調表示する（例えば色、保持、点滅等）ことにより、さらに製品がないか調べることが可能な場所を精算係に知らせる。
可能性の１つは、図３５に示すように、図３１の見えている円筒（物体３）が実際には、完全に隠れている別のスープ缶の上にある高さ４インチのスープの缶であるというものである。
図３１に示す積み重ねられた製品は、図３３のようにモデル化すると、不確定性が高いことが認識されよう。例えば、これを見る人間は、物体２及び物体４のセグメント化されたモデル描写も不確定であることを知覚する（また本システムが準拠する規則もその事を示すことができる）。（長さと直径の比が２．７の円筒形はスーパーマーケットでは比較的少ないのに対して、図３３で物体２及び４について描写される寸法を持つ六面体はそれよりも比較的一般的であることから、物体３の方が不確定である可能性が高い。）
図３３の他のセグメント化形状は、確実性が比較的高い。例えば、スーパーマーケットには正六面体が多くあり、非六面体以外で物体１や物体５のような外見を呈する他の形状は非常に少ないことから、システムは、図３３のように描写されたそれらの物体には高い確実度スコアを付ける。
上記で述べたように、システムは、図３３のセグメント化形状ごとに、信頼度の尺度を算出するための規則を適用することが望ましい。追加的な情報が入手可能になると、それらの尺度が更新される。例えば、第２の積み重ねられた製品の像が入手可能になると（例えば別のセンサから。又は製品が搬送ベルト上で移動したために）、それまで隠されていたエッジが明らかになり、図３３のセグメント化されたボリュームのいくつかにより高い（又は低い）確実性を与える可能性がある。事例によっては、例えば、追加的なデータが、それまでモデルに含まれていなかった新しい商品の証拠を含む場合に、図３３のセグメント化モデルが修正される。
信頼度の尺度は、スーパーマーケットで販売するために供給される種々の製品についての統計データに少なくとも部分的に基づくことができる。この統計データは、寸法情報の他に、商品ごとのこれまでの販売量などの他のデータを含むことができる。（スーパーマーケットがひと月にＰｒｉｎｇｌｅｓのポテトチップを１００缶販売し、Ｃａｍｐｂｅｌｌのスープを２０００缶販売する場合、物体３の信頼度スコアは、両商品の販売量が逆であった場合に比べて低くなる。）
信頼度の尺度を算出するための具体的な式は、特定の実施及び利用できるデータに応じて決まる。具体的な式の１つは、種々の尺度にそれらの重要度に応じて異なる度合いの重み付けをし、例えば多項式で組み合わせる計算式からなる。
下記の例示的な信頼度尺度の計算式では、入力データＭ１、Ｍ２、Ｍ３、及びＭ４を使用して、各セグメント物体のスコアＳを得る。係数Ａ、Ｂ、Ｃ、Ｄ、及び指数Ｗ、Ｘ、Ｙ、及びＺは、実験又はベイズ技術により求めることができる。
Ｓ＝（Ａ＊Ｍ１）Ｗ＋（Ｂ＊Ｍ２）Ｘ＋（Ｃ＊Ｍ３）Ｙ＋（Ｄ＊Ｍ４）Ｚ
図３４に示す不確定区域は、人間の店員（又は他のシステム構成要素）に注目されるものであるが、算出された信頼度の尺度を使用して、閾値で定義することができる。例えば、物体３の信頼度の尺度が（１〜１００の段階で）２０であり、且つ物体１、２、４、及び５の信頼度の尺度がそれぞれ９７、８０、７０、及び９７である場合は、信頼度の尺度が５０未満の物体に関連する不確定区域を強調表示するように閾値が設定されると、不確定区域は図３４に表すようになる。
一方、閾値が７５に設定されると、物体４に関連する別の不確定区域も強調表示される。
（変形実施形態では、不確定性に２値の手法が採用される。セグメント化形状は、確定性があるか、ないかのどちらかである。例えば、図３３では、物体１及び５は確実と判定することができるのに対し、物体２、３、及び４は確実と判定されない。後者に関連する不確定区域は、例えば行われる可能性のある追跡管理のために通知される。
本技術のさらに他の態様によると、種々のセグメント化形状についてのシステムの評定を、他のセンサデータを参照することによって精緻化する。すなわち、システムは、他の情報を用いて、例えば確実性や形状についての証拠に基づく判定を精緻化する助けとする。
図３１及び図３３で多くの部分が隠れている物体４を検討したい。画像から抽出されたスケール情報は、この商品が約２．２×６インチの平面の（上部）面を有することを示すことができる。スーパーマーケットで扱われる商品の多くはこの基準を満たす。しかし、赤外線カメラの画像も利用できる場合は、この商品が氷点下の温度であることが判明する可能性がある。箱入りの冷凍野菜（例えばほうれん草）の多くはこの寸法の平面の表面を有するが、そのような製品は通例は図３３で外挿されたような８インチもの長い寸法は持たない。温度画像データから得られるこの追加的な証拠に基づいて、システムは、物体４の信頼度スコアを例えば７０から４０に下げることができる。
上記のようにして各種の他の情報を使用することができる。例えば、図３１の画像で、この像で露出している物体３の円筒形の面に識別マーキングが現れているとする。そのようなマーキングは、例えば、バーコードや、視覚的な指紋を備える特徴的なマーキング（例えばロバストな局所的な特徴を使用する）からなることができる。それにより、バーコードデータベースで、露出した円筒形の形状がＣａｍｐｂｅｌｌの濃縮マッシュルームスープの１０．５オンス缶であると曖昧性なく識別することができる。製品情報のデータベースは、バーコードデータベース又は別のデータベース（スーパーマーケット内のサーバ若しくはリモートサーバにある）であり、そのデータベースをそのような識別情報で調べると、そのＣａｍｐｂｅｌｌスープの缶の寸法が直径３インチ、高さ４インチであることが明らかになる。この場合は、図３３に示すモデルのセグメント化が正しくないことが分かる。円筒の高さは８インチではない。モデルが図３６に示されるように修正される。物体３の確実性スコアが１００に上げられ、新しい、全体が隠れた物体６がモデルに追加される。物体６には、０の確実性スコアが与えられ、さらに調査が行われるように通知する。（図３６では、物体６は、他の形状で占められていないと推定される物体３の下にある長方形のボリュームを満たすものとして示しているが、物体６にはモデル内で異なる形状を付与してもよい。）例えば、物体１、２、３、４、及び５をボリュームモデルから取り除いて、物体６によって占められる空間についての残りのボリュームモデルを残すことができる（空間は複数の物体からなるか、又は事例によっては物体を含まない）。
システムで維持される作業リストを更新して、完了すべき識別作業から物体３の識別を削除する。積み重ねられた商品のうちその部分は、充分な確実性ですでに識別されている。その形状が判明すると、積み重ねられた商品の幾何学的モデルが更新され、システムは他の識別作業に進む。
物体表面のバーコード（又は他のマーキング）の位置は、撮影画像ではそのような標識で物体を確実に識別することができない場合でも、追加的な証拠となる。例えば、六面体形状の大きさが異なる３つの面のうち最も小さい面にバーコードの標識があることが判明した場合には、最も小さい面にバーコードがない候補製品は除外することができ、それにより、候補製品の範囲を効果的に狭め、最も小さい面にバーコードを持つ製品の信頼度スコアを上げることができる。
同様に、バーコードの縦横比（長さと高さの比）は製品ごとに異なる。この情報も画像から感知して、候補の範囲を狭め、それに応じて信頼度スコアを調整する際に使用することができる。
（前述から示唆されるように、処理システムは、積み重ねられた各商品ついての識別の仮定を複数保持することができる。例えば、システムは、図３１の円筒形の形状が特定のスープの缶である場合、又は特定のポテトチップの缶である場合の信頼度スコアを別々に算出することができる。証拠の中には、両方のスコアを同時に増加又は減少させるものがある（例えば円筒が冷たい、又は室温であることを示す温度カメラデータ）。一方、他の証拠は、１つの仮定の信頼度を増し、別の仮定の信頼度を減少させる性質がある。）
種々のセグメント化形状についてのシステムの評定を他のセンサデータを参照して精緻化する別の例として重量のデータを考えたい。積み重ねられた商品の重量を（例えば搬送ベルトやカート重量計で）求めることができる場合には、その重量を分析し、データベースから取得されるそれらの物体の参照重量データを使用して、個々の物体の構成重量の点からモデル化することができる。識別された物体の重量を商品の積み重ねの重量から差し引くと、残りは積み重ねのうち未識別の物体の重量になる。そのデータをここでも、証拠に基づいて積み重ねにある物体を判定する際に使用することができる。（例えば、積み重ねられた商品のうち１ポンド分の出所が分からない場合には、重量が１ポンド以上の商品は以後の検討から除外することができる。）
上記の技術は、一態様では、識別された物体を追加して、既知の物体のモデルを成長させていくものと捉えられることが認識されよう。それに代わる考え方は、未知の商品の積み重ねをモデル化し、次いで識別された既知の物体をモデルから差し引いていくというものである。
精算のために提示される３Ｄボリューム全体の初期モデルは、感知されたデータ（例えば画像）に基づいて生成することができる。積み重ね中の物体が識別されると（例えば指紋法、バーコード、テキストＯＣＲ、又は他の証拠の使用による）、その物体の形状（ボリューム）がデータベースに記憶された参照データから取得される。次に、まだ判明していない場合には）その物体の向き（姿勢）を判定する。この場合も、この判定は、センサデータ（例えばエッジ、製品のマーキング等を示す）をデータベースに記憶された参照情報と比較することによって行うことができる。物体の向きが分かると、その物体の形状（物体の向きに対応した向きにある）を３Ｄボリュームモデルから仮想的に差し引く。（重量情報が分かる場合には、未知の商品の積み重ねの重量から物体の重量も差し引くことができる。）この処理が識別可能なすべての物体に対して進められる。次いで、残りのボリュームに隠れた物体がないかを調べるか、又は出力信号を発して、隠れた内容物を明らかにするために商品の積み重ねを広げる必要があることを警告することができる。
輝度画像から幾何学的エッジを抽出することに基づく方法ではいずれも、パターンエッジから幾何学的エッジを区別する必要がある。一手法は、画像／奥行きマップを（輝度画像に加えて、又はそれに代えて）使用して、物体の面にある印刷や他のマーキングから生じる混乱を回避するものである。
上記の幾何学的なエッジと規則に基づいて３Ｄデータを構成ボリュームにセグメント化する手順は、定形的な形状を識別する単純な方法であるが、卵の箱など、スーパーマーケットで見られる他の商品はあまり定形的でない形状を有する場合がある。そのような形状は、例えば公知のビンピックの物体識別機構を使用して、画像処理システムが識別の目的で用いることができる参照データ（ＣＡＤのようなモデルに似たテンプレート）で定義することができる。そのような構成の１つでは、３Ｄ画像から店舗の商品一覧にある各種テンプレートを探索して、積み重ねられた商品の中に少なくとも部分的に見えているそのような商品があるかどうかを判定する。そのような手順は、定形的な形状を規則に基づいてセグメント化する前又は後に適用することができる。
搬送ベルトに関するさらなる所見
上記では、小売の精算所にある搬送ベルトに関連する各種の革新について述べた。それらの革新の大半は、（１）物体認識を支援して処理量及び精度を向上させる、（２）買い物客に対する新規の機能、及び（３）広告主に対する利益、の３つの部類の１つに該当すると考えることができる。
最初の部類では、搬送ベルト上のマーキングが、物体が支えられている面を識別する役割を果たすことができ、これは製品の認識と物体のセグメント化において有用な制約となる。マーキングは、搬送ベルトの速度及び他の変動値を識別する役割も果たすことができる。それに関連して、マーキングは、姿勢の推定を助ける空間的な基準の役割を果たすことができる。一部の実施形態では、マーキングは、１つ又は複数の撮像システムに対して焦点又は校正の目標値の役割を果たす。そのような空間的な参照情報は、種々の識別技術（例えば透かしやバーコード）で導出された情報間の対応関係を確立する際にも有用である。
買い物客に対する新規の機能のうち、そのような搬送ベルトのマーキングは、買い物客がクーポンを置くことができる帯（図８）を定義することができる。システムはこの帯を監視し、帯で得られた画像があれば候補クーポン画像として調べる。検出されると、システムは、知られる従来技術のクーポン処理方法に従って対応する。
ユーザは、ディスプレイが上を向くようにこの帯にスマートフォンを置くことができる。スマートフォンのクーポン交換アプリが、ユーザが収集した種々のクーポンに対応する異なる画面を周期的に表示することができる（例えば、その店舗内で行われる、又は新聞に掲載された販売促進を探す、又はＧｒｏｕｐｏｎ等から電子的にスマートフォンに送信されるもの等）。精算システムによる各クーポンの読み取り（例えばカメラに感知される、又はクーポン情報が他の方法で伝達される）が成功すると、精算システムは、読み取りの成功をスマートフォンに通知する。この信号は、特定の音のビープ音、又は他の可聴の応答からなることができる。或いは、別の種類の信号を使用することができる（例えば光や無線等）。スマートフォンがこの信号を受信すると、スマートフォンは次のクーポンを精算システムに提示する（例えばスマートフォンのディスプレイに表示する）。この処理は、精算対象の製品に関連するスマートフォン上で利用できるすべてのクーポンが提示され、受信が通知されるまで継続する。
精算システムのカメラは、電話機の速度がベルトの速度と一致するので、電話機が単に搬送ベルトの上方に把持されているのではなくベルト上にあることを判別することができる。スマートフォンは、例えば、内蔵された加速度計を使用して水平面に沿った動きを感知する、又は電話機の前向きのカメラを使用して精算帯のストロボがたかれた照明特性を感知する等、センサからの入力に応答して自動的にクーポンの提示を開始することができる（例えばクーポン交換アプリを起動することができる）。
逆に、移動するベルト上にあるユーザのスマートフォンが、投影機で搬送ベルトに投影された視覚的情報を収集することもできる。その情報は、消費者が購入しようとしている製品に関連する製品について今後来店した際に交換できる割引クーポンを表すことができる。（そのような情報は同様に音声、無線、又は他の通信技術でスマートフォンに伝達することもできる。）
搬送ベルトは投影画面の役割を果たすことができ、そこに例えば頭上投影機で画像が投影される。（通例、投影機は搬送ベルトに対して斜めの角度にあり、例えばキーストーニングなどそれを補正するための補正用光学部品を備える）。搬送ベルト上の物体が認識されると、投影機が、商品名及び価格、他の買い物の提案、関連するレシピ、デジタルクーポン等の関連する情報を提示することができる。投影される画像は、搬送ベルトに沿って移動していく関連する商品を追従することが望ましい。
ユーザは、搬送ベルトに投影された標識に触れることができる。カメラがユーザの動作を感知することができる（例えば、商品認識用の画像を撮影する搬送ベルト近傍のカメラ、又は投影機と共に配置されたカメラ）。システムは、カメラで感知された動作が、触れられた標識にユーザが関心を持っていることを示すものとして理解する。数種の応答を発生させることができる。
応答の１つは、単に、投影された標識の位置を（ベルト及び商品が進行している間）ユーザに対して固定するものである。それにより、例えば、ユーザは、スマートフォンなどの個人機器で標識の画像を撮影することができる。（それにより、ユーザは提示された情報を後に検討することができる。例えば投影された標識に符号化されたデジタル透かしで示されるウェブリンクにアクセスすることができる。）
別のシステム応答は、ユーザに映像を提示するものである。映像は、搬送ベルト（映像が投影された状態で進行し続けることができる）、又は表示画面（例えばユーザの買い物が集計される画面）等、固定された場所に投影することができる。
別の応答は、消費者の支払い額に対してクーポン割引を付与するものである。商品が精算される時に消費者にキャッシュバッククーポンを提示することにより、搬送ベルト（又は情報が提示される他の機器）を見るように消費者を動機づけることができる。投影される情報の多くは販売促進用の性質とすることができ、周期的にクーポンを提示することにより、情報を見る者の注目を持続させることができる。
投影される標識は、テキスト、ロゴ、機械可読データ（例えばバーコードや透かし）等とすることができる。投影される標識は、映像を含むこともできる。
広告主に対しては、搬送ベルトにブランドからのメッセージを印刷する、又は種々のブランド確立イベントについての一時的なステッカーを貼ることができる。事例によっては、一周ごとにベルトに動的に印刷を施し、台の下を通って戻って来る際に印刷を拭き落とす。知られる「ホワイトボード」及び「ドライイレーズ（dry erase）」によるマーキングを使用することができる。
さらなる改良
購入商品を識別する際に考慮されるセンサからの証拠は、精算所で収集する必要はない。例えば、屋内位置特定技術（例えば買い物客又は買い物客のカートが携行する装置を使用して信号を感知又は発信し、その信号から位置を判定する。例えば異なる通路では異なるＬＥＤ照明の明滅や変調を感知する。又は位置に関する他の形態の信号を感知する）、又は天井、床、若しくは棚に取り付けられたカメラや他のセンサ等で、店内で買い物客を通る順路を監視する実施を考えたい。買い物客がＣａｍｐｂｅｌｌスープの棚の前で１５秒間立ち止まった場合、このデータは、精算で撮影された画像からバーコードや他の識別情報を判別できない場合でも、図３１で見えている円筒形の形状がスープの缶であるという仮定を強化する助けとなる。
時に、特定の証拠がないことに基づいて信頼度スコアを修正できる場合がある。例えば、店舗内で買い物客が通った経路がＰｒｉｎｇｌｅｓのポテトチップがある通路を通らなかった場合には、円筒形の物体がスープ缶であることの信頼度スコアを上げる傾向になる。（明らかなように、本技術の特定実施形態は、店舗が扱う種々の製品の場所を示す店舗のレイアウトに関する情報を保持するデータベース又は他のデータストアに依拠する。）
そのため、買い物客が通った店内の場所、より詳細には、買い物客又はそのカートが店内で立ち止まった場所を知ることは、カートの商品の識別を推測する際に有用な情報となる。さらによいのは、商品が店内のどの場所でカートに入れられたかを知ることである。（カートへの商品の追加は各種方式で感知することができる。カートの重量センサ、カメラ、ある面を通ってカートのボリュームに入る手又は他の物を感知するビーム遮断センサの配列、カートの中に移動される新たな商品（又はユーザの手や腕等）で影ができることを感知する光センサ等）。
これに関連する証拠の部類の１つは、在庫センサから得られる。カメラ、重量トランスデューサ、近距離チップリーダ、又は他のセンサを配置して、棚から在庫品が取り出されるのを監視することができる。スープの棚を撮影する天井に設置されたカメラが、午前１０：３０頃にＣａｍｐｂｅｌｌの濃縮チキンヌードルスープが一缶棚から取り出されたことを示す映像又は周期画像を捉えた場合、それは、午前１０：４０に精算所で感知された円筒形の形状がＣａｍｐｂｅｌｌの濃縮チキンヌードルスープである信頼度スコアを増大させる傾向がある。（このデータは、午前１１：１０に精算所で感知された円筒形の形状については信頼度スコアをそれよりも少なく増し、午後２：００に精算所で感知された円筒形の形状については恐らくは全くスコアを増さない。すなわち、データに与えられる分析上の重みは時間に関係する要因に従って異なる。）
午前１０：３０にチキンスープの缶が取り出されたことを示すそのような在庫センサからのデータは、１０：３０に買い物客がスープの棚にいたことを示す位置センサからのデータと組み合わさると、買い物客の商品にある円筒形の形状がチキンスープであることを示すことのさらに強い証拠となる。
事例によっては、通路にいる買い物客の画像や他の情報を捕捉しないように在庫追跡カメラを配置するか、又はその他の形で設計して、特定のプライバシーの問題を回避する。そのカメラからの画像を通路又は店内の他の場所にある公衆ディスプレイに表示して、買い物客を安心させることができる。
前述の説明では、製品を識別する証拠を得ることが可能な複数のセンサの数例を取り上げた。製品の識別（及び候補製品間の区別）を支援することが可能な技術をさらに列挙すると以下のものがあるが、これらがすべてではない。強制空気（例えば、積み重ねられた商品に吹き付けられた空気の途絶が商品内容を示すものとして感知する。空気の温度の変化を含み、温度の変化は隠れている冷凍商品があることを示すことができる）、振動（例えば、密度を示すことができる、振動で生じる製品の動き及び／又は慣性を感知する。また、これも特徴的である場合がある音を感知する）、他の音響的な感知（例えば、先のとがったスタイラスの前を商品表面を通過させるか、又は逆にスタイラスを通過させ、生じる音を分析する）、超音波による励振及び撮像、放射線透過スクリーニング（例えば空港のセキュリティ検査所でＴＳＡ機器によって行われるような超音波やミリメートル波の読み取り）、光偏光の感知（それにより例えば特定の反射を低減し、表面テクスチャの評定を容易にする）、他の光学的なテクスチャ感知、動きの感知（例えば加速度計）、ＵＶ／ＩＲカメラ、透かし、ＲＦＩＤ／ＮＦＣチップの感知、重量感知、買い物客の人口統計学的感知（例えばカメラで、又はメンバーカードのプロファイルを参照することにより）、熱時定数（例えば、手で扱ったために生じた温かい領域の温度が下がる速さ）、ハプティック感知（例えば商品が置かれると変形するゴム膜）、飛行時間カメラ、化学及び嗅覚的な感知、注視の追跡（例えば買い物客がＣａｍｐｂｅｌｌの濃縮チキンヌードルスープを見ていることを感知する。精算係の注視の追跡を使用して、製品バーコードのある場所など撮影画像中の重要な点を特定することができる。注視の追跡にＧｏｏｇｌｅゴーグル眼鏡を使用することができる）、買い物客又は店員が商品を把持する際の手の姿勢の感知、慣性のモデル化（重い商品は、軽い商品とは異なる軌跡に沿って移動される）、買い物客の購入履歴（買い物客はＰｅｐｓｉよりもＣｏｋｅを好み、週に一回牛乳を買い、先週２４個入りのペーパータオルのパックを買ったので、しばらくペーパータオルを買う可能性は低い等）、統計的な商品間の相関（買い物客がスパゲッティの麺を買う時はスパゲッティソースも買うことが多い等）、Ａｍａｚｏｎ Ｔｕｒｋサービス等によるクラウドソーシング型の人間による識別（例えばその他の方法では識別できない製品の画像を１人又は複数の人間の評価者に渡して評定する）等。
本明細書で詳細に説明する技術では、様々な場所にあるセンサから収集されるデータを利用することができ、それらの場所には、製品自体（例えば包装が無線接続されたセンサを含む）、店舗の棚、天井（通路や棚を見下ろす）、買い物カート、買い物客に携行又は着用されるセンサ、ＰＯＳ台、精算用の搬送ベルトに関連する場所、店員又は買い物客が携行又は着用するセンサ、袋詰めエリア等が含まれる。
そのような収集されたデータをデータ融合方式で使用して、可能性のある製品識別の母集団を順次絞り込む。確率論的なモデル化もしばしば用いることができる（例えばベイズ分類器、ｂｏｏｓｔｅｄ ｔｒｅｅ、又はｒａｎｄｏｍ ｆｏｒｅｓｔ方式）。
このように、例示的なスーパーマーケットシステムは、複数の特徴を用いる製品識別手順を使用し、システムの構成要素が判定モジュールに種々の証拠を与え、判定モジュールは、１つの識別が最終的な識別（winner）として得られるまで種々の製品識別のベイズ仮定を検査する。
スーパーマーケットシステムの構成要素の１つは、ボリューム的な製品外形（形状）情報を提供することができる。別の構成要素は、製品を描写するＲＧＢ画像から生成される色ヒストグラムデータを提供することができる。別の構成要素は、バーコードデータ（不完全又は曖昧性がある場合もある）を提供することができる。別の構成要素は、デジタル透かしデータを得ることができる。別の構成要素はＮＦＣ／ＲＦＩＤ情報を提供することができる。別の構成要素は画像指紋データを提供することができる。別の構成要素は、認識されたテキスト（ＯＣＲ）データを得ることができる。別の構成要素は、重量情報を得ることができる（例えば搬送ベルトの重量計から）。別の構成要素は、商品の温度情報を得ることができる（例えば赤外線カメラ画像又は空気の温度から判別される）。別の構成要素は、種々の商品の相対的な配置についての情報を提供することができる（消費者は、１２本入りのソーダのパックは、ポテトチップの袋の上よりもドッグフードの袋の上に置く可能性の方が高い等）。他の構成要素は、買い物の通路などで収集された情報を得ることができる。商品の性質、商品の搬送ベルトへの並べ方、センサの可用性等によっては、これらの情報のすべてがすべての商品に存在するとは限らない。
上記のような複数の構成要素からの出力が判定モジュールに提供され、判定モジュールは、入力情報を総合してどの製品識別が正しい可能性が最も高いかを判定する。
このような構成により、収集された証拠を使用して、すべての物体が所定の確実度以内（例えば９９．９％を超える）で識別されるまで、精算のために提示された、見えている、又は提示されていると推測される種々の物体の信頼度スコアを精緻化する。すべての証拠を検討すると、上記のような精度で識別されていない物体が（１つ又は複数）あれば、店員により人手で検査するよう指示するか、又はさらに（例えば撮像や重量測定等により）証拠を収集するために積み重ねられた商品から機械的に取り除かれる。
一部の実施形態では、投影機で積み重ねられた商品に情報を投影して情報を伝達することができる。例えば、投影機は、識別された商品（又はその近傍）に価格情報を投影して、請求された価格が予想通りであることを顧客に保証することができる。これに加えて、又はそれに代えて、投影機は、製品の識別が成功すると、製品に緑色の（又は何らかの他の特徴的な方式の）照明をあてることができる。赤色は、システムが確信を持っていない製品（又は商品の積み重ねの一部領域）を示すことができる。そのため、精算係は、システムがすべての商品を認識し、商品の積み重ねがすべて緑色で照明されるまで、商品の積み重ねを調べ、赤い照明があてられている製品があればさらに撮像（又は他の感知）のために取り出すか、又は単に商品をばらして、撮像のために製品の別の面を露出させることができる。
構成によっては精算台がなく、商品は（例えば買い物客により）買い物カート（かご）から袋に直接移される。本技術に係るシステムは、カートと袋の間の空間を監視し、物体が通過する際に物体から１種又は複数種のデータを感知して、識別を実行することができる（場合によっては以前に取得された情報と組み合わせる）。
買い物袋及び／又は袋詰めを行うエリアも識別を支援するために強化することができる。例えば、物体の姿勢の判定を支援するマーカー等、商品の認識／識別を支援する機能を袋に備えることができる。
さらに、袋又は袋詰めエリアが、識別を支援するセンサを備えることもできる。例えば、袋をフックに下げて、袋の重量を感知できるようにすることができる。また、物体識別データを収集する１つ又は複数のセンサを備えるエリアに袋を配置（例えばつるすか、置く）してもよい。袋の素材を機能的に感知技術（例えばミリメートル波の読み取りやＵＶ／ＩＲの照射等）に透過な素材として、１つ又は複数の外部センサから、袋の中身から感知されたデータを収集することができる。或いは、袋の中にセンサを配置してもよい。特定の一構成では、センサを着脱可能に袋の中に配置する。例えば、縦方向のエッジで結合された４つの縦向きの平面部材からなり、袋自体よりも一回り小さい正六面体の体積を定義する枠構造を降下させて空の袋（例えば買い物客が持って来た布製の袋）の中に入れる。その枠の１つ又は複数のパネルに１つ又は複数のセンサを設ける。そして商品をこの枠構造の中に入れることにより、袋の中に入れる。（１つ又は複数の）センサは、商品が枠構造の中に入れられる、又は静止すると、商品からデータを取得する。センサにデータが収集されると、センサを備えた枠構造が持ち上げられ、袋から取り出され、別の袋で使用することができる。センサの価格が下がってきていることから、買い物客が持ってくる袋自体に恒久的にセンサを取り付け、それを袋詰め台でポーリングして、感知されたデータがあるかどうか店舗のコンピュータシステムにより調べてもよい。
人が袋に商品を入れる順序も商品識別の証拠として使用することができる。例えば、システムが、袋の一番下に入れられたハンバーガーパンのパックを（例えばバーコードで）識別したとする。同じ袋に次に大きな形状が入れられた場合、システムは、その次の物体は、ソフトドリンクの６本入りパックなどの重い物ではないと推測することができる。その大きな物体は、ペーパータオルのパックなどの軽量の商品である可能性がより高い。
買い物客の商品が袋に入れられる前に識別された場合、システムは、合理的な袋詰めの方法を買い物客又は店員に提案することができる。記憶された規則データに基づく手順に従うことができる。例えば、システムはまず買い物客の商品の総重量及び体積を求め、記憶された規則を適用して、その商品重量／体積を保持するのに必要な袋の数を判定することができる。同様に、Ｎ枚（例えば３枚）の袋を仮定して、規則は、各袋の一番下に入れる方がよい商品を示すことができる（例えば最も重い商品や、最もつぶれにくい商品）。同様にして、規則は、各袋の一番上に入れる方がよい商品を判断することができる（軽い商品や最もつぶれやすい商品）。これらの判断の結果、システムは、各袋の中段に入れるべき商品を指示することができる。他の規則には、冷凍商品と冷蔵商品は一緒に、低温で傷む可能性のある商品から離して（且つ温かい可能性のある調理済み食品商品から離して）置いておく等がある。これらの提案は、音声による指示の形態をとることができる。或いは、異なる色の投影光で異なる商品を照明して、同様に色で識別される袋にそれらの商品を次に入れるとよいことを知らせることができる。基本的に、このような構成は袋詰めの専門システムである。）
カートの重量センサを使用して、カートに入れられる際に商品の重量を測定する（すなわち商品を入れる前と後の重量の差を感知する）だけでなく、同様にカートから取り出される時に商品の重量を測定するためにも使用することができる（その場合も重量差を基準とする）。
本技術の一部の実施は自己学習型である。例えば、本明細書で詳細に説明するシステムは統計的にデータを追跡することができ、データは全体として次第に製品識別の手がかりを明らかにするようになる。そのようにして、追加的なデータにさらされることを通じて、製品識別のためのデータ駆動型のモデルが発展していく。システムは、例えば、１５分間の買い物の最初に冷凍食品の通路を通る買い物客は、同様の買い物の最後に冷凍食品の通路を通る買い物客よりも冷凍食品商品を精算のために提示する可能性が低いことを認識することができる。そのような確率論的モデルは人間が構築することができるが、過去の買い物データを分析することで、より容易且つ高精度に構築することができる。
分散したセンサ（例えば、カート、棚、及び／又は天井等のセンサ）によって収集された情報を、消費者から受け取られる買い物リストデータと併せて使用して、店内の通行管理を使用することができる。システムが、５人の買い物客のリストに「牛乳」の項目があることを発見すると、それらの買い物客が各自のリストにある他の商品を取り、時間をずらして牛乳の冷蔵庫に到着することが可能な店内の経路を各買い物客に提案することができ、それにより、１人の買い物客が他の客を待たせて箱の賞味期限を入念に調べている場合に生じる渋滞を回避することができる。
当業者は、買い物客は各種の公知の方式で識別できることを認識されよう。それらの方式には、メンバーカード、スマートフォンからの定期的な無線発信、店舗コンピュータとデータを交換するスマートフォンアプリ、顔認識、及びカメラを利用する他の技術等がある。
既存の精算システムは通例、可聴信号（例えばビープ音）を発してバーコードの読み取りが成功したことを知らせる。本技術の別の態様によると、システムは、製品識別の方式に応じて、異なる可聴信号を発する。製品がバーコードの読み取りで識別される場合は、ある種類のビープ音が発される（例えば２５０ミリ秒の５２３Ｈｚ信号）。製品がデジタル透かしの復号で識別される場合は、第２の種類のビープ音が発される（例えば４００ミリ秒の６６０Ｈｚ信号）。製品が指紋認識で識別される場合は、第３の種類のビープ音が発される（例えば５００ミリ秒の７８４Ｈｚ信号）。
無論、上記の信号は例に過ぎず、任意の異なる信号を使用することができる（すべてが同じ周波数又は異なる周波数のビープ音の連続からなる信号等）。
商品の認識が数種の異なる物体データに基づく場合は、さらに他の信号を使用することができる。或いは、識別の主要な基盤となった識別施術を示す信号を発してもよい。
透かしは、徐々にスーパーマーケットで採用が進むと思われる。バーコードと同様に、すべての商品に透かしの符号化が入れられるまでにはしばらく時間がかかる。上記の種々の可聴フィードバック信号は、通例どの種の製品識別がどの種の製品で成功するかに関して精算係を訓練する助けとなる。例えば、レジ係が、繰り返しその商品を扱うことにより、Ｋｌｅｅｎｅｘティシューの箱は常にバーコードの「ビープ音」を発するが、透かしの「ビープ」は発しないことが分かると、レジ係は、その商品では速度を落として、Ｋｌｅｅｎｅｘの箱のバーコードを感知装置の方を確実に向けるようになる。一方、レジ係が、Ｇｅｎｅｒａｌ Ｍｉｌｌｓのシリアルの箱は透かし認識で確実に読み取られることを覚えると、その商品は向きに関係なく読み取られることをレジ係が確信するので、その商品はより速く精算を通すことができる。
上記の特定の実施形態では、精算対象の商品表面の構成パッチの幾何学的姿勢を判別し、それらパッチを描写した画像を処理することにより、パッチがカメラの真正面から提示されたように見える処理画像を得たが、他の実施形態ではこの後者の動作は必要でない。代わりに、判別された姿勢情報を、製品の識別情報を導出するシステムモジュールに提供することができる。そして、そのモジュールでは本来の画像を扱い、その幾何学的に歪んだ状態を予想し、そのような歪みを考慮して識別情報を判別することができる。
本明細書に詳細に記載される実施形態の一部では、製品／包装の構成表面の幾何学的な姿勢情報がカメラ画像から判別される。他の実施では、姿勢情報を他の方法で求めることができる。そのような代替法の１つは、ＭｉｃｒｏｓｏｆｔのＫｉｎｅｃｔセンサ装置を使用して３Ｄ環境を感知するものである。本来のゲームの用途を大きく越えてこの装置の使用を広げるツールが現在広く出回っている。例えば、Ｍｉｃｒｏｓｏｆｔは、プログラマが任意の用途でこのセンサの各種機能を使用できるようにするソフトウェア開発キット（「Ｋｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ（登録商標） ＳＤＫ」）を配布している。Ｋｉｎｅｃｔセンサ向けのオープンソースのドライバがＡｄａｆｒｕｉｔ Ｉｎｄｕｓｔｒｉｅｓ及びＰｒｉｍｅＳｅｎｓｅ，Ｌｔｄから入手可能である。本技術のさらなる態様では、スーパーマーケットの精算所で製品表面の姿勢を評定する際にそのようなセンサを使用する。
一部の他の姿勢評定機構と異なり、Ｋｉｎｅｃｔセンサは、特徴の抽出や特徴の追跡には依拠しない。代わりに、赤外線レーザー投影機で未知の３Ｄ環境に投影され、モノクロのＣＣＤセンサで撮影された既知のパターンの見かけの歪みを感知することによって機能する構造化光スキャナを用いる（測距カメラの一形態）。見かけの歪みから、センサの視野内の各点までの距離が判別される。
Ｍｉｃｒｏｓｏｆｔの研究者が、可動式のＫｉｎｅｃｔセンサを使用して未知の空間のボリュームモデルを生成する例を実証している（Azadi et al, KinectFusion: Real-Time Dynamic 3D Surface Reconstruction and Interaction, Article 23, SIGGRAPH 2011）。このモデルは、センサについての６ＤＯＦ情報を継続的に追跡することに依拠し（例えばＸ方向、Ｙ方向、及びＺ方向の位置、並びにそのピッチ／ロール／ヨーの向きを補助センサで定義する）、その情報を、移動する測距センサシステムから出力される奥行きデータと併せて使用して空間の３Ｄモデルを生成する。センサが移動されるのに応じて、情景及び物体の異なる像が示され、それらの像を統合して発展する３Ｄモデルを得る。
本技術のＫｉｎｅｃｔに関連する実施形態では、センサは通例は移動させない。センサの６ＤＯＦ情報は固定される。代わりに、精算用搬送ベルト上の商品が移動する。商品の動きは、通例は１つの次元であり（搬送ベルトの軸に沿う）、ボリュームモデルの生成を簡略にする。異なる表面がセンサから見えるようになると（搬送ベルトが移動すると）、新たに見えるようになった表面を取り込むようにモデルが更新される。搬送ベルトの速度は物理センサで決定することができ、対応するデータをモデル化システムに提供することができる。
商品の構成表面の姿勢情報を提供するのに加えて、そのような構成は、さらに別の方式の製品識別、すなわちボリューム的な製品外形による識別を提供する。上記のように、既存の製品の中には特徴的な形状を持つものがあり、他の製品の包装を容易に改造して、特徴的な製品の外形を付与することが可能である。そのようなボリュームモデルの生成では、大きさが１ｍｍ程度の小さな特徴も判別することができ、ロゴや他の特徴的なマーキングを盛り上がった浮き出しや凹んだ刻印として製品／包装に提示することができる。商品から得たボリュームデータを精算時に製品識別のために使用することができ、参照となるボリューム製品外形データの一覧と照合する（製品識別のための現行の画像指紋法の使用に似た方式で）。
姿勢の判定及び／又はボリューム的な外形の感知にＫｉｎｅｃｔセンサを使用する実施では、Ｋｉｎｅｃｔ ＲＧＢカメラを、画像を撮影するためのセンサとして使用することができ、その画像から他の製品識別情報が判定される。そのような実施形態では、盛り上がった溝や他の突起物、浮き出したロゴ等のボリュームとして感知可能な特徴を精算用搬送ベルトに付することができる。そのような特徴は、上記の搬送ベルトのマーキングと同様にして使用することができる。
ボリュームモデルの生成は、Ｋｉｎｅｃｔセンサのようなセンサを用いずに行うこともできる。精算用搬送ベルト上の１つ又は複数の商品の２つ以上の異なる像を用いて、描写された（１つ又は複数の）商品の３Ｄモデルを生成することができる。
多くの実施では、ボリュームモデルの生成は製品識別に単独では使用されない。代わりに、上記の複数の特徴を識別する手順の一態様では、手順の構成要素が種々の証拠を判定モジュールに与え、判定モジュールは、１つの識別が最終的な識別として得られるまで種々の製品識別のベイズ仮定を検査する。
上記のように、それら複数の構成要素の出力が判定モジュールに提供され、判定モジュールは、入力情報を総合して、どの製品識別が正しい可能性が最も高いかを判定する。このモジュールは、データベース又は他のデータ構造に記憶された、店舗の商品構成にある製品についての参照情報に依拠することができる。同様に、同様にして記憶された分析の規則に依拠することができる。それらの規則で、状況及び候補の商品識別に応じて、モジュールに種々の入力情報を種々の証拠に関する重みと対応付けさせることができる。
例えば、重量センサが商品の重さが１２オンスであることを示すと、規則は、その商品はドッグフードの４０ポンド入りの袋ではないことの大きな証拠となることを示すことができる。しかし、規則は、その情報が、商品がトウモロコシの缶であるか、又は豆の缶であるかを判定する際にはほとんど有用でないことを示すことができる（そのような判定には、記憶された規則は、色のヒストグラムデータの方が判別に高い有用性を持つことを示すことができる）。同様に、円筒形の箱の温度が氷点下であることが感知された場合は、その商品がアイスクリームの容器であることを裏付ける強い証拠となり、また商品が麦の容器ではないことの否定の証拠となる。
例示的な一実施では、判定モジュールは段階的な分析を行う。最も迅速に行える検査及び／又は単純な検査が最初に行われ、それらの検査を使用して、店舗が扱う全商品から見込みのある商品を多数除外する。例えば、重量計が１ポンドの重量を示す場合には、３ポンド以上の重量を持つ商品はすべて直ちに対象から外すことができる（例えば、６本又は１２本入りのソーダのパックや、大容器入りの液体洗剤、４０ポンド入りのドッグフードの袋等）。例えば、店舗の全商品から１つの商品を識別する可能性のある検査など、判別力の高い検査（デジタル透かしの捕捉データやバーコード情報の分析がこの種の検査にあたる）も段階的処理の初期に適用することができる。
一般に、スーパーマーケットにある製品の少数が販売量の大半を占める。Ｃｏｋｅは精算台で頻繁に見られるのに対し、燻製の牡蠣や一般に知られないエスニックの香辛料はそうではない。精算システムは、販売量の大半を占める製品の認識用に最適化することが望ましい。したがって、例えば、図６の実施形態における分析規則を、最もよく見られる食料商品を最も迅速に識別するように選択し、順序づけることができる。
そのようなシステムは自己学習型とすることができる。新しい製品は、最初は透かしやバーコードなどの明示的な識別子で認識することができる。繰り返しその製品を扱う際に、システムは、画像の指紋、重量、色ヒストグラム、温度等についての情報を収集し、その製品に関連付ける。後に、システムは、元の識別子を参照しなくても商品を認識できるようになる。
段階的な認識システムによっては、分析の一段階で得られたデータを、分析の後の部分の順序を決定する際に使用する。例えば、分析の最初の段階で捕捉された情報（例えば色ヒストグラムデータ）が、当該商品がＤｉｅｔ Ｃｏｋｅ製品の箱である可能性が高いことを示すが、それが６本入りのパックであるか、１２本入りのパックであるかに関しては不確定のままとする。この中間結果により、続く分析では商品の重量を検討させることができる。商品の重量が９〜１０ポンドである場合は、Ｄｉｅｔ Ｃｏｋｅの１２本入りパックである可能性が高いと識別することができる。商品の重量がその半分である場合は、６本入りパックである可能性が非常に高いと識別することができる。（重量が４．５ポンド未満の場合は、最初の識別の仮定が誤りであるの強い証明となる。）
それに対して、最初のヒストグラムで製品がＲｅｅｓｅ製品の箱である可能性が高いが、その箱の中身がアイスクリームバーであるか、ピーナッツバターカップであるかは確定しない場合には、次に温度の検査を考慮すると、確実な商品識別に最も速く達することができる。
判定モジュールにより考慮される規則データは、異なる証明パラメータ及び異なる商品ごとに重み付け値を割り当てる。その値を使用して、仮の製品識別が正しいことを示す進展していく確率論的な確実性を求める。判定モジュールが閾値（例えば９９．９９％）を超える確率論的確実性で製品を識別する充分な証拠を検討した場合には、それ以上の分析は省略され、モジュールはその製品識別を出力し、次いで精算所の次の商品を検討することができる。利用できるすべての証拠が検討され、確実性の閾値が満たされない場合は、その状況を追跡調査のために人間のオペレータに通知することができる（例えば、商品の画像及び／又は他の関連する商品情報を提供する）。
関連する実施では、投票による構成を使用し、異なる識別技術各々が、異なる商品識別に対して仮想的な投票を投じる。一部の識別技術の投票は他の技術よりも重み付けを高くして、それらの技術の識別の粒度又は識別の信頼性が高いことを反映することができる。最も多くの投票を集めた商品識別が採択される。
一部の実施形態では、利用可能なすべての証拠を検討しても確実に識別されない商品を物理的に取り除いて、問題のある商品を人手で調べている間に精算手順を通る後続商品の流れが止まらないようにする。そのような取り除きは、圧縮空気、誘導アーム、又はトラップドアなどの機構で行うことができる。
スマートフォンアプリ（及びスマートフォン及びそのアプリの後継）を、本明細書に詳細に記載されるシステムと（例えばセンサデータの収集やデータ処理の面で）連携し、補助するように構成できることが認識されよう。例えば、買い物客はスマートフォンに買い物リストを保持し、そのリストのデータが（恐らくは買い物客が来店する前に）店舗のコンピュータと共有されて、買い物の体験を支援することができる。（買い物客の電子リストにある商品の項目も、精算のために提示される商品を識別する際に使用できる追加的な証拠となる。実際、リストは、その買い物客の精算商品に含まれる商品に関する最初の識別仮定の適切な集合を含む可能性がある。）
それに関連して、自宅でデータを捕捉し、買い物との関連で使用することができる。例えば、Ｔｕｐｐｅｒｗａｒｅや他の再利用可能な食品容器にセンサを備えて、例えば内容物の重量、化学的性質／匂い、及び外見に関するデータを得ることができる。そのような容器の蓋にあるカメラ／照明で物体認識技術を適用して、種々の製品（例えばポップコーン、砂糖、ナッツ、小麦粉等）を視覚的に区別することができる。既存の容器には、センサを備えた蓋を後から付けることができる。そのような装置は電源自蔵型であっても（例えば電池）、又は別の供給源からの寄生励起に基づいて通電してもよい。そのような装置は、メッシュ又は他のネットワークを介して他の同様の装置又はコンピュータと無線通信する。クッキーの容器がソーシャルネットワーキングに独自の存在を持ち（例えばＦａｃｅｂｏｏｋやＴｗｉｔｔｅｒのアカウント）、人間又は他のデータ消費者に容器の充填レベル、最後に補充されたのはいつか、最後に開けられたのはいつか（及び誰が開けた化）を通知してもよい。そのような監視された食品の製品の在庫が閾値（過去に容器が補充された時の在庫レベルの履歴から決定することができる）を下回ると、その食品商品をユーザの買い物リストに加えることができる。
同様に、ソーシャルネットワークの文脈で、消費者がある食品商品を買い物リストに加えると、又はその商品が消費者の買い物カートに入れられると、その情報をソーシャルネットワークチャンネル（例えばＦａｃｅｂｏｏｋやＴｗｉｔｔｅｒ）で公開することができる。その情報を（消費者の許可を得て）、消費者に売り込みをしたい企業が入手できるようにすることができる。例えば、トニーがＣａｍｐｂｅｌｌスープの缶を買い物リスト又は買い物カートに入れると、その情報、又はその情報に反応する機会をＣａｍｐｂｅｌｌ及びその競合者（例えばＧｅｎｅｒａｌ ＭｉｌｌｓのＰｒｏｇｒｅｓｓｏスープ）に提供することができる。例えば、自動オークションで、それら各企業が、次第に増加していく金額（又は他の報酬）を入札して、どの企業がトニーと対話するか、又は宣伝や調査の目的でトニーの人口統計学的なプロファイルデータの一部を入手できるかを決定することができる。（報酬をトニーと店舗の間で分配してもよい）。対話は、カート又は精算所にある表示画面を介して、又はトニーが携行する携帯機器を介して、又は精算の搬送ベルトに投影された画像等を介して行うことができる。そのような物体に関連する接触を、記憶されているトニーの食料品プロファイルデータのリポジトリに追加してもよく、これは、例えばその後トニーがＧｏｏｇｌｅの検索サービスを使用したり、他の活動に従事したりする際に提示される検索結果（又は検索結果の順序）を調整する際に有用なコンテクスト情報となる。トニーがＧｏｏｇｌｅでレシピを検索した場合（例えば庭で採れた余っているトマトを利用するために）、同じ検索語を入力したが食料品のプロファイルデータが異なるアリスとは違う検索結果が得られる可能性もある。
これらの概念は、トニーが商品をリストやカートに入れた時だけに適用する必要はない。同じ概念を同様にトニーがスーパーマーケットで製品を見ている時にも適用することができる。目の追跡システムを店舗のレイアウトデータと組み合わせると、買い物客の注視を正確に判別して、例えばトニーがＣａｍｐｂｅｌｌのマッシュルームクリームスープが置かれている棚の場所を見ていることを特定することができる。注視の維持時間にも着目することができる。この情報を上記で詳細に述べたように記録、公開、及び／又は他社が入手できるようにし、それに対応する動作をとることができる。
店舗の中は、一定の資格付与水準を満たす買い物客が利用できる、信頼できる買い物客の精算オプションの実施を選択するものもある。そのような水準には、例えば、平均購入額が月に３００ドル以上である、その店舗でのメンバーカードによる買い物歴が少なくとも２年になる、住所が店舗から２マイル以内にある、等が含まれる。信頼性を示す他の標識は、例えば、信用度、職歴、身元調査等の公衆又は私的なデータベースから集めることができる。信頼できる買い物客のオプションは、そのような買い物客は信頼度が高いため、そうでない客よりも迅速に精算させるように設計される。例えば、セルフサービスの精算所では、一般の買い物客を時折不快にさせる警告の一部（「商品は袋詰めエリアに置いて下さい！」等）を、信頼できる買い物客には無効にしてもよい。同様に、製品を機械で識別することを要求する代わりに、買い物客が自分で商品を識別することもできる（例えば、その買い物客がよく購入する商品の一覧から表示されたエントリに軽く触れる、又は購入する商品を示す買い物リストを提出する等により）。資格のある買い物客は、顔認識、カードの読み取り、及び暗証番号（例えばメンバーカードやクレジット／デビットカード）で認証することができる。
特徴の認識
本明細書に詳細に説明される技術の特定の実施では、ロバストな特徴の記述子（例えばＳＩＦＴ、ＳＵＲＦ、及びＯＲＢ）を用いて物体の識別を支援する。
一般に、そのような技術は、１つ又は複数の選択された画像特徴に関して著しい局所的な変動があって、その箇所を特徴的にし、検出しやすくしている、画像中の場所に依拠する。そのような特徴は、輝度、色、テクスチャ等の単純なパラメータ、又はより複雑な尺度（例えばガウス差分）に基づくことができる。そのような各点は、画像中でのその位置、点の向きを示すデータ、又はその位置に関連する情報を表す特徴ベクトルで表すことができる。（ＳＵＲＦの実装で通例使用される特徴ベクトルは６４個のデータからなり、このデータは、対象とする点の周囲に配置された１６個の異なる矩形の画素ブロックごとに輝度勾配情報の４つの値を詳細に示す。）
そのような画像の特徴は、個々の画素（又は画像内のサブ画素の位置）を含むことができるが、上記技術は、通例、隅などの２Ｄ構造に着目するか、正方形の画素領域内の勾配を考慮する。
ＳＩＦＴは「Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ」の頭字語で、Ｄａｖｉｄ Ｌｏｗｅが先導して開発されたコンピュータビジョン技術であり、"Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, 60, 2 (2004), pp. 91-110; and "Object Recognition from Local Scale-Invariant Features," International Conference on Computer Vision, Corfu, Greece (September 1999), pp. 1150-1157を含むＬｏｗｅの各種論文、並びに特許第６，７１１，２９３号に記載される。
ＳＩＦＴは、局所的な画像特徴の識別及び記述と、それに続く検出によって動作する。ＳＩＦＴの特徴は局所的で、特定の対象点における物体の外観に基づき、画像のスケール、回転、及びアフィン変換にロバストである。ＳＩＦＴの特徴は、照明の変化、ノイズ、及び視点の多少の変化にもロバストである。それらの特性に加えて、特徴的であり、比較的容易に抽出することができ、不一致の確率が低い正確な物体の識別を可能にし、局所的な特徴の（大きな）データベースと照合するのが平易である。ＳＩＦＴの特徴の集合による物体の記述は、部分的な隠蔽にもロバストであり、１つの物体から３つのＳＩＦＴの特徴が得られれば、物体の位置及び姿勢を算出するのに十分である。
この技術では最初に参照画像内の局所的な画像の特徴（「主要点」）を識別する。これは、画像をガウスぼかしフィルタでいくつかの異なるスケール（解像度）で畳み込み、ガウスぼかしをかけた連続する画像間の差分を求めることによって行われる。主要点は、複数のスケールで発生するガウス差分の極大値又は極小値を有する画像の特徴である。（ガウス差分フレームの各画素を、同じスケールの隣接する８つの画素及び、それに対応する隣接する各スケールの画素と比較する（例えば９個の他のスケール）。それらの画素すべてで画素値が最大値又は最小値であれば、その画素値が候補主要点として選択される。
（上記の手順は、スケールを局所化した画像のラプラシアン変換の空間スケールの極値を検出するブロブ（blob）検出方法であることが認識されよう。ガウス差分法は、角錐設定で表されたそのようなラプラシアン操作の近似である。）
上記の手順は、通例、適切でない主要点を多く識別する。これは、例えばコントラストが低いため（したがってノイズの影響を受けやすいため）、又はエッジに沿った位置の判定が良好でないためである（ガウス差分関数はエッジに沿って強く反応し、多くの主要点候補を得るが、それらの多くはノイズにロバストでない）。そのような信頼性の低い主要点は、正確な位置、スケール、主要な曲率の比を求めて、近傍データに対して主要点候補の詳細な当てはめを行うことによってふるい落とすことができる。それにより、コントラストが低い主要点、又はエッジに沿った位置の特定が良好でない主要点が却下される。
より詳細には、この処理は、最初に主要点候補ごとに、近傍データを補間して主要点の位置をより正確に求める。これは、しばしば、当該主要点を原点としてテイラー展開によって行われ、極大／極小の位置の精緻化された推定値を求める。
２次のテイラー展開の値を使用して、低コントラストの主要点を識別することもできる。コントラストが閾値（例えば０．０３）未満である場合、その主要点は破棄される。
強いエッジ応答を持つが位置が良好に特定されていない主要点を排除するために、コーナー検出手順の変種を適用する。簡単に説明すると、これは、エッジの両端にわたる主要曲率を算出し、そのエッジに沿った主要曲率と比較するものである。これは、２次のヘッセ行列の固有値について解くことで行われる。
不適当な主要点を破棄すると、残っている主要点の向きを局所的な画像勾配関数で評定する。勾配の大きさ及び方向を、ガウスぼかしをかけた画像の主要点の周囲にある隣接領域のすべての画素について計算する（その主要点のスケールで）。次いで、３６個のビンを持つ向きヒストグラムを集計し、各ビンは１０度分の向きを包含する。近傍にある各画素がヒストグラムに寄与し、寄与は、その勾配の大きさと、主要点のスケールの１．５倍のσを持つガウシアンとで重み付けされる。このヒストグラムのピークが主要点の支配的な向きを定義する。主要点の記述子はこの向きに対して表すことができるため、この向きのデータにより、ＳＩＦＴは回転に対するロバスト性を実現することができる。
前述から、それぞれが対応する向きを持つ、異なるスケールの複数の主要点が識別される。このデータは画像変換、スケール、及び回転に対して不変である。次いで、主要点ごとに１２８個の要素記述子を生成して、照明及び３Ｄ視点に対してロバストになるようにする。
この動作は、上記の向きの評定手順と同様である。主要点の記述子を、隣接する（４×４個の）画素についての向きのヒストグラムのセットとして算出する。向きのヒストグラムは主要点の向きに相対的であり、スケールが主要点のスケールに最も近いガウス画像から向きデータを得る。上記と同様に、各画素の寄与分は、勾配の大きさと、主要点のスケールの１．５倍のσを持つガウシアンで重み付けされる。各ヒストグラムは８個のビンを含み、各記述子は、主要点周囲の１６個のヒストグラムの４×４の配列を含んでいる。その結果、（４×４×８＝１２８個の要素を持つ）ＳＩＦＴ特徴ベクトルが得られる。このベクトルを正規化して、照明の変化に対する不変性を強化する。
前述の手順を訓練画像に適用して参照データベースを構築する。そして、未知の画像を上記のように処理して主要点データを生成し、データベース中で最も一致する画像をユークリッド距離に似た基準で特定する。（通例は、純粋なユークリッド距離の計算の代わりに「ｂｅｓｔ−ｂｉｎ−ｆｉｒｓｔ」アルゴリズムを使用して大きさと速度の数次の向上を実現する。）誤判定を回避するために、最良の一致の距離スコアが、次点の一致の距離スコアに近い（例えば２５％）である場合は、「一致なし」の出力が生成される。
性能をさらに向上させるために、クラスタリングで画像を照合してもよい。それにより、同じ参照画像に属する特徴を識別して、クラスタリングされなかった結果を疑似として破棄することができる。ハフ変換を使用して、同じ物体姿勢を支持する特徴のクラスタを識別することができる。
ＳＩＦＴ手順を行う特定のハードウェア実施形態を詳細に説明した論文の１つは、Bonato et al, "Parallel Hardware Architecture for Scale and Rotation Invariant Feature Detection," IEEE Trans on Circuits and Systems for Video Tech, Vol. 18, No. 12, 2008である。他の記事には、Se et al, "Vision Based Modeling and Localization for Planetary Exploration Rovers," Proc. of Int. Astronautical Congress (IAC), October, 2004がある。
公開特許出願第ＷＯ０７／１３０６８８号は、携帯電話を利用したＳＩＦＴの実装に関し、局所的な記述子の特徴を携帯電話のプロセッサで抽出し、遠隔のデータベースに送信して参照ライブラリと照合する。
ＳＩＦＴは、恐らくは、ロバストな局所的記述子を生成する最もよく知られた技術であるが、他の技術もあり、それらは用途によっては程度の差はあれ適さない場合もある。そのような技術には、GLOH (Mikolajczyk et al, "Performance Evaluation of Local Descriptors," IEEE Trans. Pattern Anal. Mach. Intell., Vol. 27, No. 10, pp. 1615-1630, 2005を参照されたい)、及びSURF (Bay et al, "SURF: Speeded Up Robust Features," Eur. Conf. on Computer Vision (1) , pp. 404-417, 2006を参照されたい)、並びにChen et al, "Efficient Extraction of Robust Image Features on Mobile Devices," Proc. of the 6th IEEE and ACM Int. Symp. On Mixed and Augmented Reality, 2007, 及びTakacs et al, "Outdoors Augmented Reality on Mobile Phone Using Loxel-Based Visual Feature Organization," ACM Int. Conf. on Multimedia Information Retrieval, October 2008がある。ＳＵＲＦの実装で通例使用される特徴ベクトルは６４個からなり、このデータは、対象とする点の周囲に配置された１６個の異なる矩形の画素ブロックごとに輝度勾配情報の４つの値を詳細に示す。）
ＯＲＢの特徴に基づく識別については、例えばCalonder et al, BRIEF: Computing a Local Binary Descriptor Very Fast, EPFL Computer Vision Laboratory Technical Report 2011（IEEE Transactions on Pattern Analysis and Machine Intelligenceに掲載）、Calonder, et al, BRIEF: Binary Robust Independent Elementary Features, ECCV 2010、及び Rublee et al, ORB: an efficient alternative to SIFT or SURF, ICCV 2011等に詳細に記載される。ＯＲＢは、上記のような他の特徴検出技術と同様に、広く用いられるＯｐｅｎＣＶソフトウェアライブラリ（例えばバージョン２．３．１）で実装される。
その他
例示的な特徴及び例を参照して本発明の原理を説明し、例示したが、本技術は上記に限定されないことが認識されよう。
例えば、精算所で行われるものとして説明した感知及び他の処理は、それに加えて、又はそれに代えて、買い物客のカートや店内の通路等の他の場所で実行してもよい。
当然のことながら、センサからのデータは、有線（例えばイーサネット（登録商標））及び無線（例えばＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）等）を含む各種手段でプロセッサに中継することができる。
据え置き型のシステム（例えばＰＯＳ端末）を参照して説明した技術は、代わりに携帯機器の使用を通じて実装することもできる（例えばスマートフォンや頭部装着型の機器）。
説明の便宜上、本明細書の一部箇所では、小売店（例えばスーパーマーケット）が精算部分と買い物部分の２つの主要部分を有することを前提とする。前者は、精算所（ＰＯＳ端末、搬送ベルト、キャッシュドロアー、袋詰め所等の任意の１つ又はすべてを含むことができる）と、それに隣接する買い物客と店員（いる場合）が精算時に立つエリアを含む。後者は、店舗の残りの部分、例えば、商品が置かれている棚、買い物客が購入する物を選択する際に通る通路等を含む。
上記のように、本明細書に詳細に記載される構成の多くは搬送ベルトを利用する実施を参照して説明したが、本技術の実施形態は、手で提示される、又は買い物用カートの一番下に置かれている商品の検査、識別、及び登録にも使用することができる。実際、商品の登録と支払いは従来の精算台で行われる必要はない。代わりに、商品をカート内で（又はカートに入れられる時に）識別し、消費者のスマートフォンを使用して任意の場所で支払いを実行することもできる。
本明細書では、小売の状況で製品の包装から得られる復号透かしデータとの関連で各種技術について論じるが、それらの技術は他の識別技術及び他の用途にも有用であることが認識されよう。
既製の写真測量ソフトウェアを使用して、本明細書に詳細に記載される動作の多くを行うことができる。そのようなソフトウェアには、Ｅｏｓ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＰｈｏｔｏ Ｍｏｄｅｌｅｒ、及びＡｕｔｏＤｅｓｋのＩｍａｇｅ Ｍｏｄｅｌｅｒがある。
同様に、本技術の特定の実施では、既存の画像処理機能ライブラリ（ソフトウェア）を利用する。そのようなソフトウェアには、ＣＭＶｉｓｉｏｎ（カーネギーメロン大学）、ＩｍａｇｅＪ（国立衛生研究所で開発された無償配布可能なＪａｖａ（登録商標）ルーチンパッケージ。例えばen<dot>Wikipedia<dot>org/wiki/ImageJを参照されたい）、及びＯｐｅｎＣＶ（Ｉｎｔｅｌが開発したパッケージ。例えばen<dot>Wikipedia<dot>org/wiki/OpenCV、及び書籍Bradski, Learning OpenCV, O'Reilly, 2008を参照されたい）がある。評価の高い商用のビジョンライブラリパッケージとしては、Ｃｏｇｎｅｘ のＶｉｓｉｏｎ Ｐｒｏ及びＭａｔｒｏｘ Ｉｍａｇｉｎｇ Ｌｉｂｒａｒｙがある。エッジ検出、楕円発見、及び画像のセグメント化は、そのようなソフトウェアパッケージで行う多くの動作の数例である。
一部の実施形態は、圧縮感知技術を用い、有利である。当業者にはよく知られるように、圧縮感知は、大幅に少ないデータセットで画像を表現及び処理することを可能にする。例えば、CandesらのAn Introduction to Compressive Sampling, IEEE Signal Processing Magazine, March, 2008, 10 ppを参照されたい。同様に、公知の計算写真技術も小売の精算所で画像を処理する際に広く有用である。
カメラ及び他のセンサにより捕捉されたデータ（及びそのようなセンサデータから導出された情報）を分析のためにクラウドに照会しても、又は、ローカルのリソースとクラウドリソースに処理を分散してもよい。一部の構成では、ローカル処理に代えて（又は特定のローカル処理を行った後に）クラウド処理を行う。しかし、そのようなデータをクラウドに渡し、クラウドとローカル機器の両方で同時に処理することもある。クラウドリソースは、精算システムの時間とリソースの制約のために現実的に行える分析よりも詳細な情報の分析を担うように構成することができる。より詳細には、クラウドリソースは、センサデータから学習して、例えば、特定のバーコード、透かし、ヒストグラム、画像の特徴、製品の重量、製品温度等の間の相関関係を判別するように構成することができる。その知識を時折ローカル機器にダウンロードし、使用して機器の動作を最適化する。（また、ＧｏｏｇｌｅやＡｍａｚｏｎなどのクラウドサービスの提供者が、センサデータへのアクセスから、例えば消費者の買い物行動の洞察を得る等の他の利益を得ることができる（適切なプライバシーの保護策下で）。その特権を得るために、小売業者に代価を払うことをいとわない場合もあり、新しい収入減をもたらす可能性がある。）
本願明細書ではこの点について詳しく述べていないが、当業者に理解されるように、本明細書に詳細に記載される精算システムは、販売時点（ＰＯＳ）装置の構成要素とすることができ、ＰＯＳ装置は通例、キーボード、ディスプレイ、キャッシュドロアー、クレジット／デビットカード装置等を備える。そして、ＰＯＳ装置は、本店のコンピュータシステムとネットワークで接続され、本店のシステムは通例、ＰＯＳ装置からアクセス可能なデータベースシステムを備える。そして本店のコンピュータシステムは通例、インターネットを介して、又は他の方法で企業のデータ処理システムに接続される。
Ｄａｔａｌｏｇｉｃ、ＮＣＲ、Ｆｕｊｉｔｓｕ等による公知のスーパーマーケット精算システムを、本明細書に詳細に記載される技術の一部又はすべてを組み込むように構成することができる。
上記では画像のセグメント化について言及した。上記で詳細に説明した技術以外の技術が当業者に知られ、それらには閾値処理、クラスタリング法、ヒストグラムを利用する方法、領域拡張法、エッジ検出等がある。
透かしを符号化／復号する技術が、例えばＤｉｇｉｍａｒｃの特許公開第６，９１２，２９５号、第６，７２１，４４０号、第６，６１４，９１４号、第６，５９０，９９６号、第６，１２２，４０３号、及び第２０１００１５０４３４号に詳細に記載される。
スーパーマーケットの精算で使用されるレーザースキャナは、専用の高価格の装置である。それに対して、本技術の特定の実施形態では、ＨＤビデオチャットのアプリケーションでよく使用されるような大量生産される低価格カメラを使用する。（Ｌｏｇｉｔｅｃｈ ＨＤ Ｗｅｂｃａｍ Ｃ６１５は１０８０ｐの映像を撮影することができ、小売価格は１００ドル未満である。）
そのようなカメラは通例、赤外線スペクトルまで反応するセンサを備えるが、そのような反応は通例はＩＲ反射フィルムで阻止される。そのようなセンサをＩＲ遮蔽フィルムなしで使用して、ＩＲと可視光の両方を感知することができる。ここで引用される透かし技術の特許（例えば、第６，９１２，２９５号及び第６，７２１，４４０号）に詳細に記載されるように、ＩＲ感知を使用すると、人間には均一の色に見える領域に透かし及びバーコード情報を符号化することができる。
上記ではＧＰＵについて言及したが、この語は、同時に動作することが可能な複数のハードウェアコアを含む任意の装置を含むものである。例えば、Ｉｎｔｅｌは「多数の内蔵コア（Many Integrated Core）」又は「Ｉｎｔｅｌ ＭＩＣ」という語を使用してそのような種類の装置を表している。最も新しいＧＰＵは、グラフィック処理のために最適化された命令セットを有する。ＡｐｐｌｅのｉＰｈｏｎｅ４機器ではＰｏｗｅｒＶＲ ＳＧＸ ５３５ ＧＰＵを使用している（システムオンチップ構成で含まれるか、又は他のデバイスと共に含まれる）。
本技術についてはスーパーマーケットの精算における実施の文脈で説明したが、本技術は、郵便や宅配便小包の仕分けを含む他の用途でも使用できることが認識されよう。
一部の実施形態では、ワイヤレスのＰＤＡのような機器を１つ又は複数の固定カメラと併用して、精算所から画像を収集する。通例、ワイヤレス機器は店員によって操作されるが、それに代えて、買い物客が所有し、操作するスマートフォンをこの役割で使用してもよい。最新のスマートフォン（例えばＨＴＣ ＰＤ２９１００）には複数のカメラを備えるものがあり、そのカメラを本明細書に詳細に記載される構成で有利に使用することができる。
上記で引用したＨＴＣモデルの他に、特に企図されるスマートフォンには、ＡｐｐｌｅのｉＰｈｏｎｅ４、及びＧｏｏｇｌｅのＡｎｄｒｏｉｄ（登録商標）仕様に準拠したスマートフォン（例えばＨＴＣ社により製造されるＶｅｒｉｚｏｎ Ｄｒｏｉｄ Ｅｒｉｓ電話機、及びＭｏｔｏｒｏｌａ Ｄｒｏｉｄ ４電話機）。
（タッチインターフェースを含むｉＰｈｏｎｅの詳細は、Ａｐｐｌｅの特許出願公開第２００８０１７４５７０号で得られる。）
本技術の実装で使用されるコンピュータシステムの設計は当業者にはよく知られている。一般的には、各コンピュータシステムは、１つ又は複数のプロセッサ、１つ又は複数のメモリ（例えばＲＡＭ）、記憶装置（例えばディスクやフラッシュメモリ）、ユーザインターフェース（例えば、キーパッド若しくはキーボード、ＴＦＴ ＬＣＤ若しくはＯＬＥＤ表示画面、タッチセンサ又は他のジェスチャセンサ、カメラ若しくは他の光学センサ、コンパスセンサ、３Ｄ 磁力計、３軸加速度計、３軸ジャイロスコープ、１つ又は複数のマイクロフォン等を、グラフィックユーザインターフェースを提供するためのソフトウェア命令と共に含むことができる）、それら要素間の相互接続（例えばバス）、及び他の機器と通信するためのインターフェース（ＧＳＭ（登録商標）、ＣＤＭＡ、Ｗ−ＣＤＭＡ、ＣＤＭＡ２０００、ＴＤＭＡ、ＥＶ−ＤＯ、ＨＳＤＰＡ、ＷｉＦｉ、ＷｉＭａｘ（登録商標）、若しくはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線、及び／又はローカルエリアネットワーク、Ｔ−１インターネット接続等を通じた有線とすることができる）。
本明細書に詳細に記載される処理及びシステム構成要素は、各種のプログラム可能プロセッサのための汎用プロセッサ命令を含む、コンピューティング機器の命令として実施することができ、そのようなプロセッサには、マイクロプロセッサ（例えばＡｔｏｍ及びＡ４）、グラフィック処理装置（ｎＶｉｄｉａ Ｔｅｇｒａ ＡＰＸ ２６００等のＧＰＵ）、並びにデジタル信号プロセッサ（例えばＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ ＴＭＳ３２０シリーズの機器など）が含まれる。そのような命令は、ソフトウェア、ファームウェア等として実装することができる。そのような命令は、各種形態のプロセッサ回路として実装することもでき、そのようなプロセッサ回路には、デジタル、アナログ、及びアナログ／デジタル混合型の回路を含む、プログラム可能ロジックデバイス、利用者書き換え可能ゲートアレイ（例えばＸｉｌｉｎｘ Ｖｉｒｔｅｘシリーズの機器）、利用者書き換え可能オブジェクトアレイ、及び特定用途向け回路が含まれる。命令の実行は、プロセッサ間に分散させるか、及び／又は１つの機器内のプロセッサ若しくは機器のネットワークにまたがって並行とすることができる。コンテンツ信号データの処理も、種々のプロセッサ及びメモリ装置間に分散させることができる。上記のように、「クラウド」のコンピューティングリソースも使用することができる。「プロセッサ」、「モジュール」、又は「構成要素」の言及は、特定携帯のソフトウェア及び／又はハードウェア実装を要求するのではなく、機能性を意味するものと理解されたい。
本明細書に詳細に記載される機能を実装するソフトウェア命令は、本明細書に提供される説明から、当業者であれば過度の実験を行わずに作製することができ、例えば、Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｊａｖａ（登録商標）、Ｐｙｔｈｏｎ、Ｔｅｌ、Ｐｅｒｌ、Ｓｃｈｅｍｅ、Ｒｕｂｙ等で書くことができる。本技術の特定の実装では、異なる機能及び動作を行うために異なるソフトウェアモジュールを使用することができる。
ソフトウェア及びハードウェア構成のデータ／命令は、通例、ネットワークを介してアクセスできる場合もある、磁気又は光ディスク、メモリカード、ＲＯＭ等の有形の媒体に担持される１つ又は複数のデータ構造に命令として記憶される。一部の実施形態は組み込みシステムとして実施することができ、これは、オペレーティングシステムソフトウェアとアプリソフトウェアの区別がユーザにつかない（これは例えばベーシックな携帯電話の場合に一般的である）特殊目的のコンピュータシステムである。本明細書に詳細に記載される機能は、オペレーティングシステムソフトウェア、アプリケーションソフトウェア、及び／又は組み込みシステムのソフトウェアとして実装することができる。
上記のように、異なる機能を異なる機器で実装することができる。例えば、特定の画像処理動作は精算台のコンピュータシステムで行い、他の画像処理動作は、「クラウド」のコンピュータで行うことができる。
（同様にして、データも任意の場所に記憶することができる。ローカル機器、ネットワーク接続された遠隔の機器、クラウド、そのような機器間に分散する等。）
上記の情報源を含む本開示から、当業者は、過度の実験を行うことなく本技術の実施形態を実施することができる。
本技術の特定の態様について例示的方法を参照して説明したが、そのような方法の動作を行うように構成された装置も、出願人の発明品の一部として企図されることが認識されよう。同様に、他の態様について例示的な装置を参照して説明し、そのような装置によって行われる方法論も同様に本技術の範囲内にある。さらに、そのような方法を行うようにプロセッサ又は他のプログラム可能なシステムを構成する命令を保持した有形コンピュータ可読媒体も明示的に企図される。
プレノプティックカメラは、例えば、Ｌｙｔｒｏ，Ｉｎｃ．、Ｐｅｌｉｃａｎ Ｉｍａｇｉｎｇ Ｃｏｒｐ．、及びＲａｙｔｒｉｘ，ＧｍｂＨから入手することができる。各社の研究の一部は、特許公開第２０１１０１２２３０８号、第２０１１００８０４８７号、第２０１１００６９１８９号、第２００７０２５２０７４号、第２００８０２６６６５５号、第２０１０００２６８５２号、第２０１００２６５３８５号、第２００８０１３１０１９号、及びＷＯ／２０１０／１２１６３７に詳細に記載される。Ａｄｏｂｅ Ｓｙｓｔｅｍｓのように、主要な消費者無形カメラメーカーもそのような製品を試作していると思われる。この分野のＡｄｏｂｅの研究の一部は、特許第７，６２０，３０９号、第７，９４９，２５２号、第７，９６２，０３３号に詳細に記載される。
当業者は時に、プレノプティックセンサ、光照射野センサ、放射輝度カメラ、及び多開口センサを区別することができる。本明細書ではこれらの用語を同義で使用し、各用語はその他の用語を包含するものと解釈すべきである。
撮像装置を組み込んだスーパーマーケットの精算所向けの技術が、米国特許文献第２００４０１９９４２７号、第２００４０２２３６６３号、第２００９０２０６１６１号、第２００９００９０５８３号、第２０１００００１０７５号、第４，６５４，８７２号、第７，３９８，９２７号、及び第７，９５４，７１９号に示される。スーパーマーケットの精算及び物体識別のためのさらなる技術が、この分野の先導者であるｄａｔａｌｏｇｉｃに所有される以下の特許公開、第２００７００８４９１８号、２００６０１４７０８７号、２００６０２４９５８１号、２００７０２６７５８４号、２００７０２８４４４７号、２００９０１５２３４８号、２０１０００５９５８９号、２０１００２１３２５９号、２０１００２１７６７８号、２０１００１５８３１０号、２０１００１２３００５号、２０１００１６３６２８号、及び２０１０００１３９３４号に詳細に記載される。
本開示には各種技術を詳細に記載する。説明を分かりやすくするために、それらの技術は別々に説明している。ただし、それらの技術は共に使用できることが認識されよう。そのような各組み合わせは逐一詳細には説明しないが、それらの技術がそのように組み合わせられることは本出願人の意図するところである。
同様に、本開示では動作の特定の順序及び要素の特定の組み合わせを詳細に説明したが、企図される他の方法では動作の順序を変えても（可能性としては動作の一部を省略し、他の動作を追加する）、企図される他の組み合わせでは一部の要素を省略し、他の要素を追加等してもよいことが認識されよう。
完全なシステムとして開示されるが、本明細書に詳細に記載される構成のサブコンビネーションも別途企図される。
当業者は、例えば、異なる視点から撮影された画像を使用して３Ｄモデルを構築することに関するもの等、本技術の各種実施で有用な他の文献に精通しているであろう。その例には、Ｓｎａｖｅｌｙの博士論文である"Scene Reconstruction and Visualization from Internet Photo Collections", University of Washington, 2008、及びＳｎａｖｅｌｙの公開特許出願第２００７０１１０３３８号がある。これらの文献は、例えば、「ｓｔｒｕｃｔｕｒｅ ｔｈｒｏｕｇｈ ｍｏｔｉｏｎ」法、及び異なる画像中の対応する画像特徴をどのように識別することができるか、及びそれにより２つの画像の形状寸法をどのように空間的に関係づけることができるかを教示する。
Ｗｉｋｉｐｅｄｉａの記事「Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ」は、そのような技術について追加的な情報を提供し、いくつかのそのようなソフトウェアパッケージへのリンクを含む。そのようなパッケージには、Ｖｉｎｃｅｎｔ ＲａｂａｕｄによるＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎツールボックス、Ａｎｄｒｅｗ ＺｉｓｓｅｒｍａｎｎによるＭａｔｌａｂ Ｆｕｎｃｔｉｏｎｓ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ、Ｐｈｉｌ ＴｏｒｒによるＳｔｒｕｃｔｕｒｅ ａｎｄ Ｍｏｔｉｏｎ Ｔｏｏｌｋｉｔ、及びＶｏｏｄｏｏ Ｃａｎｅｒａ Ｔｒａｃｋｅｒ（ハノーファー大学で開発された現実の情景と仮想的な情景を統合するツール）がある。
そのような方法は、同時位置特定及びマッピング（ＳＬＡＭ）の研究からも知られる。ＳＬＡＭに関する論文の１つが、Ｄｕｒｒａｎｔ−ＷｈｙｔｅらのSimultaneous Localisation and Mapping (SLAM): Part I The Essential Algorithms, and Part II State of the Art, IEEE Robotics and Automation, Vol. 13, No. 2 (pp. 99-110) and No. 3 (pp. 108-117), 2006で得られる。モバイル機器のＣＰＵ／ＧＰＵでも動作するように構成されたＳＬＡＭの一実装が１３ｔｈ Ｌａｂ， ＡＢから入手することができる。
ＳＬＡＭのオープンソースの実装が広く利用可能であり、多くがOpenSLAM<dot>otg.に集められている。他には、ＣＡＳ Ｒｏｂｏｔ Ｎａｖｉｇａｔｉｏｎ Ｔｏｏｌｂｏｘ（www<dot>cas<dot>kth<dot>se/toolbox/index<dot>html）、ＥＫＦ−ＳＬＡＭ、ＵＫＦ−ＳＬＡＭ、及びＦａｓｔＳＬＡＭ １．０及び２．０向けのＭａｔｌａｂシミュレータ（www<dot>acfr<dot>usyd<dot>edu<dot>au/homepages/academic/tbailey/software/index<dot>html）、Ｓｃｅｎｅ（www<dot>doc<dot>ic<dot>ac<dot>uk/〜ajd/Scene/index<dot>html）、及びＣ言語のグリッドベースバージョンのＦａｓｔＳＬＡＭ（www<dot>informatik<dot>uni-freiburg<dot>de/〜haehnel/old/download<dot>html）がある。（この文章がブラウザ等でハイパーリンク形態で表示されないように＜ｄｏｔ＞の表記慣習を使用する。）
ＳＬＡＭは、独自の参照フレームの定義することから、校正されていない環境で使用するのに適する。したがって、手持ち型の読み取り機器（例えばコード式のハンドスキャナやワイヤレススマートフォン）を用いる本技術の実施形態は特にＳＬＡＭ法と共に使用するのに適する。
複数の画像から３Ｄ情報を生成する他の構成が、特許公開第２００４０２５８３０９号、２００５０２３８２００号、２０１００１８２４０６号、２０１００３１９１００号、６，１３７，４９１号、６，２７８，４６０号、６，７６０，４８８号、及び７，３５２，３８６号に詳細に記載される。関連する情報が、２０１１年４月１５日に出願された出願人の係属出願第１３／０８８，２５９号に詳細に記載される。
透視図法の記事については、Ｗｉｋｉｐｅｄｉａの記事「３Ｄ Ｐｒｏｊｅｃｔｉｏｎ」を参照されたい。Ｗｉｋｉｐｅｄｉａの「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａｓ」及び「Ｌｉｇｈｔ Ｆｉｅｌｄ」に関する記事でそれらの技術についての追加的な情報が得られる。
（上記で引用した非特許文献の写しを出願第１３／２３１，８９３号に付録として添付している。）
結論
本明細書には各種の実施形態を詳細に記載する。ある実施形態との関係で記載される方法、要素、及び概念は、他の実施形態との関連で記載される方法、要素、及び概念と組み合わせることが可能であることを理解されたい。そのような構成のいくつかを詳細に説明したが、置換及び組み合わせの数が多数あるため多くは記載していない。ただし、そのようなすべての組み合わせは、ここに提供される教示から当業者には平易に実施することができる。
事例によっては特徴及び構成を個々に説明したが、発明者らは、それらが共に使用されることも企図する。逆に、特定の方法及びシステムは複数の特徴を含むものとして詳細に説明したが、発明者らは、他の実施形態では、個々の特徴は単独で使用可能であることを構想する。
本明細書は、引用文献（読者が精通していることを前提とする）の文脈で読まれたい。そのような引用文献は、本技術の特定の実施形態に組み込まれ、また本明細書に詳細に記載される技術及び教示が組み込まれることを出願人が意図する技術及び教示を開示する。
例えば、ある引用文献は、鏡及び他の光学部品と併せて単一の画像センサを使用することにより、２つ以上の異なる視野から物体の画像を撮影できることを教示する（２つ以上の異なるカメラを使用するのに対して）。そのような構成の一部では、長さが選択的な光学部品（例えばダイクロイックミラー）を使用することにより、２つの異なる画像を１つのセンサの共通の画素要素に投影することができ、２つの異なる画像を異なる色チャンネルで別個に処理することを可能にする。他のそのような構成では、鏡を使用して、異なる視点からの画像を、共通のセンサの矩形の各部分領域に投影する。さらに、他の従来技術は、色（ＲＧＢ）画像センサを使用して物体の画像を撮影することができるが、物体の識別は、１つの色（例えばヒストグラム中で最も高い分散を示す色）の画素だけを使用して進めることができることを教示する。当業者は、引用技術で教示されるそれら及びすべての他の構成は、本明細書に記載される方法及び特徴を利用することができ、その逆も可能であることを認識されよう。
法令で要求される簡潔さの要件に従いながら広範な開示を提供するために、出願人は、本明細書で参照する各文献を参照により援用する。（そのような資料は、上記では特定の教示との関連で引用していても、全体が援用される。）
上記で論じた原理及び特徴を適用できる各種実施形態に鑑みて、ここに詳細に記載される実施形態は単に例示的なものであり、本発明の範囲を限定するものと解釈すべきでないことが明らかであろう。添付の特許請求の範囲及びその均等物の範囲及び趣旨内にあり得るそのようなすべての変形例を本発明として請求する。

Claims (18)

  1. 小売店内のＰＯＳシステム用スキャナを用いた方法であって、
    (a)前記ＰＯＳシステム用スキャナを使用する人を識別するデータを受け取るステップと、
    (b)前記ＰＯＳシステム用スキャナが、識別された人によって使用されている間に、前記ＰＯＳシステム用スキャナに提示された商品を表す画像を取り込むステップと、
    (c)最初に第１の人が前記ＰＯＳシステム用スキャナを使用しているときに、取り込まれた画像に第１の歪み打消しを適用して第１の歪み打消し画像を生成するステップと、
    (d)次に第２の人が前記ＰＯＳシステム用スキャナを使用しているときに、取り込まれた画像に、第１の歪み打消しとは異なる第２の歪み打消しを適用して第２の歪み打消し画像を生成するステップと、
    (e)歪み打消し画像に対し復号処理を行って商品ＩＤを判定するステップと、
    を備え、
    前記ＰＯＳシステム用スキャナに商品を提示した人に応じて異なる歪み打消しが、取り込まれた画像に適用される、
    方法。
  2. 前記方法は、取り込まれた１つの画像に対し複数の異なる歪み打消しのセットが適用され、複数の異なる歪み打消し画像のセットが生成され、該セットの歪み打消し画像それぞれに対し復号処理が行われる方法であって、
    前記方法は、
    最初に第１の人が前記ＰＯＳシステム用スキャナを使用しているときに、取り込まれた画像に第１の歪み打消しのセットを適用するステップと、
    次に第２の人が前記ＰＯＳシステム用スキャナを使用しているときに、取り込まれた画像に、第１の歪み打消しのセットとは異なる第２の歪み打消しのセットを適用するステップと、
    を含む、請求項１に記載の方法。
  3. 前記方法は、ＧＰＵチップの第１のコアを用いて各セットの第１の歪み打消しを適用し、ＧＰＵチップの第２のコアを用いて各セットの第２の歪み打消しを適用する、
    請求項２に記載の方法。
  4. 前記方法は、前記(a)〜(e)のステップの前に実行される、
    前記第１の人および前記第２の人による前記ＰＯＳシステム用スキャナの使用に関する履歴データを収集するステップと、
    前記ＰＯＳシステム用スキャナが前記第１の人により使用されているときに、ＩＤの復号前に、前記ＰＯＳシステム用スキャナにより取り込まれた画像に適用されるべき第１の歪み打消しを、収集された履歴データから判定するステップと、
    前記ＰＯＳシステム用スキャナが前記第２の人により使用されているときに、ＩＤの復号前に、前記ＰＯＳシステム用スキャナにより取り込まれた画像に適用されるべき第２の歪み打消しを、収集された履歴データから判定するステップと、
    を備える請求項１に記載の方法。
  5. 前記収集された履歴データに基づいて、ヒストグラムデータを生成するステップ、
    を備える請求項４に記載の方法。
  6. 前記復号処理は、電子透かし復号処理を含む、
    請求項１に記載の方法。
  7. 前記復号処理は、電子透かし復号処理とバーコード復号処理の両方を含む、
    請求項６に記載の方法。
  8. 前記人は、小売店の従業員である、
    請求項１に記載の方法。
  9. 前記人は、小売店の客である、
    請求項１に記載の方法。
  10. 前記商品は、コンベヤーによって、前記ＰＯＳシステム用スキャナの前に位置付けられる、
    請求項１に記載の方法。
  11. 前記商品は、識別された人によって、前記ＰＯＳシステム用スキャナの前に保持される、
    請求項１に記載の方法。
  12. 小売店内で使用されるＰＯＳシステム用スキャナであって、
    小売店で会計時に提示される商品の画像を取り込むカメラと、
    取り込まれた画像に歪み打消しを適用し、歪み打消しを適用した画像に対し復号処理を行って前記商品のＩＤ情報を得るプロセッサと、
    を備え、
    前記プロセッサは、さらに、
    前記ＰＯＳシステム用スキャナが第１のオペレータにより使用される場合に第１の歪み打消しを適用し、前記ＰＯＳシステム用スキャナが第２のオペレータにより使用される場合に第１の歪み打消しとは異なる第２の歪み打消しを適用するよう構成されている、
    ＰＯＳシステム用スキャナ。
  13. 前記プロセッサは、取り込まれた１つの画像に複数の歪み打消しのセットを適用し、複数の歪み打消しのセットが適用された画像に対し復号処理を行って前記商品のＩＤ情報を得るよう構成され、
    前記プロセッサは、前記ＰＯＳシステム用スキャナが第１のオペレータにより使用される場合に第１の歪み打消しのセットを適用し、前記ＰＯＳシステム用スキャナが第２のオペレータにより使用される場合に第２の歪み打消しを適用するよう構成されている、
    請求項１２に記載のＰＯＳシステム用スキャナ。
  14. 前記プロセッサは、マルチコアのＧＰＵを含み、
    前記ＰＯＳシステム用スキャナは、
    ＧＰＵの第１のコアを用いて、取り込まれた画像に第１の歪み打消しのセットを適用し、
    ＧＰＵの第２のコアを用いて、取り込まれた画像に第２の歪み打消しのセットを適用する、
    請求項１３に記載のＰＯＳシステム用スキャナ。
  15. 前記復号処理は、電子透かし復号処理を含む、
    請求項１２に記載のＰＯＳシステム用スキャナ。
  16. 前記復号処理は、電子透かし復号処理とバーコード復号処理の両方を含む、
    請求項１５に記載のＰＯＳシステム用スキャナ。
  17. 小売店で購入のために提示された商品の画像を取り込み、取り込まれた画像から商品ＩＤを復号するＰＯＳシステム用スキャナ、を用いた方法であって、
    (a)異なる複数のユーザによる前記ＰＯＳシステム用スキャナの使用に関する履歴データを収集するステップと、
    (b)前記ＰＯＳシステム用スキャナが第１の人により使用されているときに、ＩＤの復号前に、前記ＰＯＳシステム用スキャナにより取り込まれた画像に適用されるべき第１の歪み打消しを、収集された履歴データから判定するステップと、
    (c)前記ＰＯＳシステム用スキャナが第２の人により使用されているときに、ＩＤの復号前に、前記ＰＯＳシステム用スキャナにより取り込まれた画像に適用されるべき、第１の歪み打消しとは異なる第２の歪み打消しを、収集された履歴データから判定するステップと、
    を備える方法。
  18. 前記方法は、前記(a)〜(c)のステップの後に実行される、
    前記ＰＯＳシステム用スキャナを使用する人を識別するデータを受け取るステップと、
    前記ＰＯＳシステム用スキャナが、識別された人によって使用されている間に、前記ＰＯＳシステム用スキャナに提示された商品を表す画像を取り込むステップと、
    最初に第１の人が前記ＰＯＳシステム用スキャナを使用しているときに、取り込まれた画像に第１の歪み打消しを適用して第１の歪み打消し画像を生成するステップと、
    次に第２の人が前記ＰＯＳシステム用スキャナを使用しているときに、取り込まれた画像に第２の歪み打消しを適用して第２の歪み打消し画像を生成するステップと、
    歪み打消し画像に対し復号処理を行って商品ＩＤを判定するステップと、
    を備え、
    前記ＰＯＳシステム用スキャナに商品を提示した人に応じて異なる歪み打消しが、取り込まれた画像に適用される、
    請求項１７に記載の方法。
JP2014528612A 2011-08-30 2012-08-30 物体を識別する方法及び機構 Active JP5984096B2 (ja)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US201161529214P 2011-08-30 2011-08-30
US61/529,214 2011-08-30
US201161531525P 2011-09-06 2011-09-06
US61/531,525 2011-09-06
US201161533079P 2011-09-09 2011-09-09
US61/533,079 2011-09-09
US13/231,893 US9033238B2 (en) 2011-08-30 2011-09-13 Methods and arrangements for sensing identification information from objects
US13/231,893 2011-09-13
US201161537523P 2011-09-21 2011-09-21
US61/537,523 2011-09-21
US201161540455P 2011-09-28 2011-09-28
US61/540,455 2011-09-28
US201161544996P 2011-10-07 2011-10-07
US61/544,996 2011-10-07
US201261693225P 2012-08-24 2012-08-24
US61/693,225 2012-08-24
PCT/US2012/053201 WO2013033442A1 (en) 2011-08-30 2012-08-30 Methods and arrangements for identifying objects

Publications (3)

Publication Number Publication Date
JP2014531636A JP2014531636A (ja) 2014-11-27
JP2014531636A5 JP2014531636A5 (ja) 2015-10-01
JP5984096B2 true JP5984096B2 (ja) 2016-09-06

Family

ID=47756885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014528612A Active JP5984096B2 (ja) 2011-08-30 2012-08-30 物体を識別する方法及び機構

Country Status (3)

Country Link
EP (1) EP2751748B1 (ja)
JP (1) JP5984096B2 (ja)
WO (1) WO2013033442A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI760916B (zh) * 2019-11-06 2022-04-11 美商奈米創尼克影像公司 用於工廠自動化生產線之製造系統
US12111922B2 (en) 2020-02-28 2024-10-08 Nanotronics Imaging, Inc. Method, systems and apparatus for intelligently emulating factory control systems and simulating response data
US12111923B2 (en) 2019-10-08 2024-10-08 Nanotronics Imaging, Inc. Dynamic monitoring and securing of factory processes, equipment and automated systems

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US9129277B2 (en) 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US9033238B2 (en) 2011-08-30 2015-05-19 Digimarc Corporation Methods and arrangements for sensing identification information from objects
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US8854633B2 (en) 2012-06-29 2014-10-07 Intermec Ip Corp. Volume dimensioning system and method employing time-of-flight camera
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US9224184B2 (en) 2012-10-21 2015-12-29 Digimarc Corporation Methods and arrangements for identifying objects
WO2014099685A1 (en) * 2012-12-17 2014-06-26 Illinois Tool Works Inc. Rotatable fastener verification
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US10176456B2 (en) 2013-06-26 2019-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
US10268983B2 (en) 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
US10176513B1 (en) 2013-06-26 2019-01-08 Amazon Technologies, Inc. Using gestures and expressions to assist users
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
CN106408800B (zh) * 2013-07-16 2019-04-19 东芝泰格有限公司 信息处理装置及其控制方法
US9521291B2 (en) 2013-07-19 2016-12-13 Digimarc Corporation Feature-based watermark localization in digital capture systems
US9594983B2 (en) 2013-08-02 2017-03-14 Digimarc Corporation Learning systems and methods
US9464885B2 (en) * 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
JP6151141B2 (ja) 2013-09-18 2017-06-21 株式会社東芝 仕分装置および仕分方法
US9916561B2 (en) 2013-11-05 2018-03-13 At&T Intellectual Property I, L.P. Methods, devices and computer readable storage devices for tracking inventory
US9704295B2 (en) 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
WO2015125478A1 (ja) * 2014-02-24 2015-08-27 日本電気株式会社 物体検出装置、ｐｏｓ端末装置、物体検出方法、プログラム及びプログラム記録媒体
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9716807B2 (en) 2014-10-13 2017-07-25 Digimarc Corporation Methods for estimating watermark signal strength, an embedding process using the same, and related arrangements
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US10091015B2 (en) 2014-12-16 2018-10-02 Microsoft Technology Licensing, Llc 3D mapping of internet of things devices
WO2016135142A1 (en) * 2015-02-23 2016-09-01 Pentland Firth Software GmbH System and method for the identification of products in a shopping cart
US9892301B1 (en) 2015-03-05 2018-02-13 Digimarc Corporation Localization of machine-readable indicia in digital capture systems
US20180293635A1 (en) * 2015-03-16 2018-10-11 Nec Corporation System, image recognition method, and recording medium
JP7540820B2 (ja) * 2015-03-31 2024-08-27 日本電気株式会社 情報処理装置及び制御方法
US10198648B1 (en) 2015-04-10 2019-02-05 Digimarc Corporation Decoding 1D-barcodes in digital capture systems
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US9690967B1 (en) 2015-10-29 2017-06-27 Digimarc Corporation Detecting conflicts between multiple different encoded signals within imagery
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
JPWO2017085771A1 (ja) * 2015-11-16 2018-09-20 富士通株式会社 精算支援システム、精算支援プログラム、及び精算支援方法
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10262176B1 (en) 2016-02-23 2019-04-16 Digimarc Corporation Scanner with control logic for resolving package labeling
CN109643318B (zh) * 2016-04-14 2023-07-14 艾德计算机运作与贸易股份公司 商标图像的基于内容的搜索和检索
EP4410155A1 (en) * 2016-05-09 2024-08-07 Grabango Co. System and method for computer vision driven applications within an environment
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
JP6168632B1 (ja) * 2016-07-14 2017-07-26 Ｎｅｃプラットフォームズ株式会社 袋詰め表示システム、サーバ、袋詰め表示方法、及び袋詰め表示用プログラム
CN106295735B (zh) * 2016-07-22 2022-10-21 纷美(北京)贸易有限公司 通过推算获取码信息的方法及装置
US10380767B2 (en) * 2016-08-01 2019-08-13 Cognex Corporation System and method for automatic selection of 3D alignment algorithms in a vision system
US10198782B1 (en) 2016-09-15 2019-02-05 Digimarc Corporation Detecting conflicts between multiple different encoded signals within imagery
WO2018057459A1 (en) * 2016-09-20 2018-03-29 Walmart Apollo, Llc Systems and methods for autonomous item identification
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
JP6862888B2 (ja) * 2017-02-14 2021-04-21 日本電気株式会社 画像認識装置、システム、方法およびプログラム
US11367266B2 (en) 2017-02-14 2022-06-21 Nec Corporation Image recognition system, image recognition method, and storage medium
US10198651B2 (en) 2017-02-16 2019-02-05 Toshiba Tec Kabushiki Kaisha Article recognition apparatus, settlement apparatus and article recognition method
JP6915314B2 (ja) * 2017-03-09 2021-08-04 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP6837880B2 (ja) * 2017-03-15 2021-03-03 株式会社東芝 画像処理装置、画像処理システム、画像処理方法、およびプログラム
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
CN107102794B (zh) * 2017-04-27 2020-08-11 武汉数文科技有限公司 操作处理方法及装置
WO2018207282A1 (ja) * 2017-05-10 2018-11-15 富士通株式会社 対象物認識方法、装置、システム、プログラム
JP6342039B1 (ja) * 2017-06-06 2018-06-13 株式会社 ディー・エヌ・エー 商品を管理するためのシステム、方法、及びプログラム
US20190005481A1 (en) * 2017-06-28 2019-01-03 Ncr Corporation Combined scanner and point-of-sale (pos) terminal
EP3422278A1 (en) * 2017-06-29 2019-01-02 MTG Co., Ltd. Commercial product size determination device and commercial product size determination method
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
CN109409175B (zh) * 2017-08-16 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和系统
JP6646026B2 (ja) * 2017-10-16 2020-02-14 ファナック株式会社 作業システム、物品に対する作業実施方法、およびロボット
EP3474184A1 (en) * 2017-10-20 2019-04-24 Checkout Technologies srl Device for detecting the interaction of users with products arranged on a stand or display rack of a store
EP3474183A1 (en) * 2017-10-20 2019-04-24 Checkout Technologies srl System for tracking products and users in a store
US10469250B2 (en) 2017-12-22 2019-11-05 Max Adel Rady Physical item mapping to blockchain framework
CN111492387B (zh) * 2017-12-22 2024-07-26 麦克斯·阿戴尔·雷迪 物理项映射到区块链的框架
US10885336B1 (en) 2018-01-13 2021-01-05 Digimarc Corporation Object identification and device communication through image and audio signals
US10957072B2 (en) 2018-02-21 2021-03-23 Cognex Corporation System and method for simultaneous consideration of edges and normals in image features by a vision system
JP6884719B2 (ja) * 2018-02-23 2021-06-09 ソフトバンク株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10880451B2 (en) 2018-06-08 2020-12-29 Digimarc Corporation Aggregating detectability metrics to determine signal robustness
CN110163406B (zh) * 2018-08-27 2020-12-04 国网江苏省电力有限公司物资分公司 人工智能线缆盘装车货位动态分配方法
KR20210092720A (ko) * 2018-09-21 2021-07-26 포지션 이미징 인코포레이티드 기계 학습 보조된 자기 개선형 객체 식별 시스템 및 방법
WO2020061522A1 (en) * 2018-09-21 2020-03-26 Fellow, Inc. Methods and apparatus for wireless inventory determinations
CN109523627B (zh) * 2018-10-24 2023-07-18 重庆大学 一种基于泰勒指数表达式型面结构光的三维重建方法
US20220007689A1 (en) 2018-11-16 2022-01-13 Breville USA, Inc. Estimating a characteristic of a food item
CN111222870B (zh) * 2019-01-24 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和系统
US11250535B1 (en) 2019-02-08 2022-02-15 Digimarc Corporation Detecting conflicts between multiple different encoded signals within imagery, using only a subset of available image data, and robustness checks
US10789438B1 (en) 2019-02-08 2020-09-29 Digimarc Corporation Detecting conflicts between multiple different encoded signals within imagery, using only a subset of available image data
US10586082B1 (en) 2019-05-29 2020-03-10 Fellow, Inc. Advanced micro-location of RFID tags in spatial environments
JP7264747B2 (ja) * 2019-06-27 2023-04-25 株式会社クボタ 屈曲角の算出方法および算出装置
CN112184751B (zh) * 2019-07-04 2024-10-01 虹软科技股份有限公司 物体识别方法及系统、电子设备
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11435756B2 (en) * 2019-12-01 2022-09-06 Nvidia Corporation Visual odometry in autonomous machine applications
US11704767B2 (en) * 2020-07-31 2023-07-18 Spot Vision Llc Texture extraction
JP2022086892A (ja) * 2020-11-30 2022-06-09 ブラザー工業株式会社 情報処理装置、および、情報処理方法
JP2022132770A (ja) * 2021-03-01 2022-09-13 東芝テック株式会社 セルフ式商品販売データ処理装置およびプログラム
CN113192125B (zh) * 2021-03-26 2024-02-20 南京财经大学 虚拟视点优选的地理场景中多相机视频浓缩方法及系统
WO2023009270A1 (en) * 2021-07-29 2023-02-02 Laitram, L.L.C. Conveyed-object identification system
US11393122B1 (en) * 2021-11-03 2022-07-19 Walkout Ltd. Method and system for determining contextual object position
CN114093046B (zh) * 2021-11-09 2024-06-07 支付宝(杭州)信息技术有限公司 一种基于二维码的签到方法、装置及设备
WO2024040188A1 (en) * 2022-08-19 2024-02-22 John Bean Technologies Corporation Techniques for non-contact throughput measurement in food processing systems
CN116128736B (zh) * 2023-04-19 2023-08-15 广东三姆森科技股份有限公司 一种扫描成像方法、装置、设备及介质
CN117746336A (zh) * 2023-12-26 2024-03-22 苏州优联威视科技有限公司 一种基于工业自动化生产制造的机器视觉监测方法

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4654872A (en) 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
US6122403A (en) 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
US6345104B1 (en) 1994-03-17 2002-02-05 Digimarc Corporation Digital watermarks and methods for security documents
US7044395B1 (en) 1993-11-18 2006-05-16 Digimarc Corporation Embedding and reading imperceptible codes on objects
US6614914B1 (en) 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US5497314A (en) * 1994-03-07 1996-03-05 Novak; Jeffrey M. Automated apparatus and method for object recognition at checkout counters
US7218448B1 (en) 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
JP3275010B2 (ja) 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
US6721440B2 (en) 1995-05-08 2004-04-13 Digimarc Corporation Low visibility watermarks using an out-of-phase color
US6590996B1 (en) 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
US6137491A (en) 1998-06-05 2000-10-24 Microsoft Corporation Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes
US6278460B1 (en) 1998-12-15 2001-08-21 Point Cloud, Inc. Creating a three-dimensional model from two-dimensional images
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7352386B1 (en) 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
US6760488B1 (en) 1999-07-12 2004-07-06 Carnegie Mellon University System and method for generating a three-dimensional model from a two-dimensional image sequence
US6912295B2 (en) 2000-04-19 2005-06-28 Digimarc Corporation Enhancing embedding of out-of-phase signals
US7954719B2 (en) 2000-11-24 2011-06-07 Metrologic Instruments, Inc. Tunnel-type digital imaging-based self-checkout system for use in retail point-of-sale environments
NL1018512C1 (nl) 2001-07-11 2001-11-02 Beheermij Van Der Loo B V Automatisch kassasysteem.
US7537170B2 (en) * 2001-08-31 2009-05-26 Digimarc Corporation Machine-readable security features for printed objects
US7344082B2 (en) 2002-01-02 2008-03-18 Metrologic Instruments, Inc. Automated method of and system for dimensioning objects over a conveyor belt structure by applying contouring tracing, vertice detection, corner point detection, and corner point reduction methods to two-dimensional range data maps of the space above the conveyor belt captured by an amplitude modulated laser scanning beam
US7031054B2 (en) 2002-10-09 2006-04-18 The Regent Of The University Of Colorado Methods and systems for reducing depth of field of hybrid imaging systems
US6803088B2 (en) 2002-10-24 2004-10-12 Eastman Kodak Company Reflection media for scannable information system
US7289662B2 (en) 2002-12-07 2007-10-30 Hrl Laboratories, Llc Method and apparatus for apparatus for generating three-dimensional models from uncalibrated views
JP2004252599A (ja) * 2003-02-18 2004-09-09 Seiko Epson Corp イメージリーダシステム、記録媒体、画像読み取り装置並びにｐｏｓ端末の画像処理方法
US7248754B2 (en) 2003-05-05 2007-07-24 International Business Machines Corporation Apparatus and method for determining whether machine readable information on an item matches the item
US7337960B2 (en) 2004-02-27 2008-03-04 Evolution Robotics, Inc. Systems and methods for merchandise automatic checkout
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
JP2005316755A (ja) * 2004-04-28 2005-11-10 Nec Electronics Corp ２次元矩形コードシンボル読み取り装置及び２次元矩形コードシンボル読み取り方法
KR101134208B1 (ko) 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
US7646887B2 (en) 2005-01-04 2010-01-12 Evolution Robotics Retail, Inc. Optical flow for object recognition
US7398927B2 (en) 2005-01-26 2008-07-15 Datalogic Scanning, Inc. Data reader and methods for imaging targets subject to specular reflection
US7383994B2 (en) 2005-05-03 2008-06-10 Datalogic Scanning, Inc. Methods and systems for forming images of moving optical codes
EP1941314A4 (en) 2005-10-07 2010-04-14 Univ Leland Stanford Junior ARRANGEMENTS AND APPROACHES FOR MICROSCOPY
JP2007139756A (ja) * 2005-10-17 2007-06-07 Ricoh Co Ltd 相対位置検出装置、回転体走行検出装置及び画像形成装置
WO2007047832A2 (en) 2005-10-18 2007-04-26 Datalogic Scanning, Inc. Integrated data reader and bottom-of-basket item detector
US8160400B2 (en) 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
US7334729B2 (en) * 2006-01-06 2008-02-26 International Business Machines Corporation Apparatus, system, and method for optical verification of product information
US8243157B2 (en) 2006-02-07 2012-08-14 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical aberrations
US7620309B2 (en) 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
WO2007130688A2 (en) 2006-05-10 2007-11-15 Evolution Robotics, Inc. Mobile computing device with imaging capability
US20070267584A1 (en) 2006-05-19 2007-11-22 Psc Scanning, Inc. Optical code reader using an anamorphic Scheimpflug optical system
US20070284447A1 (en) 2006-05-25 2007-12-13 Datalogic Scanning, Inc. Variable illumination scanning
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US20100013934A1 (en) 2006-12-27 2010-01-21 Datalogic Automation S.R.L. System for image acquisition
US8812355B2 (en) * 2007-04-03 2014-08-19 International Business Machines Corporation Generating customized marketing messages for a customer using dynamic customer behavior data
US7988045B2 (en) * 2007-05-31 2011-08-02 International Business Machines Corporation Portable device-based shopping checkout
US20100182406A1 (en) 2007-07-12 2010-07-22 Benitez Ana B System and method for three-dimensional object reconstruction from two-dimensional images
US7909248B1 (en) 2007-08-17 2011-03-22 Evolution Robotics Retail, Inc. Self checkout with visual recognition
US8068674B2 (en) 2007-09-04 2011-11-29 Evolution Robotics Retail, Inc. UPC substitution fraud prevention
US9412124B2 (en) 2007-09-23 2016-08-09 Sunrise R&D Holdings, Llc Multi-item scanning systems and methods of items for purchase in a retail environment
US7962033B2 (en) 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8571698B2 (en) 2008-01-28 2013-10-29 Netvirta, Llc Simple techniques for three-dimensional modeling
US8353457B2 (en) 2008-02-12 2013-01-15 Datalogic ADC, Inc. Systems and methods for forming a composite image of multiple portions of an object from multiple perspectives
US8678287B2 (en) 2008-02-12 2014-03-25 Datalogic ADC, Inc. Two-plane optical code reader for acquisition of multiple views of an object
US8746557B2 (en) 2008-02-26 2014-06-10 Toshiba Global Commerce Solutions Holding Corporation Secure self-checkout
EP2120209A1 (en) * 2008-05-14 2009-11-18 Thomson Licensing Apparatus for evaluating images from a multi camera cystem, multi camera system and process for evaluating
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20100001075A1 (en) 2008-07-07 2010-01-07 Symbol Technologies, Inc. Multi-imaging scanner for reading images
US8448859B2 (en) 2008-09-05 2013-05-28 Datalogic ADC, Inc. System and method for preventing cashier and customer fraud at retail checkout
US8245926B2 (en) 2008-11-19 2012-08-21 Datalogic ADC, Inc. Method of preventing multiple reads when scanning groups of optical codes
US7949252B1 (en) 2008-12-11 2011-05-24 Adobe Systems Incorporated Plenoptic camera with large depth of field
US9117268B2 (en) 2008-12-17 2015-08-25 Digimarc Corporation Out of phase digital watermarking in two chrominance directions
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
US8494909B2 (en) 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
US8800874B2 (en) 2009-02-20 2014-08-12 Datalogic ADC, Inc. Systems and methods of optical code reading using a color imager
EP2244484B1 (en) 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
US8403215B2 (en) * 2009-05-11 2013-03-26 Toshiba Global Commerce Solutions Holdings Corporation Self shopping support by getting contents from electronic shelf labels
WO2011001516A1 (ja) * 2009-06-30 2011-01-06 株式会社 東芝 チェックアウト装置、および作業状況計測装置
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12111923B2 (en) 2019-10-08 2024-10-08 Nanotronics Imaging, Inc. Dynamic monitoring and securing of factory processes, equipment and automated systems
TWI760916B (zh) * 2019-11-06 2022-04-11 美商奈米創尼克影像公司 用於工廠自動化生產線之製造系統
US12111922B2 (en) 2020-02-28 2024-10-08 Nanotronics Imaging, Inc. Method, systems and apparatus for intelligently emulating factory control systems and simulating response data

Also Published As

Publication number Publication date
JP2014531636A (ja) 2014-11-27
EP2751748A4 (en) 2016-06-15
EP2751748B1 (en) 2019-05-08
WO2013033442A1 (en) 2013-03-07
EP2751748A1 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
JP5984096B2 (ja) 物体を識別する方法及び機構
US10474858B2 (en) Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
US11288472B2 (en) Cart-based shopping arrangements employing probabilistic item identification
US10963657B2 (en) Methods and arrangements for identifying objects
US9600982B2 (en) Methods and arrangements for identifying objects
CA2888153C (en) Methods and arrangements for identifying objects
US20150310601A1 (en) Methods and arrangements for identifying objects
US9033238B2 (en) Methods and arrangements for sensing identification information from objects
US10902544B2 (en) Methods and arrangements for identifying objects
CA3162263A1 (en) Systems and methods for training data generation for object identification and self-checkout anti-theft
US20220414900A1 (en) Item identification using multiple cameras
CA3223381A1 (en) Item identification using digital image processing
US20220414899A1 (en) Item location detection using homographies
US20220414375A1 (en) Image cropping using depth information
US20220414379A1 (en) Hand detection trigger for item identification
US20220414587A1 (en) Determining dimensions of an item using point cloud information
US12131516B2 (en) Reducing a search space for item identification using machine learning
US20240020857A1 (en) System and method for identifying a second item based on an association with a first item
US20220414374A1 (en) Reducing a search space for item identification using machine learning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150812

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160722

R150 Certificate of patent or registration of utility model

Ref document number: 5984096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250