JP5972468B2 - 画像からのラベルの検出 - Google Patents

画像からのラベルの検出 Download PDF

Info

Publication number
JP5972468B2
JP5972468B2 JP2015533106A JP2015533106A JP5972468B2 JP 5972468 B2 JP5972468 B2 JP 5972468B2 JP 2015533106 A JP2015533106 A JP 2015533106A JP 2015533106 A JP2015533106 A JP 2015533106A JP 5972468 B2 JP5972468 B2 JP 5972468B2
Authority
JP
Japan
Prior art keywords
image
special mark
label
black
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015533106A
Other languages
English (en)
Other versions
JP2015529369A (ja
JP2015529369A5 (ja
Inventor
ジャン・ルン
チュウ・ルーファン
ジャン・チュンフイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2015529369A publication Critical patent/JP2015529369A/ja
Publication of JP2015529369A5 publication Critical patent/JP2015529369A5/ja
Application granted granted Critical
Publication of JP5972468B2 publication Critical patent/JP5972468B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/184Extraction of features or characteristics of the image by analysing segments intersecting the pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Description

他の出願の相互参照
本願は、すべての目的のために参照により本明細書に組み込まれる、2012年9月21日に出願された、発明の名称を「A MOBILE TERMINAL−BASED LABEL RECOGNITION AND PROCESSING METHOD AND SYSTEM」とする中国特許出願第201210360774.6号に基づく優先権を主張する。
本願は、文字認識の分野に関し、特に、ラベル認識のための技術に関する。
光学式文字認識(OCR)技術は、電子機器(例えば、スキャナまたはデジタルカメラ)が、画像の明暗のパターンを検出し、パターンの形状を決定し、文字認識技術を用いてコンピュータに認識される文字に形状を変換することによって、印刷画像を分析する処理を意味する。高いレベルでは、OCRは、テキスト素材を取得し、テキスト素材の画像を処理して文字およびレイアウト情報を決定する処理を指す。テキスト素材の取得は、走査(スキャン)、撮影、および、その他のこれらのような光学入力を含みうる。テキストの形態的特徴を分析して、漢字の標準コードを決定するために、様々なパターン認識アルゴリズムが利用されうる。例えば、テキストソースがデバイスによってスキャンされ、画像ファイルが生成される。画像ファイルは、画像処理を受けて、その間に、画像ファイルのレイアウトは、別個の順次処理に向けて画像ファイルを異なるセクションに分離するために分画される(例えば、レイアウト解釈、文字切り出し、正規化などを含むレイアウト分析が実行される)。例えば、画像ファイルは、様々な部分に分離され、各部分は認識されるべき文字を含む。次いで、文字は、画像ファイルの各部分から認識される。例えば、文字は、中国語(「C1」(漢字))または英語を含みうる。認識されたテキストは、編集および修正されてよい。なお、本明細書において簡体字を含む用語についてはCnの符号に置き換えて表し(nは自然数)、Cnの符号と簡体字を含む用語との対応関係は明細書の末尾に表として示す。
OCR認識システムの目的は、テキストの文字を画像から認識できるように、画像を変換することである。画像から文字を認識できれば、画像は、コンピュータテキストに変換されるため、格納される画像情報の量が減少して格納スペースが削減され、また、認識されたテキストの再利用、分析などが可能になり、人的努力および入力時間が節約される。
図1は、従来のテキスト認識システムの一例を示す図である。この例において、システム100は、画像変換・入力モジュール101、画像前処理モジュール103、文字特徴抽出モジュール105、比較認識モジュール107、および、補正・結果出力モジュール109を含む。
画像変換・入力モジュール101は、対象物を画像ファイルとして取り込むよう構成されている。画像ファイルは、黒白の二値画像またはグレースケールまたはカラー画像を含みうる。対象物は、スキャナ、ファックス、または、任意の撮影装置などの光学デバイスによって取り込まれうる。取り込まれた画像ファイルは、コンピュータに入力される。技術の進歩と共に、スキャナ、カメラ、および、その他の入力デバイスは、より精巧かつコンパクト、高品質になり、インストールが容易になっている。さらに、かかる入力デバイスの高解像度の結果、画像が鮮明になると共に速度が上がってきたため、OCR処理効率の向上に拍車が掛かっている。
画像前処理モジュール103は、入力画像ファイルを個々の独立した画像に処理するよう構成されており、各画像は文字を含む。画像前処理モジュール103は、さらに、画像正規化、ノイズ除去、画像補正、および、その他の画像処理と、画像テキスト分析ならびにテキストラインおよび文字の分離を伴うファイル前処理とを実行するよう構成されている。画像処理は、すでに成熟した技術であるが、様々な種類の画像ファイル前処理に、利点および不利点がある。一般に、画像の写真、フォーム、および、テキストの領域が、まず、互いに分離される。記事のレイアウト方向、記事のアウトライン、および、テキスト本文までもが分離されうる。さらに、文字のフォントおよびサイズが決定される。
文字特徴抽出モジュール105は、画像ファイルの特徴を抽出するよう構成されている。どの特徴が抽出され、どのように用いられるかが、文字認識の質に直接影響する。「特徴」は、認識される文字を区別するために用いられる。例えば、2つの異なるタイプの特徴が用いられうる。第1のタイプの特徴は、統計的特徴(例えば、画像内の黒白ピクセル比)である。テキスト領域がいくつかの部分に分割されると、画像ファイルの異なる部分に対応する黒白ピクセル比の組み合わせが、空間数値ベクトルを構成する。第2のタイプの特徴は、構造的特徴である。例えば、文字に関連する画像の部分を細線に変換した後、システムは、文字ストロークの終点および交差点の量および位置(例えば、ストロークセグメント)を取得して、特徴として用いる。
特徴が入力テキストから抽出された後、これらの(統計的および/または構造的)特徴は、比較データベースまたは特徴データベースに格納された特徴と比較される。データベースは、画像ファイルから認識される文字に関連する特徴情報を含む。データベースに含まれる特徴情報は、画像ファイルに対して実行されたのと同じ抽出方法によって決定されたものである。
比較認識モジュール107は、画像ファイルから抽出された特徴と、比較データベースに格納された文字の特徴情報との間の比較を行うよう構成されている。画像ファイルの一部について抽出された特徴とデータベースに格納された特徴情報との間に一致が見いだされた場合、画像のその部分は、一致する格納特徴情報セットに対応する文字として認識される。いくつかの例において、比較の際に、数学演算が特徴に対して実行されてもよい。例えば、画像ファイルから抽出された特徴と、データベースに格納された文字に対応する特徴情報セットとの間の数学的距離が決定されてもよい。以下は、比較技術のタイプのいくつかの例である:ユークリッド空間比較技術、緩和法比較技術、動的計画法(DP)比較技術、アナログニューラルネットワークに従ったデータベース確立・対比技術、および、HMM(隠れマルコフモデル)技術。さらに、熟練者が比較を手助けしてもよい。1または複数のタイプの比較技術が、最適な結果を達成するために用いられてよい。
補正・結果出力モジュール109は、画像ファイルから認識された文字をユーザインターフェースでユーザに提示するよう構成されている。
商品を購入する際、商品のバーコードは、肉眼では認識できず、特殊な読み取り装置によってのみ認識できる。別の例において、通例は、商品またはその他の対象物にインデックスをつけるため、ならびに、カタログ、シリーズ、コード/番号、および、その他のかかるラベルを形成するために、デジタルまたはテキストコードが用いられる。例えば、商品は、商品コード(または商品番号などと呼んでもよい)を有する。商品コードは、数字およびテキストなどの文字と、画像(例えば、製造者のロゴ)とを含みうる。商品コードは、特定の商品を一意的に識別するために利用されうる。商品コードは、インターネット広告または携帯電話広告もしくは市販の物理的商品に表示される一般的な商品画像の周囲、近く、または、上に位置しうる。従来のシステムは、画像に含まれる商品コードを直接認識できない。携帯電話またはその他の携帯デバイスなどのモバイルプラットフォームを用いて、商品コードを取り込んで認識する需要も起きている。一般に、スキャンまたは撮影された広告に基づく画像に関しては、従来のOCR技術を用いて、文字のいくつかを認識することが可能である。しかしながら、従来、既存の画像前処理モジュール103は、一般に、レイアウト分析技術を用いて、画像内の画像部分とテキスト部分とを区別する。この技術は、或る程度の構造的情報を備えたテキストレイアウトに適用される。しかしながら、商品コードが1または複数のグラフィックの近く、周囲、または、上に位置する商品広告などの画像では、従来のOCR技術を用いてテキストおよびグラフィックを分離することはより難しいため、画像からテキストを認識することがより困難になる。
以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。
従来のテキスト認識システムの一例を示す図。
画像からラベルを検出するためのシステムの一実施形態を示す図。
画像からラベルを検出するための処理の一実施形態を示すフローチャート。
画像内の特殊マークの一例を示す図。
画像内の特殊マークを検出する処理の一例を示すフローチャート。
画像内の特殊マークを検出する処理の一例を示すフローチャート。
各ピクセルが図面内の正方形(正方形704など)によって表される画像の部分702を示す図。
画像からラベルを検出するためのシステムの一実施形態を示す図。
本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および/または、プロセッサ(プロセッサに接続されたメモリに格納および/またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ)を含め、様々な形態で実装されうる。本明細書では、これらの実装または本発明が取りうる任意の他の形態を、技術と呼ぶ。一般に、開示された処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、ある時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、1または複数のデバイス、回路、および/または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。
以下では、本発明の原理を示す図面を参照しつつ、本発明の1または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術要素については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。
ラベル検出の実施形態について本明細書に記載する。画像が受信される。例えば、画像は商品に関連している。画像は、例えば、商品の広告に関連している。様々な実施形態において、画像は、ラベルの近くに配置された特殊マークを含むよう特別に設計されたものである。したがって、画像上の特殊マークの位置が特定されると、特殊マークの位置は、その近くでラベルを見つけることができる基準として利用できる。ラベルの一例は、画像に関連する商品を一意的に識別するために用いることができる商品ラベルである。商品ラベルは、ラベルの一例にすぎず、ラベルは、任意のタイプの識別情報(例えば、コード、名称、または、身分証明書のID)を含みうる。特殊マークを含む画像の部分が、所定の特殊マークパターンに少なくとも部分的に基づいて決定される。画像の特殊マークが決定されると、特殊マークの位置の近くの画像の領域で、ラベルに関連する画像の部分が検索される。光学式文字認識が、ラベルに関連する1または複数の文字/グラフィックを決定するために、ラベルに関連する画像の部分に実行されてよい。例えば、商品ラベルに関連する画像の部分から認識された内容は、画像に関連する商品に関するさらなる情報のための検索クエリとして用いられてよい。
図2は、画像からラベルを検出するためのシステムの一実施形態を示す図である。この例において、システム200は、デバイス202、画像204、ネットワーク206、および、サーバ208を備える。ネットワーク206は、高速データネットワークおよび/または遠隔通信ネットワークを含む。デバイス202は、ネットワーク206を介してサーバ208と通信するよう構成されている。
デバイス202は、デバイス202で受信した画像(画像204など)からラベルを認識するよう構成されている。デバイス202の例としては、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、携帯デバイス、および/または、その他のタイプのコンピュータデバイスが挙げられる。デバイス202は、物理的表面(例えば、広告)の写真をカメラ機能で撮影する、物理的表面の走査を行う、(例えば、サーバ208がホストとなるウェブサイトに関連する)ウェブページから画像204のダウンロードする、または、その他の適切な技術を用いることにより、画像204を受信してよい。画像204(すなわち、その画像が由来する物理的表面)は、特殊マーク(図1の例では図示せず)およびラベル(図1の例では図示せず)を含むよう設計されたものである。特殊マークは、所定の特殊マークパターンに一致する任意のグラフィックを含んでよく、また、画像204上でラベルの位置の近くに配置されるように設計されている。デバイス202を用いるユーザは、画像204のラベルの値を認識して、デバイス202が、認識された値を処理できる(例えば、サーバ208によってサポートされる検索エンジンで検索クエリとしてかかる値を用いて検索を実行できる)ようにしたいと考えうる。
画像204は、ラベルの位置が容易に確かめられないようなグラフィックおよび/またはテキストの組み合わせを含みうる。しかしながら、後に詳述するように、デバイス202(または、デバイス202で実行されるアプリケーション)は、最初に、特殊マークに関連する画像204の部分を見つけ、その後、ラベルに関連する画像204の部分の検索を開始するために特殊マークを基準として用いるよう構成されている。画像204の特殊マークを最初に見つけるための技術を用いて、次いで、ラベルを見つけるための基準として特殊マークを用いることにより、画像204のラベルを効率的に見つけて認識することができる。
図3は、画像からラベルを検出するための処理の一実施形態を示すフローチャートである。いくつかの実施形態において、処理300は、図2のデバイス202で実施される。
処理200は、ラベルの近くに配置された特殊マークを含むよう設計された画像からのラベルの検出を可能にする。
工程302では、画像が取得される。画像は、ウェブサイトからダウンロードされてよい、メッセージからダウンロードされてよい、および/または、デバイスを介して取り込まれてよい。例えば、画像は、スキャナ、カメラを通して取り込まれてよい。様々な実施形態において、取得された画像は、1または複数の商品に関連し、商品ラベルを含むよう設計されている。例えば、画像は、広告であってよく、商品ラベルは、商品を(一意的に)識別する商品コードを含んでよい。例えば、商品コードは、英数字および/またはその他の記号を含む。画像は、グラフィックおよびテキストの組み合わせを含んでよく、その内の少なくとも第1の部分は特殊マークを含み、第2の部分はラベルを含む。ラベルが認識されると、ラベルは、画像に関連するさらなる情報を取得するために、検索に用いられてよい。
工程304では、特殊マークに関連する画像の第1の部分が決定される。様々な実施形態で、画像の一部/位置に含まれる特殊マークがまず決定される。特殊マークが決定されると、特殊マークの位置の近くの画像の領域で、ラベルが検索される。特殊マークは、ラベルに関係ない様々なグラフィックおよび/またはテキストを含みうる画像からラベルを識別できるように、画像上のラベルのおおよその位置を示すために用いられる。画像(本明細書に記載の画像など)は、ラベルと共に特殊マークを有するよう設計されるので、ラベルが画像に含まれる場合、特殊マークも含まれる(例えば、ラベルのそば、ラベルの上方、ラベルの下方、および/または、特殊マークの位置と相対的な別の位置に)。例えば、特殊マークおよびラベルは、画像のその他の内容と一体化されてもよいし、画像の上に(例えば、画像のその他の内容を覆って)印刷されてもよい。
特殊マークは、1または複数の特殊マークパターンに基づいて作成された任意のグラフィックであってよい。様々な実施形態において、1または複数の特殊マークパターンは、特殊マークおよび/または画像のデザイナによって設定される。図4は、画像内の特殊マークの一例を示す。この例において、画像400は、商品ラベルの近くに配置された特殊マークを含むよう設計された画像である。画像400は、「ABCインスタントコーヒー」という商品の広告を含む。例に示すように、特殊マーク402は、画像400の第1の部分に関連しており、黒い境界線を持つ長方形と、長方形に囲まれた「t」の文字とを含むグラフィックである。商品ラベル404は、画像400の第2の部分に関連しており、「1234567」の値を持つ商品コードを含む。画像400は、分離が容易でないテキストおよびグラフィックの組み合わせを含むので、商品ラベル404を容易に識別することはできない。しかしながら、処理300などの処理を用いれば、特殊マーク402の画像内での位置を最初に決定し、次いで、特殊マーク402の位置を用いて近くの商品ラベル404を見つけることができる。
図3の処理300に戻ると、特殊マークは、1または複数の特殊マークパターンに基づいて、画像内で検出されうる。いくつかの実施形態において、1または複数の特殊マークパターンは、特殊マークが黒い境界線を持つ形状(例えば、長方形)を含むこと、および/または、指定された内容を囲むことを規定する。例えば、図4の特殊マーク402は、黒い境界線を持つ形状(例えば、長方形)を備えると共に、指定された内容(文字「t」)を囲む特殊マークの例である。いくつかの実施形態において、1または複数の特殊マークパターンは、特殊マークが、黒い境界線を持つ形状(例えば、長方形)を含むと共に、所定の黒白ピクセル比に一致する黒白ピクセル比を有する少なくとも1本のピクセルライン(例えば、行または列)を有する、画像の部分を備えることを規定する。本明細書で用いられているように、「黒白ピクセル比」とは、黒ピクセル数の白ピクセル数に対する比を含む。いくつかの実施形態において、1または複数の特殊マークパターンは、特殊マークが、黒い境界線を持つ形状を含む画像の一部を含み、黒の境界が、指定の内容を囲み、形状が、1または複数の所定の黒白ピクセル比の各々に一致する少なくとも1本のピクセルライン(例えば、行または列)を有する黒い境界線を含むことを規定する。さらに、1または複数の特殊マークパターンは、特殊マークが、例えば、特殊マークに関連する文字、特殊マークに関連するコード(例えば、デジタルコード、テキストコード、および、画像コード(商業ロゴなど))のテキストまたは画像の構造および/または特徴(例えば、長さ、幅、サイズ、寸法、方向、位置、色、グレースケール、明るさなど)などの任意の指定の属性に一致することを規定する。特殊マークは、1または複数の特殊マークパターンに少なくとも部分的に基づいて設計されるので、画像の特殊マークは、かかる特殊マークパターンを満たす/に一致する画像の一部として決定されうる。
第1の例において、特殊マークが、黒い境界線の形状(例えば、長方形)を含むおよび/または指定の内容を囲むことを、1または複数の特殊マークパターンが規定している場合、画像の特殊マークは、特殊マークパターンと一致する黒い境界線に関連する形状を画像内で最初に検出することによって決定されうる。次いで、黒い境界線を持つ形状が検出されると、黒い境界線で囲まれた領域が、特殊マークパターンと一致する指定の内容についてチェックされる。1または複数の特殊マークパターンと一致する囲まれた内容を持つ黒い境界線が画像内で見つかると、黒い境界線および囲まれた内容を含む画像の部分が、特殊マークを含むと決定される。次いで、特殊マークを含むと決定された画像の部分は、画像上の近くにあるラベルを含む画像の別の部分を見つけるために用いられる。黒い境界線を持つ形状(例えば、長方形)を含むおよび/または指定された内容を囲む特殊マークに関連する1または複数の特殊マークパターンと一致する特殊マークの検出に関するさらなる詳細については、上述の図4および後述の図5の例を用いて説明する。
第2の例において、特殊マークが、黒い境界線を有する形状(例えば、長方形)を含むと共に、1または複数の所定の黒白ピクセル比の各々に一致する少なくとも1本のピクセルライン(例えば、行または列)を有する、画像の部分を備えることを、1または複数の特殊マークパターンが規定する場合、画像の特殊マークは、特殊マークパターンに一致する黒い境界線に関連する形状を画像内でまず検出することによって決定されうる。次いで、黒い境界線を持つ形状が検出されると、(黒い境界線を含む)形状に関連する画像の部分の中の1または複数のピクセルラインが所定の黒白ピクセル比の内の対応するピクセル比に一致する黒白ピクセル比を有するか否かが判定される。例えば、所定の黒白ピクセル比に一致する形状内のピクセルラインは、連続的または不連続的なピクセルを含みうる。所定の黒白ピクセル比に一致する形状内のピクセルラインは、(ライン内の黒ピクセル対白ピクセルの比が所定の黒白ピクセル比に一致する限りは)黒白以外の色のピクセルを含んでもよい。いくつかの実施形態において、特殊マークに一致する黒い境界線を持つ形状が決定されると、特殊マーク検出処理は、形状に含まれるピクセルをラインごとに走査して、1または複数のかかるピクセルラインのいずれかが特殊マークパターンの所定の黒白ピクセル比に一致するか否かを判定する工程に進む。いくつかの実施形態において、特殊マークパターンは、1または複数のピクセルラインの各々について異なる所定の黒白ピクセル比を含んでもよい。黒い境界線を持つ形状(例えば、長方形)を含むと共に、所定の黒白ピクセル比に一致する少なくとも1本のピクセルライン(例えば、行または列)を有する、特殊マークに関連する1または複数の特殊マークパターンに一致する特殊マークの検出に関するさらなる詳細については、後述の図6および図7の例を用いて説明する。
工程306では、ラベルに関連する画像の第2の部分が、特殊マークに関連する画像の第1の部分に少なくとも部分的に基づいて見つけられる。上述のように、特殊マークは、画像内でラベルの近くに位置するよう設計される。検出された特殊マークの位置を基準として用いて、その近くでラベルを検索することにより、(画像全体でラベルを検索する、および/または、かかる基準なしにラベルの検索を始める場合と比較して)、ラベルの検索を円滑にすることができる。いくつかの実施形態では、検出された特殊マークから離れる1または複数の方向の画像の領域で、ラベルが検索される。例えば、エッジ検出、直線フィッティング、および、テンプレートマッチングという周知の技術が、特殊マークに関連する画像の部分の近くでラベルに関連する画像の部分を見つけるために用いられてよい。例えば、検出された特殊マークの近くの領域(例えば、特殊マークから所定の半径内または特殊マークの周りの特定の正方形領域)で、ラベルのテンプレートに一致する画像の部分が検索されてよい(例えば、テンプレートは、ラベルの寸法および/またはラベルに含まれる値の数を示しうる)。テンプレートに一致する画像の部分は、ラベルの文字を含むと決定される。
工程308では、ラベルに関連する値を決定するために、ラベルに関連する画像の第2の部分に文字認識が適用される。ラベルを含むと決定された検出済み特殊マーク近くの画像の部分に、文字認識処理が施される。画像のこの部分からラベル値を決定するために、任意の周知のOCR技術が用いられてよい。数字、テキスト、および/または、その他のタイプの文字または記号が認識されうる。いくつかの実施形態において、ラベルに関連する画像の部分(例えば、ラベルテンプレートに一致する画像の部分)は、最初に画像から抽出され、その後、抽出された部分に文字認識処理が施される。ラベルに関連する画像の部分の抽出は、画像由来のその他の内容からラベルを分離し、潜在的に文字認識結果を改善するよう機能する。例えば、ラベルは、データベース内で商品を一意的に識別するために用いられる商品コードを含みうる。いくつかの実施形態において、認識されたラベル値(例えば、文字および/または記号を含む)は、画像に関するさらなる情報を取得するために検索クエリとして送信される。検索結果は、ユーザインターフェースを介してユーザに提示されてよい。
いくつかの実施形態において、工程308の後、別のラベルが画像から認識されるか否かが判定される。例えば、処理300は、画像から見つかった任意の他のマークとは異なる別の特殊マークが見つかるか否かを判定するために、再び実行されてよい。その場合、処理300が繰り返されてよく、別の対応するラベルが同じ画像内で見つけられて認識されてよい。
図5は、画像内の特殊マークを検出する処理の一例を示すフローチャートである。いくつかの実施形態において、処理500は、図2のデバイス202で実施される。
処理500は、黒い境界線を持つ形状(例えば、長方形)を規定するおよび/または指定された内容を囲む特殊マークパターンに一致するよう設計された特殊マークを画像内で検出するために利用できる処理の一例である。画像は、そこからラベルを認識したい画像である。
工程502では、特殊マークパターンに関連する黒い境界線の形状が画像内で検出される。例えば、画像内で、黒い境界線によって画像内の他の内容から分画された形状が、(例えば、エッジ検出を用いて)見つけられる。図4の例を参照すると、特殊マーク402は、黒い境界線を有する長方形を含む。処理500が図4の画像400に適用されると、黒い境界線の長方形が、工程502において検出される。
図5に戻ると、工程504では、黒い境界線によって囲まれた内容が、特殊マークパターンに関連付けられている指定された内容と比較される。黒い境界線で囲まれた内容(例えば、文字、数字、または、記号)が抽出(例えば、認識)され、特殊マークパターンに関連付けられている指定されたコンテンツと比較される。
工程506では、黒い境界線によって囲まれた内容が、指定された内容と一致した場合に、黒い境界線の形状を含む画像の部分が特殊マークを含むと決定される。黒い境界線で囲まれた内容と特殊マークパターンに関連する指定されたコンテンツとの間で一致がある場合、黒い境界線の形状を含む画像の部分は、特殊マークであると決定される。しかしながら、黒い境界線で囲まれた内容と特殊マークパターンに関連する指定されたコンテンツとの間に一致がない場合、黒い境界線の形状を含む画像の部分は、特殊マークではないと決定される。図4の例を参照すると、特殊マーク402は、文字「t」が長方形の黒い境界線の中に囲まれていることを示す。処理500が図4の画像400に適用されると、特殊マーク402の黒い境界線の長方形は、文字「t」が特殊マークパターンの指定された内容に一致した場合に、特殊マークであると決定される。特殊マークが決定されると、画像のラベルが、特殊マークの周囲の領域で検索される。
図6は、画像内の特殊マークを検出する処理の一例を示すフローチャートである。いくつかの実施形態において、処理600は、図2のデバイス202で実施される。
処理600は、特殊マークが、黒い境界線を有する形状(例えば、長方形)を含むと共に、所定の黒白ピクセル比に一致する少なくとも1本のピクセルライン(例えば、行または列)を有する、画像の部分を備えることを規定する特殊マークパターンに一致するよう設計された特殊マークを、画像内で検出するために利用できる処理の一例である。画像は、そこからラベルを認識したい画像である。
工程602では、特殊マークパターンに関連する黒い境界線の形状が画像内で検出される。例えば、画像内で、黒い境界線によって画像内の他の内容から分画された形状が、(例えば、エッジ検出を用いて)見つけられる。
工程604では、黒い境界線の範囲内のピクセルラインが特殊マークパターンに関連付けられている黒白ピクセル比と一致するか否かが判定される。特殊マークパターンは、特殊マークに関連付けられている画像の部分内の1または複数のピクセルラインの各々のための黒白ピクセル比を規定しうる。ピクセルラインは、ピクセル行またはピクセル列のことであってよく、それらは、特殊マークパターン内で規定されうる。例えば、黒い境界線が工程602において検出された場合、検出された黒い境界線の範囲内の各ピクセルライン(境界線自体を含む)は、かかるピクセルラインの少なくとも1つが特殊マークパターンに関連付けられている各黒白ピクセル比と一致するか否かを判定するためにチェックされうる。例えば、複数の黒白ピクセル比が特殊マークパターンについて規定されている場合、黒白ピクセル比の内のそれぞれに一致する検出された黒い境界線内のピクセルラインは、互いに隣接していても隣接していなくてもよい。
工程606では、黒い境界線の範囲内のピクセルラインが、特殊マークパターンに関連付けられている黒白ピクセル比に一致すると判定された場合に、黒い境界線の形状を含む画像の部分が特殊マークを含むと決定される。
処理600の適用例について、図7の例を参照して説明する。図7は、各ピクセルが図面内の正方形(正方形704など)によって表される画像の部分702を含む。この例において、特殊マークパターンは、特殊マークが、黒い境界線の正方形の形状と、第1のピクセルラインに関する第1の黒白ピクセル比と、第2のピクセルラインに関する第2黒白ピクセル比とを含むことを規定している。上述のように、「黒白ピクセル比」とは、黒ピクセル数の白ピクセル数に対する比のことである。図6の処理600の工程602を適用すると、黒い境界線を持つ正方形形状を含むので、画像の部分702が検出される。この例の第1の黒白ピクセル比は、1:1:3:1:1を含んでおり、これは、処理600の工程602において検出された形状の黒い境界線内の1つのピクセルラインが、1黒ピクセル、1白ピクセル、3黒ピクセル、1白ピクセル、および、1黒ピクセルというピクセル比を含まなければならないことを意味する。この例の第2の黒白ピクセル比は、1:2:1:2:1を含んでおり、これは、処理600の工程602において検出された形状の黒い境界線内の別のピクセルラインが、1黒ピクセル、2白ピクセル、1黒ピクセル、2白ピクセル、および、黒1ピクセルというピクセル比を含まなければならないことを意味する。第1および第2の黒白ピクセル比に対応する2つのピクセルラインは、互いに隣接していてもよいし、隣接していなくてもよい。図6の処理600の工程602を適用すると、画像の部分702の各ピクセル行は、第1のピクセル行が特殊マークパターンの第1の黒白ピクセル比(1:1:3:1:1)と一致するか否か、および、第2のピクセル行が特殊マークパターンの第2の黒白ピクセル比(1:2:1:2:1)と一致するか否かを判定するために(例えば、ラインごとに)調べられる。この例に示すように、画像の部分702の黒い境界線内のピクセルラインA(境界線も含む)は、ラインA内で左から右(または右から左)に、1黒ピクセル、1白ピクセル、3黒ピクセル、1白ピクセル、1黒ピクセルが並んでいるので、特殊マークパターンの第1の黒白ピクセル比(1:1:3:1:1)に一致する。ピクセルラインBは、ラインB内で左から右(または右から左)に、1黒ピクセル、2白ピクセル、1黒ピクセル、2白ピクセル、1黒ピクセルが並んでいるので、特殊マークパターンの第2の黒白ピクセル比(1:2:1:2:1)に一致する。画像の部分702のラインAおよびラインBが、特殊マークパターンで規定された2つの黒白ピクセル比にそれぞれ一致することがわかったので、図6の処理600の工程606に従って、画像の部分702が特殊マークであると決定される。
黒い境界線を含むピクセルの2以上のピクセルラインが、特殊マークパターンの1つの黒白ピクセル比に一致してもよいが、少なくとも1つのピクセルラインが、特殊マークパターンを満たすように一致する必要がある。黒白ピクセル比は、例えば、5黒ピクセル、5白ピクセル、15黒ピクセル、5白ピクセル、5黒ピクセルの順にピクセルを含むピクセルライン(図示せず)であっても1:1:3:1:1の比と一致するように単純化される。
上述の特殊マークパターンの例は、2つのピクセルラインに対応する2つの黒白ピクセル比を含むが、特殊マークパターンは、同じ数のピクセルラインに対応する0以上の黒白ピクセル比を含んでよい。
図8は、画像からラベルを検出するためのシステムの一実施形態を示す図である。この例において、システム800は、取り込みモジュール801、画像特殊マークマッチングモジュール803、ラベル位置特定モジュール805、および、画像文字認識モジュール807を備える。
モジュールは、1または複数のプロセッサ上で実行されるソフトウェアコンポーネントとして、設計されたプログラム可能論理デバイスおよび/または特定用途向け集積回路などのハードウェアとして実装されてよく、要素は、コンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワーク装置など)に本発明の実施形態に記載された方法を実行させるための複数の命令など、不揮発性記憶媒体(光学ディスク、フラッシュ記憶装置、携帯用ハードディスクなど)に格納することができるソフトウェア製品の形態で具現化されてよい。モジュールは、単一のデバイス上に実装されてもよいし、複数のデバイスにわたって分散されてもよい。
画像取り込みモジュール801は、に関連付けられている画像を決定するよう構成されている。例えば、画像取り込みモジュール801は、カメラ、スキャナを介して、メッセージおよび/またはウェブページからの画像のダウンロードを介して、もしくは、任意のその他の適切な技術によって、画像を受信できる。例えば、取り込みモジュール801は、商品の広告の写真を撮るよう構成されており、この場合、取り込まれる画像は、生成された写真である。
画像特殊マークマッチングモジュール803は、特殊マークに関連する画像の第1の部分を決定するよう構成されている。画像特殊マークマッチングモジュール803は、1または複数の特殊マークパターンに基づいて、存在する場合に、画像上の特殊マークを見つけるよう構成される。画像特殊マークマッチングモジュール803は、上述のように、1または複数のマークパターンを満たす画像の部分を特定するよう構成されている。画像特殊マークマッチングモジュール803は、特殊マークに関連する画像の部分を特定するために、エッジ検出および直線フィッティングの技術例を用いてよい。
ラベル位置特定モジュール805は、特殊マークに関連する画像の第1の部分に基づいて、ラベルに関連する画像の第2の部分を見つけるよう構成されている。ラベルは、検出された特殊マークに関連する画像の領域内で検索されてよい。例えば、ラベルに関連するテンプレートが、ラベルに関連する画像の部分を見つけるために用いられてよい。いくつかの実施形態において、ラベル位置特定モジュール805は、ラベルに関連する画像の部分を画像から抽出するよう構成されている。
画像文字認識モジュール807は、ラベル位置特定モジュール805によって決定されたラベルに関連する画像の部分に対して文字認識を実行するよう構成されている。いくつかの実施形態において、画像文字認識モジュール807は、ラベルに関連する抽出済みの画像の部分を受信し、文字認識を実行するよう構成されている。文字認識は、周知のOCR技術を用いて実行されてよい。いくつかの実施形態において、画像文字認識モジュール807は、ラベルから認識された文字を用いて検索を実行し、(ラベルに関連する商品に関する)検索結果をユーザインターフェースを介してユーザに表示するよう構成されている。いくつかの実施形態において、画像文字認識モジュール807は、さらなる処理のために、ラベルから認識された文字を別のシステムに対して入力するよう構成されている。
この記載における様々な実施形態は、一般に、漸進的に記載されている。各実施形態の説明は、他の実施形態と異なる領域に焦点を当てており、実施形態の記載は、実施形態の同一または類似の部分について相互に参照できる。
本願は、コンピュータによって実行されるコンピュータ実行可能なコマンド(プログラムモジュールまたはユニットなど)の一般的なコンテキストで記述されてよい。一般に、プログラムモジュールまたはユニットは、特定のタスクの実行または特定の抽象データ型の実施のためのルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを備える。一般に、プログラムモジュールまたはユニットは、ソフトウェア、ハードウェア、または、それら2つの組み合わせで実現されうる。本願は、分散型コンピュータ環境で実施されてもよく、かかる分散型コンピュータ環境では、通信ネットワークを介して接続されたリモート処理装置によってタスクが実行される。分散型コンピュータ環境において、プログラムモジュールまたはユニットは、記憶装置を備えるローカルまたはリモートコンピュータの記憶媒体に格納されうる。
本明細書は、具体的な例を用いて、本願の実施例の原理および形態を説明している。上記の実施形態の説明は、単に、本願の方法およびその主要概念の理解を助けるよう意図されたものである。さらに、当業者は、本願の概念に基づいて、具体的な実装の形態および応用範囲に対して修正を加えることができる。要するに、本記載の内容は、本願を限定するものとして理解されるべきではない。
上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。
適用例1:システムであって、
1または複数のプロセッサであって、
画像を取得し、
特殊マークに関連付けられている前記画像の第1の部分を決定し、
前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第2の部分を決定し、
前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用して、前記ラベルに関する値を決定するよう構成されている、1または複数のプロセッサと、
前記1または複数のプロセッサに接続され、前記1または複数のプロセッサに命令を提供するよう構成されている1または複数のメモリと、
を備える、システム。
適用例2:適用例1に記載のシステムであって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、システム。
適用例3:適用例1に記載のシステムであって、前記画像は、1または複数の商品に関連付けられている、システム。
適用例4:適用例3に記載のシステムであって、前記ラベルは、前記1または複数の商品に関連付けられている識別情報を含む、システム。
適用例5:適用例1に記載のシステムであって、前記特殊マークに関連付けられている前記画像の前記第1の部分を決定することは、
特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
前記黒い境界線によって囲まれた内容を前記特殊マークパターンに関連付けられている指定された内容と比較し、
前記黒い境界線によって囲まれた前記内容が、前記指定された内容と一致する場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第1の部分を含むと決定することを含む、システム。
適用例6:適用例1に記載のシステムであって、前記特殊マークに関連付けられている前記画像の前記第1の部分を決定することは、
特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
前記黒い境界線の範囲内のピクセルラインが前記特殊マークパターンに関連付けられている黒白ピクセル比と一致するか否かを判定し、
前記黒い境界線の範囲内の前記ピクセルラインが、前記特殊マークパターンに関連付けられている前記黒白ピクセル比に一致すると判定された場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第1の部分を含むと決定することを含む、システム。
適用例7:適用例1に記載のシステムであって、前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、前記ラベルに関連付けられている前記画像の前記第2の部分を決定することは、前記特殊マークに関連付けられている前記画像の前記第1の部分の位置の近くの前記画像の領域内で、前記ラベルに関連付けられている前記画像の前記第2の部分を検索することを含む、システム。
適用例8:適用例1に記載のシステムであって、前記1または複数のプロセッサは、さらに、前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用する前に、前記ラベルに関連付けられている前記画像の前記第2の部分を前記画像から抽出するよう構成されている、システム。
適用例9:方法であって、
画像を取得し、
1または複数のプロセッサを用いて、特殊マークに関連付けられている前記画像の第1の部分を決定し、
前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第2の部分を決定し、
前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用して、前記ラベルに関する値を決定すること、
を備える、方法。
適用例10:適用例9に記載の方法であって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、方法。
適用例11:適用例9に記載の方法であって、前記画像は、1または複数の商品に関連付けられている、方法。
適用例12:適用例11に記載の方法であって、前記ラベルは、前記1または複数の商品に関連付けられている識別情報を含む、方法。
適用例13:適用例9に記載の方法であって、前記特殊マークに関連付けられている前記画像の前記第1の部分を決定することは、
特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
前記黒い境界線によって囲まれた内容を前記特殊マークパターンに関連付けられている指定された内容と比較し、
前記黒い境界線によって囲まれた前記内容が、前記指定された内容と一致する場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第1の部分を含むと決定すること、
を含む、方法。
適用例14:適用例9に記載の方法であって、前記特殊マークに関連付けられている前記画像の前記第1の部分を決定することは、
特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
前記黒い境界線の範囲内のピクセルラインが前記特殊マークパターンに関連付けられている黒白ピクセル比と一致するか否かを判定し、
前記黒い境界線の範囲内の前記ピクセルラインが、前記特殊マークパターンに関連付けられている前記黒白ピクセル比に一致すると判定された場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第1の部分を含むと決定すること、
を含む、方法。
適用例15:適用例9に記載の方法であって、前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、前記ラベルに関連付けられている前記画像の前記第2の部分を決定することは、前記特殊マークに関連付けられている前記画像の前記第1の部分の位置の近くの前記画像の領域内で、前記ラベルに関連付けられている前記画像の前記第2の部分を検索することを含む、方法。
適用例16:適用例9に記載の方法であって、さらに、前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用する前に、前記ラベルに関連付けられている前記画像の前記第2の部分を前記画像から抽出することを備える、方法。
適用例17:コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、
画像を取得するためのコンピュータ命令と、
特殊マークに関連付けられている前記画像の第1の部分を決定するためのコンピュータ命令と、
前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第2の部分を決定するためのコンピュータ命令と、
前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用して、前記ラベルに関する値を決定するためのコンピュータ命令と、
を備える、コンピュータプログラム製品。
適用例18:適用例17に記載のコンピュータプログラム製品であって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、コンピュータプログラム製品。
適用例19:適用例17に記載のコンピュータプログラム製品であって、前記画像は、1または複数の商品に関連付けられている、コンピュータプログラム製品。
適用例20:適用例19に記載のコンピュータプログラム製品であって、前記ラベルは、前記1または複数の商品に関連付けられている識別情報を含む、コンピュータプログラム製品。
Figure 0005972468

Claims (20)

  1. システムであって、
    1または複数のプロセッサであって、
    画像を取得し、
    特殊マークに関連付けられている前記画像の第1の部分を決定し、
    前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第2の部分を決定し、前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、前記ラベルに関連付けられている前記画像の前記第2の部分を決定することは、前記ラベルに関連付けられているテンプレートと前記特殊マークに関連付けられている前記画像の第1の部分の位置の近くの前記画像の一つ以上の領域内の少なくともいくつかと比較することによって、前記特殊マークに関連付けられている前記画像の前記第1の部分の位置の近くの前記画像の前記一つ以上の領域内で、前記ラベルに関連付けられている前記画像の前記第2の部分を検索することを含み、
    前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用して、前記ラベルに関する値を決定するよう構成されている、1または複数のプロセッサと、
    前記1または複数のプロセッサに接続され、前記1または複数のプロセッサに命令を提供するよう構成されている1または複数のメモリと、
    を備える、システム。
  2. 請求項1に記載のシステムであって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、システム。
  3. 請求項1に記載のシステムであって、前記画像は、1または複数の商品に関連付けられている、システム。
  4. 請求項3に記載のシステムであって、前記ラベルは、前記1または複数の商品に関連付けられている識別情報を含む、システム。
  5. 請求項1に記載のシステムであって、前記特殊マークに関連付けられている前記画像の前記第1の部分を決定することは、
    特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
    前記黒い境界線によって囲まれた内容を前記特殊マークパターンに関連付けられている指定された内容と比較し、
    前記黒い境界線によって囲まれた前記内容が、前記指定された内容と一致する場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第1の部分を含むと決定することを含む、システム。
  6. 請求項1に記載のシステムであって、前記特殊マークに関連付けられている前記画像の前記第1の部分を決定することは、
    特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
    前記黒い境界線の範囲内のピクセルラインが前記特殊マークパターンに関連付けられている黒白ピクセル比と一致するか否かを判定し、
    前記黒い境界線の範囲内の前記ピクセルラインが、前記特殊マークパターンに関連付けられている前記黒白ピクセル比に一致すると判定された場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第1の部分を含むと決定することを含む、システム。
  7. 請求項1に記載のシステムであって、前記1または複数のプロセッサは、さらに、前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用する前に、前記ラベルに関連付けられている前記画像の前記第2の部分を前記画像から抽出するよう構成されている、システム。
  8. 方法であって、
    画像を取得し、
    1または複数のプロセッサを用いて、特殊マークに関連付けられている前記画像の第1の部分を決定し、
    前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第2の部分を決定し、前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、前記ラベルに関連付けられている前記画像の前記第2の部分を決定することは、前記ラベルに関連付けられているテンプレートと前記特殊マークに関連付けられている前記画像の第1の部分の位置の近くの前記画像の一つ以上の領域内の少なくともいくつかと比較することによって、前記特殊マークに関連付けられている前記画像の前記第1の部分の位置の近くの前記画像の前記一つ以上の領域内で、前記ラベルに関連付けられている前記画像の前記第2の部分を検索することを含み、
    前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用して、前記ラベルに関する値を決定すること、
    を備える、方法。
  9. 請求項に記載の方法であって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、方法。
  10. 請求項に記載の方法であって、前記画像は、1または複数の商品に関連付けられている、方法。
  11. 請求項10に記載の方法であって、前記ラベルは、前記1または複数の商品に関連付けられている識別情報を含む、方法。
  12. 請求項に記載の方法であって、前記特殊マークに関連付けられている前記画像の前記第1の部分を決定することは、
    特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
    前記黒い境界線によって囲まれた内容を前記特殊マークパターンに関連付けられている指定された内容と比較し、
    前記黒い境界線によって囲まれた前記内容が、前記指定された内容と一致する場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第1の部分を含むと決定すること、
    を含む、方法。
  13. 請求項に記載の方法であって、前記特殊マークに関連付けられている前記画像の前記第1の部分を決定することは、
    特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
    前記黒い境界線の範囲内のピクセルラインが前記特殊マークパターンに関連付けられている黒白ピクセル比と一致するか否かを判定し、
    前記黒い境界線の範囲内の前記ピクセルラインが、前記特殊マークパターンに関連付けられている前記黒白ピクセル比に一致すると判定された場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第1の部分を含むと決定すること、
    を含む、方法。
  14. 請求項に記載の方法であって、さらに、前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用する前に、前記ラベルに関連付けられている前記画像の前記第2の部分を前記画像から抽出することを備える、方法。
  15. 画像を取得するための機能と、
    特殊マークに関連付けられている前記画像の第1の部分を決定するための機能と、
    前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第2の部分を決定するための機能と、前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、前記ラベルに関連付けられている前記画像の前記第2の部分を決定する機能は、前記ラベルに関連付けられているテンプレートと前記特殊マークに関連付けられている前記画像の第1の部分の位置の近くの前記画像の一つ以上の領域内の少なくともいくつかと比較することによって、前記特殊マークに関連付けられている前記画像の前記第1の部分の位置の近くの前記画像の前記一つ以上の領域内で、前記ラベルに関連付けられている前記画像の前記第2の部分を検索することを含み、
    前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用して、前記ラベルに関する値を決定するための機能と、
    をコンピュータによって実現させるコンピュータプログラム。
  16. 請求項15に記載のコンピュータプログラムであって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、コンピュータプログラム。
  17. 請求項15に記載のコンピュータプログラムであって、前記画像は、1または複数の商品に関連付けられている、コンピュータプログラム。
  18. 請求項17に記載のコンピュータプログラムであって、前記ラベルは、前記1または複数の商品に関連付けられている識別情報を含む、コンピュータプログラム。
  19. システムであって、
    1または複数のプロセッサであって、
    画像を取得し、
    特殊マークに関連付けられている前記画像の第1の部分を決定し、前記特殊マークに関連付けられている前記画像の前記第1の部分を決定することは、
    特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
    前記黒い境界線の範囲内のピクセルラインが前記特殊マークパターンに関連付けられている黒白ピクセル比と一致するか否かを判定し、
    前記黒い境界線の範囲内の前記ピクセルラインが、前記特殊マークパターンに関連付けられている前記黒白ピクセル比に一致すると判定された場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第1の部分を含むと決定することを含み、
    前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第2の部分を決定し、前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、前記ラベルに関連付けられている前記画像の前記第2の部分を決定することは、前記ラベルに関連付けられているテンプレートと前記特殊マークに関連付けられている前記画像の第1の部分の位置の近くの前記画像の一つ以上の領域内の少なくともいくつかと比較することによって、前記特殊マークに関連付けられている前記画像の前記第1の部分の位置の近くの前記画像の前記一つ以上の領域内で、前記ラベルに関連付けられている前記画像の前記第2の部分を検索することを含み、
    前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用して、前記ラベルに関する値を決定するよう構成されている、1または複数のプロセッサと、
    前記1または複数のプロセッサに接続され、前記1または複数のプロセッサに命令を提供するよう構成されている1または複数のメモリと、
    を備える、システム。
  20. 方法であって、
    画像を取得し、
    1または複数のプロセッサを用いて、特殊マークに関連付けられている前記画像の第1の部分を決定し、前記特殊マークに関連付けられている前記画像の前記第1の部分を決定することは、
    特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
    前記黒い境界線によって囲まれた内容を前記特殊マークパターンに関連付けられている指定された内容と比較し、
    前記黒い境界線によって囲まれた前記内容が、前記指定された内容と一致する場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第1の部分を含むと決定することを含み、
    前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第2の部分を決定し、前記特殊マークに関連付けられている前記画像の前記第1の部分に少なくとも部分的に基づいて、前記ラベルに関連付けられている前記画像の前記第2の部分を決定することは、前記ラベルに関連付けられているテンプレートと前記特殊マークに関連付けられている前記画像の第1の部分の位置の近くの前記画像の一つ以上の領域内の少なくともいくつかと比較することによって、前記特殊マークに関連付けられている前記画像の前記第1の部分の位置の近くの前記画像の前記一つ以上の領域内で、前記ラベルに関連付けられている前記画像の前記第2の部分を検索することを含み、
    前記ラベルに関連付けられている前記画像の前記第2の部分に文字認識を適用して、前記ラベルに関する値を決定すること、
    を備える、方法。
JP2015533106A 2012-09-21 2013-09-10 画像からのラベルの検出 Expired - Fee Related JP5972468B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201210360774.6 2012-09-21
CN201210360774.6A CN103679164A (zh) 2012-09-21 2012-09-21 一种基于移动终端的标志识别处理方法和系统
US14/021,564 2013-09-09
US14/021,564 US8971620B2 (en) 2012-09-21 2013-09-09 Detecting a label from an image
PCT/US2013/059054 WO2014046918A1 (en) 2012-09-21 2013-09-10 Detecting a label from an image

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016137232A Division JP2016201126A (ja) 2012-09-21 2016-07-12 画像からのラベルの検出

Publications (3)

Publication Number Publication Date
JP2015529369A JP2015529369A (ja) 2015-10-05
JP2015529369A5 JP2015529369A5 (ja) 2015-12-17
JP5972468B2 true JP5972468B2 (ja) 2016-08-17

Family

ID=50316654

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015533106A Expired - Fee Related JP5972468B2 (ja) 2012-09-21 2013-09-10 画像からのラベルの検出
JP2016137232A Pending JP2016201126A (ja) 2012-09-21 2016-07-12 画像からのラベルの検出

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016137232A Pending JP2016201126A (ja) 2012-09-21 2016-07-12 画像からのラベルの検出

Country Status (5)

Country Link
US (2) US8971620B2 (ja)
JP (2) JP5972468B2 (ja)
CN (1) CN103679164A (ja)
TW (1) TWI631514B (ja)
WO (1) WO2014046918A1 (ja)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9613267B2 (en) * 2012-05-31 2017-04-04 Xerox Corporation Method and system of extracting label:value data from a document
US9087272B2 (en) * 2013-07-17 2015-07-21 International Business Machines Corporation Optical match character classification
US9245192B2 (en) * 2013-09-20 2016-01-26 Here Global B.V. Ad collateral detection
KR102209729B1 (ko) * 2014-04-04 2021-01-29 삼성전자주식회사 인식 영역에 기반하여 콘텐트를 검출하는 전자 장치 및 방법
GB2526102B (en) * 2014-05-13 2020-09-23 Grass Valley Ltd Logo detection by edge matching
CN105303189B (zh) * 2014-07-29 2019-08-20 阿里巴巴集团控股有限公司 一种用于检测预定区域中特定标识图像的方法及装置
CN105608459B (zh) 2014-10-29 2018-09-14 阿里巴巴集团控股有限公司 商品图片的分割方法及其装置
JP6694638B2 (ja) * 2015-01-21 2020-05-20 国立大学法人東京農工大学 プログラム、情報記憶媒体及び認識装置
US9892478B2 (en) 2015-03-06 2018-02-13 Digimarc Corporation Digital watermarking applications
US10467284B2 (en) 2015-08-03 2019-11-05 Google Llc Establishment anchoring with geolocated imagery
US10217182B1 (en) 2015-10-29 2019-02-26 Digimarc Corporation Construction of signal maps for images with encoded signals
US10262176B1 (en) 2016-02-23 2019-04-16 Digimarc Corporation Scanner with control logic for resolving package labeling
US10198782B1 (en) * 2016-09-15 2019-02-05 Digimarc Corporation Detecting conflicts between multiple different encoded signals within imagery
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
CN108345895A (zh) * 2017-01-22 2018-07-31 上海分泽时代软件技术有限公司 广告图像识别方法以及广告图像识别系统
WO2018204308A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Method and apparatus for object status detection
US10505057B2 (en) 2017-05-01 2019-12-10 Symbol Technologies, Llc Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera
US20180314908A1 (en) * 2017-05-01 2018-11-01 Symbol Technologies, Llc Method and apparatus for label detection
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
TWI649698B (zh) 2017-12-21 2019-02-01 財團法人工業技術研究院 物件偵測裝置、物件偵測方法及電腦可讀取媒體
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
GB201817808D0 (en) * 2018-10-31 2018-12-19 Ishida Europe Ltd Method and apparatus for inspecting a label attached to a food pack
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
TWI703508B (zh) * 2018-12-19 2020-09-01 洽吧智能股份有限公司 字元影像識別方法與系統
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US11250535B1 (en) 2019-02-08 2022-02-15 Digimarc Corporation Detecting conflicts between multiple different encoded signals within imagery, using only a subset of available image data, and robustness checks
US10789438B1 (en) 2019-02-08 2020-09-29 Digimarc Corporation Detecting conflicts between multiple different encoded signals within imagery, using only a subset of available image data
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
WO2021054850A1 (ru) * 2019-09-17 2021-03-25 Публичное Акционерное Общество "Сбербанк России" Способ и система интеллектуальной обработки документа
CN111091532B (zh) * 2019-10-30 2023-07-18 中国四维测绘技术有限公司 一种基于多层感知机的遥感影像色彩评价方法和系统
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN113033588A (zh) * 2019-12-24 2021-06-25 中移雄安信息通信科技有限公司 一种图像处理方法及电子设备
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
CN112926683A (zh) * 2021-03-29 2021-06-08 中国建设银行股份有限公司 一种对象识别方法和装置
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
WO2024049421A1 (en) * 2022-08-31 2024-03-07 Surgibox Inc. Blockchain systems and methods for verifying the certifications and the authenticity of commercial products

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4776464A (en) * 1985-06-17 1988-10-11 Bae Automated Systems, Inc. Automated article handling system and process
US5081685A (en) * 1988-11-29 1992-01-14 Westinghouse Electric Corp. Apparatus and method for reading a license plate
FR2657982B1 (fr) 1990-02-02 1992-11-27 Cga Hbs Procede de localisation d'adresse sur des articles a trier, etiquette d'adressage et dispositif de mise en óoeuvre du procede.
US5060980A (en) * 1990-05-30 1991-10-29 Xerox Corporation Form utilizing encoded indications for form field processing
JPH06339026A (ja) * 1993-05-31 1994-12-06 Matsushita Electric Ind Co Ltd 補正データ生成装置
JPH0793473A (ja) * 1993-09-21 1995-04-07 Hitachi Eng Co Ltd 文字領域割り出し方法
JP3726395B2 (ja) 1997-01-30 2005-12-14 株式会社デンソー 2次元コードおよび2次元コードの読取方法
JPH1154407A (ja) * 1997-08-05 1999-02-26 Nikon Corp 位置合わせ方法
JP4054428B2 (ja) * 1998-02-05 2008-02-27 キヤノン株式会社 画像検索装置及びその方法、コンピュータ可読メモリ
US6360001B1 (en) 2000-05-10 2002-03-19 International Business Machines Corporation Automatic location of address information on parcels sent by mass mailers
US7130466B2 (en) * 2000-12-21 2006-10-31 Cobion Ag System and method for compiling images from a database and comparing the compiled images with known images
WO2003009251A1 (en) * 2001-07-18 2003-01-30 Hyunjae Tech Co., Ltd System for automatic recognizing licence number of other vehicles on observation vehicles and method thereof
CA2375355A1 (en) 2002-03-11 2003-09-11 Neo Systems Inc. Character recognition system and method
US7328847B1 (en) * 2003-07-30 2008-02-12 Hewlett-Packard Development Company, L.P. Barcode data communication methods, barcode embedding methods, and barcode systems
US20050044758A1 (en) * 2003-08-29 2005-03-03 Richard Gary P. More readily identifiable license plate
JP4391839B2 (ja) * 2004-01-30 2009-12-24 富士通株式会社 撮影条件設定プログラム、撮影条件設定方法および撮影条件設定装置
JP2006331322A (ja) 2005-05-30 2006-12-07 Fuji Electric Systems Co Ltd 検索用タグ及びこれを使用した情報検索システム
US7613328B2 (en) * 2005-09-09 2009-11-03 Honeywell International Inc. Label detection
US7769236B2 (en) * 2005-10-31 2010-08-03 National Research Council Of Canada Marker and method for detecting said marker
JP4745830B2 (ja) * 2006-01-05 2011-08-10 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
JP4670657B2 (ja) 2006-01-24 2011-04-13 富士ゼロックス株式会社 画像処理装置、画像処理方法及びプログラム
JP2007304864A (ja) * 2006-05-11 2007-11-22 Fuji Xerox Co Ltd 文字認識処理システムおよび文字認識処理プログラム
US8218821B2 (en) * 2007-01-23 2012-07-10 Pips Technology, Inc. Video preprocessing of image information for character recognition
US8285047B2 (en) * 2007-10-03 2012-10-09 Xerox Corporation Automated method and system for naming documents from a scanned source based on manually marked text
JP4711093B2 (ja) * 2008-08-28 2011-06-29 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP4821869B2 (ja) 2009-03-18 2011-11-24 富士ゼロックス株式会社 文字認識装置、画像読取装置、およびプログラム
EP2415015B1 (en) * 2009-03-30 2015-08-12 Telefonaktiebolaget LM Ericsson (publ) Barcode processing
US8594422B2 (en) 2010-03-11 2013-11-26 Microsoft Corporation Page layout determination of an image undergoing optical character recognition
US9292565B2 (en) 2010-06-30 2016-03-22 International Business Machines Corporation Template-based recognition of food product information
US9195870B2 (en) * 2010-09-20 2015-11-24 Lumidigm, Inc. Copy-resistant symbol having a substrate and a machine-readable symbol instantiated on the substrate
JPWO2012049795A1 (ja) 2010-10-12 2014-02-24 パナソニック株式会社 表示処理装置、表示方法およびプログラム
US8528820B2 (en) * 2011-06-29 2013-09-10 Symbol Technologies, Inc. Object identification using barcode reader
US20130279758A1 (en) * 2012-04-23 2013-10-24 Xerox Corporation Method and system for robust tilt adjustment and cropping of license plate images

Also Published As

Publication number Publication date
US8971620B2 (en) 2015-03-03
US20150199581A1 (en) 2015-07-16
JP2015529369A (ja) 2015-10-05
US9811749B2 (en) 2017-11-07
TWI631514B (zh) 2018-08-01
JP2016201126A (ja) 2016-12-01
WO2014046918A1 (en) 2014-03-27
CN103679164A (zh) 2014-03-26
TW201413602A (zh) 2014-04-01
US20140086483A1 (en) 2014-03-27

Similar Documents

Publication Publication Date Title
JP5972468B2 (ja) 画像からのラベルの検出
US20230222631A1 (en) Method and device for removing handwritten content from text image, and storage medium
US9916499B2 (en) Method and system for linking printed objects with electronic content
JP5826081B2 (ja) 画像処理装置、文字認識方法及びコンピュータプログラム
US11823358B2 (en) Handwritten content removing method and device and storage medium
EP2974261A2 (en) Systems and methods for classifying objects in digital images captured using mobile devices
US20090148043A1 (en) Method for extracting text from a compound digital image
CN110717497B (zh) 图像相似度匹配方法、装置及计算机可读存储介质
US9235757B1 (en) Fast text detection
Bukhari et al. The IUPR dataset of camera-captured document images
TW202013239A (zh) 影像處理系統、影像處理方法及程式產品
KR20150091948A (ko) 폰트를 인식하고 폰트정보를 제공하는 시스템 및 그 방법
TW202006597A (zh) 影像處理系統、影像處理方法及程式產品
CN110414497A (zh) 对象电子化的方法、装置、服务器及存储介质
CN115294557A (zh) 图像处理方法、图像处理装置、电子设备及存储介质
Bhaskar et al. Implementing optical character recognition on the android operating system for business cards
Huang et al. Chinese historic image threshold using adaptive K-means cluster and Bradley’s
CN114202761B (zh) 一种基于图片信息聚类的信息批量提取方法
KR20130117378A (ko) 이미지 정보를 활용한 온라인 정보 제공 방법
CN109558876B (zh) 字符识别处理方法及装置
Kasar Camera-captured document image analysis
Oliveira et al. An efficient algorithm for segmenting warped text-lines in document images
Kataria et al. Review on text detection and recognition in images
CN111898602A (zh) 一种图像中的凭证号码区域识别方法、装置及设备
Reddy et al. An edge-based text region extraction from document images using connected component analysis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151023

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20151023

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160712

R150 Certificate of patent or registration of utility model

Ref document number: 5972468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees