JP6457971B2 - 複数の撮影画像を用いてパターンのステッチおよびデコードするシステムおよび方法 - Google Patents

複数の撮影画像を用いてパターンのステッチおよびデコードするシステムおよび方法 Download PDF

Info

Publication number
JP6457971B2
JP6457971B2 JP2016109865A JP2016109865A JP6457971B2 JP 6457971 B2 JP6457971 B2 JP 6457971B2 JP 2016109865 A JP2016109865 A JP 2016109865A JP 2016109865 A JP2016109865 A JP 2016109865A JP 6457971 B2 JP6457971 B2 JP 6457971B2
Authority
JP
Japan
Prior art keywords
image
symbol
binary matrix
promising candidate
symbol data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016109865A
Other languages
English (en)
Other versions
JP2016184422A (ja
JP2016184422A5 (ja
Inventor
ワン シエンジュ
ワン シエンジュ
イエ シャンユン
イエ シャンユン
Original Assignee
コグネックス・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コグネックス・コーポレイション filed Critical コグネックス・コーポレイション
Publication of JP2016184422A publication Critical patent/JP2016184422A/ja
Publication of JP2016184422A5 publication Critical patent/JP2016184422A5/ja
Application granted granted Critical
Publication of JP6457971B2 publication Critical patent/JP6457971B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/146Methods for optical code recognition the method including quality enhancement steps
    • G06K7/1491Methods for optical code recognition the method including quality enhancement steps the method including a reconstruction step, e.g. stitching two pieces of bar code together to derive the full bar code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像をデコードする画像システムおよび方法に関し、詳細には複数の撮影画像を結合したデータを用いてステッチおよびデコードするシステムおよび方法に関する。
画像システムが、視覚された被写体の情報を供給するカメラセンサを備える画像取得デバイスを用いる。次いでシステムが、この情報を種々のアルゴリズムに基づいて分析し、プログラムされた意思決範囲において最も効果的となるために、典型的には被写体が照明される。
イメージセンサを用いてシンボルを読み取ること(または一般に「バーコード」スキャンと言われる)が、シンボル(たとえば「バーコード」)を含む被写体の位置における画像取得センサ(CMOSカメラ、CCDなど)を指しており、シンボルの画像を取得する。シンボルには所定のパターンセットが含まれ、該パターンが特徴または形の順序付けられたグループを表わし、そこから、搭載されたデータプロセッサ(たとえばマイクロプロセッサ)が被写体について価値のある情報(たとえば、シリアル番号や種類、モデル、価格など)を導出する。シンボル/バーコードが様々な形状および大きさで利用可能である。被写体のマーキングや識別に用いられる最も共通に活用されるシンボルタイプに、幅および隙間の変化する上下のストライプの線で構成されるいわゆる1次元バーコード、およびドットまたは矩形の2次元配列で構成されるいわゆる2次元バーコードの2つがある。
多くの画像化用途において、表面の特徴、照明、動き、他の変化の振動または大きさによって、その画像が部分的に読取り不能のような画像となる。たとえば、被写体が搬送ラインを下るに従い、被写体のシンボルの複数の画像を画像化デバイスが導く。この配置において、画像化デバイスおよび被写体の間の相対動きが発生する。画像化デバイスの処理回路に組み込まれた機械視覚アプリケーションが被写体のシンボルの複数の画像を導く。上述した何れの理由のために、導かれた画像の1つまたは複数が部分的に読み出し不能である。
関心の目標/特徴の画像が、視野範囲を通過すると、例示の機械視覚検出器によって複数、取得される一方で、各画像が個々に用いられて検出および/またはトリガ機能を実行する。
本実施形態が、機械読取シンボルを読み取るシステムおよび方法を提供することで従来技術の問題を解決し、該システムおよび方法が、シンボルの画像を複数撮影しかつシンボルデータが破損されてデコードできないときに画像からシンボルデータ領域を見つける。複数の画像から取得されたシンボルデータ領域のバイナリマトリクスが生成、集積されて、デコード可能な画像が生成される。シンボルが1つの画像から次のに移動するときに、同じシンボルについて取得された複数画像の中で対応が確立される。
したがって、ある実施形態がシンボルの画像を用いてシンボルをデコードするシステムで構成される。該システムが画像化デバイスを備え、画像化デバイスが第1画像および第2画像を取得し、第1画像が第1シンボルデータ領域を含み、第2画像が第2シンボルデータ領域を含む。プロセッサが画像化デバイスに動作可能に連結され、プロセッサがデータステッチアルゴリズムを実行し、ここでデータステッチアルゴリズムによって、第1シンボルデータ領域が第1バイナリマトリクスに、第2シンボルデータ領域が第2バイナリマトリクスにそれぞれ変換され、データステッチアルゴリズムによって、第1バイナリマトリクスが第2バイナリマトリクスに累積されて累積バイナリマトリクスが生成され、該累積バイナリマトリクスがシンボルを表わすデコード可能とされる。
他の実施形態は、機械読み取り可能シンボルの第1画像および続く画像の間の対応を確立するためのシステムである。該システムが第1画像および後続画像を取得する画像化デバイスを備え、第1画像には第1シンボルデータ領域が含まれ、後続画像には後続シンボルデータ領域が含まれ、第1シンボルデータ領域には第1位置および第1スケールが含まれ、後続シンボルデータ領域には第2位置および第2スケールが含まれ、第2位置および第2スケールが第1位置および第1スケールとは異なるものとされる。プロセッサが画像化デバイスに動作可能に連結され、該プロセッサが、データステッチアルゴリズムを実行し、ここで、データステッチアルゴリズムが機械読み取り可能シンボルの合成モデルを生成し、合成モデル位置における後続シンボルデータ領域の第2位置および第2スケールとの相関を実行する。相関に基づいて、後続シンボルデータ領域の第2位置および第2スケールを調節して修正後続画像が生成され、第1画像および後続画像がデコード用に一緒にステッチされる。
ある実施形態が、上記に一貫して、シンボルの画像を用いてシンボルをデコードする方法を含む。該方法には、画像化デバイスを用いて、第1シンボルデータ領域を含んでいる第1画像、および第2シンボルデータ領域を含んでいる第2画像を取得する工程と、第1シンボルデータ領域を第1バイナリマトリクスに、第2シンボルデータ領域を第2バイナリマトリクスに変換する工程と、第1バイナリシンボルを第2バイナリマトリクスと累積する工程と、シンボルを表わすデコード可能とされる累積バイナリマトリクスを生成する工程と、が含まれる。
上述および関連の目的を達成するために、次いで、本技術が以降に詳しく説明する特徴を備える。以下の説明および添付の図面によって本技術のある例示の態様を詳細に説明する。しかしながら、これら態様が本技術の原理が用いられる様々な方法のうちのいくつかしか示さない。本技術の他の態様や有利な点、新規の特徴が、図面と共に検討することで次の詳細の説明から明らかになろう。
本実施形態に基づく、被写体の複数の画像を取得する固定スキャナを含む代表的な視覚システム構成の概略図である。 2次元マトリクスシンボルの特徴および形態の図である。 2次元マトリクスシンボルの特徴および形態の図である。 2次元マトリクスシンボルの特徴および形態の図である。 2次元マトリクスシンボルの特徴および形態の図である。 2次元マトリクスシンボルの特徴および形態の図である。 2次元マトリクスシンボルの特徴および形態の図である。 画像における配置された有望候補領域および背景雑音の図である。 被写体の第1および第2の画像で2つの有望候補領域を示す図である。 被写体の第1および第2の画像で2つの有望候補領域を示す図である。 図9の第1画像の第1有望候補のバイナリマトリクスを示す図である。 図9の第1画像の第2有望候補のバイナリマトリクスを示す図である。 図10の第2画像の第1有望候補のバイナリマトリクスを示す図である。 図10の第2画像の第2有望候補のバイナリマトリクスを示す図である。 図9の第1画像の第1有望候補のバイナリマトリクス、および図10の第2画像の第1有望候補のバイナリマトリクスをステッチした集積バイナリマトリクス示す図である。 図9の第1画像の第2有望候補のバイナリマトリクス、および図10の第2画像の第2有望候補のバイナリマトリクスをステッチした集積バイナリマトリクス示す図である。 シンボルの第1画像を示す。 図17に続く、または同じシンボルの第2画像を示しかつシンボルがわずかに移動したのを示す。 相関関係技術に用いられる合成モデルを示す。 シンボル位置を示し、それに対する合成モデルおよび第2画像間の相関関係がスケールおよび位置がパラメータ空間内で最も高い。 第2画像の修正有望領域を示す。 明るいフィールド照明を用いたシンボルの第1画像を示し、ここで有望候補領域が破損データ領域を含んでいる。 未知の極性のある図22のシンボルの第2画像を示す。 ライトオンダークフィルタ(light-on-dark filter)を用いた第1DOH画像を示す。 ダークオンライトフィルタ(dark-on-light filter)を用いた第2DOH画像を示す。 図22の第1画像および図23の第2画像からステッチされ累積されたデコード可能なバイナリマトリクスを示す。
本技術が種々の変態および代替の態様を受ける一方で、特別な実施形態が図面の例に示され、本明細書に詳細に説明される。しかしながら、特別な実施形態の説明が技術を開示された個別な形態へ限定するものではなく、反対に、添付の特許請求のスケールで定義される技術の主旨およびスケール内の変態、等価、代替を全て含めるものとすることが理解されよう。
本発明の技術の種々の態様を添付の図面を参照して説明するが、いくつかの図に亘って類似の参照番号が類似の要素に対応する。しかしながら、以降の関連の図面および詳細の説明が、請求する発明の要件を開示する特別な形態に限定するものでないことが理解されよう。むしろ、意図するところは請求する発明の要件の主旨およびスケールにある変態、等価、代替を全て含めるものである。
本明細書で使用されるように、「構成要素(component)」、「システム(system)」、「デバイス(device)」などの用語がハードウェア、ハードウェアおよびソフトウェアの組合せ、ソフトウェア、および実行のソフトウェアの何れかを指すものである。用語「例示の」は本明細書においては、例、具体例、例示として機能するのを意味するのに用いられる。本明細書に「例示の」として説明された何れの態様、デザインは、他の態様およびデザインに亘って必ずしも好適または有利なものとして解釈されるものではない。
また、開示の発明事項が、標準のプログラムおよび/またはエンジニアリング技術および/またはプログラムを用いて、システム、方法または製造物として実施されて、ハードウェア、ファームウェア、ソフトウェア、またはそれらの何れの組合せを作って電子ベースデバイスを制御し、本発明書で詳述する態様を実施する。
他に特定したり限定しない限り、用語「接続された」、「結合された」、およびこれらの種々の変形が、広く用いられかつ直接および間接の実装、接続、保持、結合の何れを含む。さらに、「接続された」および「結合された」は、物理的、機械的接続または結合に限定されない。本明細書に使用されるように、他に明記しない限り、「接続された」は1つの要素/特徴が別の要素/特徴に直接にまたは間接に接続されるが、必ずしも電気的または機械的ではない。同様に、他に明記しない限り、「結合された」は1つの要素および/または特徴が直接にまた間接的に別の要素/特徴に結合されることを意味するが、必ずしも電気的または機械的ではない。
本明細書で使用されるように、用語「プロセッサ」には、1つまたは複数のプロセッサおよびメモリ、および/または1つまたは複数のプログラマブルハードウェア要素が含まれる。ここで使用されるように、用語「プロセッサ」には、CPU、マイクロコントローラ、デジタル信号処理、またはソフトウェア命令を実行可能な他のデバイスの何れかが含まれる。
本明細書で使用されるように、用語「メモリ」には、不揮発性媒体、たとえば、磁気媒体、またはハードディスク、光学ストレージ、またはフラッシュメモリ、システムメモリなどの揮発性媒体、たとえば、ランダムアクセスメモリ(RAM)の、DRAM、SRAM、EDO RAM、RAMBUS RAM、DR DRAM、または、たとえばCD−ROM、フレキシブルディスクなどの、プログラムが保存されおよび/またはデータ通信がバッファリングされるインストレーション媒体、が含まれる。用語「メモリ」にはやはり他の種類のメモリまたはそれらの組合せが含まれる。
技術の実施形態を以下に図を用いて説明し、図は本技術の実施形態を実施するのに用いられる実施形態の構造または処理の何れかを例示する。このように技術の実施形態を表わす図を用いるが、そのスケールを限定するものとして解釈されない。複数取得画像から複合されたデータを用いてステッチしデコードする電気デバイス構造およびシステム、および方法の両方に、本技術が予期される。
機械視覚システムの様々な実施形態を固定実装スキャナに関連付けて説明するが、該スキャナが2次元マトリクスをスキャンするのに適合し、読み取りできない領域を含むシンボルの複数の画像に関心の領域を見つけ、関心の領域を結合してシンボルのデコード可能な画像を生成する。これは本技術の特徴および有利な点がこの目的に好適だからである。さらに、本技術の種々の態様が、機械読み取りシンボル、画像化デバイス、画像化用途に適用でき、それにはロボット制御スキャナ、ハンドヘルド画像化デバイス、画像化デバイスが含まれ、および複数撮影画像から複合された画像データを用いたシンボルをデコードするのに利益を享受できる他の形態に適用できる。
図1に、機械読み取り可能なシンボル36を含む被写体34の1つまたは複数の画像32を取得するのに適合した、例示する機械視覚システム30を示す。コンベヤ38が被写体34を搬送し、被写体34および画像化デバイス42の視野40の間の相対動きが発生する。例示の機械視覚システムが、限定されずに、他には、製造組立や、試験、測定、オートメーション、および/または制御アプリケーションに用いられる。機械視覚システム30が様々な画像取得の何れかを実行できる画像取得ソフトウェア44を用いて良い。
画像化デバイス42が、たとえば画像処理およびデコードに用いられるプロセッサ46を含む。プロセッサ46が視覚センサ48に連結されるが、視覚センサ48の一部になるかまたは視覚センサ48に局所的に結合される。プロセッサ46が、画像取得ソフトウェア44でコード化されるか、またはある実施形態では画像取得ソフトウェア44が、別のコンピュータデバイス50またはプロセッサ上で動作する。画像取得ソフトウェア44が、他には、単一の読み取り操作で複数画像を取得し、照明を制御し、画像データを取得し、取得画像データを使用可能情報に処理/デコードするように構成され得る。
また、画像化デバイス42が視覚センサ48に連結されたメモリ媒体52、および/またはプロセッサ46を含む。メモリ媒体52が、スキャンされまたは処理された画像32を保存し、データおよび通信などををバッファするのに用いられて良い。また、通信ライン54が画像化デバイス42に連結され、任意のコンピュータ50への接続ポイントを提供する。コンピュータ50がたとえばスキャンされたまたは処理された画像32をアップロードおよびダウンロードするために用いられて良い。ワイヤレス通信がやはり検討されることは理解されよう。この例で、画像デバイス42は高角度および/または低角度、または高低角度の照明を提供できる従来の固定搭載スキャナで良い。
本明細書に記載の様々な実施形態によって、被写体34の複数画像32からの結合画像が、そうでなければ個々の画像からはデコードできないシンボル36のデコードを可能とする。特には、様々な実施形態を、2次元マトリクスシンボルの画像化およびデコードに関連付けて説明する。この例では、シンボル36が概略平坦な被写体34の表面に適用される。被写体34が正しく照明されずに、または別の他の理由で時々部分的に覆われて、シンボル36が部分的に読み取れなくなる。
図2〜7を参照し、2次元マトリクスシンボル56が規則的配列構造に配列された形式的に四角シンボルモジュール60を含む1つまたは複数のデータ領域58で構成される。データ領域58が概略L形状のファインダパターン62によって部分的に囲まれ、データ領域58が、4つの全ての側に接して、静寂域64で囲まれて良い。タイミングパターン66がシンボル36の行数と列数の数を提供する。図5がダークオンライト2次元マトリクスシンボル56の例を示し、図6がライトオンダーク2次元マトリクスシンボル70の例を示す。また、配列パターン72が、含まれて良く、典型的に大きい格子サイズシンボルで用いられる(図7参照)。
機械視覚システム30がシンボル特定ソフトウェア74を用いて、それの長方形または四角形の形状、若しくはユニークなファインダパターン62およびタイミングパターン66に基づいて2次元マトリクスシンボルを特定して有望候補を特定する。ある実施形態では、画像取得ソフトウェア44およびシンボル特定ソフトウェア74が結合されて1つのソフトウェアアプリケーションになり、他の実施形態では、画像取得ソフトウェア44およびシンボル特定ソフトウェア74が別のソフトウェアアプリケーションの場合がある。画像取得ソフトウェア44およびシンボル特定ソフトウェア74のどちらかまたは両方がコンピュータ50または画像デバイス42に常駐して良い。
シンボル特定アルゴリズムの1つの実施形態が、米国特許第7,016,539号に記載され、それが本明細書で援用される。他のシンボル特定アルゴリズムも利用可能でその使用が検討される。使用には、シンボル特定ソフトウェア74が2次元マトリクスシンボルのファインダパターン62および/またはタイミングパターン66を探すことでシンボル候補を特定できる。シンボルのデータ領域58が相当に破損すると、シンボルがデコードされず、シンボル特定ソフトウェア74がファインダおよびタイミングパターンに適合する複数の有望候補領域をある程度で特定する。有望候補領域が、配置されていても画像に有効なデータに十分な量でなくデコードできないシンボルの領域かもしれない。シンボルモジュール60のたとえば65パーセント以上が適用可能で、ファインダパターン62、予期されたタイミングパターン66、およびアライメントパターン72に適合するならば、有望と考慮される。
図8を参照し、有望候補領域76がシンボル特定アルゴリズム74を用いて見つけられる。画像80の残りのシンボル78、たとえばテキストや数字が背景ノイズと考えられ、2次元マトリクスシンボルに必要な特徴、たとえばファンダパターン(finder pattern)62やタイミングパターン(timing pattern)66のいずれかまたはそれらをを十分に含んでいないならばシンボル特定ソフトウェア74によって無視される。前述のように画像取得ソフトウェア44が複数画像を取得し、シンボルのデータ領域58が破損してシンボルがデコードできないときに、シンボル特定ソフトウェア74が複数画像から複数の有望候補領域76をマッチさせる。ある実施形態では、異なる画像取得パラメータが複数画像に用いられる。
図9および10を参照すると、第1画像84および第2画像86が示される。被写体の撮られた第1画像84に2つの有望候補領域88および90が示される。第2画像86が同じ被写体の撮された別の画像であり、同じ2つの有望候補領域88および90を示すが、ある条件のために、第2画像86で利用可能な画像データが第1画像84で利用可能な画像データと異なる。これら2つの画像84および86、または複数の画像からの画像データが複合されたでデコード可能データが生成される。
図9に示すように、シンボル特定ソフトウェア74は、シンボル特定アルゴリズムが探している、たとえばファインダパターンなどの特徴が含まれるために有望候補領域88が誤った有望領域であると判断できない。この誤った候補領域がたとえば画像の他のシンボルやテキスト、模様などであることもある。シンボル特定アルゴリズム74は、有望候補領域90が有望データ領域92および右側の破損領域94を含んでいる(破損領域94にシンボルモジュール60が現れない)、2次元マトリクスシンボルであることを判断することができる。
図10が2つの有望候補領域88および90の第2画像86を示す。この第2画像において、有望候補領域88がやはり誤りの有望領域であり、というのはシンボル特定ソフトウェアが探してもデータモジュールがデコードされないからである。シンボル特定ソフトウェ74がやはり、有望候補領域90が2次元マトリクスシンボルであって、第2画像86において左側に破損データ領域98を含む異なる有望データ領域96を含んでいると判断する。
第1画像84からの有望候補領域88を、第2画像86からの有望候補領域88と、同様に、第1画像84からの有望候補領域90を第2画像86からの有望候補領域90と結合するために、デコード可能なデータを生成するのに2つの有望候補領域88および90のバイナリマトリクスが生成されて、データステッチアルゴリズム100を用いて一緒に「ステッチ」される(stitched)。図11〜16が有望候補領域88および90のバイナリマトリクスの生成およびステッチの進度を示す。
図11が第1画像84から生成された有望候補領域88のバイナリマトリクス102を示す。図12がやはり第1画像から生成された有望候補領域90のバイナリマトリクス104を示す。同様に、図13がやはり第2画像86から生成された有望候補領域88のバイナリマトリクス106を示し、図14がやはり第2画像から生成された有望候補領域90のバイナリマトリクス108を示す。
図15および図16が、有望候補領域88および有望候補領域90の両方用に、第1画像84および第2画像86の両方から進展したステッチバイナリマトリクスを示す。図15において、第1画像84および第2画像86からの有望候補領域88のステッチバイナリマトリクス102および106が、累積バイナリマトリクス107からデコードできないで残る。ファインダパターンおよび/またはタイミングパターンなどの特徴がシンボル特定ソフトウェア74でデコードできない。反って、図16において、第1画像84および第2画像86から有望候補領域90のステッチバイナリマトリクス104および108が、累積バイナリマトリクス109からデコード可能である。分かるように、ファインダパターン62およびタイミングパターン66がシンボル特定ソフトウェア74でデコード可能である。
ある実施形態では、同じシンボルの複数の画像が取得されるときに、シンボルおよび/またはシンボルの有望候補領域の位置が画像間で変わる。これは、照明、または同じように被写体の動きにおける変化による。本技術の実施形態が試みるのは、シンボルの今の画像に、シンボルの合成モデルおよび利用可能なシンボルデータ110との間の相互関係を用いることによって、複数画像におけるシンボルの位置を変えて位置関係(position association)を見つけることであり、これが本明細書では「対応(correspondence)と呼ぶ。データステッチアルゴリズム100は、知られるアフィン変換技術(affine transformation technique)を用いることで正しい位置の変更がモデル化できることを前提とする。シンボル特定ソフトウェア74が同じ被写体24に取得される連続画像(次の画像は必要はない)で動作しているとき、シンボル特定ソフトウェア74またはデータステッチアルゴリズム100が現在の画像における以前に取得の有望候補領域およびシンボルデータ110間の対応(correspondence)、たとえば関係(association)を確立する。
図17が第1画像114を示し、図18が同じシンボル112の続く、または第2画像116を示し、ここで第2画像116において、シンボル112が、シンボル112の第1画像114に特定されたところに関連して移動する(わずかに左下)。第1画像および第2画像114、116間のこの移動のために、画像間の相関関係が進む。
図19を参照すると、相関技術(correlation technique)に基づいて、合成モデル118がデータステッチアルゴリズム100を用いて生成される。合成モデル118が特別のシンボルの知られた特徴のモデルであって、この例では2次元8×32マトリクスシンボルである。シンボルモデル118が知られるファインダパターン62、タイミングパターン66、および場合によりアライメントパターン72の1つ以上を用いて生成される。相関関係がたとえばグレーレベル画像解析や知られるフィルタ画像解析を含む知られる画像解析方法を用いて成される。この例でドットフィルタ解析のヘッセ行列式(Determinant of Hessaian(DOH))が用いられて特徴の1セットが生成され、特徴の1セットが修正ドット120である。DOHがドットを修正するのに用いられる公知技術である。相関関係を見いだす方法は、用途および速度要求に依存する遠近方法、多項式方法などのさらに複雑なモデルにまで拡張できる。DOH技術を用いることで、知られるシンボルモジュール60がさらに高いDOH応答を生成する。特徴の1セットが異なる用途に変更できる。
図20を参照すると、相関関係技術を用いて、合成モデル118および移動した第2画像116の間の相関関係が見出される。スケール、角度、移動(translation)を含むパラメータ空間における相関関係スコアを最大にすることで相関関係が確立される。シンボルモデル66のシフトされたセット122が、第1画像114における第1シンボル領域から推測されるモジュール位置124よりも高いDOH応答(response)を示し、合成モジュール118に対して相関関係がより高いことが示される。シフトされたセット122が合成モデル118をDOH応答に相関させることから推測された新しいモジュール位置である。最後に、合成モデル118に対する相関関係が確立された状態で、第2画像116が相関関係に基づいて修正されて、図21に示すように、修正有望領域126を生成する。新しい修正第2画像126の場合、データステッチアルゴリズム100が用いられて、前述の通りに、第1画像114からのデータマトリクス、および修正有望領域126からのデータマトリクスとを一緒にステッチする。各サンプリング位置の信頼(confidence)が得られ、該サンプリング位置がシンボルモジュール66であるが、対応する累積バイナリマトリクス(たとえば図16に示される)が、累積バイナリマトリクス109結果がデコードされるまで更新される。
ある実施形態では、データステッチアルゴリズム100が同じまたは反対の極性で画像を解析する。図22に、有望候補領域132および左側の破損領域134のある照明フィールド明度を用いたシンボル130の第1画像128が示される。第2の画像140(図23参照)が取得され第2画像の極性が分からないとき、データステッチアルゴリズム100が用いられて第2画像の有望候補領域を解析することで第2画像140の極性を決定する。
図24および25を参照すると、2つのDOH画像が第2画像140を用いて生成され、同じく、第1DOH画像136がライトオンダークフィルタ(right-on-dark filter)(図24)を用いて生成され、第2DOH画像138がダークオンライトフィルタ(dark-on-light filter)(図25)を用いて生成される。次いで、前述のように、相関関係ベース方法が第1DOH画像136および第2DOH画像138の両方に適用されて、DOH画像136および138の両方における相関関係を見出す。この例で、ライトオンダークフィルタを用いた第1DOH画像136からの相関関係スコアの方が、ダークオンライトフィルタを用いた第2DOH画像138からの相関関係スコアよりも高い。ライトオンダークフィルタを用いた第1DOH画像136に対する高い相関関係スコアに基づいて、データステッチアルゴリズム100がライトオンダークとなる解析第2画像140の極性が決定される。
極性が決定された場合、データステッチアルゴリズム100が進み、前述のように、第1画像128からのデータマトリクスおよび解析第2画像140からのデータマトリクスとを一緒にステッチする。図26がそれぞれ第1画像128および第2画像140からのデコード可能ステッチ累積バイナリマトリクス142および144の画像146を示す。
本発明の技術を好適な実施形態を参照して説明してきたが、技術の主旨およびスケールから逸脱することなく、変態が、形態および詳細に、為されることは当業者には理解されよう。たとえば、本技術が、2次元データマトリクスシンボルの実施形態に限定されず、他の機械読み出しシンボル技術で実施されて良い。
本明細書で説明の特別な方法がハンドヘルド用途に一般化されたり、本明細書で説明の対応の方法がパターン配置用途に一般化されて良い。
本明細書に説明の技術が複数画像からのOCR読み出しなどの他のID用途向けのステッチデータに適用できる。複数画像からのOCR読み出しの知られた方法が個々の画像から最高スコアを有する読み出しキャラクタを選択することである。知られた方法が少なくとも1つの画像から読み出し可能となる個々のキャラクタを必要とする。この技術の場合、キャラクタの個々のストロークが複数画像から結合された後に、キャラクタ読み出しが起こる。
上述の特別な実施形態が、異なるが本明細書の技術の有益さを有する当業者に明らかな等価の方法で技術が改良され実施されるように、単に説明される。さらに、本明細書に示されるかまたは特許請求のスケールに記載された以外に構成または設計の詳細を限定するものでない。したがって、上述の特別な実施形態が変更されたり改良されたりでき、そのような変態が全て技術のスケールおよび主旨内とされることは明白である。よって本明細書で求めた保護は特許請求のスケールで明記するようなものである。

Claims (17)

  1. シンボルの画像を用いて前記シンボルをデコードするシステムであって、
    第1シンボルデータ領域を含む第1画像、および第2シンボルデータ領域を含む第2画像を取得する画像デバイスと、
    前記画像デバイスに動作可能に連結され、データステッチアルゴリズムを実行するプロセッサと、を備え、
    前記データステッチアルゴリズムが、
    ファインダパターン、タイミングパターン、及びアライメントパターンの少なくとも1つを含む特別なシンボルの複数の既知な特徴のモデルである前記シンボルの合成モデルを生成し、
    前記シンボルの合成モデルを前記少なくとも1つの前記第1画像および前記第2画像に関連付けし、
    前記第1シンボルデータ領域を第1バイナリマトリクスに、前記第2シンボルデータ領域を第2バイナリマトリクスにそれぞれ変換し、
    前記第1バイナリマトリクスを前記第2バイナリマトリクスに累積して、前記シンボルを表わすデコード可能な累積バイナリマトリクスを生成する
    ことを特徴とするシステム。
  2. 前記第1画像が第1取得パラメータセットを用いて取得され、前記第2画像が第2取得パラ
    メータセットを用いて取得され、前記第2取得パラメータセットが前記第1取得パラメータセットと異なるものとされることを特徴とする請求項1に記載のシステム。
  3. 前記プロセッサがさらに、
    前記第1シンボルデータ領域が第1有望候補領域を含み、前記第2シンボルデータ領域が第2有望候補領域を含んでいることを判断し、
    前記第1有望候補領域および前記第2有望候補領域が重なり、それぞれが前記シンボル全体の代表を含むことを特徴とする請求項1に記載のシステム。
  4. 前記第1有望候補領域または前記第2有望候補領域の少なくとも1つの一部分が破損しデコード不能とされ、
    前記累積バイナリマトリクスの対応する候補領域の少なくとも一部分がデコード可能とされることを特徴とする請求項3に記載のシステム。
  5. 前記プロセッサが、前記ファインダパターン、前記タイミングパターン、前記アライメントパターンの少なくとも1つが前記累積バイナリマトリクスからデコード可能との判断に基づいて、前記累積バイナリマトリクスの前記少なくとも一部分がデコード可能であると判断することを特徴とする請求項4に記載のシステム。
  6. 前記第1シンボルデータ領域に第1位置および第1スケールが含まれ、前記第2シンボルデータ領域に第2位置および第2スケールが含まれ、前記第2位置および前記第2スケールが前記第1位置および前記第1スケールと相違し、
    前記データステッチアルゴリズムによって、前記第1位置、前記第1スケール、前記第2位置、および前記第2スケールを関連付ける対応がさらに生成されることを特徴とする請求項1に記載のシステム。
  7. 前記第1画像に第1極性が含まれ、前記第2画像に前記第1極性と異なる第2極性が含まれ、
    前記プロセッサがさらに、
    第1フィルタを用いて第1解析画像を、及び、前記第1フィルタと異なる第2フィルタを用いて第2解析画像を生成し、
    前記第2画像と前記第1解析画像との間、及び前記第2画像と前記第2解析画像との間、の相関関係を決定し、
    前記相関関係に基づいて前記第2極を判断し、
    前記第2極に基づいて前記累積バイナリマトリクスを生成する
    ることを特徴とする請求項1に記載のシステム。
  8. 機械読み取り可能シンボルの第1画像および後続画像の間の対応を確立するシステムにおいて、
    前記第1画像および前記後続画像を取得する画像化デバイスであって、
    前記第1画像には第1シンボルデータ領域が含まれ、前記後続画像には後続シンボルデータ領域が含まれ、
    前記第1シンボルデータ領域には第1位置および第1スケールが含まれ、前記後続シンボルデータ領域には第2位置および第2スケールが含まれ、前記第2位置および前記第2スケールが前記第1位置および前記第1スケールとは異なるものとされる、画像化デバイスと、
    前記画像化デバイスに動作可能に連結される、データステッチアルゴリズムを実行するプロセッサであって、
    前記データステッチアルゴリズムによって、前記機械読み取り可能シンボルであって合成モデルが生成され、該合成モデルがファインダパターン、タイミングパターン、及びアライメントパターンの少なくとも1つを含む特別なシンボルの複数の既知な特徴のモデルであり、合成モデル位置における前記後続シンボルデータ領域の前記第2位置および前記第2スケールとの相関関係を実行する、プロセッサと、が設けられ、
    前記相関関係に基づいて、前記後続シンボルデータ領域の前記第2位置および前記第2スケールが調節されて、前記第1画像および前記後続画像がデコード用に一緒にステッチされるように修正後続画像が生成される
    ことを特徴とするシステム。
  9. 前記データステッチアルゴリズムによって、前記第1画像からの前記第1シンボルデータ領域が第1バイナリマトリクスに変換され、前記修正後続画像からの前記後続シンボルデータ領域が第2バイナリマトリクスに変換され、前記データステッチアルゴリズムによって、前記第1バイナリマトリクスが前記第2バイナリマトリクスに累積されて、前記シンボルを表わすデコード可能な累積バイナリマトリクスが生成されることを特徴とする請求項8に記載のシステム。
  10. 前記プロセッサがさらに、
    第1有望候補領域または第2有望候補領域のうちの少なくとも1つの一部分が破損しデコード不能とされている状態において、前記第1シンボルデータ領域が前記第1有望候補領域を含み、前記後続シンボルデータ領域が前記第1有望候補領域と重なる前記第2有望候補領域を含んでいることを判断し、
    前記ファインダパターン、前記タイミングパターン、前記アライメントパターンの少なくとも1つが前記累積バイナリマトリクスからデコード可能との判断に基づいて、前記累積バイナリマトリクスの対応する候補領域の少なくとも一部分がデコード可能であると判断する
    ことを特徴とする請求項9に記載のシステム。
  11. 前記対応を確立するステップがさらに、
    スケール、角度、並進移動を含むパラメータ空間において相関関係スコアを最大にすることを含み、
    前記相関関係に画像分析方法が用いられて、前記相関関係によって特徴セットが生成されて前記相関関係スコアが確立されることを特徴とする請求項8に記載のシステム。
  12. 前記画像化デバイスがハンドヘルド画像化デバイスとされることを特徴とする請求項8に記載のシステム。
  13. 前記機械読み取り可能シンボルが英数字シンボルまたは2次元マトリクスシンボルのうち少なくとも1つを含むことを特徴とする請求項8に記載のシステム。
  14. 前記第1画像が第1極を含み、前記後続画像が前記第1極と異なる少なくとも最初は不明の第2極を含み、
    プロセッサがさらに、
    ライトオンダークフィルタを用いて第1解析画像を、ダークオンライトフィルタを用いて第2解析画像を生成し、
    前記後続画像と前記第1解析画像との間、及び前記後続画像と前記第2解析画像との間、の相関関係を決定し、
    前記相関関係に基づいて前記第2極を決定し、
    前記第2極を決定した後に、前記第2極に基づいて前記累積バイナリマトリクスを生成する
    ことを特徴とする請求項に記載のシステム。
  15. シンボルの画像を用いて前記シンボルをデコードする方法であって、
    ファインダパターン、タイミングパターン、及びアライメントパターンの少なくとも1つを含む特別なシンボルの複数の既知な特徴のモデルである前記シンボルの合成モデルを生成する生成工程と、
    第1シンボルデータ領域を含む第1画像、および第2シンボルデータ領域を含む第2画像を、画像化デバイスを用いて取得する取得工程と、
    前記シンボルの合成モデルを前記第1画像に関連付けし第1バイナリマトリクスを抽出する工程と、
    前記シンボルの合成モデルを前記第2画像に関連付けし第2バイナリマトリクスを抽出する工程と、
    前記第1バイナリマトリクスを前記第2バイナリマトリクスに累積する累積工程と、
    前記シンボルを表わすデコード可能な累積バイナリマトリクスを生成する生成工程と、
    を含んでいることを特徴とする方法。
  16. 前記第1画像が第1極を含み、前記第2画像が前記第1極と異なる第2極を含み、
    方法がさらに、
    前記第2画像に、第1フィルタを適用して第1解析画像を、及び、前記第1フィルタと異なる第2フィルタを適用して第2解析画像を生成し、
    前記第画像と前記第1解析画像との間、及び前記第2画像と前記第2解析画像との間、の相関関係を決定し、
    前記相関関係に基づいて前記第2極を特定し、
    前記第2極に基づいて前記累積バイナリマトリクスを生成し、さらに、
    前記第1画像及び前記第2画像を取得するように構成された画像装置に動作可能に連結されたプロセッサを用いて、前記累積工程及び前記生成工程を実行するデータステッチアルゴリズムを実行することを特徴とする請求項15に記載の方法。
  17. 有望候補領域がそれぞれシンボル全体の代表を含み且つ第1有望候補領域または第2有望候補領域のうちの少なくとも1つの一部分が破損しデコード不能とされている状態において、前記第1シンボルデータ領域が前記第1有望候補領域を含み、前記第2シンボルデータ領域が前記第1有望候補領域と重なる前記第2有望候補領域を含んでいることを判断し、
    前記ファインダパターン、前記タイミングパターン、前記アライメントパターンの少なくとも1つが前記累積バイナリマトリクスからデコード可能との判断に基づいて、前記累積バイナリマトリクスの前記有望候補の少なくとも一部分がデコード可能であると判断する
    ことを特徴とする請求項15に記載の方法。
JP2016109865A 2013-03-15 2016-06-01 複数の撮影画像を用いてパターンのステッチおよびデコードするシステムおよび方法 Active JP6457971B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/843057 2013-03-15
US13/843,057 US9104932B2 (en) 2013-03-15 2013-03-15 Systems and methods for pattern stitching and decoding using multiple captured images

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014048260A Division JP2014197842A (ja) 2013-03-15 2014-03-12 複数の撮影画像を用いてパターンのステッチおよびデコードするシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2016184422A JP2016184422A (ja) 2016-10-20
JP2016184422A5 JP2016184422A5 (ja) 2017-05-18
JP6457971B2 true JP6457971B2 (ja) 2019-01-23

Family

ID=50112686

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014048260A Pending JP2014197842A (ja) 2013-03-15 2014-03-12 複数の撮影画像を用いてパターンのステッチおよびデコードするシステムおよび方法
JP2016109865A Active JP6457971B2 (ja) 2013-03-15 2016-06-01 複数の撮影画像を用いてパターンのステッチおよびデコードするシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014048260A Pending JP2014197842A (ja) 2013-03-15 2014-03-12 複数の撮影画像を用いてパターンのステッチおよびデコードするシステムおよび方法

Country Status (4)

Country Link
US (1) US9104932B2 (ja)
EP (3) EP2779023B1 (ja)
JP (2) JP2014197842A (ja)
HK (1) HK1202177A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9684810B2 (en) * 2013-03-15 2017-06-20 D2L Corporation System and method for partite optically readable code
US10140496B2 (en) * 2014-12-02 2018-11-27 Symbol Technologies, Llc System for and method of stitching barcode fragments of a barcode symbol to be read in an imaging-based presentation workstation
JP6457983B2 (ja) * 2015-08-10 2019-01-23 コグネックス・コーポレイション 複数の撮影画像を用いてパターンステッチ及びデコードする為に画像取得設定を分類するシステム及び方法
CN110728161A (zh) * 2019-09-24 2020-01-24 天翼电子商务有限公司 复杂二维码的识别方法、系统、介质及设备
CN112541369B (zh) * 2020-12-14 2022-08-05 合肥高维数据技术有限公司 一种信息码识别方法及系统

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731717B2 (ja) * 1985-08-27 1995-04-10 住友電気工業株式会社 光学読取装置
US5262626A (en) 1989-12-06 1993-11-16 Symbol Technologies, Inc. Decoding bar codes from multiple scans using element replacement
DE19734031A1 (de) 1997-08-06 1999-02-11 Sick Ag Verfahren und Vorrichtung zum Lesen eines aus einer vorgegebenen Anzahl von Codeelementen bestehenden Strichcodes
US7016539B1 (en) 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
US6446868B1 (en) 1998-11-23 2002-09-10 Informatics, Inc. Scanning system for decoding two-dimensional barcode symbologies with a one-dimensional general purpose scanner
US6899272B2 (en) 2000-05-17 2005-05-31 Symbol Technologies, Inc Bioptics bar code reader
US6637658B2 (en) 2001-01-22 2003-10-28 Welch Allyn, Inc. Optical reader having partial frame operating mode
US9092841B2 (en) 2004-06-09 2015-07-28 Cognex Technology And Investment Llc Method and apparatus for visual detection and inspection of objects
US6824059B2 (en) 2002-04-30 2004-11-30 Hewlett-Packard Development Company, L.P. Apparatus for capturing images and barcodes
US7219843B2 (en) 2002-06-04 2007-05-22 Hand Held Products, Inc. Optical reader having a plurality of imaging modules
SE0301143D0 (sv) 2003-04-17 2003-04-17 C Technologies Ab Sätt och anordning för inläsning av data
JP2005012619A (ja) 2003-06-20 2005-01-13 Mitsubishi Electric Corp パノラマ画像生成装置
US7823789B2 (en) 2004-12-21 2010-11-02 Cognex Technology And Investment Corporation Low profile illumination for direct part mark readers
JP4337597B2 (ja) 2004-03-26 2009-09-30 カシオ計算機株式会社 コードシンボル読取装置、および、プログラム
US7097102B2 (en) 2004-07-29 2006-08-29 Symbol Technologies, Inc. System and method for decoding optical codes read by an imager-based optical code reader
US7204420B2 (en) 2004-08-31 2007-04-17 Symbol Technologies, Inc. Scanner and method for eliminating specular reflection
US7617984B2 (en) 2004-12-16 2009-11-17 Cognex Technology And Investment Corporation Hand held symbology reader illumination diffuser
JP4539340B2 (ja) * 2005-01-17 2010-09-08 株式会社デンソーウェーブ 認証システム
US7383994B2 (en) 2005-05-03 2008-06-10 Datalogic Scanning, Inc. Methods and systems for forming images of moving optical codes
US7770799B2 (en) 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
JP5017988B2 (ja) * 2006-09-26 2012-09-05 カシオ計算機株式会社 コード読取装置及びプログラム
WO2008118419A1 (en) 2007-03-23 2008-10-02 Ltt, Ltd Method and apparatus for reading a printed indicia with a limited field of view sensor
WO2008118425A1 (en) 2007-03-23 2008-10-02 Ltt, Ltd Method and apparatus for using a limited capacity portable data carrier
EP2101281B1 (en) 2007-03-27 2014-02-26 Casio Computer Co., Ltd. Bar-code reading apparatus and computer-readable medium
US9734376B2 (en) 2007-11-13 2017-08-15 Cognex Corporation System and method for reading patterns using multiple image frames
JP2010066822A (ja) 2008-09-08 2010-03-25 Dainippon Screen Mfg Co Ltd 検査装置
US8226010B2 (en) * 2009-09-25 2012-07-24 Hewlett-Packard Development Company, L.P. Blur resistant barcode
DE102010014937B4 (de) * 2010-04-14 2013-10-17 Ioss Intelligente Optische Sensoren & Systeme Gmbh Verfahren zum Lesen eines Codes auf einem Substrat durch Zusammensetzen von Code-Fragmenten unter Verwendung eines bildgebenden Codelesers
JP2011233099A (ja) * 2010-04-30 2011-11-17 Optoelectronics Co Ltd 光学的情報読取装置及び光学的情報読取方法
JP5737387B2 (ja) * 2011-03-22 2015-06-17 富士通株式会社 画像処理装置
DE202012102114U1 (de) 2012-06-11 2012-07-25 Thomas Neubrand Vorrichtung zum Auftragen vorportionierter Butter
DE202012102113U1 (de) 2012-06-11 2012-07-03 Sick Ag Optoelektronischer Codeleser

Also Published As

Publication number Publication date
US20140270539A1 (en) 2014-09-18
HK1202177A1 (en) 2015-09-18
JP2016184422A (ja) 2016-10-20
JP2014197842A (ja) 2014-10-16
EP2779023A1 (en) 2014-09-17
EP3654231A1 (en) 2020-05-20
EP2779023B1 (en) 2019-06-19
EP3229170A3 (en) 2018-02-28
EP3654231B1 (en) 2021-08-04
US9104932B2 (en) 2015-08-11
EP3229170A2 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
US11455482B2 (en) Systems and methods for decoding two-dimensional matrix symbols with incomplete or absent fixed patterns
JP6457971B2 (ja) 複数の撮影画像を用いてパターンのステッチおよびデコードするシステムおよび方法
JP5414685B2 (ja) 複数の画像フレームを使用してパターンを読取るシステム、及び方法
US20110121077A1 (en) Increasing imaging quality of a bar code reader
JP6344389B2 (ja) 光学文字認識装置
WO2006078359A1 (en) Bar code scanner decoding
AU2018334449B2 (en) Methods and system for reading barcodes captured on multiple images
US7857219B2 (en) Imaging reader target object finder system
KR101259004B1 (ko) 카메라를 활용한 큐알코드 변형 보정장치 및 보정 방법
US20130094695A1 (en) Method and apparatus for auto-detecting orientation of free-form document using barcode
CN107609448B (zh) 条码解码方法以及条码解码装置
JP6457983B2 (ja) 複数の撮影画像を用いてパターンステッチ及びデコードする為に画像取得設定を分類するシステム及び方法
US9213875B1 (en) System and method for automatically modeling symbology data in a symbology reader
CN103189878A (zh) 用成像扫描仪捕捉表单文档的方法和装置
US20130027573A1 (en) Method and apparatus for auto-detecting orientation of free-form document using ocr
JP2011197784A (ja) バーコード読取装置、バーコード読み取り方法およびバーコード読み取りプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180319

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180703

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181030

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181221

R150 Certificate of patent or registration of utility model

Ref document number: 6457971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250