JP5796089B2 - 容器検査システム - Google Patents

容器検査システム Download PDF

Info

Publication number
JP5796089B2
JP5796089B2 JP2013554498A JP2013554498A JP5796089B2 JP 5796089 B2 JP5796089 B2 JP 5796089B2 JP 2013554498 A JP2013554498 A JP 2013554498A JP 2013554498 A JP2013554498 A JP 2013554498A JP 5796089 B2 JP5796089 B2 JP 5796089B2
Authority
JP
Japan
Prior art keywords
character
image
container
inspection
cylindrical container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013554498A
Other languages
English (en)
Other versions
JPWO2014050641A1 (ja
Inventor
大輔 小林
大輔 小林
直広 田中
直広 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nihon Yamamura Glass Co Ltd
Original Assignee
Nihon Yamamura Glass Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nihon Yamamura Glass Co Ltd filed Critical Nihon Yamamura Glass Co Ltd
Priority to JP2013554498A priority Critical patent/JP5796089B2/ja
Application granted granted Critical
Publication of JP5796089B2 publication Critical patent/JP5796089B2/ja
Publication of JPWO2014050641A1 publication Critical patent/JPWO2014050641A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

この発明は、例えば、複数の金型で製造されたガラスびんやペットボトルなどの円筒状容器について、前記円筒状容器の外周面に記された型番などの文字を読み取って認識するための文字認識装置が組み込まれた容器検査システム関する。
ガラスびんの製造現場には、粗型と仕上げ型とをそれぞれ含む複数のセクションに分かれた製びん機が導入されている。前記製びん機の各セクションでは、同種類のびんが一斉に製造され、その後、製造された各びんについて複数種類の検査が実施される。品質管理や生産性の向上のために、各びんにはそれぞれ製造元の金型に固有の型番を表す符号マークが表されており、ガラスびんの製造現場には、前記符号マークから符号を読み取るための読取装置や各種の検査機を含む検査システムが導入されている。
この検査システムでは、各びんから読み取った型番と各種の検査結果とをびん毎に対応づけた検査結果情報を作成するほか、検査結果情報を用いて、各検査機で検出される欠陥の種類毎および型番毎に欠陥の検出数を集計する。現場の作業者はシステム内の端末装置でこの集計結果を確認できるので、欠陥の発生が多い金型を容易に特定して、金型の点検や修理などの対応を速やかにとることができる。
金型を表す符号マークは、従来は、二進コードを表す突起の配列としてびん底に表されることが多いが、びん底の符号マークの突起が客先での充填後の中身の検査に悪影響を与えたり、また、底上がりが大きいびんでは、符号マークの突起が正しく撮像されない等の問題があるため、びんの外周面、特にヒール部の外周面に符号マークが表される場合がある。
ヒール部の外周面に形成された突起の配列による符号マークを読み取る装置として、たとえば、特許文献1に記載された装置がある。この装置は、テーブルの上に支持されたびんに摩擦ローラを接触させ、その摩擦ローラの摩擦力によりびんを回転させながら、光学式センサによりヒール部の周方向における凹凸状態を表す信号を生成し、この信号を解析することにより、符号マークが示すコード情報を認識するものである。
なお、外周面に突起による符号マークが存在するびんでは、人が視認できるように、符号に合致する数字を含む文字列コードが表記されている。なお、この文字列コードには、金型を表す数字のほか製造現場を表すアルファベット文字などが含まれる場合がある。
突起による符号マークの形態にはいくつかの規格があり、読取対象のびんに適用されている規格によって読取用のプログラムを変更しなければならない。そのような煩雑さを回避するため、上記文字列コードをカメラにより撮像して得られた画像から型番を読み取る装置の開発が試みられている。
たとえば、特許文献2に記載された装置では、ヒール部の外周面にエンボス文字が表されたびんが回転台に載せられ、この回転台上のびんのヒール部に半透明のスクリーンを対向させると共に、びんを挟んでスクリーンに対向する位置に照明装置を配置している。びんが回転する間、照明装置から出てびんを通過した光によりスクリーンに像が投影されるもので、その像をカメラにより撮像し、生成された画像から型番を表す文字を認識する。
欧州特許出願公開第0256804号明細書 特許第4444273号公報
特許文献2に記載の装置では、外周面から突出した文字を読取対象とするため、文字部分に背後からの照明を施す方法により文字の輪郭が明確な画像が得られるようにしている。しかし、容器の外周面に表される識別用の文字は、これに限らず、外周面から凹んだ状態の文字として表される場合や、たとえばペットボトルのように印刷文字として表される場合もある。
また、容器本体は透明や半透明のものに限らず、光を殆ど通さない容器が読取の対象になる場合もある。文字の読取に適した照明条件は、容器における文字のタイプや容器の透過率によって変わるが、特許文献2に記載の装置のように照明条件が固定されてしまうと、様々な態様に対応することは不可能である。
また、カメラと照明装置とを読取対象の容器を挟んで対向させて配備するには、容器の背後に照明装置を設置するためのスペースを確保する必要がある。しかし、例えば、スターホイールが導入された検査装置では、そのような設置スペースを設けることは構造上困難であり、この種の読取装置を用いるには種々の制約がある。
この発明は、上記の問題に着目してなされたもので、照明に関わる種々の制約を受けることなく、円筒状容器の外周面に表された文字を簡単かつ正確に認識できるようにすることを目的とする。
この発明による容器検査システムは、複数の金型により成形されかつ各金型を特定する文字が外周面上の決められた高さ位置に表された円筒状容器を検査対象として複数の項目について良否を検査する検査装置と、前記検査装置により検査される複数個の円筒状容器について前記文字を読み取って認識するための文字読取装置と、前記検査装置による各容器の項目毎の検査結果を前記文字読取装置により読み取られた文字に対応する金型毎に集計する処理を実行する情報処理装置とを有するものである。前記文字読取装置は、前記円筒状容器を支持して円筒状容器の中心軸の周りに回転させる回転駆動機構と、前記円筒状容器の外周面上に表された文字が視野内に収まるように円筒状容器に向けて位置決めされるカメラと、前記カメラの撮像動作を制御して前記文字が表示されている高さ位置の画像を円筒状容器の一周を超える角度範囲にわたって取得して認識処理を実行する画像処理装置とを具備している。
前記画像処理装置は、取得した画像より文字の全部が含まれている画像部分を探索する探索手段と、探索手段により探索された画像部分に含まれる認識対象の文字の画像を複数種の文字のモデル画像と照合して前記認識対象の文字を認識する文字認識手段と、各円筒状容器について文字認識手段による認識結果を出力する出力手段とを備えている。
なお、認識対象の文字は一文字でも良いが、複数の文字が連なる文字列中の各文字を認識するようにしてもよい。或いは、文字列中の一部分に含まれる1または複数の文字を認識対象としてもよい。
また、認識対象の文字は、容器の外周面から突出する文字、外周面より凹んだ状態の文字のいずれのタイプであっても良い。また、ペットボトルなどの合成樹脂製の容器に関しては、外周面に印刷された文字を認識対象としてもよい。
上記した容器検査システムの文字読取装置によれば、読取対象の円筒状容器が回転駆動機構により回転している間にカメラによる撮像が行われ、円筒状容器の一周を超える角度範囲の画像が生成される。このようにすれば、容器の外周面上の決められた高さ位置にある文字が容器の回転前にカメラの視野からどれだけ離れていても、文字の全部が分断されることなく現れている画像を生成することができる。よって、この画像から文字の全部が含まれる画像部分を探索し、その画像部分を複数種の文字のモデル画像と照合することにより、認識対象の文字を正しく認識することができる。
上記の容器検査システムの一実施形態では、カメラとしてラインスキャンカメラが使用される。このカメラは画素が並ぶ方向を円筒状容器の高さ方向に沿うように位置決めされる。
上記の実施形態によれば、容器の回転に合わせてラインスキャンカメラによる撮像を繰り返すことにより、容器の外周面の文字が表示されている高さ位置を一周を超える角度範囲で撮像することが可能になる。
なお、ラインスキャンカメラを用いる場合には、カメラの視野に対して前方側から光を照射して容器の表面で反射した光をカメラに入射させる方法による照明(反射照明)の下での撮像、または容器を挟んでカメラとは反対の側に光源を配置して、容器を透過した光をカメラに入射させる方法による照明(透過照明)の下での撮像を行うのが望ましい。
一方、エリアカメラを用いる場合には、必ずしもカメラの視野を照明する必要はない。
他の一実施形態による容器検査システムでは、前記文字認識手段は、文字を認識するために、認識対象の文字の画像を、複数種の文字毎の基準のモデル画像および各基準のモデル画像の文字幅を拡大または縮小して作成された複数のモデル画像と照合する第1の照合方法と、前記認識対象の文字の画像の文字幅を拡大または縮小して作成された複数の画像を前記複数種の文字毎の基準のモデル画像と照合する第2の照合方法と、前記認識対象の文字の画像の文字幅を拡大または縮小して作成された複数の画像を前記複数種の文字毎の基準のモデル画像および各基準のモデル画像の文字幅を拡大または縮小して作成された複数のモデル画像と照合する第3の照合方法とのうちのいずれかの照合方法を実行する。
読取対象の容器を回転させながら撮像する場合に、容器の空回りによって文字の同じ箇所が重複して撮像されたり、回転速度が早くなって一部分の画像が欠落すると、画像上の文字が幅方向に対して変形して認識に誤りが生じるおそれがある。
しかし、上記の実施形態によれば、文字毎の基準のモデル画像または認識対象の文字の画像、或いは基準のモデル画像および認識対象の文字の画像の双方の文字幅を拡大または縮小することにより、モデル画像や認識対象の文字の画像の幅を様々に伸縮させて照合を行うので、空回りや回転速度の変動により文字に変形が生じた場合でも、認識の精度を確保することができる。
他の実施形態による容器検査システムでは、前記回転駆動機構は、円筒状容器を回転自由に支持するテーブルと、円筒状容器の外周面に接触して摩擦力により円筒状容器をその中心軸の周りに回転させる摩擦ローラと、摩擦ローラを駆動するモータとを含むものである。
この実施形態によれば、読取対象の円筒状容器を摩擦ローラに接触した状態でテーブル上に配置し、モータにより摩擦ローラを駆動することによって、円筒状容器を回転させることができる。
この発明によれば、容器の外周面上に表された文字を読み取って認識する際に、文字がどの位置にあっても、文字の全部が分断されることなく現れた画像を生成でき、認識対象の文字を精度良く探索し、かつ認識することができる。また、容器に表される文字のタイプや容器の透過性などに応じて、文字認識に適した画像を得るのに適切な照明条件を自由に選択できるとともに、スターホイールが導入された検査装置であっても、照明装置を設置するためのスペースを容易に確保できる。
ガラスびんの製造工場の概略構成を示す説明図である。 検査結果情報から生成される集計テーブルの例を示す説明図である。 刻印文字のラインを形成するV字状溝の例を示す断面図である。 文字読取装置の外観の概略構成を読取方法と共に示す説明図である。 文字読取装置およびコントローラの電気構成を示すブロック図である。 生成される画像の例を示す説明図である。 モデル画像の変形例を示す説明図である。 読取処理の手順を示すフローチャートである。
図1は、この発明が適用されたガラスびんの製造工場の概略構成を示す。
この実施例の工場では、びんを製造する製造工程1と、複数の検査部を有する検査工程2と、コンピュータネットワークによる品質管理システム3とが設けられている。
製造工程1には、複数のセクションSに分かれた製びん機10、製びん機10の各セクションSに供給されるゴブG(溶融ガラスの固まり)を生成するゴブ生成装置11、製びん機10で製造されたびんを冷却するための徐冷窯12、製びん機10から搬出されたびんを徐冷窯12へ搬送するための第1の搬送路13、冷却されたびんを検査工程2へ搬送するための第2の搬送路14などが含まれる。
図示の製びん機10では、10個のセクションSが横並びに配列されている。各セクションSには、粗型101および仕上げ型102が2個ずつ配備されている。セクションS内の各粗型101,101と各仕上げ型102,102とは、一対一の関係で組み合わされている。
ゴブ生成装置11により生成されたゴブGは、振り分け機構15により粗型101に順に振り分けられ、粗型101においてパリソンに成形された後、対応する仕上げ型102にパリソンが供給されて最終形態のびんが成形される。最終形態のびんのヒール部には、仕上げ型102により、その型に固有の型番を示す数字を含む文字列コードが刻印されている。
検査工程2には、第2の搬送路14に連なる第3の搬送路21が設けられている。この第3の搬送路21に沿って複数の検査部(この実施例では20A,20B,20C,20Dの4個の検査部)が配備されている。徐冷窯12から搬出されたびんは、第2の搬送路14を通過する間にその搬送方向に沿って一列に整列された状態になり、各検査部20A〜20Dに順番に送り込まれる。
4つの検査部20A〜20Dのうちの先頭の検査部20Aには、びんの搬送方向に沿って複数の検査ステーションPが設けられている。他の検査部20B,20C,20Dには、複数の検査ステーションPが円陣をなすように配置され、これらの検査ステーションPに対応する数の凹部を有するスターホイールSWが設けられている。各スターホイールSWを順送り機構22(図5に示す。)が間歇的に回転させることによって、びんが1本ずつ捕捉されて各検査ステーションPに順番に送り込まれる。
各検査部20A〜20Dには、最後の検査ステーション(図中、P,P,P,Pとして示す。)を除く各検査ステーションPに、それぞれ所定の項目の検査を実施する検査機(図示せず。)が設けられている。最後の検査ステーションP,P,P,Pには、びんのヒール部より型番を読み取るための文字読取装置200(図4,5に示す。)が設けられる。
上記の検査部20A〜20Dには、さらに、びんの順送り機構22や各検査ステーションPの検査機の動作を制御するプログラマブル・ロジック・コントローラ250(図5に示す。以下、単に「コントローラ250」という。)が設けられている。コントローラ250は、個々の検査ステーションPに対応する記憶部を有しており、びんを順送りする都度、各検査ステーションPの検査機や文字読取装置200から所定の項目の検査結果を示す情報または読み取られた型番を示す情報を受け付けて、それぞれの記憶部の情報を書き換える。また、2番目以降の検査ステーションPの記憶部には、一つ前の検査ステーションPの記憶部に直前に保存されていた情報が転送された上で、対応する検査ステーションPからの新しい情報が転送情報に追加される。この結果、最後の検査ステーションP,P,P,Pの記憶部には、毎回、対応する検査部20A,20B,20C,20Dでの検査を終えたびんに対する全ての項目の検査結果(欠陥の種類毎に欠陥の有無を表したもの)と文字読取装置200により当該びんから読み取られた型番とを組み合わせた情報(以下、「検査結果情報」という。)が保存される。
なお、図1には示していないが、各検査部20A〜20Dの下流側にはリジェクトテーブルが設けられる。欠陥を示す情報を含む検査結果情報が得られたびんは搬送路21には戻されずに、リジェクトテーブルへ搬出される。
品質管理システム3には、上記の検査結果情報を収集するために検査部20A〜20D毎に設けられた情報収集装置30A,30B,30C,30D、製造工程1の各種の装置の稼働情報を収集するために設けられた複数の情報収集装置31、検査工程2の側の情報収集装置30A〜30Dにより収集された情報を集約して分析するための分析用端末装置32、製造工程1の側の情報収集装置31により収集された情報を集約して分析するための情報収集用端末装置33、管理用サーバ34、および複数のクライアント端末装置35が含まれる。
情報収集装置30A〜30D,31は、ボックス状の筐体にマイクロコンピュータを含む制御基板が収容された構成の装置(「ロガーボックス」と呼ばれる。)である。分析用端末装置32,33やクライアント端末装置35はパーソナルコンピュータであり、管理用サーバ34はサーバ専用機である。これらの装置30A〜30D,31,32,33,34,35は、LAN回線を介して接続されている。
各検査部20A〜20Dのコントローラ250は、びんの順送りに伴う各記憶部の書き換え処理が終了する都度、最後の検査ステーションP,P,P,Pの記憶部に保存された検査結果情報を、対応する情報収集装置30A〜30Dに送信する。情報収集装置30A〜30Dでは、この検査結果情報を一定の時間毎にまとめて、分析用端末装置32へ送信する。
分析用端末装置32では、各情報収集装置30A〜30Dから送信された検査結果情報を用いて、欠陥の種類毎および型番毎に欠陥の発生数を集計し、その集計結果を図2に示すような集計テーブルに編集する。この集計テーブルは、所定の時間毎に更新されると共に、管理用サーバ34に転送されて保存される。管理用サーバ34に保存された集計テーブルは、各クライアント端末装置35で読み出し可能な状態になる。
この実施例の製びん機10には10個のセクションSが含まれている。各セクションSに2個ずつ設けられた20個の粗型101と仕上げ型102とに対して、それぞれ1〜20の異なる数字が型番として付与されている。図2の集計テーブルでは、1〜20の各型番と欠陥の種類を表すN個の項目(図示例では,各項目を欠陥1,欠陥2・・・欠陥Nとしている。)との組み合わせ毎に、その組み合わせに係る欠陥の発生数の累計値が保存されている。
製造工程1の側の情報収集装置31により収集された情報も、同様に、製造工程1についての分析用端末装置33に送信されて分析される。その分析結果は管理用サーバ34に保存される。工場内の管理者や作業者らは、適宜、クライアント端末装置35から管理用サーバ34にアクセスして図2に示した集計テーブルを呼び出し、金型毎の欠陥の発生状況を確認することができる。したがって、欠陥が多発している金型や同じ欠陥が連続して発生している金型を速やかに特定することができる。さらに、特定した金型に関して、分析用端末33により生成された分析結果情報を確認したり、実際の金型の稼働状況を確認したりすることにより、欠陥の発生原因を推定することもできる。
なお、図1に示す実施例では、複数の検査部20A〜20Dにおいて、それぞれ最後の検査ステーションP,P,P,Pに文字読取装置200を配置しているが、これに限らず、複数の検査ステーションPの中の先頭のステーションに文字読取装置200を配置してもよい。また、検査の途中で不良のびんが取り除かれることがなく、検査工程に導入されたびんの全てが検査部20A〜20Dを一定の順序で通過する場合には、最初の検査部20Aまたは最後の検査部20Dのみに文字読取装置200を配置すればよい。
前記したように、この実施例の製びん機10の各仕上げ型102では、その型に固有の型番を含む文字列コードがヒール部に刻印されたびんを成形している。
図3に示すように、文字列コードを構成する各文字は、文字幅の中央部を溝底とするV字状の溝4により表されているが、溝底の位置や溝の深さは、適宜、変更が可能である。また溝の形状はV字状に限らず、溝底が平坦に近い形状の溝としてもよい。
前記文字読取装置200は、ヒール部に刻印された文字列コードから型番を読み取って認識する機能を有するものである。
図4には、文字読取装置200の概略構成が、図5には文字読取装置200および前述したコントローラ250の電気的構成が、それぞれ示してある。
この実施例の文字読取装置200には、読取対象のびんBTを載せる回転自由なテーブル206、カメラ201、照明装置202、摩擦ローラ203およびこれを駆動するパルスモータ207、一対の回転自由な支持ローラ204,205、カメラ201により撮像された画像を処理する画像処理装置210などが含まれている。上記のテーブル206、摩擦ローラ203、パルスモータ207、および支持ローラ204,205は、びんBTを支持してびんBTの中心軸の周りに回転させる回転駆動機構を構成する。また、この実施例では、文字読取装置200の制御機能の一部を、同じ検査部内のコントローラ250に設けている。なお、この文字読取装置200が図1に示した検査部30B,30C,30Dに配備される場合には、カメラ201および照明装置202は、スターホイールSWの回動範囲より外側に配備される。
図4に示す実施例では、摩擦ローラ203は、テーブル206の回転中心に載せられたびんBTの胴部の高さ中央部に接触するように配備される。支持ローラ204,205は、摩擦ローラ203とは反対側に、それぞれびんBTの首部および胴部を支持するように配備される。これらのローラ203,204,205の位置は、読取対象のびんBTの高さやびん径に応じて適宜変更することが可能である。
摩擦ローラ203は、パルスモータ207の回転力を受けて回転し、びんBTとの間に生じた摩擦力によってびんBTをびんBTの中心軸の周りに軸回転させる。
この実施例のカメラ201はラインスキャンカメラであり、びんBTのヒール部に表された文字列コードが視野内に収まるように、びんBTに向けて位置決めされる。カメラ201の画素の並び方向はびんBTのヒール部の高さ方向に沿っている。照明装置202は拡散光を出射するもので、カメラ201の視野を斜め前方から照明するように配備される。照明装置202から照射されてびんBTの外周面で反射した光は拡散するが、刻印文字を形成するV字状溝4に照射された光は、溝4内の傾斜面で反射してカメラ201とは異なる方向に進行する。その結果、カメラ201による画像では、V字状溝4による文字部分が暗く、背景が明るい画像が生成される。
なお、照明装置202の位置や光軸の方向は、認識対象の文字を形成する溝4の形状などに応じて、適宜、変更することができる。また、びんBTの表面から突出するタイプの文字を認識する場合などには、反射照明に代えて透過照明を選択してもよい。
図5に示す画像処理装置210には、CPU211,メモリ212(ROM,RAMのほか、ハードディスクなどの大容量メモリを含む。),通信インタフェース213,画像インタフェース214,画像メモリ215などが設けられている。
画像インタフェース214は、CPU211からの指令に応じてカメラ201に撮像を行わせると共に、カメラ201から出力されたライン画像を取り込んで画像メモリ215に出力する。画像メモリ215では、カメラ201から供給されたライン画像を画素の並びに直交する方向に沿って配列した状態で蓄積する。
コントローラ250には、CPU251,メモリ252,通信インタフェース253,外部インタフェース254などが設けられている。メモリ252には、ROM,RAM,ハードディスクなどの大容量メモリが含まれており、前記した検査ステーションP毎の記憶部やモデル画像などを登録するための記憶領域が設定される。
外部インタフェース254には、スターホイールSWの順送り機構22,第3の搬送路21からびんBTを取り込むための搬入機構23、検査が終了したびんBTを第3の搬送路21またはリジェクトテーブルに送り出すための弁別機構24などが接続される。さらに、文字読取装置200の照明装置202やパルスモータ207も、コントローラ250の外部インタフェース254に接続され、コントローラ250による制御を受ける。
コントローラ250のCPU251と画像処理装置210のCPU211とは、それぞれ通信インタフェース253,213を介して通信を行うことにより、タイミングを合わせてそれぞれの処理を行う。具体的には、コントローラ250のCPU251がパルスモータ207を回転させている間、画像処理装置210のCPU211は、画像インタフェース214を介してカメラ201に撮像(露光および画素単位の画像信号のスキャン処理を含む。)を繰り返し実行させ、びんBTの一周を超える所定の角度範囲(例えば540度)にわたってライン画像を取得する。毎回の撮像により生成されたライン画像は画像メモリ215に蓄積されることにより、2次元画像が生成される。
パルスモータ207の回転速度は、カメラ201の撮像周期などに基づき、回転中のびんBTのヒール部を全周にわたって連続して撮像可能な速さに調整される。これによって、びんBTのヒール部に対応する所定の高さ範囲の領域を撮像する処理がびんBTの一周を超える所定の角度範囲にわたって繰り返し実施され、ヒール部の外周面を展開したような2次元画像(図6に示す。)が生成される。
なお、図5には示していないが、コントローラ250のCPU251は、画像処理装置210のほか、他の検査ステーションPの検査機(図示せず。)とも通信を行いながらそれぞれの動作を制御する。また、CPU251は、各機構22,23,24を動かすタイミングに合わせて前記した各記憶部の情報を更新すると共に、情報収集装置30(30A〜30Dのいずれか)に検査結果情報を送信する。
図6は、上記の2次元画像のうち文字列コードが現れている箇所を含む範囲を模式的に表したものである。
この実施例の文字列コードでは、先頭に、製びん機10の全ての金型に共通の符号(図示例ではアルファベット文字列の「YH」)が配置され、その後に、2個のアルファベット文字による符号を挟んで、型番を表す数字(図示例では12)が配置されている。
文字読取装置200の画像処理装置210では、上記の文字列コードの先頭の符号「YH」(以下「先頭符号」という。)を探索した後に、この先頭符号を基準にして型番を表す数字を検出しかつ認識する。その処理のために、この実施例では、あらかじめ製びん機10の各仕上げ型102により製造された良好な品質のびんBTのサンプルを撮像することによりサンプル画像を取得し、そのサンプル画像を用いて、先頭符号「YH」のモデル画像や型番に使用される「0」〜「9」の各数字のモデル画像を生成し、これらを画像処理装置210のメモリ212に登録する。
さらに、画像における先頭符号から型番までの距離や型番を含む領域の大きさが、同様にサンプル画像から特定され、メモリ212に登録される。型番を含む領域の大きさは、読取対象領域の設定データとして使用され、先頭符号から型番までの距離は、画像中の先頭符号に基づき読取対象領域を設定するための基準距離として使用される。
図6において、R1は先頭符号のモデル画像により検出された領域である。R2は、上記した設定データおよび基準距離に基づき設定された読取対象領域である。
ところで、この実施例のように摩擦ローラ203によりびんBTを回転させる場合、摩擦ローラ203が滑ってびんBTの空回りが生じると、びんBTの外周面の同じ箇所が重複して撮像される可能性がある。この重複する撮像によって、画像中の対応箇所の幅が拡大されてしまうため、この実施例では、各モデル画像について、幅方向に変形させた変形モデル画像を複数作成し、これらをモデル画像と共に文字認識処理に使用するようにしている。
図7は、数字の「2」についてのモデル画像から変形モデル画像を作成する方法の一例を示している。
この実施例では、モデル画像中の文字幅の一部分に相当する画像(図7(1)中の矩形領域rtに含まれる画像)を所定の倍率qで幅方向に拡大し、その拡大された部分により元のモデル画像の対応部分を置き換えることによって、図7(2)に示すような変形モデル画像を作成している。この変形モデル画像では、矩形領域rtに対応する矩形領域RT内の画像が幅方向にq倍に拡大されているが、他の箇所は元のモデル画像のままである。
この実施例では、モデル画像毎に、拡大対象部分の位置やその幅を複数とおりに変更することにより、1つのモデル画像から複数種の変形モデル画像を作成している。
上記の各変形モデル画像も、モデル画像と共にメモリ212に保存してもよく、また図8に示す読取処理が開始される前、または、読取処理中の初回の文字認識処理(ST7)において作成し、メモリ212の作業領域に一時的に保存してもよい。
図8は、上記の登録が完了した文字読取装置200において実施される処理の手順を示している。この処理は、コントローラ250からの指示に応じて開始されるもので、びんBTが順送りされるタイミングに合わせて、ST1〜ST11のループが繰り返される。
最初のST1では、コントローラ250の制御によりパルスモータ207が回転している期間に合わせて、カメラ201による撮像を繰り返し実行する。この撮像の繰り返しによって、びんBTの一周を超える所定の角度範囲にわたる2次元画像が画像メモリ215に格納される。
画像処理装置210のCPU211は、ST2において、画像メモリ215から2次元画像を読み出し、これを処理対象画像としてメモリ212の作業用領域に格納する。そして次のST3において、先頭符号のモデル画像を用いて処理対象画像中の先頭符号を探索する。
具体的に、ST3では、先頭符号のモデル画像を処理対象画像上に走査しつつ、各走査位置でモデル画像との類似度を求める処理(パターンマッチング)を実行し、類似度が最も高くなる領域(図6に示した領域R1)を特定する。この最大の類似度が所定のしきい値以上となると、先頭符号が検出されたものと判定されてST4が「YES」となり、ST5へ進む。
ST5では、上記の検索により先頭符号に対応するとして特定された領域R1のモデル画像に対する回転角度を計測する。そして、この計測値を用いたアフィン変換により、処理対象画像を、先頭符号が回転ずれのない状態の画像に補正する。
さらにST6では、補正後の処理対象画像の先頭符号から画像の幅方向(元のライン画像の並び方向)に沿って基準距離だけ離れた位置に読取対象領域R2を設定する。
なお、この読取対象領域R2の設定に用いられる基準距離や領域R2の大きさを表す設定データは、前記したように、あらかじめサンプル画像などを用いて登録されるが、これら基準距離や設定データにも、空回り等による撮像の重複を考慮した誤差を加味するのが望ましい。
また、この実施例では、びんBTの1周半分の画像を取得するので、撮像開始時点の文字列コードの位置によっては、画像の2箇所で先頭符号が検出される可能性があるが、その場合には、読取対象領域R2が分断されることなく設定できる位置にある先頭符号を選択する。また、画像の両端に先頭符号が分断されて検出される可能性もあるが、ST3では、先頭符号を表す二桁の文字列「YH」を含む領域R1を検出するので、両端以外の箇所に分断されずに存在する先頭符号を検出することができる。
ST7では、ST6で設定された読取対象領域R2内の画像に各数字のモデル画像を順に適用して、パターンマッチング処理により型番を示す数字を認識する。
この実施例では、型番として1〜20の数字が使用されるので、パターンマッチング処理により読取対象領域R2内の2箇所に文字が存在する可能性があることを前提に、モデル画像および各変形モデル画像を順番に選択して読取対象領域R2内の画像とのパターンマッチング処理を実行し、一桁または二桁の数字を特定する。
数字の認識処理が終了すると、CPU211は、読み取り結果が型番に相当するか否かをチェックする。読取結果が1〜20のいずれかの数字を示す場合には、その数字が型番として認識される。これによりST8が「YES」となってST9に進み、CPU211は読み取った型番をコントローラ250に出力する。
一方、読取対象領域R2で数字を検出することができなかった場合、または数字は見つかったが型番を示す数字ではなかった場合(たとえば「23」など)には、ST8が「NO」となってST10に進み、CPU211は、読取失敗を表すNGデータをコントローラ250に出力する。また、ST3の先頭符号の検索処理において先頭符号を検出することができなかった場合(ST4が「NO」の場合)にも同様にST10に進み、NGデータを出力する。
以下、同様にして、ST1〜ST11のループを繰り返し、コントローラ250から終了指示を受けたことに応じて(ST11が「YES」)、処理を終了する。なお、ST1での撮像処理により画像メモリ215に保存された2次元画像は、その後の各ステップが実行されてST1に戻る都度、消去される。
上記実施例の読取処理によれば、びんBTの一周半分の画像を、ラインスキャンカメラ201による撮像を繰り返して取得して、びんBTのヒール部の外周面を展開した状態を表す2次元画像を生成するので、撮像開始時点での文字列コードがカメラ201の視野からどれだけ回転した位置にあっても、その文字列コードを含む画像を得ることができる。また、型番を示す数字を読み取るためのパターンマッチング処理において、変形のない状態のモデル画像による照合だけでなく、空回り等による撮像の重複により文字幅の一部分が変形した状態に対しては、モデル画像の文字幅を伸ばして変形させたものによる(変形モデル画像)照合をも行うので、読取の精度を確保することができる。
なお、撮像の重複のほか、容器の回転速度が設定値より速くなって撮像されない箇所が生じる可能性がある場合には、各モデル画像の文字幅を縮めた変形モデル画像も複数とおり作成して、これらをパターンマッチングの対象に含めるとよい。
また、モデル画像を変形する方法に代えて、読取対象領域R2の画像を複数とおりに変形して、各変形画像および変形前の画像のそれぞれをモデル画像と照合してもよい。または、モデル画像および読取対象領域R2の画像の双方を複数とおりに変形し、変形前のモデル画像および読取対象領域R2の変形前の画像を含む各種画像を順に組み合わせて照合してもよい。
上記の実施例では、ST3の先頭符号の探索に関しては変形モデル画像を作成していないが、先頭符号は「YH」に統一されているので、仮に画像中の先頭符号に変形が生じても「YH」のモデル画像に対してある程度以上の類似度が得られた領域を先頭符号として検出することにより、先頭符号を問題なく検出することができる。ただし、先頭符号に関しても、モデル画像のほか、変形モデル画像を用いた探索を実施すれば、より高い確度で先頭符号を検出することができる。
上記の実施例では、回転自由なテーブル206上に支持されたびんBTを摩擦ローラ203による摩擦力で軸回転させたが、これに限らず、テーブル206を回転させる方法によりびんBTを軸回転させてもよい。
この場合、回転速度が設定値より遅くなるような回転むらが生じる可能性がある場合には、各モデル画像の文字幅の一部分を拡大した変形モデル画像を複数とおり作成し、これらによるパターンマッチングを実施するとよい。また回転速度が設定値より速くなるような回転むらが生じる可能性がある場合には、各モデル画像の文字幅の一部分を縮小した変形モデル画像を複数とおり作成し、これらによるパターンマッチングを実施するとよい。
さらに、上記実施例では、カメラ201をラインスキャンカメラとしたが、これに代えてエリアカメラを使用してもよい。この場合にも、びんBTが回転する間に複数回の撮像を行い、毎時の撮像により生成された画像を繋げることによって、ヒール部の外周面を展開した状態の2次元画像を生成した後に、この2次元画像に対し、上記実施例と同様の文字認識処理を実施することができる。
なお、エリアカメラを用いる場合には、必ずしもカメラの視野を照明する必要はない。
上記実施例では、文字列コードがヒール部に表されたびんを対象として型番の読取処理を行ったが、文字列コードの配置位置はヒール部に限らず、たとえばびんの外周面の適所に表すことができる。
BT びん
10 製びん機
101 粗型
102 仕上げ型
20A,20B,20C,20D 検査部
200 文字読取装置
201 カメラ
203 摩擦ローラ
204,205 支持ローラ
206 テーブル
207 パルスモータ
250 コントローラ
30 情報収集装置
32 分析用端末装置
34 管理用サーバ

Claims (4)

  1. 複数の金型により成形されかつ各金型を特定する文字が外周面上の決められた高さ位置に表された円筒状容器を検査対象として複数の項目について良否を検査する検査装置と、前記検査装置により検査される複数個の円筒状容器について前記文字を読み取って認識するための文字読取装置と、前記検査装置による各容器の項目毎の検査結果を前記文字読取装置により読み取られた文字に対応する金型毎に集計する処理を実行する情報処理装置とを有する容器検査システムであって、
    前記文字読取装置は、前記円筒状容器を支持して円筒状容器の中心軸の周りに回転させる回転駆動機構と、前記円筒状容器の外周面上に表された文字が視野内に収まるように円筒状容器に向けて位置決めされるカメラと、前記カメラの撮像動作を制御して前記文字が表示されている高さ位置の画像を円筒状容器の一周を超える角度範囲にわたって取得して認識処理を実行する画像処理装置とを具備し、
    前記画像処理装置は、取得した画像より文字の全部が含まれている画像部分を探索する探索手段と、前記探索手段により探索された画像部分に含まれる認識対象の文字の画像を複数種の文字のモデル画像と照合して前記認識対象の文字を認識する文字認識手段と、各円筒状容器について前記文字認識手段による認識結果を前記情報処理装置に出力する出力手段とを備えて成る容器検査システム
  2. 前記カメラはラインスキャンカメラであって、画素が並ぶ方向が前記円筒状容器の高さ方向に沿うように位置決めされている請求項1に記載された容器検査システム
  3. 前記文字認識手段は、前記認識対象の文字の画像を前記複数種の文字毎の基準のモデル画像および各基準のモデル画像の文字幅を拡大または縮小して作成された複数のモデル画像と照合する第1の照合方法と、前記認識対象の文字の画像の文字幅を拡大または縮小して作成された複数の画像を前記複数種の文字毎の基準のモデル画像と照合する第2の照合方法と、前記認識対象の文字の画像の文字幅を拡大または縮小して作成された複数の画像を前記複数種の文字毎の基準のモデル画像および各基準のモデル画像の文字幅を拡大または縮小して作成された複数のモデル画像と照合する第3の照合方法とのうちのいずれかの照合方法を実行する請求項1に記載された容器検査システム
  4. 前記回転駆動機構は、前記円筒状容器を回転自由に支持するテーブルと、前記円筒状容器の外周面に接触して摩擦力により円筒状容器を円筒状容器の中心軸の周りに回転させる摩擦ローラと、前記摩擦ローラを駆動するモータとを含むものである請求項1に記載された容器検査システム
JP2013554498A 2012-09-28 2013-09-18 容器検査システム Active JP5796089B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013554498A JP5796089B2 (ja) 2012-09-28 2013-09-18 容器検査システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012217307 2012-09-28
JP2012217307 2012-09-28
PCT/JP2013/075083 WO2014050641A1 (ja) 2012-09-28 2013-09-18 文字読取装置およびその文字読取装置を用いた容器検査システム
JP2013554498A JP5796089B2 (ja) 2012-09-28 2013-09-18 容器検査システム

Publications (2)

Publication Number Publication Date
JP5796089B2 true JP5796089B2 (ja) 2015-10-21
JPWO2014050641A1 JPWO2014050641A1 (ja) 2016-08-22

Family

ID=50388047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013554498A Active JP5796089B2 (ja) 2012-09-28 2013-09-18 容器検査システム

Country Status (5)

Country Link
US (1) US9489587B2 (ja)
EP (1) EP2892008A4 (ja)
JP (1) JP5796089B2 (ja)
CN (1) CN104685515B (ja)
WO (1) WO2014050641A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7488758B2 (ja) 2020-12-07 2024-05-22 東洋ガラス株式会社 容器検査システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3027428B1 (fr) * 2014-10-17 2016-12-09 Msc & Sgcc Procede, dispositif et ligne d'inspection pour la lecture optique de reliefs sur une paroi laterale d'un recipient
EP3666667B1 (en) * 2015-12-04 2023-05-24 Carefusion 303 Inc. Label reader for automatic drug compounder
CN109074494A (zh) * 2016-03-28 2018-12-21 松下知识产权经营株式会社 文字图形识别装置、文字图形识别方法以及文字图形识别程序
US10296788B1 (en) 2016-12-19 2019-05-21 Matrox Electronic Systems Ltd. Method and system for processing candidate strings detected in an image to identify a match of a model string in the image
US10217020B1 (en) * 2016-12-19 2019-02-26 Matrox Electronic Systems Ltd. Method and system for identifying multiple strings in an image based upon positions of model strings relative to one another
WO2018198248A1 (ja) * 2017-04-26 2018-11-01 東洋ガラス株式会社 容器の検査装置及び容器の検査方法
JP7195565B2 (ja) * 2017-12-28 2022-12-26 伊東電機株式会社 コード読み取り装置及びコード読み取り方法
JP2019160035A (ja) * 2018-03-15 2019-09-19 東京瓦斯株式会社 触感情報システム、触感情報処理装置およびプログラム
CN109636956A (zh) * 2018-10-26 2019-04-16 深圳云天励飞技术有限公司 一种门禁系统控制方法、装置以及电子设备
US10970578B2 (en) * 2019-02-07 2021-04-06 Johnson Controls Fire Protection LP System and method for extracting information from a non-planar surface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07218446A (ja) * 1994-02-08 1995-08-18 Hitachi Eng Co Ltd ロゴマーク等のパターンの検査装置及び方法、並びにロゴマーク等のパターン辞書作成装置
JP2000292370A (ja) * 1999-04-09 2000-10-20 Asahi Breweries Ltd 印字検査装置
JP2000348167A (ja) * 1999-04-02 2000-12-15 Japan Tobacco Inc 円筒形状物品の外観検査装置
JP2012150072A (ja) * 2011-01-21 2012-08-09 Dynatec Kk 透明容器口部の刻印検査

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0256804B1 (en) 1986-08-20 1994-09-28 Emhart Glass Machinery Investments Inc. Code reader
US5204911A (en) * 1991-05-29 1993-04-20 Nira Schwartz Inspection method using unique templates and histogram analysis
US5405015A (en) 1993-08-11 1995-04-11 Videojet Systems International, Inc. System and method for seeking and presenting an area for reading with a vision system
US5926556A (en) * 1996-05-08 1999-07-20 Inex, Inc. Systems and methods for identifying a molded container
JP3838079B2 (ja) * 2001-11-30 2006-10-25 オムロン株式会社 画像処理装置および画像処理用のプログラム
JP3838091B2 (ja) * 2001-12-20 2006-10-25 オムロン株式会社 パターン認識装置およびパターン認識用のモデル登録のためのプログラム
JP4603838B2 (ja) * 2004-09-13 2010-12-22 発紘電機株式会社 レーザ印字装置、そのプログラム
CN100535931C (zh) * 2006-09-06 2009-09-02 中国科学院自动化研究所 一种多分辨率退化字符自适应识别系统及方法
JP4444273B2 (ja) 2006-12-26 2010-03-31 東洋ガラス株式会社 透明又は半透明物品エンボス文字の読み取り方法及び装置
CN101384031A (zh) * 2007-09-05 2009-03-11 上海亿动信息技术有限公司 一种通过产品标识获取广告信息的控制系统及控制方法
US8577145B2 (en) 2009-12-19 2013-11-05 Pcas Patient Care Automation Services Inc. Automated dispensary for identifying embossed characters and package labeling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07218446A (ja) * 1994-02-08 1995-08-18 Hitachi Eng Co Ltd ロゴマーク等のパターンの検査装置及び方法、並びにロゴマーク等のパターン辞書作成装置
JP2000348167A (ja) * 1999-04-02 2000-12-15 Japan Tobacco Inc 円筒形状物品の外観検査装置
JP2000292370A (ja) * 1999-04-09 2000-10-20 Asahi Breweries Ltd 印字検査装置
JP2012150072A (ja) * 2011-01-21 2012-08-09 Dynatec Kk 透明容器口部の刻印検査

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7488758B2 (ja) 2020-12-07 2024-05-22 東洋ガラス株式会社 容器検査システム

Also Published As

Publication number Publication date
JPWO2014050641A1 (ja) 2016-08-22
EP2892008A1 (en) 2015-07-08
WO2014050641A1 (ja) 2014-04-03
CN104685515A (zh) 2015-06-03
EP2892008A4 (en) 2016-07-27
CN104685515B (zh) 2018-05-08
US20150227804A1 (en) 2015-08-13
US9489587B2 (en) 2016-11-08

Similar Documents

Publication Publication Date Title
JP5796089B2 (ja) 容器検査システム
US7295948B2 (en) Laser system for marking tires
EP1560017B1 (en) Glass bottle inspection device
RU2707796C1 (ru) Устройство для контроля качества металлических корпусов контейнеров для напитка, содержащих нанесенное изображение
CN101468543B (zh) 检查组数据管理系统
JP2002540995A (ja) 射出成形機から放出される部品を処理する方法及び装置
US20220284699A1 (en) System and method of object detection using ai deep learning models
CN110546650B (zh) 容器的检查装置和容器的检查方法
CN116348897A (zh) 用于可收集物品的识别及分级系统以及相关方法
US20240064245A1 (en) Methods and system for imaging of moving printed materials
JP2005509855A (ja) とりわけ容器を選択するための方法および装置
US20120293649A1 (en) Method and system for inspecting dosage forms having code imprints and sorting the inspected dosage forms
JP6049652B2 (ja) びん底検査装置
JP4444273B2 (ja) 透明又は半透明物品エンボス文字の読み取り方法及び装置
TWI823159B (zh) 具人機互動功能的瑕疵檢測系統
JP2012150072A (ja) 透明容器口部の刻印検査
RU2759174C1 (ru) Система и способ контроля и регулирования декоратора для контейнеров
CN108352065A (zh) 印刷装置、方法和程序
JP7442672B2 (ja) 物体の側壁を検査するための方法
CN101587228B (zh) 玻璃瓶模码和字符识别专用镜头
Soares Dynamic and Intelligent Optimization of the Data Matrix Part Reading Process
CN116026845A (zh) 具人机互动功能的瑕疵检测系统
CN118817721A (zh) 基于图像检测的陶瓷表面缺陷检测方法及装置
KR20030077090A (ko) 생산품 표면의 불량상태 검사시스템

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R150 Certificate of patent or registration of utility model

Ref document number: 5796089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250