JP3916415B2 - ２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置 - Google Patents
２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置 Download PDFInfo
- Publication number
- JP3916415B2 JP3916415B2 JP2001163737A JP2001163737A JP3916415B2 JP 3916415 B2 JP3916415 B2 JP 3916415B2 JP 2001163737 A JP2001163737 A JP 2001163737A JP 2001163737 A JP2001163737 A JP 2001163737A JP 3916415 B2 JP3916415 B2 JP 3916415B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- stamped
- distance
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Discrimination (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Character Input (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、対象物外表面の刻印文字を自動認識することができ、且つ、対象物外表面の汚れ、色、外乱光による影響を受け難い、安定した認識処理の実現を可能にした２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置に関するものである。
【０００２】
【従来の技術】
対象物外表面の刻印文字を自動認識する場合、従来は、対象物を所定方向からＣＣＤカメラなどの撮像装置で撮像し、その画像処理によって刻印部に施された文字の濃淡情報を抽出し、特徴量による同定処理或はテンプレートマッチングによる同定処理を用いて定型文字の認識を行っていた。
【０００３】
【発明が解決しようとする課題】
ところが、上記従来の定型文字認識は、濃淡画像を用いるため、対象物の色や汚れ、外乱光の影響が入力画像に影響を与えやすく、検査対象が限定されるなどの問題や、周囲光の変動による誤認識の発生や、照明光源の管理、調整が面倒であるなど運用上の問題があった。また、重機械の製造工程で管理用に刻印される管理番号等の文字を製造工程内で認識したいとの要求に対して、刻印部にグリース等の汚れが付着した場合はもとより、刻印部の色、テクスチャによっては、通常の濃淡画像処理では認識不能などの問題が発生していた。
【０００４】
従って、この発明の技術的課題は、上記従来技術の問題点を解消するために距離画像という概念を従来の画像処理に導入し、対象物外表面の起伏形状を撮像し、これを画像処理することで刻印部の汚れやテクスチャ、色および周囲光の変動が認識結果に与える影響を低減することが可能であると共に、撮像した文字の特徴量を自己学習的にメンバーシップ関数に反映させることで同定対象文字をスクリーニングすることが可能となり、効率的なテンプレートマッチングが実現できる高ロバスト性と高速性を備えた２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置を提供することにある。
【０００５】
【課題を解決するための手段】
上述した技術的課題を解決するために本発明で講じた手段は以下の如くである。
【０００６】
（１） 対象物の外表面を光切断法に基づいて撮像し、これを平行移動過程において所定のピッチで繰り返すことにより画像メモリに逐次保存すると共に、この撮像画から距離画像を形成し、その画像処理によって刻印部の刻印文字を自動認識する装置であって、前記対象物に設定した刻印部に対しレーザスリット光を出射する投光部と、この出射光によって前記刻印部上で乱反射するレーザラインを刻印部に対して像画が直交するように取付けたテレセントリックレンズおよび２次元ＣＣＤ撮像素子よりなる撮像部との組と、この投光部と撮像部の組を一体的に平行移動させる移動手段と、前記平行移動過程において所定のピッチで撮像した画像を画像メモリに逐次保存すると共に、この撮像画から前記の投光部と対象物外表面間の各距離に対応する距離画像として形成する手段と、前記撮像した距離画像から形状的特徴量を抽出し、メンバーシップ関数からファジー推論を実行することにより同定文字候補をスクリーニングする演算手段と、前記撮像した距離画像とスクリーニングした前記固定文字候補のテンプレート距離画像とをテンプレートマッチングすることで積率相関係数を算出し、撮像距離画像内の刻印文字を自動認識すると共に、同定した刻印文字の形状的特徴とその確率密度分布から各特徴量ごとのメンバーシップ関数を自己学習的に更新する手段を備えること。（請求項１）
【０００７】
（２） 上記（１）に記載の手段に於いて、投光部の刻印部に対する傾斜角度と撮像部と刻印部の幾何学的関係から撮像部基準に対する刻印部各部の絶対的距離情報を算出する演算部を備えること。（請求項２）
【０００８】
（３） 上記（１），（２）に記載の手段に於いて、投光部及び受光部の組は、等速移動又は、移動量を出力するパルス発生器を備え、その移動過程の各位置が所定のピッチに到達した際に撮像を開始する手段を備えること。（請求項３）
【０００９】
上記（１），（２），（３）で述べた請求項１，２，３に係る手段によれば、移動手段によって、投光部、撮像部の組が、対象物に対し平行移動するときに発生するエンコーダからのパルス出力信号を基準とし、所定のピッチ毎に刻印部上の刻印部起伏に応じて乱反射するレーザラインを撮像することで、投光部の刻印部に対する傾斜角度と撮像部と刻印部の幾何学的関係から算出できる刻印部の起伏形状を画像メモリ部に逐次記録することができ、これを平行移動過程の撮像ピッチで２次元的に配置、合成することで、撮像部・対象物外表面間の各距離に対応する距離画像として形成される。次に、形成された距離画像から刻印部を抽出すると共に、その形状的特徴量を抽出しスクリーニング処理を実行し、同定文字候補を絞り込む。次いで、左記のスクリーニングした同定文字候補と撮像した距離画像とをテンプレートマッチングし、刻印文字の自動認識を実行する。
【００１０】
特に、上記（１）で述べた請求項１に係る手段によれば、上述した刻印文字認識過程において、撮像距離画像から形状的特徴量を抽出し、メンバーシップ関数からファジー推論を実行することにより同定文字候補をスクリーニングすることを可能にする。
【００１１】
更に、上記（１）で述べた請求項１に係る手段によれば、上述した刻印文字認識過程において、撮像した距離画像と予め登録したテンプレート距離画像とをテンプレートマッチングすることで積率相関係数を算出し、撮像距離画像内の刻印文字を自動認識すると共に、同定した刻印文字の形状的特徴とその確率密度分布から各特徴量ごとのメンバーシップ関数を自己学習的に更新することを可能にする。
【００１２】
【発明の実施の形態】
以下に、本発明に係る２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置の実施の形態を図面と共に説明すると、図１は本発明の全体を説明した構成図であって、図中、１は刻印の施された対象物で、本発明に係る刻印文字認識装置は、この対象物１の外表面に対してレーザスリット光を斜めに出射する投光部２と、対象物刻印部上で乱反射するレーザラインを刻印部垂線方向から光切断法に基づいて撮像するテレセントリックレンズ３．２および２次元ＣＣＤ素子３．１よりなる撮像部３と、投光部２および撮像部３を一体的に平行移動させるためのトラバース装置４．１とエンコーダ４．２から成るトラバース部４と、以下に述べる各部５．１〜５．１２を総括的に制御する制御部５とによって構成されている。
【００１３】
即ち、制御部５は、図示した如く上記の平行移動過程においてトラバース部４を駆動制御するトラバース制御部５．１と、トラバース部４から出力されるエンコーダ信号を入力し投光部２および撮像部３の移動量を検出するパルス入力部５．２と、上記エンコーダ信号のタイミングにあわせて撮像部３を同期制御し所定ピッチごとのレーザラインを撮像する撮像制御部５．３と、この撮像情報を逐次保持する画像メモリ部５．４と、保持した撮像情報から距離画像を形成する距離画像形成演算部５．５と、形成した距離画像から３次元的特徴量を抽出し、ファジー推論モデルを用いて同定文字候補をスクリーニングするファジー推論演算部５．６と、上記形成した距離画像を画像処理することで不要なノイズを除去する画像処理演算部５．７と、定形文字同定のためのテンプレート画像を登録するテンプレート画像登録機能部５．８と、テンプレート画像と撮像距離画像とのテンプレートマッチングを実行し刻印文字の自動認識を行うテンプレートマッチング演算部５．９と、左記認識文字の形状的特徴の確率密度分布に基づいてメンバーシップ関数に自己学習的に更新する自己学習演算部５．１０と、撮像結果および処理結果を表示する表示部５．１１と、テンプレート画像登録や駆動条件等を入力するキー入力部５．１２を総括的に制御する仕組に成っている。
【００１４】
以上の如く構成した本発明の刻印文字認識装置によれば、投光部２と撮像部３の組が一体的に取付けられていることで、対象物１に対し矢印方向に搬送されると共に所定の移動量ごとに発生するエンコーダ４．２からのパルス信号を出力する。パルス入力部５．２はエンコーダ４．２からパルス数をカウントすることで投光部２および撮像部３の位置が所定の位置であることを検知すると同時に、制御部５に通知する。通知を受けた制御部５は撮像制御部５．３を介して光切断法に基づく撮像を開始する。２次元ＣＣＤ素子３．１は撮像終了後、撮像制御部を介して画像メモリ部５．４に撮像画像を転送する。以上の操作を刻印部全域に渡って繰り返すことにより各位置におけるレーザライン上の起伏情報が画像メモリ部５．４に保持されることになる。
【００１５】
ここで、図２を用いて光切断法に基づく撮像原理を説明する。撮像部における像中心軸に対するレーザの傾斜角をθとし、両者の交線を基準線としたとき、像軸に直交に刻印部が設置されている場合、刻印文字起伏の基準線に対する偏差がδならば、図中ｘ方向へのレーザラインの反射位置の変位ｘは、
ｘ＝δ／ｔａｎθ
で表すことができる。一方、テレセントリックレンズのｘ方向の視野がＬｖで、ＣＣＤのｘ方向の解像度がＲｖならば、δに対するＣＣＤ素子に定義した像中心軸の画素変位ΔＰは、
ΔＰ＝（ｘ・Ｒｖ）／Ｌｖ
＝（Ｒｖ・δ）／（Ｌｖ・ｔａｎθ）
で表すことができる。この式の情報が光切断法に基づく撮像情報となり、平行移動過程においては同情報を図１記載の画像メモリ部５．４に繰り返し保持する操作を実行する。一方、刻印文字を含む刻印部の基準線からの起伏δは、
δ＝ΔＰ・Ｌｖ・ｔａｎθ／Ｒｖ
で得られる。
【００１６】
次に、図３を用いて距離画像形成過程について説明する。刻印部に対して所定のピッチでレーザーラインを撮像した場合、刻印の起伏に応じたレーザーラインの反射プロフイールで表される光切断画像を得られることになる。ここで、図中水平方向に表される起伏情報を濃度情報に置き換え、前記の平行移動過程における撮像ピッチで画像を組み合わせることにより、刻印文字の３次元形状を表す距離画像が形成できることになる。
【００１７】
次に、図４を用いて本刻印文字認識装置の認識処理の流れを模式的に説明する。装置起動後、平行移動過程において所定のピッチごとに光切断法による撮像４．１と画像メモリ部への記録４．２を繰り返し、全刻印部の撮像を終了する。次いで、距離画像形成過程において図３の処理を実行することで距離画像形成処理４．３を実行する。次いで、左記距離画像から刻印文字の特徴量抽出処理４．４を実行する。次いで、ファジー推論によるスクリーニング処理４．５により同定文字候補をスクリーニングする。次いで、左記候補と撮像した距離画像とをテンプレートマッチング処理４．６する。次いで、左記テンプレートマッチング処理において積率相関係数が最大であった文字を認識結果とし、特徴量抽出処理４．４のメンバーシップ関数を更新する。
【００１８】
更に、図５を用いて本刻印文字認識装置のテンプレート画像登録の流れを模式的に説明する。装置起動後、平行移動過程において所定のピッチごとに光切断法による撮像５．１と画像メモリ部への記録５．２を繰り返し、全刻印部の撮像を終了する。次いで、距離画像形成過程において図３の処理を実行することで距離画像形成処理５．３を実行する。次いで、表示部に距離画像表示５．４を実行する。オペレータは表示された距離画像内の刻印文字のうち１つを抽出し、テンプレート画像として登録する：テンプレート画像登録５．５。
【００１９】
図４に示した特徴量抽出処理４．４に係る刻印文字の特徴量の一例として、図６乃至図１１を記す。図６は特徴量１：凹部画素数を表す。刻印の深さが一定の場合はこの画素数が有効であり、一定でない場合は基準面に対する深さを２次元的な文字形状で積分した値が有効となる。図８は特徴量２：投影重心座標を表す。図９は特徴量３：投影幅と高さを表す。図１０は特徴量４：ホール数、ホールサイズを表す。図１１は特徴量５：端点数と端点の重心からの変位を表す。個々の刻印文字は撮像した画像内にノイズや欠落が生じない場合、前記の特徴量に対して固有の値を持つことになるので、これらの特徴量を有効に利用することで同定する文字候補をスクリーニングが可能となり、登録文字数増加にともなうテンプレートマッチング試行数の増加を回避することが可能となる。
【００２０】
しかしながら、実際に撮像した距離画像には種々のノイズや欠落が混入しているため、検出した特徴量はテンプレートが像から得られる特徴量を中心とする分布を示すことになり、固有の特徴量だけを指針に同定を行うのは困難である。凹部画素数：特徴量１を例とするならば、テンプレート刻印画像凹部画素数が図６の上欄に示した画素数であるとき、実際に撮像した距離画像から得られた凹部の画素数は図７のような分布を示すと想定できる。その他の特徴量も同様に想定できる。
【００２１】
図１３はこれまで撮像した距離画像から抽出した特徴量ｉの確率密度分布をファジー推論におけるメンバーシップ関数として表す。このとき、現在撮像した文字が同定対象である確からしさを表す評点Ｓは、下記の数式１によって表すことができる。
【数１】
撮像した画像の特徴量ｉをすべての登録文字のメンバーシップ関数に代入して、評点Ｓの上位数点のテンプレートを候補として検出することでスクリーニング処理を実行することが可能となる。図１４はスクリーニングの手順を模式的に表したものである。
【００２２】
前記の手順により数点に絞った同定文字候補についてテンプレートマッチングを実行する。図１５は積率相関係数を算出後、算出値最大かつしきい値以上の条件で認識結果を確定し、次いで、メンバーシップ関数を更新すると共に特徴量重みφを更新する自己学習の手順を表す。特徴量重みφは評点Ｓｉ過去上位ｎ＋１点による下記の数式２に基づく演算により更新する。
【数２】
【００２３】
【発明の効果】
以上述べた次第で、前記請求項１、２乃至３に記載されている本発明に係る２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置によれば、移動手段によって、投光部、撮像部の組が、対象物に対し平行移動するときに発生するエンコーダからのパルス出力信号を基準とし、所定のピッチ毎に刻印部上の刻印部起伏に応じて乱反射するレーザラインを撮像することで、投光部の刻印部に対する傾斜角度と撮像部と刻印部の幾何学的関係から算出できる刻印部の起伏形状を画像メモリ部に逐次記録することができ、これを平行移動過程の撮像ピッチで２次元的に配置、合成することで撮像部・対象物外表面間の各距離に対応する距離画像として形成される。次に、形成された距離画像から刻印部を抽出すると共に、その形状的特徴量を抽出しスクリーニング処理を実行し、同定文字候補を絞り込む。次いで、スクリーニングした同定文字候補と撮像した距離画像とをテンプレートマッチングし、刻印文字の自動認識を実行する。従って、対象物の汚れ、テクスチャ、色および周囲光の変動が認識結果に与える影響を低減し、高ロバスト性と高速性を備えた刻印文字認識が実現できる。
【００２４】
また、前記請求項１に係る刻印文字認識装置は、前記刻印文字認識過程において、撮像距離画像から形状的特徴量を抽出し、メンバーシップ関数からファジー推論を実行することにより同定文字候補をスクリーニングする。従って、効率的かつ高速なテンプレートマッチングが実現できる。
【００２５】
特に、前記請求項１に係る刻印文字認識装置では、前記刻印文字認識過程において、撮像した距離画像とあらかじめ登録したテンプレート距離画像とをテンプレートマッチングすることで積率相関係数を算出し、撮像距離画像内の刻印文字を自動認識するとともに、同定した刻印文字の形状的特徴とその確率密度分布から各特徴量ごとのメンバーシップ関数を自己学習的に更新する。従って、面倒なメンバーシップ関数の調整を不要とし、正確な刻印文字認識が実現できる。
【図面の簡単な説明】
【図１】 本発明に係る刻印文字認識装置の全体を説明した構成図である。
【図２】 光切断法に基づく撮像原理を説明した構成図である。
【図３】 距離画像形成過程を説明した説明図である。
【図４】 本発明に係る刻印文字認識装置による認識処理の流れを説明したフローチヤートである。
【図５】 本発明に係る刻印文字認識過程によるテンプレート画像登録の流れを説明したフローチヤートである。
【図６】 特徴量抽出処理に係る刻印文字の特徴量のうち、特徴量１のテンプレート刻印画とその凹部画素数を示した説明図である。
【図７】 計測文字の凹部画素数とメンバーシップ関数の関係を示した説明図である。
【図８】 特徴量２の投影重心座標を示した説明図である。
【図９】 特徴量３の投影幅と高さを示した説明図である。
【図１０】 特徴量４のホール数とホールサイズを示した説明図である。
【図１１】 特徴量５の端点数と端点の重心からの変位を示した説明図である。
【図１２】 登録文字数の増加にともなうテンプレートマッチング試行数の増加の状態を説明した説明図である。
【図１３】 ファジー推論に於けるメンバーシップ関数を表した説明図である。
【図１４】 スクリーニングの手順を説明した説明図である。
【図１５】 自己学習の手順を説明した説明図である。
【符号の説明】
１ 刻印の施された対象物
２ 投光部
３ 撮像部
３．１ ２次元ＣＣＤ素子
３．２ テレセントリックレンズ
４ トラバース部
４．１ トラバース装置
４．２ エンコーダ
５ 制御部
５．１ トラバース装置制御部
５．２ パルス入力部
５．３ 撮像制御部
５．４ 画像メモリ部
５．５ 距離画像形成演算部
５．６ ファジー推論演算部
５．７ 画像処理演算部
５．８ テンプレートが像登録機能部
５．９ テンプレートマッチング演算部
５．１０ 自己学習演算部
５．１１ 表示部
５．１２ キー入力部
【発明の属する技術分野】
この発明は、対象物外表面の刻印文字を自動認識することができ、且つ、対象物外表面の汚れ、色、外乱光による影響を受け難い、安定した認識処理の実現を可能にした２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置に関するものである。
【０００２】
【従来の技術】
対象物外表面の刻印文字を自動認識する場合、従来は、対象物を所定方向からＣＣＤカメラなどの撮像装置で撮像し、その画像処理によって刻印部に施された文字の濃淡情報を抽出し、特徴量による同定処理或はテンプレートマッチングによる同定処理を用いて定型文字の認識を行っていた。
【０００３】
【発明が解決しようとする課題】
ところが、上記従来の定型文字認識は、濃淡画像を用いるため、対象物の色や汚れ、外乱光の影響が入力画像に影響を与えやすく、検査対象が限定されるなどの問題や、周囲光の変動による誤認識の発生や、照明光源の管理、調整が面倒であるなど運用上の問題があった。また、重機械の製造工程で管理用に刻印される管理番号等の文字を製造工程内で認識したいとの要求に対して、刻印部にグリース等の汚れが付着した場合はもとより、刻印部の色、テクスチャによっては、通常の濃淡画像処理では認識不能などの問題が発生していた。
【０００４】
従って、この発明の技術的課題は、上記従来技術の問題点を解消するために距離画像という概念を従来の画像処理に導入し、対象物外表面の起伏形状を撮像し、これを画像処理することで刻印部の汚れやテクスチャ、色および周囲光の変動が認識結果に与える影響を低減することが可能であると共に、撮像した文字の特徴量を自己学習的にメンバーシップ関数に反映させることで同定対象文字をスクリーニングすることが可能となり、効率的なテンプレートマッチングが実現できる高ロバスト性と高速性を備えた２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置を提供することにある。
【０００５】
【課題を解決するための手段】
上述した技術的課題を解決するために本発明で講じた手段は以下の如くである。
【０００６】
（１） 対象物の外表面を光切断法に基づいて撮像し、これを平行移動過程において所定のピッチで繰り返すことにより画像メモリに逐次保存すると共に、この撮像画から距離画像を形成し、その画像処理によって刻印部の刻印文字を自動認識する装置であって、前記対象物に設定した刻印部に対しレーザスリット光を出射する投光部と、この出射光によって前記刻印部上で乱反射するレーザラインを刻印部に対して像画が直交するように取付けたテレセントリックレンズおよび２次元ＣＣＤ撮像素子よりなる撮像部との組と、この投光部と撮像部の組を一体的に平行移動させる移動手段と、前記平行移動過程において所定のピッチで撮像した画像を画像メモリに逐次保存すると共に、この撮像画から前記の投光部と対象物外表面間の各距離に対応する距離画像として形成する手段と、前記撮像した距離画像から形状的特徴量を抽出し、メンバーシップ関数からファジー推論を実行することにより同定文字候補をスクリーニングする演算手段と、前記撮像した距離画像とスクリーニングした前記固定文字候補のテンプレート距離画像とをテンプレートマッチングすることで積率相関係数を算出し、撮像距離画像内の刻印文字を自動認識すると共に、同定した刻印文字の形状的特徴とその確率密度分布から各特徴量ごとのメンバーシップ関数を自己学習的に更新する手段を備えること。（請求項１）
【０００７】
（２） 上記（１）に記載の手段に於いて、投光部の刻印部に対する傾斜角度と撮像部と刻印部の幾何学的関係から撮像部基準に対する刻印部各部の絶対的距離情報を算出する演算部を備えること。（請求項２）
【０００８】
（３） 上記（１），（２）に記載の手段に於いて、投光部及び受光部の組は、等速移動又は、移動量を出力するパルス発生器を備え、その移動過程の各位置が所定のピッチに到達した際に撮像を開始する手段を備えること。（請求項３）
【０００９】
上記（１），（２），（３）で述べた請求項１，２，３に係る手段によれば、移動手段によって、投光部、撮像部の組が、対象物に対し平行移動するときに発生するエンコーダからのパルス出力信号を基準とし、所定のピッチ毎に刻印部上の刻印部起伏に応じて乱反射するレーザラインを撮像することで、投光部の刻印部に対する傾斜角度と撮像部と刻印部の幾何学的関係から算出できる刻印部の起伏形状を画像メモリ部に逐次記録することができ、これを平行移動過程の撮像ピッチで２次元的に配置、合成することで、撮像部・対象物外表面間の各距離に対応する距離画像として形成される。次に、形成された距離画像から刻印部を抽出すると共に、その形状的特徴量を抽出しスクリーニング処理を実行し、同定文字候補を絞り込む。次いで、左記のスクリーニングした同定文字候補と撮像した距離画像とをテンプレートマッチングし、刻印文字の自動認識を実行する。
【００１０】
特に、上記（１）で述べた請求項１に係る手段によれば、上述した刻印文字認識過程において、撮像距離画像から形状的特徴量を抽出し、メンバーシップ関数からファジー推論を実行することにより同定文字候補をスクリーニングすることを可能にする。
【００１１】
更に、上記（１）で述べた請求項１に係る手段によれば、上述した刻印文字認識過程において、撮像した距離画像と予め登録したテンプレート距離画像とをテンプレートマッチングすることで積率相関係数を算出し、撮像距離画像内の刻印文字を自動認識すると共に、同定した刻印文字の形状的特徴とその確率密度分布から各特徴量ごとのメンバーシップ関数を自己学習的に更新することを可能にする。
【００１２】
【発明の実施の形態】
以下に、本発明に係る２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置の実施の形態を図面と共に説明すると、図１は本発明の全体を説明した構成図であって、図中、１は刻印の施された対象物で、本発明に係る刻印文字認識装置は、この対象物１の外表面に対してレーザスリット光を斜めに出射する投光部２と、対象物刻印部上で乱反射するレーザラインを刻印部垂線方向から光切断法に基づいて撮像するテレセントリックレンズ３．２および２次元ＣＣＤ素子３．１よりなる撮像部３と、投光部２および撮像部３を一体的に平行移動させるためのトラバース装置４．１とエンコーダ４．２から成るトラバース部４と、以下に述べる各部５．１〜５．１２を総括的に制御する制御部５とによって構成されている。
【００１３】
即ち、制御部５は、図示した如く上記の平行移動過程においてトラバース部４を駆動制御するトラバース制御部５．１と、トラバース部４から出力されるエンコーダ信号を入力し投光部２および撮像部３の移動量を検出するパルス入力部５．２と、上記エンコーダ信号のタイミングにあわせて撮像部３を同期制御し所定ピッチごとのレーザラインを撮像する撮像制御部５．３と、この撮像情報を逐次保持する画像メモリ部５．４と、保持した撮像情報から距離画像を形成する距離画像形成演算部５．５と、形成した距離画像から３次元的特徴量を抽出し、ファジー推論モデルを用いて同定文字候補をスクリーニングするファジー推論演算部５．６と、上記形成した距離画像を画像処理することで不要なノイズを除去する画像処理演算部５．７と、定形文字同定のためのテンプレート画像を登録するテンプレート画像登録機能部５．８と、テンプレート画像と撮像距離画像とのテンプレートマッチングを実行し刻印文字の自動認識を行うテンプレートマッチング演算部５．９と、左記認識文字の形状的特徴の確率密度分布に基づいてメンバーシップ関数に自己学習的に更新する自己学習演算部５．１０と、撮像結果および処理結果を表示する表示部５．１１と、テンプレート画像登録や駆動条件等を入力するキー入力部５．１２を総括的に制御する仕組に成っている。
【００１４】
以上の如く構成した本発明の刻印文字認識装置によれば、投光部２と撮像部３の組が一体的に取付けられていることで、対象物１に対し矢印方向に搬送されると共に所定の移動量ごとに発生するエンコーダ４．２からのパルス信号を出力する。パルス入力部５．２はエンコーダ４．２からパルス数をカウントすることで投光部２および撮像部３の位置が所定の位置であることを検知すると同時に、制御部５に通知する。通知を受けた制御部５は撮像制御部５．３を介して光切断法に基づく撮像を開始する。２次元ＣＣＤ素子３．１は撮像終了後、撮像制御部を介して画像メモリ部５．４に撮像画像を転送する。以上の操作を刻印部全域に渡って繰り返すことにより各位置におけるレーザライン上の起伏情報が画像メモリ部５．４に保持されることになる。
【００１５】
ここで、図２を用いて光切断法に基づく撮像原理を説明する。撮像部における像中心軸に対するレーザの傾斜角をθとし、両者の交線を基準線としたとき、像軸に直交に刻印部が設置されている場合、刻印文字起伏の基準線に対する偏差がδならば、図中ｘ方向へのレーザラインの反射位置の変位ｘは、
ｘ＝δ／ｔａｎθ
で表すことができる。一方、テレセントリックレンズのｘ方向の視野がＬｖで、ＣＣＤのｘ方向の解像度がＲｖならば、δに対するＣＣＤ素子に定義した像中心軸の画素変位ΔＰは、
ΔＰ＝（ｘ・Ｒｖ）／Ｌｖ
＝（Ｒｖ・δ）／（Ｌｖ・ｔａｎθ）
で表すことができる。この式の情報が光切断法に基づく撮像情報となり、平行移動過程においては同情報を図１記載の画像メモリ部５．４に繰り返し保持する操作を実行する。一方、刻印文字を含む刻印部の基準線からの起伏δは、
δ＝ΔＰ・Ｌｖ・ｔａｎθ／Ｒｖ
で得られる。
【００１６】
次に、図３を用いて距離画像形成過程について説明する。刻印部に対して所定のピッチでレーザーラインを撮像した場合、刻印の起伏に応じたレーザーラインの反射プロフイールで表される光切断画像を得られることになる。ここで、図中水平方向に表される起伏情報を濃度情報に置き換え、前記の平行移動過程における撮像ピッチで画像を組み合わせることにより、刻印文字の３次元形状を表す距離画像が形成できることになる。
【００１７】
次に、図４を用いて本刻印文字認識装置の認識処理の流れを模式的に説明する。装置起動後、平行移動過程において所定のピッチごとに光切断法による撮像４．１と画像メモリ部への記録４．２を繰り返し、全刻印部の撮像を終了する。次いで、距離画像形成過程において図３の処理を実行することで距離画像形成処理４．３を実行する。次いで、左記距離画像から刻印文字の特徴量抽出処理４．４を実行する。次いで、ファジー推論によるスクリーニング処理４．５により同定文字候補をスクリーニングする。次いで、左記候補と撮像した距離画像とをテンプレートマッチング処理４．６する。次いで、左記テンプレートマッチング処理において積率相関係数が最大であった文字を認識結果とし、特徴量抽出処理４．４のメンバーシップ関数を更新する。
【００１８】
更に、図５を用いて本刻印文字認識装置のテンプレート画像登録の流れを模式的に説明する。装置起動後、平行移動過程において所定のピッチごとに光切断法による撮像５．１と画像メモリ部への記録５．２を繰り返し、全刻印部の撮像を終了する。次いで、距離画像形成過程において図３の処理を実行することで距離画像形成処理５．３を実行する。次いで、表示部に距離画像表示５．４を実行する。オペレータは表示された距離画像内の刻印文字のうち１つを抽出し、テンプレート画像として登録する：テンプレート画像登録５．５。
【００１９】
図４に示した特徴量抽出処理４．４に係る刻印文字の特徴量の一例として、図６乃至図１１を記す。図６は特徴量１：凹部画素数を表す。刻印の深さが一定の場合はこの画素数が有効であり、一定でない場合は基準面に対する深さを２次元的な文字形状で積分した値が有効となる。図８は特徴量２：投影重心座標を表す。図９は特徴量３：投影幅と高さを表す。図１０は特徴量４：ホール数、ホールサイズを表す。図１１は特徴量５：端点数と端点の重心からの変位を表す。個々の刻印文字は撮像した画像内にノイズや欠落が生じない場合、前記の特徴量に対して固有の値を持つことになるので、これらの特徴量を有効に利用することで同定する文字候補をスクリーニングが可能となり、登録文字数増加にともなうテンプレートマッチング試行数の増加を回避することが可能となる。
【００２０】
しかしながら、実際に撮像した距離画像には種々のノイズや欠落が混入しているため、検出した特徴量はテンプレートが像から得られる特徴量を中心とする分布を示すことになり、固有の特徴量だけを指針に同定を行うのは困難である。凹部画素数：特徴量１を例とするならば、テンプレート刻印画像凹部画素数が図６の上欄に示した画素数であるとき、実際に撮像した距離画像から得られた凹部の画素数は図７のような分布を示すと想定できる。その他の特徴量も同様に想定できる。
【００２１】
図１３はこれまで撮像した距離画像から抽出した特徴量ｉの確率密度分布をファジー推論におけるメンバーシップ関数として表す。このとき、現在撮像した文字が同定対象である確からしさを表す評点Ｓは、下記の数式１によって表すことができる。
【数１】
【００２２】
前記の手順により数点に絞った同定文字候補についてテンプレートマッチングを実行する。図１５は積率相関係数を算出後、算出値最大かつしきい値以上の条件で認識結果を確定し、次いで、メンバーシップ関数を更新すると共に特徴量重みφを更新する自己学習の手順を表す。特徴量重みφは評点Ｓｉ過去上位ｎ＋１点による下記の数式２に基づく演算により更新する。
【数２】
【発明の効果】
以上述べた次第で、前記請求項１、２乃至３に記載されている本発明に係る２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置によれば、移動手段によって、投光部、撮像部の組が、対象物に対し平行移動するときに発生するエンコーダからのパルス出力信号を基準とし、所定のピッチ毎に刻印部上の刻印部起伏に応じて乱反射するレーザラインを撮像することで、投光部の刻印部に対する傾斜角度と撮像部と刻印部の幾何学的関係から算出できる刻印部の起伏形状を画像メモリ部に逐次記録することができ、これを平行移動過程の撮像ピッチで２次元的に配置、合成することで撮像部・対象物外表面間の各距離に対応する距離画像として形成される。次に、形成された距離画像から刻印部を抽出すると共に、その形状的特徴量を抽出しスクリーニング処理を実行し、同定文字候補を絞り込む。次いで、スクリーニングした同定文字候補と撮像した距離画像とをテンプレートマッチングし、刻印文字の自動認識を実行する。従って、対象物の汚れ、テクスチャ、色および周囲光の変動が認識結果に与える影響を低減し、高ロバスト性と高速性を備えた刻印文字認識が実現できる。
【００２４】
また、前記請求項１に係る刻印文字認識装置は、前記刻印文字認識過程において、撮像距離画像から形状的特徴量を抽出し、メンバーシップ関数からファジー推論を実行することにより同定文字候補をスクリーニングする。従って、効率的かつ高速なテンプレートマッチングが実現できる。
【００２５】
特に、前記請求項１に係る刻印文字認識装置では、前記刻印文字認識過程において、撮像した距離画像とあらかじめ登録したテンプレート距離画像とをテンプレートマッチングすることで積率相関係数を算出し、撮像距離画像内の刻印文字を自動認識するとともに、同定した刻印文字の形状的特徴とその確率密度分布から各特徴量ごとのメンバーシップ関数を自己学習的に更新する。従って、面倒なメンバーシップ関数の調整を不要とし、正確な刻印文字認識が実現できる。
【図面の簡単な説明】
【図１】 本発明に係る刻印文字認識装置の全体を説明した構成図である。
【図２】 光切断法に基づく撮像原理を説明した構成図である。
【図３】 距離画像形成過程を説明した説明図である。
【図４】 本発明に係る刻印文字認識装置による認識処理の流れを説明したフローチヤートである。
【図５】 本発明に係る刻印文字認識過程によるテンプレート画像登録の流れを説明したフローチヤートである。
【図６】 特徴量抽出処理に係る刻印文字の特徴量のうち、特徴量１のテンプレート刻印画とその凹部画素数を示した説明図である。
【図７】 計測文字の凹部画素数とメンバーシップ関数の関係を示した説明図である。
【図８】 特徴量２の投影重心座標を示した説明図である。
【図９】 特徴量３の投影幅と高さを示した説明図である。
【図１０】 特徴量４のホール数とホールサイズを示した説明図である。
【図１１】 特徴量５の端点数と端点の重心からの変位を示した説明図である。
【図１２】 登録文字数の増加にともなうテンプレートマッチング試行数の増加の状態を説明した説明図である。
【図１３】 ファジー推論に於けるメンバーシップ関数を表した説明図である。
【図１４】 スクリーニングの手順を説明した説明図である。
【図１５】 自己学習の手順を説明した説明図である。
【符号の説明】
１ 刻印の施された対象物
２ 投光部
３ 撮像部
３．１ ２次元ＣＣＤ素子
３．２ テレセントリックレンズ
４ トラバース部
４．１ トラバース装置
４．２ エンコーダ
５ 制御部
５．１ トラバース装置制御部
５．２ パルス入力部
５．３ 撮像制御部
５．４ 画像メモリ部
５．５ 距離画像形成演算部
５．６ ファジー推論演算部
５．７ 画像処理演算部
５．８ テンプレートが像登録機能部
５．９ テンプレートマッチング演算部
５．１０ 自己学習演算部
５．１１ 表示部
５．１２ キー入力部
Claims (3)
- 対象物の外表面を光切断法に基づいて撮像し、これを平行移動過程において所定のピッチで繰り返すことにより画像メモリに逐次保存すると共に、この撮像画から距離画像を形成し、その画像処理によって刻印部の刻印文字を自動認識する装置であって、
前記対象物に設定した刻印部に対しレーザスリット光を出射する投光部と、この出射光によって前記刻印部上で乱反射するレーザラインを刻印部に対して像画が直交するように取付けたテレセントリックレンズおよび２次元ＣＣＤ撮像素子よりなる撮像部との組と、
この投光部と撮像部の組を一体的に平行移動させる移動手段と、
前記平行移動過程において所定のピッチで撮像した画像を画像メモリに逐次保存すると共に、この撮像画から前記の投光部と対象物外表面間の各距離に対応する距離画像として形成する手段と、
前記撮像した距離画像から形状的特徴量を抽出し、メンバーシップ関数からファジー推論を実行することにより同定文字候補をスクリーニングする演算手段と、
前記撮像した距離画像とスクリーニングした前記固定文字候補のテンプレート距離画像とをテンプレートマッチングすることで積率相関係数を算出し、撮像距離画像内の刻印文字を自動認識すると共に、同定した刻印文字の形状的特徴とその確率密度分布から各特徴量ごとのメンバーシップ関数を自己学習的に更新する手段と、
を備えることを特徴とする２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置。 - 投光部の刻印部に対する傾斜角度と撮像部と刻印部の幾何学的関係から、撮像部基準に対する刻印部各部の絶対的距離情報を算出する手段を備えることを特徴とする請求項１記載の２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置。
- 投光部及び受光部の組は、等速移動又は、移動量を出力するパルス発生器を備え、その移動過程の各位置が所定のピッチに到達した際に撮像を開始する手段を備えることを特徴とする請求項１又は２記載の２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001163737A JP3916415B2 (ja) | 2001-05-31 | 2001-05-31 | ２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001163737A JP3916415B2 (ja) | 2001-05-31 | 2001-05-31 | ２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002358483A JP2002358483A (ja) | 2002-12-13 |
| JP3916415B2 true JP3916415B2 (ja) | 2007-05-16 |
Family
ID=19006648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001163737A Expired - Fee Related JP3916415B2 (ja) | 2001-05-31 | 2001-05-31 | ２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3916415B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007317033A (ja) * | 2006-05-26 | 2007-12-06 | Sharp Manufacturing System Corp | 文字画像の照合方法および照合装置ならびにプログラム |
| JP2008058150A (ja) * | 2006-08-31 | 2008-03-13 | Nidec Tosok Corp | 刻印検査装置 |
| JP2008064637A (ja) * | 2006-09-08 | 2008-03-21 | Nidec Tosok Corp | 刻印検査装置 |
| JP4883691B2 (ja) * | 2006-11-13 | 2012-02-22 | Ｕｄトラックス株式会社 | ワーク識別装置 |
| JP5428559B2 (ja) * | 2009-06-10 | 2014-02-26 | 株式会社ニコン | 焦点検出装置及び撮像装置 |
| JP5500132B2 (ja) * | 2011-07-29 | 2014-05-21 | 本田技研工業株式会社 | ３次元計測装置と３次元計測方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63254588A (ja) * | 1987-04-10 | 1988-10-21 | Kawasaki Steel Corp | 刻印文字読取装置 |
| JPH03180707A (ja) * | 1989-12-08 | 1991-08-06 | Nikon Corp | 表面欠陥検出装置 |
-
2001
- 2001-05-31 JP JP2001163737A patent/JP3916415B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002358483A (ja) | 2002-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102463647B1 (ko) | 엘리베이터용 위치-결정 시스템 | |
| US7202957B2 (en) | Three-dimensional visual sensor | |
| US8238639B2 (en) | Method and system for dynamic feature detection | |
| US20110019243A1 (en) | Stereoscopic form reader | |
| TWI672937B (zh) | 三維影像處理之裝置及方法 | |
| US20140043472A1 (en) | Tire surface shape measuring device and tire surface shape measuring method | |
| EP3497618B1 (en) | Independently processing plurality of regions of interest | |
| KR960702360A (ko) | 구부림 각도 검출장치 및 그것에 사용하는 직선 추출장치 및 구부림 각도 검출위치 설정장치(angle of bend detector and straight line extractor used therefor, and angle of bend detecting position setting apparatus) | |
| JP2007219943A (ja) | 鋳出し文字認識装置 | |
| JP3916415B2 (ja) | ２次元レーザ変位センサを用いた自己学習型ファジー推論モデルによる刻印文字認識装置 | |
| JP2923199B2 (ja) | 曲げ角度検出装置およびそれに用いる直線抽出装置並びに曲げ角度検出位置設定装置 | |
| JP2008160635A (ja) | カメラ状態検出方法 | |
| JP5036637B2 (ja) | 凹凸文字抽出のための画像処理方法及び画像処理装置 | |
| JP2013134176A (ja) | 撮像装置および撮像方法 | |
| JP2016033797A (ja) | 文字読み取り装置、及び文字読み取り方法 | |
| JP2018092507A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2011108025A (ja) | 文字認識方法及び文字認識装置 | |
| CN111536895A (zh) | 外形识别装置、外形识别系统以及外形识别方法 | |
| JP2001264017A (ja) | ３次元画像撮影装置 | |
| JP4351090B2 (ja) | 画像処理装置および画像処理方法 | |
| JP7264268B2 (ja) | 表面性状推定システム | |
| JPH0973543A (ja) | 画像処理装置 | |
| KR100905519B1 (ko) | 비쥬얼 엔코더를 이용하여 컨베이어상에서 이동하는 패널의결함 위치 정합성을 제공하는 방법 | |
| KR20180107112A (ko) | 물체, 특히 3 차원 물체의 검출 방법 | |
| JPH0942915A (ja) | 穴位置検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060912 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070206 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |