JPH0391877A - 画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、画像処理装置に係り、特に、入力画像の歪を
高速に補正する必要がある認識用途の画像処理装置のア
フィン変換の高速化に関するものである． 〔従来の技術〕 画像処置において、アフィン変換（画像の回転，拡大，
縮少，位置ずれ補正）を行う場合、従来は、例えば特開
昭５７−８５１６１号公報に記載のように、アフィン変
換の演算単位を個々の画素単位としており、画素単位に
アドレス計算を実施するようになっていた。

特に、画像処理を高速化する場合，特殊な専用のハード
ウエアを開発するか、比較的高速な単純処理の組合せを
採用することが提案されている。

〔発明が解決しようとする課題〕

上記従来技術は、アフィン変換のアドレス計算を個々の
画素単位で行うため、計算に時間がかかり、高速化の点
では問題があった。

この問題を解決するために，特殊な専用のハードウエア
による高速化が提案されているが、汎用性についての配
慮がなく，広く一般に実用化するには用途が限定される
欠点があった。

また、従来技術を使いこなすには、アフィン変換や幾何
学的歪についての知識が必要であり、一般の人々がすぐ
に使うことは困難であった。

本発明の目的は、アフィン変換や幾何学的歪等に関する
専門的知識が無くとも，簡単な操作で歪を高速に補正す
る手段を備えた画像処理装置を提供することである。

〔課題を解決するための手段〕

本発明は上記目的を達成するために、画像入力手段と入
力された幾何学的歪を含む画像をアフィン変換し歪の無
い画像を求めるアフィン変換処理手段とを有する画像処
理装置において、予め歪の無い基準位置画像と画像入力
手段から入力した幾何学的歪を含む画像とを比較して歪
率を算出し、同一または近似の歪率の画素をグループ化
してウィンドウ領域を定めるオフラインティーチング手
段と，定められたウィンドウ領域と各領域内の歪補正倍
率とを記憶する歪パターンメモリと、実際に入力された
幾何学的歪を含む画像をアフィン変換する際に、歪パタ
ーンメモリ内のウィンドウ領域毎に同じ歪補正倍率でア
フィン変換がなされるように、アフィン変換処理手段を
制御するアフィン走査制御手段とを備えた画像処理装置
を提供するものである． 本発明は、また，画像入力手段と入力された幾何学的歪
を含む画像に補正対象範囲を示すウィンドウ領域を指定
し、当該ウィンドウ領域に対応する補正ウィンドウとの
角座標を比較して前記ウィンドウ領域の歪率を算出する
オフラインティーチング手段と、定められたウィンドウ
領域と各領域内の歪補正倍率とを記憶する歪パターンメ
モリと、実際に入力された幾何学的歪を含む画像をアフ
ィン変換する際に、歪パターンメモリ内のウィンドウ領
域毎に記憶した歪補正倍率でアフィン変換がなされるよ
うに、アフィン変換処理手段を制御するアフィン走査制
御手段とを備えた画像処理装置を提案するものである。

オフラインティーチング手段は、同一画像内の複数のウ
ィンドウ領域間の歪率の変化に一定の規則性がある場合
、少なくとも二つのウィンドウ領域の歪率から他のウィ
ンドウ領域の歪補正倍率を補間または外挿により求める
手段を含むことができる。

オフラインティーチング手段は、さらに、同一画像内の
ウィンドウ領域が離れていても求められた歪補正倍率が
同一または近似するときは、これらに共通の歪補正倍率
を設定する手段を備えることが可能である。

いずれの場合も，実際のアフィン変換処理手段の前後の
少なくとも一方にノイズ除去処理手段を備えてもよい。

〔作用〕

本発明においては、アフィン変換処理とウィンドウ制御
処理とを融合させ、アフィン変換処理で入力画像の歪を
補正する単位を、個々の画素単位ではなく、同一または
近似の歪を持つ画素をウインドウ制御処理によりまとめ
て分割した領域とする．各領域では、アフィン変換のパ
ラメータを固定し、補正値計算時間および補正時間を短
縮する．ウィンドウ領域設定は、基準となるパターンを
対象物と同位置に設定し、カメラから入力後、入力した
画像データのうちポイントとなる画素と補正すべき位置
画像データのうちポイントとなる画素との比較により、
歪率を算出し，同一または近似の歪率の画素をグループ
化し、各グループ毎にウィンドウを設定する。

入力画像を表示したＣＲＴ等のモニタを目視で確認しな
がら、マウス等の簡単な操作で、ウィンドウ領域を指定
し，その範囲の歪率を算出し、同一または近似の歪率の
画素をグループ化し、グループ毎にウィンドウを設定す
ることも可能である。

一般に、画像の歪補正処理であるアフィン変換処理は、
千式で表され、個々の画素単位に行うことが必要である
とされていた。

Ｘ＝αＸ十βｙ＋ｘ． Ｙ＝γχ＋δｙ＋ｙＬ１ 画像を処理すれば、個々の画素についてパラメータを求
める手順が無くなるので、高速化できることになる． 本明細書では、このパラメータ固定状態での一定領域に
対するアフィン変換をアフィン走査処理と呼ぶこともあ
る。

アフィン走査処理では、任意の倍率によって処理対象画
像を拡大縮少し、また、任意の座標を処理対象物体画像
の回転中心座標として指定し、回転させることが可能で
ある．一方，ウィンドウ制御処理は，処理対象画像に対
して、処理領域を任意の位置に限定することが可能であ
る。この２つの技術を融合させると、処理対象画像の任
意の位置に限定した領域に対してのみアフィン走査処理
を実行できる． 結局、実際の処理の前に求めておいた同一または近似の
倍率をもった画素を一つのウィンドウ領域としてまとめ
、その領域内で一括してアフィン走査処理を実施すると
、画素毎のアフィン変換をする場合に比べて，処理を大
幅に高速化できる。

〔実施例〕

次に、第１図〜第１１図を参照して、本発明の実施例を
説明する。

第１図は、本発明のアフィン走査処理の基本的考え方を
説明する図である。処理前画像ＩＡには、幾何学的歪画
像２Ａが取り込まれており、（同一歪の）領域３Ａ，４
Ａ等が含まれている。そこで，本実施例では、基準とな
るパターンを対象物と同位置に設定し、カメラから入力
後、入力した画像データすなわち基準パターンのうちポ
イントとなる画素と補正すべき位置画像データすなわち
幾何学的歪画像２Ａのうちポイントとなる画素との比較
により、歪率を算出し，同一または近似の歪率の画素を
グループ化し、各グループ例えば同一歪の領域３Ａ，４
Ａ毎にウィンドウを設定する。このようにグループ化さ
れた歪パターンは、各領域毎に歪パターンメモリに記憶
しておく。ここまでの処理は、実際のアフィン走査処理
に先だって、予めオフラインで実行しておく。

次に、実際のアフィン走査処理では、同一歪の領域３Ａ
．４Ａ毎に，幾何学的歪画像２人を，前記歪パターンの
内容を参照して、拡大縮少するとともに回転させ，歪の
無い補正後の領域３Ｂ，４Ｂ等からなる歪補正画像２Ｂ
を含む処理後画像１Ｂを得る． 第２図は、本発明による画像処理システム全体の構戒の
一例を示すブロック図である。本実施例の画像処理シス
テムは．ＩＴＶカメラ等の画像入力装Ｍ９と、入力され
た処理対象物の画像を格納する処理対象画像メモリｌ４
と、入力画像の歪を予め記憶する歪パターンメモリ１１
と，入力画像へのアフィン走査を制御するアフィン走査
制御部１２と、入力画像にウィンドウ領域を指定するウ
ィンドウ制御部１３と、入力画像にアフィン変換処理を
実施するアフィン変換処理部１５と、アフィン変換処理
結果の画像を格納する処理結果画像メモリ１６と、ウィ
ンドウ領域の指示データを入力するデータ入力部１７と
、画像メモリの状態を目視確認するためのＣＲＴ等の画
像モニタ１０と、歪パターンメモリ１１に予め歪パター
ンを記憶させるオフラインティーチング部８とからなる
。本実施例の画像処理装！！７は、画像入力装Ｍ９と，
画像モニタ１０と、データ入力部ｌ７以外の部分を含ん
でいる． 第３１！ｌは、本発明のアフィン変換の考え方を説明す
る図である．すなわち．ＩＴＶカメラ９等の入力装置の
視野と対象物の画像サイズの変化との関係を表す図であ
る．視点１９から悲の距離にある対象物に対応する画素
は，画素毎の視角Δθにより一定の割合で拡大する。例
えば画素２０では、サイズはａ＝Ｑ・ｔａｎΔθで表さ
れ、画素２１では，ｂ＝Ｑ　・ｔａｎ　（２ΔＯ）−Ｑ
・ｊａｎΔＯ表される。ａとｂとの比率で表現すれば，
次のようになる． ｂ　　　！＋１ｔａｎ（２Δθ）　　一Ｑ−ｔａｎΔθ
ａ　　　　　　　　　　ｎ　　ｅｔａｎΔ　θこの比率
を予め補正係数として記憶しておき，例えば画素がＩＴ
Ｖカメラ９の走査方向すなわちラスク方向に並んでいる
とすれば、このラスタ方向で一領域（この場合はライン
）毎にアフィン走査処理を実行すれば，視点１９から遠
くなるほど小さくなる歪を補正し、歪の無い本来の画素
２２を得ることができる． これは最も単純な例であるが、カメラ自体または対象物
に傾きがあっても、回転方向の処理を加えると、補正式
を求めることは可能である。

この考え方を利用した例を第４図〜第６図で説明する。

第４図は、対象物が円筒形の場合である。円筒形対象物
２３にラベルが貼られており、そこに文字Ａ，Ｂ，Ｃが
書かれている。この円筒形対象物２３の正面にＩＴＶカ
メラ９を設置した場合、入力画像３１のうち、Ａは左側
から縮められたように、Ｂは左右から引っ張られたよう
に、Ｃは右側から縮められたようになってしまう。

そこで、本実施例においては，これらの歪の傾向に応じ
てＡ文字ウィンドウ２４、Ｂ文字ウィンドウ２５、Ｃ文
字ウィンドウ２６を設定する。

もちろん、円筒の直径等に応じて、ウィンドウ領域は更
に分割してもよい．例えば、Ａ文字ウィンドウを縦長に
１０分割することも可能である．次に、そのウィンドウ
領域単位に、アフィン変換処理２７を実行すると、処理
結果画像３２においては、Ａ文字処理結果２８，Ｂ文字
処理結果２９，Ｃ文字処理結果３０にそれぞれ示すとお
り、補正した画像が得られる。

第５図は、対象物を斜め方向からＩＴＶカメラ９で撮影
し、入力する例である．搬送ライン上を流れる対象物３
３には、搬送ライン方向前方に識別用ラベルが貼られて
いる。

そのラベルには，第４図と同様に、文字Ａ，Ｂ，Ｃが書
かれている。この搬送ライン上を流れている対象物３３
に対して、ＩＴＶカメラ９の設置個所の制限から、入力
画像３１においては、ＣよりＢが小さく、ＢよりＡが小
さく、左から縮められたようになってしまう。これらの
歪に応じて、Ａ文字ウィンドウ３４と，Ｂ文字ウィンド
ウ３５と，Ｃ文字ウィンドウ３６とを設定する。搬送ラ
インへのＩＴＶカメラ９の設定位置に対応し、第４図と
同様に、ウィンドウの細分化を必要に応じて実施し，ウ
ィンドウ領域単位にアフィン変換処理２７を行うと、補
正した結果の画像３２として，Ａ文字処理結果３７と、
Ｂ文字処理結果３８と，Ｃ文字処理結果３９とが得られ
る． 次に、第６図は、第５図と同様の条件で、ホワイトノイ
ズ等のノイズ４０が発生した例を示している．このノイ
ズの影響を回避するには、入力画像に対して予め，平滑
化処理（空間フィルタリング）等のノイズ除去処理４１
を施し、ノイズ除去した画像４２にアフィン変換処理を
実施すればよい。このように平滑化処理を付加すると、
画像ノイズに影響されない補正画像が得られる．ノイズ
除去処理は，アフィン変換処理後に実施しても問題はな
い．．特に，回転を含むアフィン変換では、例えば縦横
の滑らかな線が斜めのギザギザの線に変換されることが
多いので、この歪を除去する効果も期待できる。

以上の処理手順をまとめて、第７図に示す。第７図（Ａ
）は普通の処理手順、（Ｂ）はホワイトノイズ除去を含
む処理手順、（Ｃ）はノイズ除去後にアフィン変換処理
を行い、さらに残存ノイズを除去する処理を施す処理手
順を示すフローチャートである． 次に、第８図を用いて、ウィンドウ領域と歪補正倍率と
をオフラインで設定する方法を説明する。

ウィンドウ領域と歪補正倍率とは、第３図でも説明した
とおり、幾何学的な計算により求めることはできるが、
製造ライン等の現場での使用を考えた場合、個々の位置
を精密に測定し、計算を行うことは現実的ではない． そこで、第８図の例では、基準パターン４３を用意する
。この場合の基準パターン４３は、網目格子であるが、
水平および垂直方向が正確に認識可能なものであれば、
他のパターンでも問題はない． まず、この基準パターン４３を正規の位置に置いて、す
なわちＩＴＶカメラ９のレンズに正対させて撮像し、基
準位置画像４４として取り込む．この基準位置画像４４
は、実際にＩＴＶカメラ９から゛は入力せずに、ソフト
ウエアにより発生させることも可能であり、単に基準位
置座標データのみを格納しておくことでも良い． 次に、対象物をＩＴＶカメラ９で入力する位置に先の基
準パターン４３を設置し、この基準パターン４３を実際
にＩＴＶカメラ９から入力する。

このようにして入力された画像４５は，網目格子に歪が
発生した画像である。

次の処理では、入力した歪のある画像４５の網目格子か
ら，ポイント座標を抽出する。ポイント座標は、例えば
網目の個々の格子に対応する画素．の座標とする．そこ
で、抽出した座標を基準位置画像４４の対応する座標と
比較し、歪率を算出し、歪パターンメモリ１１に格納す
る．この格納した歪率を同一または近似のグループにま
とめると，歪パターンメモリ１１内にウィンドウ領域を
設定することが可能となる． その後になされる画像認識は、ウィンドウ領域毎に補正
処理すなわちアフィン走査処理をオンラインで行うこと
になる。以上の処理手順を第９図に示す． 基準パターンを用いない代案を第１０図に示す。

この処理手順は，精度面では多少劣るが、簡易であるこ
とが特徴である。

まず、ＩＴＶカメラ９の設置位置から対象物３３を入力
し、実入力画像３１を得る． 次に、特徴となる部分，本例ではアルファベットＡ，Ｂ
，Ｃの例えばＡに着目し、Ａの部分を切り出すために、
マウス５６等の外部入力装置を操作し、画面上のカーソ
ル５１により、左上の対象ウィンドウポイント４９と右
下の対象ウィンドウポイント５０とを指定し、対象ウィ
ンドウ領域を設定する． 先の対象ウィンドウ領域の歪率データに基づいて実際の
補正処理を行う場合は、補正したい画像において左上の
補正ウィンドウポイント５３と右下の補正ウィンドウポ
イント５４とを指定し、補正ウィンドウ領域を設定する
。

そこで、前記対象ウィンドウ領域と補正ウィンドウ領域
との角座標から、領域全体の歪率を算出し、その結果に
より補正処理を行う．ウィンドウ領域の大きさは、着目
点や歪率に応じて、変化させることが可能である。第１
０図の代案の処理手順を第１１図に示す。

以上、ウィンドウ領域と歪補正倍率とをオフライン操作
により設定する例を説明したが、基本的には、入力した
対象画像と補正する画像の座標データを抽出し、座標間
の差分により歪率を求めている。

次に，個々の歪率データの位置関係、例えば縦横の座標
を考慮しながらグループ化し、補正係数とウィンドウ領
域とを決定する。

ここで、例えば第１図のようなパターンの場合は、歪率
の変化が一定の規則性を持っているため、例えば領域３
Ａと領域４Ａとの間の領域および両者の外側の領域の補
正係数とウィンドウ領域とを、上記手順によらず、領域
３Ａの歪率と領域４Ａの歪率から、補間または外挿によ
り簡易に決定することも可能である． また、ウィンドウ領域を決定した結果，ウインドウ領域
の座標は離れていても，補正係数が同一となる場合もあ
る．この場合は、補正係数によりウィンドウをグループ
化すると、さらに処理効率を上げることも可能である。

以上の、オフライン操作により、特に、アフィン変換や
幾何学的歪についての知識を必要とせずに，ウィンドウ
領域と歪補正倍率とを簡単に設定することが可能である
。

〔発明の効果〕

本発明によれば、ＩＴＶカメラ等の設置条件，対象物の
円筒形等の形状，対象物の傾きによる入力画像の歪を簡
単かつ高速に補正できるので、従来あきらめていた例え
ば高速に搬送される生産ライン上の対象物の画像処理に
よる認識が可能となり，製造現場等での問題解決の一手
段となる。

【図面の簡単な説明】

第１図は本発明による画像処理装置における処理の基本
的考え方を示す図、第２図は本発明による画像処理装置
の一実施例の構成を示すブロック図、第３図は本発明に
おける歪率補正の考え方を説明する図，第４図は円筒形
対象物の歪補正処理を示す図，第５図は搬送ラインにカ
メラを斜方向から設定した場合の歪補正処理を示す図、
第６図は第５図の例にまずノイズを除去する手順を加え
た歪補正処理を示す図、第７図は歪補正処理の手順を示
す図、第８図は基準パターンを用いてウィンドウ領域と
歪補正倍率とをオフラインで設定する方法を示す図、第
９図は第８図設定方法の処理手順を示す図、第１０図は
対象物を用いてウィンドウ領域と歪補正倍率とをオフラ
インで簡略に設定する方法を示す図，第１ｌ図は第１０
図設定方法の処理手順を示す図である。 ＩＡ・・・処理前画像、ＩＢ・・・処理後画像、２Ａ・
・・幾何学的歪画像、２Ｂ・・・歪補正画像、３Ａ・・
・同一歪の領域、３Ｂ・・・補正後領域．３Ａ，４Ａ・
・・同一歪の領域、４Ｂ・・・補正後領域，７・・・画
像処理装置、８・・・オフラインティチング部、９・・
・画像入力装置、１０・・・画像モニタ．１１・・・歪
パターンメモリ，１２・・・アフィン走査制御部、１３
・・・ウィンドウ制御部、１４・・・入力処理対象画像
メモリ、１５・・・アフィン変換処理部、ｌ６・・・処
理結果画像メモリ、１７・・・データ入力部、１９・・
・視点，２０・・・Δθ時画素サイズ、２１・・・２Δ
θ時画素サイズ、２２・・・本来の画素サイズ、２３・
・・円筒形対象物，２４・・・Ａ文字ウィンドウ，２５
・・・Ｂ文字ウィンドウ、２６・・・Ｃ文字ウィンドウ
、２７・・・ウィンドウ単位アフィン変換処理、２８・
・・Ａ文字処理結果，２９・・・Ｂ文字処理結果，３０
・・・Ｃ文字処理結果、３１・・・入力画像、３２・・
・処理結果画像，３３・・・斜方向対象物、３４・・・
Ａ文字ウィンドウ、３５・・・Ｂ文字ウィンドウ、３６
・・・Ｃ文字ウィンドウ、３７・・・Ａ文字処理結果、
３８・・・Ｂ文字処理結果，３９・・・Ｃ文字処理結果
、４０・・・ノイズ、４ｌ・・・ノイズ除去処理、４２
・−・ノイズ除去画像、４３・・・基準パターン，４４
・・・基準位霞画像、４５・・・実入力画像、４６・・
・歪率算出処理、４７・・・ウィンドウ領域設定処理、
４８・・・ウィンドウ領域、４９・・・対象ウィンドウ
ポイント、５０・・・対象ウィンドウポイント，５ｌ・
・・カーソル、５３・・・補正ウィンドウポイント、５
４・・・補正ウィンドウポイント、５５・・・補正格納
画像，５６・・・マウス。

Claims (1)

1. 【特許請求の範囲】 １、画像入力手段と入力された幾何学的歪を含む画像を
   アフィン変換し歪の無い画像を求めるアフィン変換処理
   手段とを有する画像処理装置において、 予め歪の無い基準位置画像と前記画像入力手段から入力
   した幾何学的歪を含む画像とを比較して歪率を算出し、
   同一または近似の歪率の画素をグループ化してウィンド
   ウ領域を定めるオフラインティーチング手段と、 前記定められたウィンドウ領域と各領域内の歪補正倍率
   とを記憶する歪パターンメモリと、実際に入力された幾
   何学的歪を含む画像をアフィン変換する際に、前記歪パ
   ターンメモリ内のウィンドウ領域毎に同じ歪補正倍率で
   前記アフィン変換がなされるように、前記アフィン変換
   処理手段を制御するアフィン走査制御手段とを備えたこ
   とを特徴とする画像処理装置。 ２、画像入力手段と入力された幾何学的歪を含む画像を
   アフィン変換し歪の無い画像を求めるアフィン変換処理
   手段とを有する画像処理装置において、 前記画像入力手段から入力した幾何学的歪を含む画像に
   補正対象範囲を示すウィンドウ領域を指定し、当該ウィ
   ンドウ領域に対応する補正ウィンドウとの角座標を比較
   して前記ウィンドウ領域の歪率を算出するオフラインテ
   ィーチング手段と、 前記定められたウィンドウ領域と各領域内の歪補正倍率
   とを記憶する歪パターンメモリと、実際に入力された幾
   何学的歪を含む画像をアフィン変換する際に、前記歪パ
   ターンメモリ内のウィンドウ領域毎に記憶した歪補正倍
   率で前記アフィン変換がなされるように、前記アフィン
   変換処理手段を制御するアフィン走査制御手段と を備えたことを特徴とする画像処理装置。 ３、請求項１または２に記載の画像処理装置において、 前記オフラインティーチング手段が、同一画像内の複数
   の前記ウィンドウ領域間の歪率の変化に一定の規則性が
   ある場合、少なくとも二つのウィンドウ領域の歪率から
   他のウィンドウ領域の歪補正倍率を補間または外挿によ
   り求める手段を含むことを特徴とする画像処理装置。 ４、請求項１〜３のいずれか１項に記載の画像処理装置
   において、 前記オフラインティーチング手段が、同一画像内の前記
   ウインドウ領域が離れていても求められた歪補正倍率が
   同一または近似するときは、これらに共通の歪補正倍率
   を設定する手段を備えたことを特徴とする画像処理装置
   。 ５、請求項１〜４のいずれか一項に記載の画像処理装置
   において、 前記実際のアフィン変換処理手段の前後の少なくとも一
   方にノイズ除去処理手段を備えたことを特徴とする画像
   処理装置。