JP4356579B2 - 画像処理方法および画像処理装置 - Google Patents

Description

この発明は、カメラにより撮像して得られた対象物の画像を用いて、前記対象物に対する計測処理を行う技術分野に属する。特にこの発明は、回動可能なアーム部に前記カメラを取り付け、アーム部の動作を制御することによりカメラを位置決めして計測用の画像を生成する場合の技術に関する。

上記技術分野に関連する先行技術として、下記の特許文献１に開示されたものがある。この特許文献１には、ロボットのアーム部の先端に取り付けられたＣＣＤカメラによりワークを撮像し、得られた画像を視覚認識装置に入力して検査のための計測処理を行うことが記載されている。またアーム部は、サーボモータを駆動源とするもので、その位置や姿勢をロボットコントローラにより制御することも、記載されている。

特開２００３−３０２３４５ 公報

この種の画像処理において、カメラの視野よりも大きい対象物を計測する場合には、撮像位置を変更しながら複数回の撮像を行い、各画像を合成して対象物の全体像を得る必要がある。この場合、アーム部は回動しているため、対象物に対するカメラの視野の方向は、撮像位置毎に異なるものとなる。したがって、計測対象の画像を正しく得るには、各撮像位置で得た画像をその撮像時点のアーム部の振れ角度に応じて回転補正し、補正後の各画像を合成する必要がある。

各撮像位置で得た画像を合成して対象物の全体像を生成するには、回転補正後の画像間の座標の対応関係をあらかじめ求めておき、その関係に基づき各画像から必要な領域を抽出して位置合わせを行う必要がある。しかし、回転補正後の画像では、本来の視野に含まれる領域の一部が欠けた状態となるので、その欠落部分を考慮しながら撮像対象領域を設定する必要があり、このために設定作業が困難となる。また画像を合成する際も、前記領域の抽出のための条件や位置合わせ場所が画像毎に異なるものとなり、処理が複雑になる。

この発明は上記の問題点に着目してなされたもので、カメラの撮像対象領域を割り付ける作業や画像の合成処理を容易に行えるようにして、計測対象の画像を生成する処理の効率化をはかることを目的とする。

この発明にかかる画像処理方法は、回動可能なアーム部にカメラを取り付け、前記アーム部およびカメラの動作を制御して所定位置の対象物を撮像し、得られた画像を用いて前記対象物に所定の計測処理を実行するものである。

前記アーム部は、基部が軸支されるとともに、先端に前記カメラの支持部が設けられ、前記基部の回転によって、アーム全体が所定角度範囲で回動するように構成されるのが望ましい。さらに、このアーム部には、アームの長さを伸縮させる機能を持たせるのが望ましい。また長さのみならず、カメラの高さや角度を調整できるように、複数の軸部を具備する多関節ロボットとして構成することもできる。

カメラは、アナログカメラ、ディジタルカメラのいずれであってもよいが、駆動信号に応じて動作する静止画生成用のカメラであるのが望ましい。また、カメラへの駆動信号は、前記アーム部の回動が停止したことに応じて与えられるのが望ましい。

この発明にかかる画像処理方法では、前記対象物がカメラの視野よりも大きいとき、この対象物に対し、前記カメラの視野よりも小さく、それぞれの大きさが等しい複数の矩形状の処理領域をつなぎ合わせた計測対象領域を設定する。そして、前記処理領域の１つがカメラの視野に含まれる位置で前記アーム部の回動を停止させてカメラを駆動するステップＡ；ステップＡで得た画像をその画像取得時のアーム部の振れ角度に応じて回転補正するステップＢ；ステップＢで補正された画像から前記処理領域に対応する画像を抽出するステップＣ；の各ステップを各処理領域に対して順に実行し、各処理領域につき前記ステップＣで抽出された画像をこれらの処理領域の配置に基づき合成して、前記計測対象領域の画像を生成する。なお、上記ステップＢでいうところの振れ角度は、たとえば、アーム部の長手方向がこれを軸支する支持部の真正面を向いているときの振れを０度として、求めることができる。

上記の方法において、計測対象領域を構成する各処理領域は、正方形または長方形であるのが望ましい。また、この処理領域は、ステップＢの回転補正後の画像における有効領域（補正前、補正後の各画像にともに含まれる画素から成る領域、すなわち実際にカメラの撮像素子に結像した画像を反映した領域のことである。）に必ず含まれる大きさに設定する必要がある。

好ましい態様にかかる画像処理方法では、前記対象物に対してカメラを移動させながら、毎時得られる画像をその時点でのアーム部の振れ角度に応じて回転補正し、回転補正後の画像における有効領域を抽出した場合の最小の有効領域を求め、この最小の有効領域に含まれる矩形領域の大きさを前記計測対象領域を構成する処理領域の大きさとして設定する。

アーム部が、真正面方向に対し左右４５度までの角度範囲を移動する場合であれば、振れ角度が大きくなるにつれ、回転補正後の画像における有効領域は小さくなる。したがって、カメラを移動させたときの振れ角度の最大値が４５度以下であれば、その最大の振れ角度で得られる画像を回転補正したときの有効領域に含まれる矩形領域の大きさを、前記処理領域の大きさとして設定することができる。

一方、アーム部の振れ角度が４５度を超えると、以後は、振れ角度が大きくなるほど有効領域も大きくなる。したがって、この場合には、振れ角度が４５度となる位置で得られる画像から求めた処理領域が最小になると考えることができる。
そこで他の態様にかかる画像処理方法では、アーム部の振れ角度が４５度になる位置で得られる画像について、前記回転補正を行った後の画像における有効領域を抽出し、その有効領域に含まれる矩形領域の大きさを前記処理領域の大きさとして設定するようにしている。アーム部の振れ角度の最大値が４５度を超える場合には、この態様にかかる方法を使用するのが望ましい。

なお、いずれの態様の画像処理方法においても、有効領域に含まれる矩形領域として、有効領域に内接する矩形領域を求めることができる。しかし、これに限らず、内接矩形よりも若干小さい矩形領域であってもかまわない。

上記の各態様にかかる方法によれば、対象物を撮像可能な範囲であれば、処理領域をどの位置に設定しても、その処理領域を視野に含むようにカメラを位置決めすることができる。さらにこのカメラを駆動して得た画像を回転補正した後の有効領域には、前記処理領域の画像が確実に含まれるようになるから、合成画像の生成に必要な画像を抽出することが可能となる。

他の好ましい態様にかかる画像処理方法では、前記処理領域を正方形または長方形に設定するとともに、各処理領域の各辺を位置合わせして矩形状の計測対象領域を設定する。さらに前記ステップＡにおいて、カメラの視野中心を前記処理領域の中心点に合わせてカメラを駆動する。
上記のように、処理領域を正方形または長方形にして各辺を位置合わせすると、同じ並びにある各処理領域の中心点は、一直線上に整列するようになる。この場合、カメラの視野中心が各処理領域の中心点に合うように前記アーム部の長さを調整しながらアーム部を回動させることにより、各処理領域をそれぞれカメラの視野に順に収めて撮像を行うことができる。

一方、アーム長さを調整しない場合には、アーム部の回動に応じた視野の軌跡に沿って各処理領域の位置を決めてもよい。この場合の計測対象領域は、矩形にはならないが、対象物全体を含むようにすることは可能である。
なお、いずれの方法で処理領域をつなぎ合わせる場合にも、後の画像処理において生じる誤差を吸収できるように、隣り合う処理領域間には所定幅分の重なりを持たせるのが望ましい。

この発明にかかる画像処理方法によれば、あらかじめ定められた処理領域の設定位置に基づいてカメラを位置決めすることができるから、対象物の適切な全体像を得るための視野の割り付け作業を簡単にすることができる。また、各位置で得た画像からそれぞれ処理領域に対応する画像を抽出し、これらを処理領域の配置に基づき合成することにより、対象物を含む計測対象領域の画像を生成することができる。この場合の画像合成処理では、隣り合う処理領域間の位置関係に基づき、画像間の対応関係を簡単に把握することができる。

つぎに、この発明にかかる画像処理装置は、回動可能なアーム部と、前記アーム部に取り付けられたカメラと、前記アーム部およびカメラの動作を制御しつつ、カメラにより撮像された画像を用いて所定の計測処理を実行する制御部とを具備する。前記制御部は、前記カメラの視野よりも大きい対象物について、その対象物の位置および大きさを示す情報を入力する入力手段と、前記入力手段から入力された情報に基づき、前記対象物に対し、前記カメラの視野よりも小さく、それぞれ大きさが等しい複数の矩形状の処理領域をつなぎ合わせた計測対象領域を設定する領域設定手段と、前記処理領域の１つがカメラの視野に含まれる位置で前記アーム部の回動を停止させてカメラを駆動する処理を処理領域毎に実行する撮像動作制御手段と、前記撮像動作制御手段の制御により生成された画像を、その画像取得時のアーム部の振れ角度に応じて回転補正し、その補整後の画像から前記処理領域に対応する画像を抽出する画像抽出手段と、前記画像抽出手段が各処理領域につき抽出した画像を各処理領域の配置に基づき合成して、前記計測対象領域の画像を生成する画像合成手段とを具備する。

上記において、アーム部やカメラは、前記画像処理方法で述べたのと同様に構成することができる。制御部には、コンピュータを含めるのが望ましい。さらに、この制御部には、アーム部の動作を制御するための専用のコントローラを含めることもできる。このほか、この発明にかかる画像処理装置には、カメラの視野を確認したり、各視野の画像や合成処理後の画像を表示するための表示部を設けることができる。

制御部の入力手段は、たとえばキーボードやマウスなどの入力用機器からの信号を受け付ける機能が設定されたコンピュータと考えることができる。この場合、作業者は、前記表示部の画面によりカメラの視野に含まれる範囲を確認しながらアーム部を移動させ、カメラの移動範囲を設定する操作を行うことができる。入力手段は、この移動範囲を入力情報として取り込んで、対象物が含まれる大きさの領域を設定し、その領域の位置や大きさを領域設定手段に供給することができる。

領域設定手段、撮像動作制御手段、画像抽出手段、画像合成手段は、それぞれその手段の処理を行うためのプログラムが設定されたコンピュータにより構成することができる。ただし、撮像動作制御手段には、前記したアーム部用のコントローラやカメラの駆動回路などを含めることができる。また、画像抽出手段には、画像の回転補正のための変換回路を含めることができる。

上記の画像処理装置は、画像合成手段により生成された画像に対し、計測処理の目的に応じた画像処理を実行することができる。さらに、この画像処理装置は、計測処理の結果を用いて、対象物の適否を判別する検査装置として構成することができる。

この発明によれば、アームの振れ角度を調整しながら複数回の撮像を行って、得られた各画像を合成して計測処理用の画像を生成する場合に、カメラの視野を割り付ける処理や画像の合成処理を簡単かつ的確に行うことができる。よって、計測処理に必要な画像を効率良く、かつ精度良く得て、画像処理の機能を高めることができる。

図１は、この発明が適用された検査装置の構成を示す。
この実施例の検査装置は、多数の電子部品が搭載された基板Ｓを検査対象として、その基板上の部品実装状態やはんだ付けの適否を検査するためのもので、カラー画像用のＣＣＤカメラ１（以下、単に「カメラ１」という。）、照明装置２、アーム部３、ロボットコントローラ４、およびパーソナルコンピュータによる制御部５により構成される。

前記アーム部３は、複数の関節部３１〜３４を具備する「多関節ロボット」であって、その基部３５が所定大きさの支持台３６に軸支される。またアーム部３の先端部には支持板３７が連結されており、この支持板３７の板面に前記カメラ１および照明装置２が取り付けられる。なお照明装置２はリング型照明であり、その中心軸はカメラ１の光軸に合わせた状態に設定される。

上記アーム部３は、ロボットコントローラ４に接続される。ロボットコントローラ４はロボット制御専用のコントローラであって、各関節部３１〜３４の回転角度を制御して、アーム部３の長さ、高さ、および前記支持板３７の板面の傾きを調整する。また、前記支持台３６に対する軸を回転させることにより、アーム部３全体を所定の角度範囲で回動させることができる。
なお、このロボットコントローラ４の調整処理は、前記制御部５からの制御信号に応じて実行されるものである。

前記制御部５には、ＣＰＵ５０，ＲＯＭ５１，ＲＡＭ５２のほか、メモリ５３、照明制御部５０１、撮像制御部５０２、画像入力部５０３、画像処理部５０４、検査部５０５、ロボット制御部５０６などが含められる。また、ＣＰＵ５０には、入力部５４や、ディスプレイ５５などの周辺機器が接続される。なお、前記メモリ５３はハードディスクであって、ＣＰＵ５０に検査の機能を設定するためのプログラムや、各種検査データなどが格納される。またカメラ１から入力された画像や、この入力画像から生成される各種画像（回転補正画像や合成画像などである。詳細は後述する。）は、メモリ５３またはＲＡＭ５２に格納される。入力部５４は、キーボードやマウスなどにより構成される。

前記照明制御部５０１は、照明装置２の光量を調整するためのものである。撮像制御部５０２は、前記カメラ１に駆動信号を出力する。なお、撮像制御部５０２からの駆動信号は、ＣＰＵ５０からのコマンドに基づき、前記アーム部３の移動が停止するタイミングに応じて出力される。
画像入力部５０３は、前記駆動信号に応じて動作したカメラ１からの画像信号を入力するためのもので、Ｒ，Ｇ，Ｂの各画像信号を取り込むインターフェース回路やＡ／Ｄ変換回路などを含む。この画像入力部５０３により、Ｒ，Ｇ，Ｂ毎のディジタル画像が生成され、メモリ５３またはＲＡＭ５２に格納される。

ロボット制御部５０６は、ＣＰＵ５０からのコマンドに応じて、前記ロボットコントローラ４に制御信号を出力する。画像処理部５０４は、検査対象の画像に検査領域を設定した後、その領域内の画像に対する計測処理を実行する。検査部５０５は、画像処理部５０４の計測結果を用いて各被検査部位の適否を判別する。ＣＰＵ５０は、この被検査部位毎の判別結果を統合して、基板Ｓの良否を判別し、その判別結果をディスプレイ５５や図示しない外部機器などに出力する。

なお、この実施例の検査装置には、検査データとして、前記検査領域の設定データ、被検査部位の画像を抽出するための条件（２値化しきい値など）、抽出された被検査部位の画像に対して実行する計測処理の種類（位置、面積の計測など）、前記検査部の判別処理に使用される判定基準値などが含められる。これらの検査データは、検査に先立ち、ＣＰＵ５０によって読み出された後、画像処理部５０４や検査部５０５に供給される。

上記構成において、検査対象の基板Ｓは、図示しない搬送機構により搬送され、所定位置に位置決めされる。この実施例の基板Ｓは、カメラ１の視野よりも大きいため、基板Ｓの上方の複数位置にカメラ１を位置決めして撮像を行い、各位置で得られた画像から基板Ｓの全体像を含む画像を合成する必要がある。この画像合成処理のための設定データとして、メモリ５３には、カメラ１の撮像位置や後記する処理領域や計測対象領域の設定にかかるデータなどが登録される。なお、前記合成画像を得るための一連の制御や前記メモリ５３への登録データを作成する処理は、ＣＰＵ５０が主体となって実行するが、撮像制御部５０２，画像入力部５０３、画像処理部５０４、ロボット制御部５０６などの機能も使用される。

以下、上記の検査に必要な画像を得るための処理について、順を追って説明する。なお、前記アーム部３は、前記支持台３６への軸を支点として回動するほか、各関節部３１〜３４の動きによって、カメラ１の向きや高さを調整することができる。しかし、以下では、基板の平面図に相当する画像を生成することを前提として、カメラ１の光軸は鉛直方向に固定され、高さも、カメラ１の焦点距離に応じた位置に保たれるものとする。また、対象物と画像との関係をわかりやすくするために、前記基板Ｓを星形マークＳ１に置き換えて示す。

図２は、カメラ１の視野１０が前記アーム部３の移動に伴って移動する様子を上方から見たものである。図中の点Ｃは、前記アーム部３の基部３５と前記支持台３６とを連結する軸の位置を示している。アーム部３の長さを一定にした状態でこの軸を回転させると、前記視野１０は、図示のように円弧状の経路に沿って移動する。

図３は、検査対象物（星形マーク）Ｓ１に対する撮像対象領域の割り付け例を示す。この例では、対象物Ｓ１に対し、カメラ１の経路を前後２列に設定し、各経路上にそれぞれ３個の撮像対象領域１０１〜１０６を設定している。

図４は、上記図３に示した各撮像対象領域１０１〜１０６にカメラ１の視野１０を合わせて生成した６枚の画像ｇ１〜ｇ６を示す。この例では、図３との対比を容易にするために、各画像ｇ１〜ｇ６を撮像対象領域１０１〜１０６の向きに合わせて表している。一方で、各画像ｇ１〜ｇ６上には、撮像面のｘ軸およびｙ軸を対応づけている。カメラ１により撮像され、制御部５に入力される実際の画像ｈ１〜ｈ６は、図５に示すように、ｘ軸が水平方向に、ｙ軸が垂直方向に、それぞれ対応した状態になる。

図６は、上記図５の入力画像ｈ１〜ｈ６を用いて画像を合成する場合の一方法を示す。この方法では、各入力画像ｈ１〜ｈ６を、それぞれ対応する撮像対象領域１０１〜１０６の傾きに応じて回転補正し、図６（Ａ）のような画像ｊ１〜ｊ６を生成する。以下、この補正後の画像ｊ１〜ｊ６を「回転補正画像」という。
なお、各回転補正画像ｊ１〜ｊ６中の黒塗り部分は、補正に伴って補充した画素、すなわち実際の撮像面には存在しない画素である。すなわち、黒塗りがされていない部分を画像合成処理に使用することができる。以下では、この画像合成処理に使用可能な画像領域を「有効領域」という。

上記の回転補正画像ｊ１〜ｊ６が得られると、これらの画像ｊ１〜ｊ６を、重複する部分を対応づけながらつなぎ合わせることにより、図６（Ｂ）のような合成画像を得ることができる。

このように、理論上は、各入力画像を回転補正してから補正後の画像をつなぎ合わせることにより、対象物の全体像を含む合成画像を生成することができる。しかし、この方法を実現するのは容易なことではない。たとえば、画像を合成するには、あらかじめ回転補正画像ｊ１〜ｊ６間の対応関係を抽出しなければならないが、図６（Ａ）に示すように、各画像間の対応部分は位置ずれしているため、局所領域毎のマッチング処理を繰り返すなど、複雑な照合処理が必要となる。また対象物の全体画像を得るためには、各画像ｊ１〜ｊ６の有効領域により対象物全体が確実にカバーできるように、撮像対象領域１０１〜１０６を設定する必要がある。この設定も、かなりの手間を要する。

このような問題を考慮して、この実施例では、図７に示すように、正方形状の処理領域ｒをＸ，Ｙの各方向に沿って所定数配列することにより、対象物Ｓ１を含む大きさの計測対象領域７を設定する。各処理領域ｒの大きさは均等であり、またその大きさは、カメラ１の視野よりも小さく設定される。なお、図７およびつぎの図８におけるＹ軸は、前記アーム部３の基準の向き、すなわちアーム部３の真正面方向に対応する。また、Ｘ軸はＹ軸に直交する方向を指す。

図８は、任意の処理領域ｒに対する視野１０の設定例を示す。
この例では、Ｙ軸に対し、角度θだけ右にアーム部３を回転させている。この結果、カメラの視野１０のｙ軸も、Ｙ軸から角度θだけ傾いた状態となる。

図９（１）は、カメラ１の視野１０を図８のように合わせて生成された画像ｇを示す。この画像ｇ上の処理領域ｒ１は、前記視野１０の傾きを反映して回転した状態になる。図９（２）は、この処理領域ｒ１の各辺がｘ，ｙの各軸方向に沿うように、画像ｇを回転補正した画像ｊを示す。なお、この回転補正画像ｊの外側の点線は、元の画像ｇのうち補正により削除された部分を示す。

上記のように画像を回転補正することにより、処理領域ｒについて、視野１０のｙ軸を前記Ｙ軸に合わせて撮像した場合と同様の画像を得ることができる。
ここで、前記計測対象領域７に対し、処理領域ｒが図９（３）の斜線で示す位置に配置されているとすると、図９（２）の回転補正画像ｊ中の領域ｒ１の画像を、この斜線の領域ｒに対応づけることができる。他の処理領域ｒについても、同様の対応づけを行うことができる。

上記の原理に基づき、この実施例では、各処理領域ｒが１つずつカメラ１の視野１０に入るようにカメラ１を順に位置決めし、各位置で撮像を行う。さらに、各位置で得られた画像につき、それぞれその撮像時のアーム部３の振れ角度θに基づく回転補正処理を実行し、回転補正画像ｊから処理領域ｒの画像を抽出する。そして抽出された各画像を、それぞれ処理領域ｒに対応する位置に配置してつなぎ合わせることにより、計測対象領域７の全体画像を生成するようにしている。

前記図７の設定によれば、各処理領域ｒは大きさが等しく、またＸ，Ｙの各軸方向に沿って位置合わせされているから、回転補正画像ｊから抽出した画像を合成する場合にも、各処理領域ｒの配置関係に基づいて画像間の対応関係を容易に判断することができる。

また各処理領域ｒは、Ｘ，Ｙの各軸方向に沿って位置合わせされるから、図１０に示すように、各処理領域ｒの中心点に対応する点Ｏ１，Ｏ２，Ｏ３を、撮像位置として設定することができる。これらの撮像位置Ｏ１，Ｏ２，Ｏ３は、Ｘ軸に沿う直線上に整列するので、撮像時には、アーム部３をその長さを調整しながら回動させ、カメラ１の視野中心が前記撮像位置に位置合わせされた時点で前記回動を停止させ、カメラ１を駆動すればよい。このようにアーム部３の動作制御が若干複雑になるものの、撮像位置を各処理領域ｒの中心点に基づいて設定することができるから、撮像対象位置の設定処理をきわめて簡単に行うことができる。

ところで上記の方法を実現するには、いずれの撮像位置でも、その位置で得た画像の回転補正画像から処理領域ｒの画像が確実に抽出できるように設定する必要がある。そのためには、回転補正画像ｊの有効領域内に前記処理領域ｒ１が必ず含まれるように、処理領域ｒの大きさを設定する必要がある。いずれの撮像位置の画像にも処理領域ｒ１が含まれるようにするには、アーム部３が移動する範囲において生成される有効領域のうちの最小の領域に基づいて、前記処理領域ｒの大きさを設定する必要がある。

図１０には、前記アーム部３の振れ角度θが０度の場合、２２．５度の場合、４５度の場合について、それぞれその設定により得た画像から生成した回転補正画像ｊ１１，ｊ１２，ｊ１３を示している。カメラ１が生成した画像は、その視野１０の傾きに応じて回転しており、その傾きが大きくなるほど、回転補正画像ｊ１１，ｊ１２，ｊ１３の有効領域は縮小されることになる。
このように、アーム部３の振れの範囲が４５度までであれば、振れ角度が最大になったときに得られる画像に対応する有効領域が最も小さくなる。一方、振れ角度が４５度を超えると、以後は、視野１０の傾きが大きくなるにつれて、回転補正画像の有効領域も大きくなる。したがって、振れ角度の最大値が４５度以上であれば、振れ角度が４５度のときの画像に対応する有効領域が最小になると考えることができる。

そこで、この実施例では、カメラ１からの画像をモニタリングしながらアーム部３を回動させ、対象物Ｓ１の一方の端縁が視野に含まれる位置での振れ角度を検出する。さらに、この検出した振れ角度の最大値が４５度以下であれば、その最大の振れ角度で得た画像の回転補正画像における有効領域を求める。一方、振れ角度の最大値が４５度を超える場合には、振れ角度が４５度のときに得た画像の回転補正画像における有効領域を求める。そして前記有効領域に含まれる正方形のうちの最大の正方形の大きさを、前記処理領域ｒの大きさとして設定する。

上記の処理において、振れ角度の最大値を検出するには、対象物の端縁が視野に含まれるか否かの判別処理が必要となる。この判別は、カメラ１からの画像を用いて自動的に行うことができるが、これに限らず、作業者がディスプレイ５５上の表示を視認して、確定操作を行うようにしてもよい。いずれの場合にも、その後の有効領域を求める処理や処理領域の大きさを設定する処理は、ＣＰＵ５０や画像処理部５０４により実行することができる。
なお、基板Ｓのような矩形状の対象物を撮像する場合には、アーム部３の先端部が対象物の前端部に沿って移動するように制御すると、アーム部３の振り幅を大きくすることができる。よって、前記最大の振れ角度を求める処理でも、この点を考慮して、アーム部３の先端部を対象物の前端縁に合わせて動かすのが望ましい。

また処理領域の形状は正方形に限らず、長方形としても良い。また、処理領域の大きさを設定する場合には、前記最小の有効領域に内接する長方形または正方形を設定し、その大きさを処理領域の大きさとすることができる。

このようにして処理領域の大きさを設定した後は、前記図７に示した方法に基づき、対象物全体にかかるように複数の処理領域ｒをつなぎ合わせることで、計測対象領域７を組み立てる。さらに、各処理領域ｒの中心点を撮像位置として設定する。なお、計測対象領域７を組み立てる際には、視野の位置決め時、画像の回転補正時、処理領域の画像を抽出する時などに生じる誤差を吸収するために、各処理領域ｒ間に所定幅の重なり部分を持たせておくのが望ましい。

また、前記図７のように計測対象領域７を組み立てるには、あらかじめ、対象物Ｓ１の位置や大きさを特定しておく必要がある。この特定は、前記入力部５４からＸＹ座標系に基づく具体的な数値を入力して行うことができる。また、前記振れ角度の最大値を設定する際のカメラの移動範囲から、対象物Ｓ１の位置や大きさを割り出すことも可能である。

上記実施例では、各処理領域ｒをＸ，Ｙの各軸方向に沿って位置合わせしたが、処理領域ｒの配列はこれに限らず、図１１に示すように、アーム部３の軌跡（図中、一点鎖線で示す。）に沿って、処理領域ｒを配列してもよい。この場合に各処理領域ｒにより組み立てられる計測対象領域７Ａは、図７のような矩形状にはならないが、対象物Ｓ１の全体像を取得する上では特段の問題は生じない。なお、この図１１の例では、アーム部３の移動中に長さ調整を行う必要はなく、前記図２と同様の方法でアーム部３の動作を制御すれば良い。ただし、前記一点鎖線で示す各経路分の移動が終了する都度、アーム部３の長さを切り替える必要はある。

この発明にかかる検査装置の構成およびアーム部の外観を示す図である。 カメラの視野の移動状態を示す説明図である。 撮像対象領域の設定例を示す説明図である。 図３の設定により得られた画像を示す説明図である。 実際に制御部に入力される画像を示す説明図である。 画像合成処理の一方法を示す説明図である。 処理領域による計測対象領域の組み立て例を示す説明図である。 処理領域に対する視野の設定例を示す説明図である。 図８の設定状態から得た画像と処理領域との対応関係を示す説明図である。 撮像位置の設定例と、各撮像位置に対応する回転補正画像とを示す説明図である。 処理領域による計測対象領域の他の組み立て例を示す説明図である。

符号の説明

Ｓ１ 対象物
ｒ 処理領域
ｇ 入力画像
ｊ 回転補正画像
１ カメラ
３ アーム部
４ ロボットコントローラ
５ 制御部
７ 計測対象画像
５０ ＣＰＵ
５０２ 撮像制御部
５０３ 画像入力部
５０６ ロボット制御部

Claims (5)

1. 回動可能なアーム部にカメラを取り付け、前記アーム部およびカメラの動作を制御して所定位置の対象物を撮像し、得られた画像を用いて前記対象物に所定の計測処理を実行する画像処理方法において、
   前記対象物がカメラの視野よりも大きいとき、この対象物に対し、前記カメラの視野よりも小さく、それぞれの大きさが等しい複数の矩形状の処理領域をつなぎ合わせた計測対象領域を設定し、
   前記処理領域の１つがカメラの視野に含まれる位置で前記アーム部の回動を停止させてカメラを駆動するステップＡ；ステップＡで得た画像をその画像取得時のアーム部の振れ角度に応じて回転補正するステップＢ；ステップＢで補正された画像から前記処理領域に対応する画像を抽出するステップＣ；の各ステップを各処理領域に対して順に実行し、各処理領域につき前記ステップＣで抽出された画像をこれらの処理領域の配置に基づき合成して、前記計測対象領域の画像を生成することを特徴とする画像処理方法。
2. 請求項１に記載された画像処理方法において、
   前記対象物に対してカメラを移動させながら、毎時得られる画像をその時点でのアーム部の振れ角度に応じて回転補正し、回転補正後の画像における有効領域を抽出した場合の最小の有効領域を求め、この最小の有効領域に含まれる矩形領域の大きさを前記計測対象領域を構成する処理領域の大きさとして設定することを特徴とする画像処理方法。
3. 請求項２に記載された画像処理方法において、
   前記アーム部の振れ角度が４５度になる位置で得られる画像について、前記回転補正を行った後の画像における有効領域を抽出し、その有効領域に含まれる矩形領域の大きさを前記計測対象領域を構成する処理領域の大きさとして設定することを特徴とする画像処理方法。
4. 請求項１〜３のいずれかに記載された画像処理方法において、
   前記処理領域を正方形または長方形に設定するとともに、各処理領域の各辺を位置合わせして矩形状の計測対象領域を設定し、前記ステップＡにおいて、カメラの視野中心を前記処理領域の中心点に合わせてカメラを駆動するようにした画像処理方法。
5. 回動可能なアーム部と、前記アーム部に取り付けられたカメラと、前記アーム部およびカメラの動作を制御しつつ、カメラにより撮像された画像を用いて所定の計測処理を実行する制御部とを具備し、
   前記制御部は、
   前記カメラの視野よりも大きい対象物について、その対象物の位置および大きさを示す情報を入力する入力手段と、
   前記入力手段から入力された情報に基づき、前記対象物に対し、前記カメラの視野よりも小さく、それぞれ大きさが等しい複数の矩形状の処理領域をつなぎ合わせた計測対象領域を設定する領域設定手段と、
   前記処理領域の１つがカメラの視野に含まれる位置で前記アーム部の回動を停止させてカメラを駆動する処理を処理領域毎に実行する撮像動作制御手段と、
   前記撮像動作制御手段の制御により生成された画像を、その画像取得時のアーム部の振れ角度に応じて回転補正し、その補正後の画像から前記処理領域に対応する画像を抽出する画像抽出手段と、
   前記画像抽出手段が各処理領域につき抽出した画像を各処理領域の配置に基づき合成して、前記計測対象領域の画像を生成する画像合成手段とを具備している画像処理装置。

Images