JP6596286B2 - 画像の高解像化システム及び高解像化方法 - Google Patents

Description

本発明は、相対的に移動する被撮像物の撮像によって得られる複数画像を利用して高解像画像を生成する画像の高解像化システム及び高解像化方法に関する。

電子部品実装機では、装着ヘッドが電子部品を吸着保持し、パーツカメラ上を通過することにより電子部品が撮像され、その画像を基に電子部品が適正か否かの確認や、電子部品の吸着姿勢の確認などが行われる。このような画像に基づいて行われる電子部品の確認処理では、被撮像物について鮮明な画像が得られることが望ましい。このような要求は電子部品実装機に限らず、様々な場面や機器などにおいて求められている。しかし、高解像画像を得ようとした場合、高解像度カメラを使用すればより良い画像が得られるが、それではコストがかかってしまい機器自体が高価なものになってしまう。そこで、低解像度カメラであっても、画像データを加工することにより高解像度の画像を生成するための技術が種々提案されている。

例えば下記特許文献１，２などには、複数の画像から高解像度画像を生成するための方法が開示されている。特許文献１の技術は、同じ被撮像物の一連の画像を低解像度イメージセンサを用いて撮影し、カメラ側の動きを特性付けて、原画像や特性付けられた動きから、一連の画像の１つ１つよりも高い解像度や色精度を持つ合成画像を生成するものである。また、特許文献２は、基準画像と変位量の推定が行われた複数枚の画像とが読み込まれ、画像との間の画素対応関係を明らかにして、ターゲット画像の拡大座標を基準とする座標空間で重ねあわせによる処理が行われるものである。

特開２００４−０５６７８９号公報 特開２００８−３０６６５１号公報

ところで、このような従来の高解像化方法は静止画に適しているものの、被撮像物が移動するものやカメラ側が移動するようなものについて適したものではなかった。この点、例えば画素ずらし等のような高解像化方法では、カメラと被撮像物との位置関係が固定され、イメージセンサが正確な位置関係でずれるようにピエゾ素子によって駆動する構成が採られている。前記特許文献１に記載の技術では、カメラの動きについて特性付けが行われ、また、特許文献２に記載の技術では、すべての画像について画像変位量の推定処理が行われている。

そこで、本発明は、相対的に移動する被撮像物の複数の画像データを利用して高解像画像を生成する画像の高解像化システム及び高解像化方法を提供することを目的とする。

本発明に係る画像の高解像化システムは、相対的に移動する被撮像物の撮像により複数画像の取得が可能な撮像手段と、前記撮像手段により得られた前記複数画像を記憶する画像記憶手段と、前記複数画像における基準となる被撮像物とその他の被撮像物との位置関係を、サブピクセル空間に対応させることによりサブピクセルレベルで比較するようにした位置検知手段と、複数画像の被撮像物に関する位置関係を示す前記サブピクセル空間が複数のエリアに細分化され、当該エリアに従って区分された前記被撮像物に対応する画像を基に、輝度値を平均化したエリア毎の平均画像を生成する平均化処理手段と、前記各エリアの平均画像を基にサブピクセル単位で輝度値を調整した高解像画像を生成する画像生成手段とを有し、前記位置検知手段は、撮像領域の異なる範囲の画素上に撮像された前記被撮像物同士の相対的な位置関係を、ピクセル単位の値を除いたサブピクセル単位のズレ量として求めるものであり、前記平均化処理手段は、前記サブピクセル単位のズレ量として前記サブピクセル空間内において求められた複数ある前記被撮像物の位置の分布状況に従い、前記サブピクセル空間を細分化するエリア数を増減させるものである。

また、本発明に係る画像の高解像化方法は、相対的に移動する被撮像物を撮像手段で撮像することにより複数画像を取得する撮像工程と、前記撮像工程により得られた前記複数画像を記憶する画像記憶工程と、前記複数画像における基準となる被撮像物とその他の被撮像物との位置関係を、サブピクセル空間に対応させることによりサブピクセルレベルで比較する位置検知工程と、複数画像の被撮像物に関する位置関係を示す前記サブピクセル空間を複数のエリアに細分化し、当該エリアに従って区分された前記被撮像物に対応する画像を基に、輝度値を平均化したエリア毎の平均画像を生成する平均化処理工程と、前記各エリアの平均画像を基にサブピクセル単位で輝度値を調整した高解像画像を生成する画像生成工程とを有し、前記位置検知工程は、撮像領域の異なる範囲の画素上に撮像された前記被撮像物同士の相対的な位置関係を、ピクセル単位の値を除いたサブピクセル単位のズレ量として求め、前記平均化処理工程は、前記サブピクセル単位のズレ量として前記サブピクセル空間内において求められた複数ある前記被撮像物の位置の分布状況に従い、前記サブピクセル空間を細分化するエリア数を増減させるものである。

本発明によれば、相対的に移動する被撮像物の画像を複数取得して記憶するとともに、該複数画像の被撮像物におけるサブピクセル空間内での相対的な位置を求め、細分化された複数のエリアに従い区分された複数画像を基にエリア毎に輝度値を平均化した平均画像を生成し、その平均画像を基にサブピクセル単位で輝度値を調整した高解像画像を生成するようにしたので、性能の劣る低解像画像カメラであっても複数画像が撮像可能であれば高解像画像を生成することができる。

画像の高解像化システムの実施形態を示したブロック図である。 被撮像物がカメラの撮像領域を横切って移動した場合を示した図である。 撮像領域内における被撮像物の位置を画像毎に示したイメージ図である。 各画像における被撮像物の位置関係をサブピクセルレベルで求めた場合の概念図である。 サブピクセル空間内に特定された位置ズレポイントがエリア毎に区分された状態を示した図である。 第１エリアに区分された被撮像物の画像について平均化処理を行った場合のイメージ図である 高解像画像生成のための平均画像の張り合わせをイメージした図である。 サブピクセル空間を縦横４×４の１６エリアに細分化した場合を示した図である。

次に、本発明に係る画像の高解像化システム及び高解像化方法の一実施形態について、図面を参照しながら以下に説明する。本実施形態の画像の高解像化システム及び高解像化方法は、低解像度カメラの撮像によって得られる低解像画像から高解像画像を生成するものであり、特に当該カメラが高フレームレートカメラであって、相対的に移動する被撮像物の撮像によって得られた複数画像から高解像画像を生成するものである。こうした高フレームレートカメラは、例えば前述した電子部品実装機のパーツカメラなどに使用される。

電子部品実装機は、搬送された回路基板に対して電子部品を装着するものである。その電子部品は部品供給装置から供給されるが、前述したように適切な電子部品であるか否かの確認や、装着ヘッドに把持された姿勢が正しいか否かなどに関して画像判定が行われる。そこで、電子部品実装機の装着ロボットは、その装着ヘッドによって電子部品を吸着保持し、機体内部に設置されたパーツカメラ上を通過する。そのときパーツカメラの撮像により、移動する電子部品を被撮像物として複数の画像が得られる。本実施形態の高解像化システムでは、こうした複数の画像から電子部品のような被撮像物に対し、高解像度の画像が得られるようにしたものである。

ここで、図１は、本実施形態の高解像化システムを示したブロック図である。電子部品実装機は、制御装置１に対してパーツカメラとして高フレームレートカメラ２が接続され、また、電子部品を吸着保持して回路基板へと装着する装着ロボット３が接続されている。ただ、高解像化システムは、高フレームレートカメラ２の撮像によって得られた画像データを高解像画像に処理する点に特徴を有するものであるため、こうした電子部品実装機に限定されるわけではなく、相対的に移動する被撮像物の撮像に使用される様々な機器について適応可能である。

制御装置１は、マイクロプロセッサやメインメモリによって構成されたものであり、高フレームレートカメラ（以下、単に「カメラ」という）２によって得られた複数の画像を記憶する画像記憶部１１、複数の画像について被撮像物の相対的な位置を検知する位置ズレ検知部１２、複数の画像について輝度値を平均化した平均画像を生成する平均化処理部１３および、複数の平均画像を張り合わせて高解像画像を生成する画像生成部１４が設けられている。更に、電子部品実装機では、生成された高解像画像が駆動制御部１８に入力され、駆動制御部１８によって画像を基にした電子部品に関する所定の判定処理が実行され、その判定結果に従った装着ロボット３の駆動制御が行われるようになっている。

図２は、被撮像物５０がカメラ２の撮像領域２０を横切って移動した場合を示した図である。なお、ここに示す被撮像物５０は、ある特定のものを示しているわけではなく単なるイメージである。この被撮像物５０が撮像領域２０を相対的に移動する場合、カメラ２の性能にもよるが、撮像領域２０を横切る間に数十ｆｐｓ程度の静止画像が取得できる。そして、得られた複数の画像は、画像記憶部１１へと送られて格納されるとともに、位置ズレ検知部１２へも送られて各画像の被撮像物５０に関する相対的な位置情報が作成される。特に本実施形態では、被撮像物５０の相対的な位置関係をサブピクセル空間内で対応させた位置情報が作成される。

ここで、図３は、撮像領域２０における被撮像物５０の位置を画像毎に示したイメージ図であり、図４は、各画像における被撮像物５０の位置関係をサブピクセルレベルで求めた場合の概念図である。位置情報の作成では、図２に示すようにカメラ２の撮像領域２０内を被撮像物５０が移動した場合、その間に撮像された数十ｆｐｓの画像が図３に示すようにして得られる。なお、図３には得られた画像の一部しか示されていない。また、各画像の被撮像物５０について説明する場合には、図示するように被撮像物５０１，５０２…と個別の番号を付すこととする。位置情報の作成では、そうした各々の被撮像物５０１，５０２…の位置関係が、座標で示した図４のサブピクセル空間３０上に示される。ここでいうサブピクセル空間３０とは、撮像領域２０内の異なる範囲の画素上に撮像された各々の被撮像物５０について、サブピクセルレベルでの位置関係を比較するためのものである。

そして、その位置関係を求めるため、先ず所定の画像が基準画像（画像１）として定められ、画像１における被撮像物５０１の位置（例えば被撮像物５０１の中心位置。他の被撮像物５０についても同じ。）が基準の（ｘ，ｙ）＝（０，０）となっている。すなわち、撮像領域２０をピクセル単位のｘｙ座標としてとらえ、被撮像物５０１の位置がその基準点であるものとする。そして、この被撮像物５０１に対して、その他の画像の被撮像物５０２，５０３，５０４…に関する位置が算出される。その他の被撮像物５０（５０１，５０２，５０３，５０４…）に関する相対的な位置は、位相限定相関法などを用いて算出される。

このような手法で算出された被撮像物５０の相対的な位置は、具体的には、画像１の被撮像物５０１の位置が（０，０）であるのに対し、被撮像物５０２の位置が（３．２，１．２）、被撮像物５０３の位置が（１．４，３．４）、被撮像物５０４の位置が（２．７，２．９）であった。そして、各画像における被撮像物５０の相対的な位置、すなわち被撮像物５０１を基準とするその他の被撮像物５０の位置が算出されると、次にその算出値を基に図４に示すサブピクセル空間３０において、被撮像物５０１に対するその他の被撮像物５０の位置が求められる。

被撮像物５０２，５０３，５０４の位置について、整数部分と小数部分に分けて考える。被撮像物５０２の位置（３．２，１．２）からＸ方向の整数部分は３、Ｙ方向の整数部分は１とわかる。そこで、被撮像物５０２の画像をＸ方向に３、Ｙ方向に１だけ画像を平行移動すると、被撮像物５０２は被撮像物５０１とサブピクセル（０．２，０．２）だけずれた位置関係となる。このように画像のズレ量の整数部分だけ平行移動し、サブピクセルだけずれた画像を近くに集め平均化することで高解像化を行う（サブピクセル空間内での平均化処理については以下で述べる）。サブピクセルのズレ量が、図４に示すサブピクセル空間３０に置き換えられた各被撮像物５０の位置ズレポイントとなる。

位置ズレポイントの特定に際して本実施形態では、サブピクセル空間３０の座標において、（１．０，１．０）が被撮像物５０１の位置（基準点）として設定されている。そして、被撮像物５０１に対する被撮像物５０２，５０３，５０４のサブピクセルレベルでの相対的な位置が、サブピクセル空間３０の座標上に各画像のポイントとして示されている。具体的には、撮像領域２０において（３．２，１．２）に位置する被撮像物５０２は、サブピクセルレベルでのズレ量は（０．２，０．２）である。従って、サブピクセル空間３０の座標では、基準点からズレ量分だけ移動した（０．８，０．８）が被撮像物５０２の位置ズレポイントとなる。同じように、被撮像物５０３，５０４のズレ量（０．４，０．４）（０．７，０．９）による位置ズレポイントは（０．６，０．６）と（０．３，０．１）である。

位置ズレ検知部１２では、更に多くの画像についても図５に示すように、被撮像物５０のズレ量による位置ズレポイントがサブピクセル空間３０内に特定される。このように、カメラ３によって撮像された被撮像物５０の画像の数が多いほど、サブピクセル空間３０内に分布する位置ズレポイントの数が多くなるが、それは高解像化処理において利用可能な画像データが多いことを意味する。そして、続く平均化処理部１３では、位置ズレ検知の行われた複数の画像を利用して輝度値を平均化した平均画像の生成が行われる。その際、本実施形態の平均化処理では、サブピクセル空間３０の細分化によって複数のエリアが構成され、エリア毎の位置ズレポイントに対応した画像について平均化処理が行われる。

図５は、サブピクセル空間３０内に特定された位置ズレポイントがエリア毎に区分された状態が示されている。本実施形態では、サブピクセル空間３０が４分割され、下段左を第１エリア３１、下段右を第２エリア３２、上段左を第３エリア３３、そして上段右を第４エリア３４として説明する。そして、サブピクセル空間３０が細分化されることにより、位置ズレ検知部１２で特定された複数ある被撮像物５０の位置ズレポイントがエリア毎に区分されることとなる。

サブピクセル空間３０は、横軸をＸとし縦軸をＹとして見た場合に、Ｘ=０〜１およびＹ=０〜１の範囲内において、第１エリア３１は（０＜Ｘ≦０．５，０＜Ｙ≦０．５）、第２エリア３２は（０．５＜Ｘ≦１．０，０＜Ｙ≦０．５）、第３エリア３３は（０＜Ｘ≦０．５，０．５＜Ｙ≦１．０）、第４エリア３４は（０．５＜Ｘ≦１．０，０．５＜Ｙ≦１．０）と設定されている。よって、ピクセル単位で輝度値を見た場合、輝度値は０から２５５迄の２５６階調であって（０，０）と（１，１）の位置では同じ値になる。

平均化処理部１３では、サブピクセル空間３０における各被撮像物５０の位置ズレポイントの配置に従い、対応する被撮像物５０が第１〜第４エリア３１〜３４のいずれに属するのかが判別される。例えば第１エリア３１には、図５に示すように６つの位置ズレポイントが配置されているため、対応する６つの被撮像物５０が第１エリアに区分されたものとなる。同じように、第２〜第４エリア３２〜３４についても、各々に配置された位置ズレポイントによって被撮像物５０が区分される。そして、こうして判別された各エリアの被撮像物５０に対応する画像毎に平均化処理が行われる。図６は、第１エリア３１に区分された被撮像物５０の画像について平均化処理を行った場合のイメージ図である。

平均化処理部１３では、図６に示すように、第１エリア３１に配置された６つの位置ズレポイントに従い、画像記憶部１１から対応する６つの画像データが抽出され、各々の画像データを基にピクセルごとの輝度値を平均化した第１エリア平均画像が生成される。ここでは、複数の画像を用いて行う平均化処理により、画像のノイズを減少させて輝度値が滑らかになった画像が生成される。そして、同じように第２エリア３２から第４エリア３４についても、位置ズレポイントに対応して画像データが画像記憶部１１から抽出され、ピクセルごとに輝度値を平均化した平均画像が生成される。

本実施形態では、平均化処理部１３でサブピクセル空間３０を細分化してエリア毎に区分したことにより、サブピクセルレベルでより近い位置にある複数の画像によって平均画像が生成されている。そして、続く画像生成部１４では、こうして生成された第１エリア３１から第４エリア３４の平均画像を利用した高解像画像が生成される。図７は、画像生成部１４によって実行される平均画像の張り合わせをイメージした図である。

画像生成部１４では、第１エリア３１から第４エリア３４の平均画像を張り合わせることにより、２×２サブピクセルの高解像画像が生成される。すなわち、図示するようにサブピクセル空間が各エリアで生成された平均画像の画像データにより埋められることによってサブピクセル単位での輝度調整が行われる。本実施形態では４つの平均画像を基に張り合わせが行われるので、０.２５ピクセル相当の輝度解像度に向上した高解像画像が生成されることになる。このように本実施形態では、カメラ２が低解像カメラであったとしても、上述した画像の高解像化方法を実行することにより高解像画像が得られる。

ところで、本実施形態ではサブピクセル空間３０が４つのエリア３１〜３４に細分化された場合について説明したが、解像度を上げるためには更に細分化の程度を大きくするようにしてもよい。図８は、サブピクセル空間３０を縦横４×４の１６エリアに細分化した場合を示した図である。このように細分化の程度を大きくする場合としては、例えば平均化処理部１３においてサブピクセル空間３０内に配置された位置ズレポイントの分布状況を判断して細分化が行われるようにする。

ただし、エリアの数が多くなれば、エリア３１２のように位置ズレポイントが存在しない場合が生じる可能性が高くなる。つまり、対応する画像データが存在しないデータゼロの空白エリアが生じ得る。本例では１６エリアのうち空白エリアが一つであるが、このような場合には、縦横に隣接するエリア３０８，３１１，３１６の情報を利用した補間処理が行われる。すなわち、エリア３０８，３１１，３１６に配置された位置ズレポイントに対応する画像データを基にピクセルごとの輝度値を平均化したエリア３１２の平均画像が生成されるようにする。

よって、平均化処理部１３で行われるサブピクセル空間３０のエリアの細分化に関しては、例えば空白エリアの隣りに補間可能なエリアが２以上存在する程度の大きさに設定するようにする。そして、平均化処理部１３では、その１６エリアについて輝度値を平均化した平均画像が生成され、画像生成部１４では、１６の平均画像を張り合わせることにより４×４サブピクセルの高解像画像が生成される。従って、サブピクセル空間３０の細分化の程度を大きくすることにより解像度を上げた画像の生成が可能になる。

この点、カメラ２によって取得できる画像の数が同じ場合、細分化の程度が大きければ各エリア内の平均化画像の数が少なくなって画像のノイズ減少の程度も小さくなる。しかし、元の低解像画像では判断できなかった細かい点が判断できるようになり、例えば画像処理で被撮像物５０のエッジなどが捉え易くなる。一方で、細分化の程度が小さければ画素数の増加が少ないが、平均化処理によって画像のノイズ減少の程度が大きくなり、輝度変化の滑らかな画像が生成されるため、画像処理で被撮像物５０のエッジを捉えるような場合に統計誤差の少ない画像処理結果が得られる。よって、サブピクセル空間３０の細分化については、どの程度高解像度化した画像が求められているかなど、本実施形態の高解像化システムが組み込まれる機器などに応じて決定するものであればよい。

以上、本実施形態によれば、性能の劣る低解像画像カメラであっても、相対的に移動する被撮像物について複数画像が撮像可能であれば、高解像画像を生成することができる。しかも、高解像画像の生成に当たり、各画像の被撮像物５０についてサブピクセル空間３０内でのズレ量を算出し、エリア毎に区分して平均画像を生成するという単純な高解像化方法を採用するものであるため、安価なシステム構成によって画像の高解像化を実現することができる。また、アルゴリズムが単純なため、高フレームレートカメラ２に対して高解像化を適用することが可能になり、それに伴いタクトタイムの減少が期待できる。更に、サブピクセル空間３０をエリア毎に区分して平均画像を生成するようにしたため、画像ノイズが存在したとしても高解像画像を生成するのに有効である。

以上、本発明の一実施形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で様々な変更が可能である。
例えば、サブピクセル空間内の細分化は予め決められたものであってもよい。また、縦横均等な細分化ではなく異なる仕方であってもよい。
また、例えば、細分化したサブピクセル空間３０に空白エリアが存在していた場合、補間可能な隣接エリアが１つでも存在すればよいし、逆に補間可能な隣接エリアが３つ以上である設定としてもよい。

１…制御装置 ２…高フレームレートカメラ ３…装着ロボット １１…画像記憶部 １２…位置ズレ検知部 １３…平均化処理部 １４…画像生成部 １８…駆動制御部 ２０…撮像領域 ３０…サブピクセル空間 ３１，３２，３３，３４…エリア ５０…被撮像物

Claims (4)

1. 相対的に移動する被撮像物の撮像により複数画像の取得が可能な撮像手段と、
   前記撮像手段により得られた前記複数画像を記憶する画像記憶手段と、
   前記複数画像における基準となる被撮像物とその他の被撮像物との位置関係を、サブピクセル空間に対応させることによりサブピクセルレベルで比較するようにした位置検知手段と、
   複数画像の被撮像物に関する位置関係を示す前記サブピクセル空間が複数のエリアに細分化され、当該エリアに従って区分された前記被撮像物に対応する画像を基に、輝度値を平均化したエリア毎の平均画像を生成する平均化処理手段と、
   前記各エリアの平均画像を基にサブピクセル単位で輝度値を調整した高解像画像を生成する画像生成手段とを有し、
   前記位置検知手段は、撮像領域の異なる範囲の画素上に撮像された前記被撮像物同士の相対的な位置関係を、ピクセル単位の値を除いたサブピクセル単位のズレ量として求めるものであり、
   前記平均化処理手段は、前記サブピクセル単位のズレ量として前記サブピクセル空間内において求められた複数ある前記被撮像物の位置の分布状況に従い、前記サブピクセル空間を細分化するエリア数を増減させるものであることを特徴とする画像の高解像化システム。
2. 前記平均化処理手段は、前記複数のエリアのうち前記被撮像物が位置しない空白エリアが存在する場合には、その空白エリアに隣接するエリアの画像を利用して当該空白エリアに関する平均画像を生成するものであることを特徴とする請求項１に記載する画像の高解像化システム。
3. 前記画像生成手段は、前記エリア毎に生成された平均画像に基づいて張り合わせ処理を行うことにより、画素数をエリア数倍にするものであることを特徴とする請求項１又は請求項２に記載する画像の高解像化システム。
4. 相対的に移動する被撮像物を撮像手段で撮像することにより複数画像を取得する撮像工程と、
   前記撮像工程により得られた前記複数画像を記憶する画像記憶工程と、
   前記複数画像における基準となる被撮像物とその他の被撮像物との位置関係を、サブピクセル空間に対応させることによりサブピクセルレベルで比較する位置検知工程と、
   複数画像の被撮像物に関する位置関係を示す前記サブピクセル空間を複数のエリアに細分化し、当該エリアに従って区分された前記被撮像物に対応する画像を基に、輝度値を平均化したエリア毎の平均画像を生成する平均化処理工程と、
   前記各エリアの平均画像を基にサブピクセル単位で輝度値を調整した高解像画像を生成する画像生成工程とを有し、
   前記位置検知工程は、撮像領域の異なる範囲の画素上に撮像された前記被撮像物同士の相対的な位置関係を、ピクセル単位の値を除いたサブピクセル単位のズレ量として求め、
   前記平均化処理工程は、前記サブピクセル単位のズレ量として前記サブピクセル空間内において求められた複数ある前記被撮像物の位置の分布状況に従い、前記サブピクセル空間を細分化するエリア数を増減させることを特徴とする画像の高解像化方法。
   

Images