JP5087106B2 - 画像処理システム - Google Patents

Description

本発明は、撮像対象が撮像されている撮像画像に対して画像処理を行う画像処理システムに関する。

従来から、撮像対象が撮像されている撮像画像に対して画像処理を行う画像処理システムは種々開発されている。従来の画像処理システムは、エリアセンサを有する撮像装置が撮像対象を撮像し、撮像対象の撮像によって得られる２次元画像に対して画像処理を行い、画像処理結果を得ている。

ところが、上記画像処理システムでは、撮像対象が撮像されている撮像画像が２次元画像であるため、撮像対象に曲面部が含まれる場合、撮像装置が曲面部の全ての部分に対して焦点を合わせることが困難であった。このため、上記画像処理システムでは、焦点の合わない部分を含む２次元画像に対して画像処理を行うことになり、精度の高い画像処理結果を得ることが難しいという問題があった。

上記問題を解決するシステムとして、特許文献１には、円柱状の撮像対象の側面をラインセンサカメラが撮像して、撮像対象の側面の展開図を取得するシステムが開示されている。特許文献１のシステムは、上記展開図を用いて、撮像対象の側面上の傷および文字を検出することができる。

特開昭６０−２３５０４３号公報

しかしながら、特許文献１のシステムでは、ラインセンサカメラの撮像と撮像対象の回転速度とが連携していないため、例えば撮像対象に回転むらがある場合、撮像対象が撮像されている平面画像（展開図）において、撮像対象の各部分が均一に撮像されていない場合があった。つまり、撮像対象の回転が遅いときに撮像された部分は広くなり、撮像対象の回転が速いときに撮像された部分は狭くなっていた。このため、特許文献１のシステムでは、撮像対象の全ての部分が均一に撮像されている平面画像を得ることができず、精度の高い画像処理を行うことができないという問題があった。

本発明は上記の点に鑑みて為され、本発明の目的は、撮像対象の全ての部分が焦点の合った状態で均一に撮像されている平面画像を得ることができる画像処理システムを提供することにある。

本発明の画像処理システムは、撮像対象を撮像する撮像装置と、前記撮像装置の撮像によって得られる撮像画像に対して画像処理を行う画像処理装置とを備え、前記撮像対象と前記撮像装置との相対位置を検出するためのエンコーダとともに用いられる画像処理システムであって、前記撮像対象は、撮像の際に回転されるものであり、前記撮像対象の回転軸に沿った面は、前記撮像対象の回転位置によって平面部または曲面部を含み、前記エンコーダは、前記相対位置として、前記撮像対象の回転位置を検出し、前記撮像装置は、エリアセンサの一部をラインセンサとして用いてライン画像を生成して前記撮像画像とする機能を有し、前記撮像対象の回転軸に沿った面を撮像し、前記画像処理装置は、前記撮像装置に前記撮像対象を撮像させる複数の撮像タイミングを生成する撮像タイミング生成部と、前記撮像タイミング生成部で生成された各撮像タイミングで前記撮像対象を撮像するように前記撮像装置に指示する撮像指示部と、各撮像タイミングごとに前記撮像装置で撮像された前記撮像画像を前記撮像装置から取り込む画像取込部と、前記画像取込部が取り込んだ各撮像画像を撮像順に結合して平面画像を生成する画像生成部とを有し、前記撮像タイミング生成部は、前記平面画像において各ライン画像が連続して結合するように、連続する２つの撮像タイミングの間隔を、前記相対位置の変化が大きくなるほど狭く設定し、前記撮像指示部は、前記撮像装置と前記撮像対象の前記平面部とが対向する場合に前記撮像対象の前記平面部を前記エリアセンサで撮像するように前記撮像装置に指示する一方、前記ラインセンサの撮像領域に前記撮像対象の前記曲面部が含まれる場合に前記撮像対象の前記曲面部を前記ラインセンサで撮像するように前記撮像装置に指示することを特徴とする。

この画像処理システムにおいて、前記撮像対象の回転軸方向から当該撮像対象を撮像する補助撮像装置を備え、前記画像処理装置は、前記撮像タイミング生成部で各撮像タイミングが生成される前に前記補助撮像装置の撮像によって得られる画像を用いて前記撮像対象の回転位置を検出する検出部を有し、前記撮像対象は、前記検出部で検出された前記回転位置から予め決められた基準位置に回転されるものであることが好ましい。

本発明によれば、撮像対象と撮像装置との相対位置の変化が大きくなるほど狭くなるように、連続する２つの撮像タイミングの間隔を設定し、各撮像タイミングで撮像対象を焦点の合った状態で撮像し、各撮像タイミングで得られる複数のライン画像を結合して平面画像を生成することによって、撮像対象の全ての部分が焦点の合った状態で均一に撮像されている平面画像を得ることができる。これにより、本発明では、上記平面画像に対して精度の高い画像処理を行うことができる。

実施形態１に係る画像処理システムの構成を示すブロック図である。 同上に係る画像処理システムの概略図である。 同上に係る画像処理システムにおいて、（ａ）は複数のライン画像を結合した平面画像を示す図、（ｂ）は１つのライン画像のみを示す図である。 実施形態２における撮像装置および撮像対象であって、（ａ）は撮像装置が撮像対象の平面部を撮像する場合を示す図、（ｂ）は撮像装置が撮像対象の曲面部を撮像する場合を示す図である。 実施形態３に係る画像処理システムの概略図である。 同上に係る画像処理システムの動作を説明する図である。 同上に係る画像処理システムにおいて、（ａ）は補助撮像装置の撮像によって得られる２次元画像を示す図、（ｂ）は撮像対象の平面部が撮像されている２次元画像を示す図、（ｃ）は撮像対象の曲面部が撮像されている複数のライン画像を結合した平面画像を示す図である。

（実施形態１）
実施形態１に係る画像処理システムは、撮像対象が撮像されている撮像画像に対して画像処理を行うシステムである。図２に示すように、本実施形態の画像処理システム１は、撮像機能を有する撮像装置２および補助撮像装置３と、画像処理機能を有する画像処理装置４と、表示機能を有する表示装置５とを備え、エンコーダ６１を有する回転機構６とともに用いられる。

回転機構６は、モータなどによって台座６２を回転させる機構である。台座６２には、撮像対象９が載置される。

エンコーダ６１は、ロータリエンコーダであり、台座６２の回転位置を検出するために用いられるＺ相・Ａ相・Ｂ相の各パルス信号を画像処理装置４に出力する。

本実施形態の撮像対象９は、円柱状に形成された物体である。つまり、撮像対象９の側面９１は曲面である。撮像対象９は、回転機構６の台座６２に載置され、台座６２とともに回転する。

撮像装置２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサなどを用いたエリアセンサカメラであり、撮像対象９の回転軸に沿った側面９１を撮像する。撮像装置２は、通常のエリアセンサカメラとしてエリアセンサで撮像対象９を撮像して撮像画像として２次元画像を生成するエリアモードと、エリアセンサの一部をラインセンサ（リニアセンサ）として用いてライン画像８１（図３参照）を生成して撮像画像とするラインモードとを選択可能に有している。ラインセンサの方向は、撮像対象９の回転軸方向（図２の上下方向）である。これにより、ラインセンサの撮像領域は、撮像対象９の回転軸方向を長手方向とする細長い領域となる。撮像対象９が撮像された撮像画像の画像データは、撮像装置２から画像処理装置４に出力される。

補助撮像装置３は、例えばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどを用いたエリアセンサカメラであり、撮像対象９の回転軸方向から撮像対象９の上面９２を撮像して２次元画像を生成する。補助撮像装置３の撮像方向は、撮像装置２の撮像方向と直交する。撮像対象９が撮像されている撮像画像（２次元画像）の画像データは、補助撮像装置３から画像処理装置４に出力される。

画像処理装置４は、図１に示すように、管理部４１と、画像取込部４２と、表示制御部４３と、画像処理部４４と、制御部４５とを備え、撮像装置２および補助撮像装置３の各撮像によって得られる撮像画像に対して画像処理を行う。画像処理装置４には、表示装置５とエンコーダ６１と外部装置７とが接続されている。図示していないが、管理部４１と画像取込部４２と表示制御部４３と画像処理部４４と制御部４５とは、１つの筐体に収納されている。

外部装置７は、例えばプログラマブルコントローラ（ＰＬＣ）などの上位コントローラであり、撮像装置２に撮像指示を与えるためのトリガ信号を画像処理装置４に出力する。

管理部４１は、例えばＦＰＧＡ（Field Programmable Gate Array）またはマイクロプロセッサ（ＭＰＵ：Micro Processing Unit）などを主構成要素とし、位置情報取得部４１１とカウンタ４１２と撮像タイミング生成部４１３と撮像指示部４１４との各機能を実行する。

位置情報取得部４１１は、エンコーダ６１のパルス出力を用いて、台座６２の回転位置を検出する。上述したように撮像対象９が台座６２とともに回転するので、エンコーダ６１のパルス出力を用いて台座６２の回転位置を検出することによって、撮像対象９の回転位置を検出することができる。つまり、撮像装置２と撮像対象９との相対位置を検出することができる。

カウンタ４１２は、エンコーダ６１のパルス出力に応じてカウントしていく。

撮像タイミング生成部４１３は、撮像装置２に撮像対象９を撮像させる複数の撮像タイミングを生成する。具体的には、撮像タイミング生成部４１３は、位置情報取得部４１１で取得された撮像対象９の回転位置とカウンタ４１２の出力値であるカウント値とを用いて、後述の平面画像において各ライン画像８１が連続して結合するように、連続する２つの撮像タイミングの間隔を設定する。このとき、撮像タイミング生成部４１３は、時間による撮像対象９の回転位置の変化が大きくなるほど狭くなるように、連続する２つの撮像タイミングの間隔を設定する。

撮像指示部４１４は、撮像タイミング生成部４１３で生成された各撮像タイミングで撮像対象９を撮像するように画像取込部４２を介して撮像装置２に指示する。

画像取込部４２は、例えばＦＰＧＡまたはマイクロプロセッサなどを主構成要素とし、各撮像タイミングごとに撮像装置２から撮像画像の画像データを取り込む。また、画像取込部４２は、撮像画像の画像データを補助撮像装置３から取り込む。

また、画像取込部４２は、撮像装置２からライン画像８１を取り込んだ場合、図３（ａ）に示すように各ライン画像８１を撮像順（撮像タイミング順）に結合して平面画像を生成する。画像取込部４２は本発明の画像生成部に相当する。なお、図３（ｂ）に示すように１つのライン画像８１のみを単独で用いられることもある。

図１に示す表示制御部４３は、例えば表示用のＦＰＧＡまたはマイクロプロセッサなどを主構成要素とし、画像取込部４２から画像データを取得し、取得した画像データを表示装置５に適した形式に変更して表示装置５に出力する。

画像処理部４４は、画像処理用のＤＳＰ（Digital Signal Processor）を主構成要素とし、プログラムに従って動作することによって、画像取込部４２から取得した画像データを用いて画像処理を行う。

制御部４５は、中央処理装置（ＣＰＵ：Central Processing Unit）を主構成要素とし、プログラムに従って動作することによって、画像処理装置４の各部を制御する。また、外部装置７からトリガ信号が入力される。

表示装置５は、例えば液晶ディスプレイまたはプラズマディスプレイなどであり、表示制御部４３の指示に従って、表示制御部４３から画像データを取得し、取得した画像データを要素とする画像を表示する。

次に、本実施形態に係る画像処理システム１の動作について説明する。まず、外部装置７から画像処理装置４の制御部４５にトリガ信号が入力されると、制御部４５は、補助撮像装置３から２次元画像を取り込むように画像取込部４２に撮像指示を与えるともに、撮像装置２からライン画像８１を取り込むために管理部４１に撮像指示を与える。

その後、管理部４１は、回転機構６のエンコーダ６１からパルス出力を取得し、各撮像タイミングで撮像装置２に撮像指示を与えるように画像取込部４２に撮像指示を与える。画像取込部４２は、制御部４５の撮像指示に従って、補助撮像装置３に撮像指示を与えるとともに、管理部４１の指示に従って、各撮像タイミングで撮像装置２に撮像指示を与える。

撮像装置２は、画像取込部４２からの撮像指示に従って、ラインセンサを用いて撮像対象９を撮像してライン画像８１を生成する。その後、撮像装置２は、ライン画像８１を撮像画像として画像取込部４２に出力する。補助撮像装置３は、画像取込部４２からの撮像指示に従って、撮像対象９を撮像して２次元画像を生成する。その後、補助撮像装置３は、２次元画像を撮像画像として画像取込部４２に出力する。

画像取込部４２は、撮像装置２の撮像によって得られた各ライン画像８１の画像データを撮像順に結合して平面画像を生成する。上記平面画像を生成した後、画像取込部４２は、上記平面画像の画像データを表示制御部４３および画像処理部４４に出力する。一方、補助撮像装置３の撮像によって得られた２次元画像については、画像取込部４２は、上記２次元画像の画像データをそのまま表示制御部４３および画像処理部４４に出力する。画像処理部４４は、画像取込部４２から出力された画像データを用いて画像処理を行う。画像処理を行った後、画像処理部４４は、画像処理結果を制御部４５に出力する。制御部４５は、画像処理部４４からの画像処理結果を外部装置７に出力する。表示制御部４３は、画像取込部４２から取得した画像データを表示装置５に適した形式に変更して表示装置５に出力する。表示装置５は、表示制御部４３から取得した画像データを要素とする画像を表示する。

次に、本実施形態の画像処理システム１の使用例について説明する。本実施形態の画像処理システム１は外観検査システムとして用いることができる。この場合、撮像対象９が検査対象となる。画像処理システム１は、撮像対象９の側面９１および上面９２を撮像し、撮像画像に対して画像処理を行うことによって、撮像対象９に存在する凹凸欠陥や傷欠陥を検出することができる。

以上、本実施形態の画像処理システム１によれば、撮像対象９と撮像装置２との相対位置の変化が大きくなるほど狭くなるように、連続する２つの撮像タイミングの間隔を設定し、各撮像タイミングで撮像対象９を焦点の合った状態で撮像し、各撮像タイミングで得られる複数のライン画像８１，８１，……を結合して平面画像を生成することによって、撮像対象９の全ての部分が焦点の合った状態で均一に撮像されている平面画像を得ることができる。撮像対象９の側面９１をエリアセンサカメラで撮像したときの２次元画像とは異なり、本実施形態において複数のライン画像８１，８１，……を結合した平面画像には焦点の合っていない部分（ぼやけた部分）は存在しない。これにより、本実施形態の画像処理システム１では、上記平面画像に対して精度の高い画像処理を行うことができる。

なお、図示していないが、管理部４１と画像取込部４２と表示制御部４３と画像処理部４４と制御部４５のそれぞれには、各種データを記憶するための記憶部が設けられている。以下の実施形態２，３においても同様である。

また、管理部４１と表示制御部４３は、それぞれ別個のＦＰＧＡまたはマイクロプロセッサを主構成要素としてもよいし、１つのＦＰＧＡまたはマイクロプロセッサで構成されてもよい。以下の実施形態２，３においても同様である。

さらに、本実施形態の撮像装置２においてエリアモードは必ずしも必要ではなく、撮像装置２がエリアモードを有していない場合であっても、画像処理システム１は、各撮像タイミングで得られる複数のライン画像８１，８１，……を結合して平面画像を生成することによって、撮像対象９の全ての部分が焦点の合った状態で均一に撮像されている平面画像を得ることができるという効果を奏する。

（実施形態２）
実施形態２に係る画像処理システム１は、図４に示すように側面９１に平面部９１１と曲面部９１２とを含む撮像対象９ａを撮像する点で、実施形態１に係る画像処理システム１と相違する。以下、本実施形態の画像処理システム１について図１および図４を用いて説明する。なお、実施形態１の画像処理システム１と同様の構成要素については、同一の符号を付して説明を省略する。

図４に示すように、本実施形態の撮像対象９ａは、いわゆるＤカットの付いた柱状の物体である。撮像対象９ａの回転軸に沿った側面９１は、平面部９１１と曲面部９１２とを含んでいる。

本実施形態の撮像指示部４１４（図１参照）は、図４（ａ）に示すように撮像対象９ａの平面部９１１と撮像装置２とが対向する場合にエリアモードを選択して撮像対象９ａの平面部９１１を撮像するように撮像装置２に指示する。一方、図４（ｂ）に示すようにラインセンサの撮像領域に撮像対象９ａの曲面部９１２が含まれる場合、撮像指示部４１４は、ラインモードを選択して撮像対象９ａの曲面部９１２を撮像するように撮像装置２に指示する。

撮像装置２は、撮像指示部４１４の指示に従って、撮像対象９ａの平面部９１１をエリアセンサで撮像し、撮像画像として２次元画像を生成する一方、撮像対象９ａの曲面部９１２についてはラインセンサで撮像し、撮像画像としてライン画像８１を生成する。

以上、本実施形態の画像処理システム１によれば、撮像対象９ａに平面部９１１と曲面部９１２とが混在する場合であっても、曲面部９１２を撮像する場合に各撮像タイミングのライン画像８１を順に結合することによって、曲面部９１２の全ての部分において焦点の合った平面画像を生成することができる。

なお、本実施形態の画像処理システム１は、実施形態１の画像処理システム１と同様に、外観検査システムとして用いることができる。

（実施形態３）
実施形態３に係る画像処理システム１は、図５に示すように撮像対象９ａの回転軸方向から撮像対象９ａが撮像されている撮像画像を用いて撮像対象９ａの形状および回転位置を認識できる点で、実施形態２に係る画像処理システム１と相違する。以下、本実施形態の画像処理システム１について図１および図５〜７を用いて説明する。なお、実施形態２の画像処理システム１と同様の構成要素については、同一の符号を付して説明を省略する。

本実施形態の画像処理部４４（図１参照）は、撮像タイミング生成部４１３（図１参照）で各撮像タイミングが生成される前に、補助撮像装置３の撮像によって得られる撮像画像に対して画像処理を行い、撮像対象９ａの平面部９１１の回転位置を検出する。画像処理部４４の検出結果は、制御部４５を介して外部装置７に出力される。本実施形態の画像処理部４４は本発明の検出部に相当する。

本実施形態の外部装置７は、画像処理部４４の検出結果から、撮像対象９ａの平面部９１１が撮像装置２と対向するように台座６２を回転させる（図６（ｂ）参照）。その結果、撮像対象９ａは、画像処理部４４で検出された回転位置から予め決められた基準位置に平面部９１１が移動するように回転する。

本実施形態の撮像指示部４１４（図１参照）は、上記のように撮像対象９ａの平面部９１１が撮像装置２と対向すると、エリアモードを選択して撮像対象９ａの平面部９１１を撮像するように撮像装置２に指示する。また、撮像指示部４１４は、上記のように撮像装置２に指示した後、エンコーダ６１のパルス出力で同期を取りながら、各撮像タイミングでラインモードを選択して撮像対象９ａの曲面部９１２を撮像するように撮像装置２に指示する。

次に、本実施形態に係る画像処理システム１の動作について説明する。まず、補助撮像装置３が撮像対象９ａの上面９２を撮像する。図７（ａ）は、上面９２が撮像されている２次元画像８３を示す。画像処理装置４は、２次元画像８３に対して画像処理を行い、撮像対象９ａの平面部９１１の回転位置を検出する（図６（ａ）参照）。平面部９１１の回転位置の情報は、制御部４５から外部装置７に出力される。外部装置７は、平面部９１１の回転位置の情報を取得すると、撮像対象９ａの平面部９１１と撮像装置２とを対向させるように台座６２を回転させる（図６（ｂ）参照）。撮像装置２は、エリアモードで撮像対象９ａの平面部９１１を撮像する。図７（ｂ）は、平面部９１１が撮像されている２次元画像８２を示す。その後、画像処理装置４は、２次元画像８２を撮像画像として取得して画像処理を行う。

その後、外部装置７は、台座６２を反時計回り（図６（ｃ）（ｄ）の矢印方向）に回転させていく。平面部９１１と曲面部９１２との境界部分になったとき、撮像装置２は、エリアモードからラインモードにモードを切り替えて、撮像対象９ａの曲面部９１２の撮像を開始する（図６（ｃ）参照）。撮像装置２は、エンコーダ６１のパルス出力に同期した撮像タイミングごとに、ラインセンサを用いて曲面部９１２を撮像していく。その後、他方の平面部９１１と曲面部９１２との境界部分になったとき（図６（ｄ）参照）、撮像装置２は、ラインモードからエリアモードにモードを切り替える。図７（ｃ）は、曲面部９１２が撮像されている複数のライン画像８１を結合した平面画像を示す。

なお、本実施形態の画像処理システム１を外観検査システムに用いる場合、図７（ａ）〜（ｃ）の撮像画像８１〜８３に対して画像処理を行うことによって、撮像対象９ａの表面に存在する欠陥を検出することができる。

以上、本実施形態の画像処理システム１によれば、補助撮像装置３の撮像によって撮像対象９ａの形状を容易に認識することができる。

また、本実施形態の画像処理システム１では、撮像対象９ａの上面９２、側面９１の平面部９１１および曲面部９１２について焦点を合わせて撮像することができる。これにより、画像処理システム１を外観検査システムに用いる場合、撮像対象９ａの表面について外観検査を行うことができ、検査の精度を高めることができる。

１ 画像処理システム
２ 撮像装置
３ 補助撮像装置
４ 画像処理装置
４１３ 撮像タイミング生成部
４１４ 撮像指示部
４２ 画像取込部（画像生成部）
４４ 画像処理部（検出部）
６１ エンコーダ
９，９ａ 撮像対象
９１ 側面
９１１ 平面部
９１２ 曲面部

Claims (2)

1. 撮像対象を撮像する撮像装置と、前記撮像装置の撮像によって得られる撮像画像に対して画像処理を行う画像処理装置とを備え、前記撮像対象と前記撮像装置との相対位置を検出するためのエンコーダとともに用いられる画像処理システムであって、
   前記撮像対象は、撮像の際に回転されるものであり、前記撮像対象の回転軸に沿った面は、前記撮像対象の回転位置によって平面部または曲面部を含み、
   前記エンコーダは、前記相対位置として、前記撮像対象の回転位置を検出し、
   前記撮像装置は、エリアセンサの一部をラインセンサとして用いてライン画像を生成して前記撮像画像とする機能を有し、前記撮像対象の回転軸に沿った面を撮像し、
   前記画像処理装置は、
   前記撮像装置に前記撮像対象を撮像させる複数の撮像タイミングを生成する撮像タイミング生成部と、
   前記撮像タイミング生成部で生成された各撮像タイミングで前記撮像対象を撮像するように前記撮像装置に指示する撮像指示部と、
   各撮像タイミングごとに前記撮像装置で撮像された前記撮像画像を前記撮像装置から取り込む画像取込部と、
   前記画像取込部が取り込んだ各撮像画像を撮像順に結合して平面画像を生成する画像生成部とを有し、
   前記撮像タイミング生成部は、前記平面画像において各ライン画像が連続して結合するように、連続する２つの撮像タイミングの間隔を、前記相対位置の変化が大きくなるほど狭く設定し、
   前記撮像指示部は、前記撮像装置と前記撮像対象の前記平面部とが対向する場合に前記撮像対象の前記平面部を前記エリアセンサで撮像するように前記撮像装置に指示する一方、前記ラインセンサの撮像領域に前記撮像対象の前記曲面部が含まれる場合に前記撮像対象の前記曲面部を前記ラインセンサで撮像するように前記撮像装置に指示する
   ことを特徴とする画像処理システム。
2. 前記撮像対象の回転軸方向から当該撮像対象を撮像する補助撮像装置を備え、
   前記画像処理装置は、前記撮像タイミング生成部で各撮像タイミングが生成される前に前記補助撮像装置の撮像によって得られる画像を用いて前記撮像対象の回転位置を検出する検出部を有し、
   前記撮像対象は、前記検出部で検出された前記回転位置から予め決められた基準位置に回転されるものである
   ことを特徴とする請求項１記載の画像処理システム。

Images