JP5939699B2

JP5939699B2 - 画像認識システム

Info

Publication number: JP5939699B2
Application number: JP2011049297A
Authority: JP
Inventors: 倫純中村; 武堺
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2011-03-07
Filing date: 2011-03-07
Publication date: 2016-06-22
Anticipated expiration: 2031-03-07
Also published as: JP2012185728A

Description

本発明は、画像認識システムに関する。

特開昭６４−３６３８７号公報には、自動車などの各種生産工程において、車体を構成する各部品の表面に付された刻印文字をカメラによって撮像し、撮像した画像データから文字画像データを切り出し、切り出した画像データの各画素情報を２値データに変換し、この２値データから文字パターンを検出し、検出した文字パターンと予め登録した文字パターンとのマッチングによって、文字の識別を行う文字認識装置が記載されている。

特開昭６４−３６３８７号公報

上記文字認識装置では、カメラが撮像した画像データの各画素情報を２値データに変換して文字パターンを検出するため、文字パターンの検出精度は、カメラの撮像環境の影響を受ける。特に、刻印文字が付された撮像面の状態（例えば反射率）は必ずしも一律ではないことから、撮像面の明るさ（照度）の影響を受け易い。このため、撮像面の明るさによっては文字パターンの検出精度が悪化し、複数の部品を連続して検出する際に識別エラーの発生頻度が高くなってしまう可能性がある。

そこで、本発明は、撮像面の状態が相違する場合であっても、識別エラーの発生頻度を低く抑えることが可能な画像認識システムの提供を目的とする。

上記目的を達成すべく、本発明の画像認識システムは、撮像手段と照射手段と記号識別手段と光量制御手段と撮像方向変更手段と撮像方向制御手段とを備える。

撮像手段は、対象物体の表面に付された記号を撮像し、その画像データを出力する。照射手段は、光量を変更可能な照射光によって対象物体の表面を照射する。記号識別手段は、撮像手段が出力した画像データから記号を検出して識別する。光量制御手段は、対象物体の表面に対する撮像手段の撮像方向が所定の基本方向に設定された状態で撮像手段により撮像されて出力された画像データから記号識別手段が記号を識別できないとき、照射手段の光量を段階的に増加させて変更する。撮像手段は、光量制御手段により照射手段の光量が変更されたとき、上記撮像した記号を基本方向から再度撮像して、その画像データを出力する。記号識別手段は、撮像手段が再度撮像して出力した画像データから記号を検出して識別する。撮像方向変更手段は、撮像手段の撮像方向を基本方向から変更可能である。撮像方向制御手段は、撮像方向変更手段を制御して撮像手段の撮像方向を変更する。照射手段の光量が増加して予め設定された所定値に達しても記号識別手段が記号を識別できないとき、光量制御手段が照射手段の光量を変更することなく、撮像方向変更手段が撮像手段の撮像方向を基本方向から変更する。撮像手段は、撮像方向変更手段により撮像手段の撮像方向が変更されたとき、上記再度撮像した記号を再々度撮像して、その画像データを出力する。記号識別手段は、撮像手段が再々度撮像して出力した画像データから記号を検出して識別する。

記号には、文字や数字や図形などが含まれる。対象物体の表面に記号を付する方法には、印刷や刻印の他、記号が印刷されたシールの貼付などが含まれる。また、光量制御手段は、照射手段の光量を、下限光量から徐々に増加させてもよく、上限光量から徐々に減少させてもよい。

上記構成では、記号識別手段が画像データから記号を識別できないとき、照射手段の光量が変更されるので、連続して検出される複数の対象物体間において撮像面の反射率が相違する場合であっても、各撮像面にとって適切な光量で撮像された画像データを用いて記号の識別を行うことができ、識別エラーの発生頻度を低く抑えることができる。

また、光量に加えて撮像方向の変更も可能であるので、識別エラーの発生頻度をさらに低く抑えることができる。
また、上記画像認識判定システムは、撮像方向制御手段による撮像手段の撮像方向の変更が限界に達しても記号識別手段が記号を識別できないとき、記号識別手段が記号を識別不能なエラーであると判定するエラー判定手段を備えてもよい。

本発明によれば、撮像面の状態が相違する場合であっても、識別エラーの発生頻度を低く抑えることができる。

本発明の一実施形態の画像認識システムを模式的に示す概略構成図である。搬送箱に収容された状態のコンロッドを模式的に示す平面図である。撮像ユニットを模式的に示す斜視図である。コントローラが実行する検査処理を示すフローチャートである。

以下、本発明の画像認識システムを検査システムに適用した一実施形態について、図面を参照して説明する。この検査システムでは、自動車のエンジンに使用されるコネクティングロッド（コンロッド）４１を対象物体とし、１つのエンジンに使用される複数（本実施形態では４本）のコンロッド４１の組み合わせが適正（４本のコンロッド４１が全て同じ規格）であるか否かを検査する。なお、対象物体はコンロッドに限定されず、本発明の画像認識システムは、様々な部品に対して適用可能である。

図１に示すように、検査システム１は、ロボットアーム（撮像方向変更手段）２と、ロボットアーム２に固定された撮像ユニット１０と、コンロッド４１を搬送するコンベア４０と、検査処理全体を制御するコントローラ２０と、表示装置３とを備える。

図２に示すように、コンロッド４１の一端部の側面（表面）には刻印（記号）４２が付され、各コンロッド４１の刻印４２が上方を向いて露出するように、１２本（３組）のコンロッド４１が１つの搬送箱４３に並んで収容される。コンベア４０は、所定の検査位置で順次停止するように搬送箱４３を搬送する。１つの搬送箱４３内には、３組（１２本）のコンロッド４１Ａ，４１Ｂ，４１Ｃが搬送方向に沿って組毎に並んで配置される。１つのエンジンに使用される同一規格の４本のコンロッド４１には、共通の１文字（アルファベットや数字など）が刻印４２として付されており、検査システム１は、同一組内の４本のコンロッド４１の全てに所望の共通の刻印４２が付されているか否かを検査する。

図１及び図３に示すように、撮像ユニット１０は、ロボットアーム２の先端に固定されたベース板１１と、ベース板１１に固定されたカメラユニット１２及び補助照明（照射手段）１３とを有し、カメラユニット１２は、メイン照明１４とカメラ（撮像手段）１５とを有する。

ロボットアーム２は、撮像ユニット１０を任意の位置および方向に移動可能な装置であり、撮像ユニット１０を所定の撮像位置まで移動して停止する。撮像ユニット１０の撮像位置は、検査位置で停止した搬送箱４３内の１２本のコンロッド４１のそれぞれに対して予め設定されている。ロボットアーム２は、１２本のコンロッド４１にそれぞれ対応する１２箇所の撮像位置のうち、搬送方向最前端のコンロッド４１に対応する最前端の撮像位置に撮像ユニット１０を移動して停止した後、搬送方向後方へ撮像ユニット１０を移動し、搬送方向最後端のコンロッド４１に対応する最後端の撮像位置に達するまで、各撮像位置で撮像ユニット１０を順次停止する。各撮像位置で停止する際の撮像ユニット１０（カメラ１５）の姿勢（撮像面に対するカメラ１５の撮像方向）は、所定の基本姿勢に設定される。また、ロボットアーム２は、所定の可動範囲内において、カメラ１５の姿勢を基本姿勢から段階的に変更可能である。なお、必要な条件を満たせば、多関節ロボットやリニア駆動装置を組み合わせたロボットなど、周知のロボットアームを任意に採用可能である。

カメラ１５は、例えばＣＣＤカメラであり、撮像ユニット１０が撮像位置に停止した状態で、その撮像位置に対応するコンロッド４１の一端部の表面を撮像面として刻印４２を撮像し、その画像データをコントローラ２０へ出力する。

メイン照明１４は、環状であり、カメラ１５の周囲に覆うように配置される。メイン照明１４と補助照明１３とは、カメラ１５の撮像方向が撮像面を向いた状態でそれぞれの照射光が撮像面を照射するように、ベース板１１に対して固定される。メイン照明１４は、光量が所定量に固定された照明装置であり、補助照明１３は、光量が変更可能な照明装置である。補助照明１３の光量を変更する方法は、特に限定されるものではないが、例えば可変定電流電源回路を内部に接続し、可変定電流電源回路の電流値を制御することによって可能である。補助照明１３の光量は、初期状態ではゼロ（消灯状態）に設定され、コントローラ２０からの指示に応じて段階的に徐々に増加する。

コントローラ２０は、ＣＰＵ（Central Processing Unit）２１と記憶部２２とを有する。コントローラ２０は、汎用のパーソナルコンピュータであってもよく、専用の装置であってもよい。記憶部２２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などによって構成され、ＣＰＵ２１が各種処理を実行するための各種プログラムや各種データが記憶されている。各種プログラムには、ＣＰＵ２１が検査処理を実行するための検査プログラムが含まれる。

検査プログラムは、搬送制御処理を実行するための搬送制御プログラム、アーム制御処理を実行するためのアーム制御プログラム、記号識別処理を実行するための記号識別プログラム、及び組み合わせ判定処理を実行するための判定プログラムが含まれる。搬送制御処理とは、コンベア４０を制御して搬送箱４３を搬送する処理である。アーム制御処理とは、ロボットアーム２を制御して撮像ユニット１０を移動及び停止する処理である。記号識別処理とは、カメラ１５によってコンロッド４１の撮像面を撮像し、その画像データに含まれる刻印４２を識別する処理である。組み合わせ判定処理とは、識別した刻印４２に基づいてコンロッド４１の組み合わせが適正であるか否かを判定する処理である。これらのプログラムは、各種ＣＤメディア（Compact Disc Media）などの外部の記憶媒体から読み出されて記憶部２２に記憶されてもよく、インターネットなどのネットワークを介して取得されて記憶部２２に記憶されてもよい。各種データには、搬送箱４３の停止位置を規定するデータや、撮像ユニット１０の停止位置を規定するデータなどが含まれる。

また、記憶部２２には、画像データや刻印情報などを一時的に記憶する領域が設定される。刻印情報の記憶領域は、搬送箱４３毎に設定される。

ＣＰＵ２１は、搬送制御処理を実行することによってコンベア制御部２３として機能し、アーム制御処理を実行することによってアーム制御部（撮像方向制御手段）２４として機能し、記号識別処理及び組み合わせ判定処理を実行することによって撮像制御部２５、画像処理判定部（記号識別手段）２６、光量制御部（光量制御手段）２７及び表示制御部２８として機能する。なお、例えば搬送処理やアーム制御処理を実行するシーケンサをコントローラとは別に設けるなど、ＣＰＵ２１の機能の一部を抽出して他の情報処理装置に設けてもよい。

コンベア制御部２３は、搬送箱４３が検査位置まで移動して順次停止するように、コンベア４０を制御する。

アーム制御部２４は、搬送箱４３が検査位置で停止した状態で撮像ユニット１０が各コンロッド４１に対応する１２箇所の撮像位置に順次移動して基本姿勢で停止するように、ロボットアーム２を駆動制御する。

記号識別処理において、光量制御部２７は、メイン照明１４を点灯する。また、光量制御部２７は、１つのコンロッド４１に対する記号識別処理の開始時に、補助照明１３を初期状態（消灯状態）に維持する。

記号識別処理において、撮像制御部２５は、撮像位置に撮像ユニット１０が移動して停止した後、カメラ１５へ撮像指示信号を出力する。撮像指示信号を受信したカメラ１５は、コンロッド４１の撮像面を撮像し、その画像データをコントローラ２０へ出力する。

画像データがカメラ１５からコントローラ２０に入力すると、画像処理判定部２６は、画像処理及びパターン判定を実行する。画像処理では、カメラ１５が撮像した画像データから、刻印４２を含む画像データを切り出し、切り出した画像データの各画素情報を２値データに変換し、この２値データから文字パターンを検出する。パターン判定では、検出した文字パターンと予め記憶された文字パターンとのマッチングを行い、刻印４２を識別（刻印４２が何れの記号を表しているかを判別）し、刻印４２が表す記号を刻印情報として記憶部２２に順次記憶する。

画像処理判定部２６が刻印４２を識別できない場合、光量制御部２７は、光量が段階的に増加するように補助照明１３を制御する。撮像制御部２５は、補助照明１３の光量が段階的に増加する毎に、カメラ１５へ撮像指示信号を出力する。撮像指示信号を受信したカメラ１５は、コンロッド４１の撮像面を撮像し、その画像データをコントローラ２０へ出力する。画像データがカメラ１５からコントローラ２０に入力すると、画像処理判定部２６は、画像処理及びパターン判定を実行する。光量制御部２７は、画像処理判定部２６が刻印４２を識別するか、或いは補助照明１３が最大光量（上限値）に達するまで、補助照明１３の光量の増加を継続する。

補助照明１３が最大光量に達しても画像処理判定部２６が刻印４２を識別できない場合、アーム制御部２４は、カメラ１５の姿勢が基本姿勢から段階的に変わるように、ロボットアーム２を駆動制御する。撮像制御部２５は、カメラ１５の姿勢が段階的に変更される毎に、カメラ１５へ撮像指示信号を出力する。撮像指示信号を受信したカメラ１５は、コンロッド４１の撮像面を撮像し、その画像データをコントローラ２０へ出力する。画像データがカメラ１５からコントローラ２０に入力すると、画像処理判定部２６は、画像処理及びパターン判定を実行する。アーム制御部２４は、画像処理判定部２６が刻印４２を識別するか、或いはカメラ１５の姿勢が可動範囲の限界に達するまで、カメラ１５の姿勢の変更を継続する。

カメラ１５の姿勢が変更可能範囲の限界に達しても画像処理判定部２６が刻印４２を識別できない場合、表示制御部２８は、刻印４２を識別不能である旨を示すエラー表示を表示装置３に表示する。

画像処理判定部２６は、１つの搬送箱４３に収容された全て（１２本）のコンロッド４１の刻印４２を識別すると、各組（４本）のコンロッド４１の組み合わせが適正であるか否かを判定する組み合わせ判定処理を、識別した刻印４２に基づいて実行する。具体的には、記憶部２２に記憶された刻印情報を組毎に読み出し、読み出した４つの刻印情報が全て共通する所定の情報である場合に適正であると判定し、４つの刻印情報に所定の情報以外の情報が含まれている場合に不適正であると判定する。

表示制御部２８は、画像処理判定部２６によるコンロッド４１の組み合わせ判定の結果を、表示装置３に表示する。

次に、コントローラ２０が実行する検査処理の１サイクルについて、図４のフローチャートを参照して説明する。本処理は、コントローラ２０が検査作業者から所定の開始指示を受ける（例えば、開始ボタンを押下する）ことによって開始され、光量制御部２７は、補助照明１３の消灯を維持したまま、メイン照明１４を点灯する。１つの搬送箱４３が１サイクルに対応し、１つの搬送箱４３内の全てのコンロッド４１の検査が終了すると、次の搬送箱４３に対応する検査サイクルが連続して開始される。

本処理が開始されると、コンベア制御部２３はコンベア４０を制御し、搬送箱４３は検査位置まで移動して停止する（ステップＳ１）。

搬送箱４３が検査位置で停止すると、アーム制御部２４はロボットアーム２を制御し、カメラ１５は、搬送方向最前端のコンロッド４１に対応する最前端の撮像位置に移動して、基本姿勢で停止する（ステップＳ２）。

撮像ユニット１０が撮像位置で停止すると、撮像制御部２５は、カメラ１５へ撮像指示信号を出力し、撮像指示信号を受信したカメラ１５は、コンロッド４１の撮像面を撮像し、その画像データをコントローラ２０へ出力する（ステップＳ３）。

画像データがカメラ１５からコントローラ２０に入力すると、画像処理判定部２６は、画像処理及びパターン判定を実行する（ステップＳ４）。

パターン判定において刻印４２が識別不能であると（ステップＳ５：ＮＯ）、光量制御部２７は、補助照明１３の光量が上限値に達しているか否かを判定し（ステップＳ６）、補助照明１３の光量が上限値に達していない場合（ステップＳ６：ＮＯ）、補助照明１３の光量を１段階増加する（ステップＳ７）。

補助照明１３の光量が１段階増加すると、撮像面の撮像（ステップＳ３）と画像処理及びパターン判定（ステップＳ４）とを再度実行する。補助照明１３の光量が増加しても刻印４２が識別不能の場合（ステップＳ５：ＮＯ）、補助照明１３の光量が上限値に達するまで、撮像面の撮像（ステップＳ３）と画像処理及びパターン判定（ステップＳ４）とを繰り返して実行する。

補助照明１３の光量が上限値に達すると（ステップＳ６：ＹＥＳ）、アーム制御部２４は、カメラ１５の姿勢を変更可能か否か（可動範囲の限界に達したか否か）を判定し（ステップＳ８）、変更可能な場合（ステップＳ８：ＹＥＳ）、カメラ１５の姿勢を１段階変更する（ステップＳ９）。

カメラ１５の姿勢が１段階変更されると、撮像面の撮像（ステップＳ３）と画像処理及びパターン判定（ステップＳ４）とを再度実行する。カメラ１５の姿勢が変更されても刻印４２が識別不能の場合（ステップＳ５：ＮＯ）、カメラ１５の姿勢が可動範囲の限界に達するまで、撮像面の撮像（ステップＳ３）と画像処理及びパターン判定（ステップＳ４）とを繰り返して実行する。

カメラ１５の姿勢が可動範囲の限界に達すると（ステップＳ８：ＮＯ）、表示制御部２８は、刻印４２を識別不能である旨を示すエラー表示を表示装置３に表示し（ステップＳ１０）、本処理が終了する。

一方、パターン判定において刻印４２が識別されると（ステップＳ５：ＹＥＳ）、画像処理判定部２６は、刻印４２が表す記号を刻印情報として記憶部２２に記憶し（ステップＳ１１）、光量制御部２７は、補助照明１３を消灯して光量を最小に設定する（ステップＳ１２）。

カメラ１５が最後端の撮像位置に未到達であり、記憶部２２に記憶された刻印情報が所定数（１２個）に達していない場合（ステップＳ１３：ＮＯ）、ステップＳ２へ移行し、カメラ１５を次の撮像位置に移動して、ステップ３以降の処理を実行する。

カメラ１５が最後端の撮像位置に到達し、記憶部２２に記憶された刻印情報が所定数（１２個）に達していると（ステップＳ１３：ＹＥＳ）、画像処理判定部２６は、組み合わせ判定処理を実行する。組み合わせ判定処理では、記憶部２２に記憶された刻印情報を組毎に読み出し、読み出した４つの刻印情報が全て共通する所定の情報である場合に適正であると判定し、４つの刻印情報に所定の情報以外の情報が含まれている場合に不適正であると判定する。

組み合わせ判定処理が完了すると、表示制御部２８は、画像処理判定部２６によるコンロッド４１の組み合わせ判定の結果を、表示装置３に表示し、本処理が終了する。

以上説明したように、本実施形態によれば、画像処理判定部２６が画像データから刻印４２を識別できない場合には、補助照明１３の光量が段階的に増加し、光量の増加毎に撮像面を撮像し、新たに撮像された画像データから刻印４２の識別を行うので、連続して検出される複数のコンロッド４１間において撮像面の反射率が相違する場合であっても、各撮像面にとって適切な光量で撮像された画像データを用いて刻印４２の識別を行うことができ、識別エラーの発生頻度を低く抑えることができる。

また、最大光量に達しても画像処理判定部２６が画像データから刻印４２を識別できないときには、撮像方向を段階的に変更し、撮像方向の変更毎に撮像面を撮像し、新たに撮像された画像データから刻印４２の識別を行うので、識別エラーの発生頻度をさらに低く抑えることができる。

なお、上記実施形態は本発明の一例であり、本発明を逸脱しない範囲において変更可能である。

例えば、メイン照明１４及び補助照明１３に代えて、光量が変更可能な１つの照明装置を設けてもよい。撮像方向を変更する際に、補助照明１３を最大光量とせずに所定の光量に設定してもよく、補助照明１３を消灯してもよい。

本発明は、対象物体の表面に付された記号を識別するシステムに広く適用可能である。

１：検査システム
２：ロボットアーム（撮像方向変更手段）
３：表示装置
１０：撮像ユニット
１１：ベース板
１２：カメラユニット
１３：補助照明（照射手段）
１４：メイン照明
１５：カメラ（撮像手段）
２０：コントローラ
２１：ＣＰＵ
２２：記憶部
２３：コンベア制御部
２４：アーム制御部（撮像方向制御手段）
２５：撮像制御部
２６：画像処理判定部（記号識別手段）
２７：光量制御部（光量制御手段）
２８：表示制御部
４０：コンベア
４１：コンロッド（対象物体）
４２：刻印（記号）
４３：搬送箱

Claims

対象物体の表面に付された記号を撮像し、その画像データを出力する撮像手段と、
光量を変更可能な照射光によって前記対象物体の表面を照射する照射手段と、
前記撮像手段が出力した画像データから前記記号を検出して識別する記号識別手段と、
前記対象物体の表面に対する前記撮像手段の撮像方向が所定の基本方向に設定された状態で前記撮像手段により撮像されて出力された画像データから前記記号識別手段が前記記号を識別できないとき、前記照射手段の光量を段階的に増加させて変更する光量制御手段と、
前記撮像手段の撮像方向を前記基本方向から変更可能な撮像方向変更手段と、
前記撮像方向変更手段を制御して前記撮像方向を変更する撮像方向制御手段と、を備え、
前記撮像手段は、前記光量制御手段により前記照射手段の光量が変更されたとき、前記撮像した記号を前記基本方向から再度撮像して、その画像データを出力し、
前記記号識別手段は、前記撮像手段が再度撮像して出力した画像データから前記記号を検出して識別し、
前記照射手段の光量が増加して予め設定された所定値に達しても前記記号識別手段が前記記号を識別できないとき、前記光量制御手段が前記照射手段の光量を変更することなく、前記撮像方向変更手段が前記撮像方向を前記基本方向から変更し、
前記撮像手段は、前記撮像方向変更手段により前記撮像方向が変更されたとき、前記再度撮像した記号を再々度撮像して、その画像データを出力し、
前記記号識別手段は、前記撮像手段が再々度撮像して出力した画像データから前記記号を検出して識別する
ことを特徴とする画像認識システム。
請求項１に記載の画像認識判定システムであって、
前記撮像方向制御手段による前記撮像手段の撮像方向の変更が限界に達しても前記記号識別手段が前記記号を識別できないとき、前記記号識別手段が前記記号を識別不能なエラーであると判定するエラー判定手段を備えた
ことを特徴とする画像認識システム。