JPH0793535A

JPH0793535A - 画像修正処理方法

Info

Publication number: JPH0793535A
Application number: JP5257562A
Authority: JP
Inventors: Atsushi Watanabe; 淳渡辺; Bunichi Terawaki; 文一寺脇; Taro Arimatsu; 太郎有松
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 1993-09-22
Filing date: 1993-09-22
Publication date: 1995-04-07

Abstract

(57)【要約】【目的】ハレーション効果が除去された画像の獲得。【構成】ベルトコンベア１の端部に順次送り込まれて
くる高光反射率のワーク２，２’をＣＣＤカメラ３で撮
像する際に、ワーク２を異なる方向から照明する照明光
源Ｌ１〜Ｌ３を順次単独点灯させて、計３回の画像取り
込みを行なう。各画像信号強度のヒストグラムを作成し
て、ワーク２の正常画像信号の最頻値を３画像で一致さ
せるような規格化処理を行なった上で、各画素について
３画像から最小の画像信号値を選択し、それら選択され
た信号に基づいて新しい画像を形成する。異なる照明ジ
オメトリ条件下で得られた画像におけるハレーション発
生位置は相互に異なっているから、最終的に得られる画
像にはハレーション画像が含まれない。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は、視覚センサ等に使用
されるカメラ手段により獲得される画像を修正処理する
画像修正処理方法に関し、更に詳しく言えば、ハレーシ
ョンを除去することのできる画像修正処理方法に関す
る。

【０００２】

【従来の技術】近年、工場における作業の自動化あるい
は種々の施設における観察、監視、ディスプレイ、画像
通信等の目的で、ＣＣＤカメラ等のカメラ手段を利用し
た画像センシング技術が幅広く利用されている。このよ
うなカメラ手段による撮像に際しては、カメラ視野内に
おかれた撮像対象物に照明が施されることが通常である
が、撮像対象物が、例えば研摩加工済みのワークの様に
光反射率の高いものであった場合には、いわゆるハレー
ション現象が頻繁に発生する。このハレーション現象は
画像処理にとって大きなノイズ要因であり、正確な画像
認識の妨げる原因とになるものである。

【０００３】これを避ける為には、ハレーションの発生
自体を抑制するか、あるいは、画像信号の修正処理によ
ってハレーションの効果を取り除く必要がある。前者の
範疇に属する従来技術としては、蛍光灯などの照明光源
の前面に曇ガラスのような光拡散板を配置して面状光源
化とする方法があるが、ハレーションを十分に抑制する
には相当の工夫を要し、また、大きな光源を使用するア
プリケーションに対して適用することが困難であり、極
めて不便であった。

【０００４】後者に属する方法としては、飽和特性を有
する濃度変換フィルタ処理を利用することが一般的であ
るが、ハレーション成分のみを完全に除去した鮮明な画
像を安定して得ることは難しく、ハレーション効果の軽
減手段の域を出ていないのが実状であった。また、ハレ
ーション発生部位に本来含まれている明暗情報を表現す
ることができないので、有用な情報を欠落させる恐れが
あった。

【０００５】

【発明が解決しようとする課題】本願発明は、上記従来
技術の問題点を解決し、簡便な手段によって、ハレーシ
ョン効果を除去しつつ、ハレーション発生部位に本来含
まれている明暗情報の欠落がない鮮明な画像を安定して
得ることのできる画像修正処理方法を提供することを企
図してなされたものである。

【０００６】

【問題点を解決するための手段】本願発明は、上記技術
課題を解決する為の基本的構成として、「カメラ手段を
用い、互いに異なる複数の照明ジオメトリ条件下で順次
対象物の撮像を行い、前記各照明ジオメトリ条件下にお
ける画像信号を獲得する段階と、前記蓄積された画像信
号から各画素毎に最大の光検出出力を表すものを排除
し、残された画像信号に基づいて前記対象物像を含む画
像を構成する段階を含む画像修正処理方法。」を提供し
たものである。

【０００７】また、上記方法に複数の照明ジオメトリ条
件下で得られた画像信号間の画像信号強度を規格化する
段階を加え、「カメラ手段を用い、互いに異なる複数の
照明ジオメトリ条件下で順次対象物の撮像を行い、前記
各照明ジオメトリ条件下における画像信号を獲得する段
階と、前記各照明ジオメトリ条件下で獲得された画像信
号を規格化する段階と、規格化された画像信号から各画
素毎に最大の光検出出力を表すものを排除し、残された
画像信号に基づいて前記対象物像を含む画像を構成する
段階を含む画像修正処理方法。」を提供することによっ
て、修正処理後に得られる画像の一層の品位向上を実現
したものである。

【０００８】

【作用】本願発明の画像修正処理方法の原理について、
製造ライン上のコンベア終端部に順次送り込まれてくる
ワークの位置と姿勢をＣＣＤカメラを用いた視覚センサ
システムによって認識するケースを例にとり、図１及び
図２を参照して簡単に説明する。図１において、１はベ
ルトコンベアで、その端部に順次送り込まれてくる高光
反射率のワーク２，２’をＣＣＤカメラ３で撮像する。
４は、その視野を表している。Ｌ１〜Ｌ３は、ワーク２
を異なる方向から照明する照明光源である。各照明光源
を単独で点灯してカメラ３による撮像を行った場合に
は、ハレーションが撮像画面上に発生することが想定さ
れる訳であるが、ハレーションはワーク表面における鏡
面的な反射によって起こるものであるから、画面上のハ
レーション発生位置は照明光源とカメラ３の位置関係に
依存して定まる性質があり、その発生範囲も狭い線状乃
至帯状領域に限られることが通常である。

【０００９】従って、図１に示した配置において、照明
光源Ｌ１、Ｌ２、Ｌ３を各々単独点灯して撮像を行なっ
た場合には、互いに異なった位置にハレーションが発生
すると考えられる。図２（１）〜（３）はその様子を例
示したもので、各々照明光源Ｌ１〜Ｌ３を単独点灯した
場合に得られる画像を表わしている。各図において、Ｆ
1 〜Ｆ3 はワーク２の正常画像部、Ｇ1 〜Ｇ3 は背景
（ベルトコンベア）画像部、Ｈ1 〜Ｈ3 はハレーション
画像部を指すものとする。

【００１０】本願発明は、このような異なる照明ジオメ
トリ条件下で得られた複数の画像から、ハレーション画
像部Ｈ1 〜Ｈ3 を排除し、それ以外の画像部から所期の
画像を獲得するものである。即ち、これらハレーション
画像部における画像信号強度（光検出出力値）は他の部
分に比して格段に大きな値を示す筈であるから、３画像
（１）〜（３）における各対応画素毎に光検出出力値が
最大のものを排除すれば、ほぼ確実にハレーション画像
部を排除することができる。

【００１１】照明光源数（照明ジオメトリ数）がＮ個の
場合、この最大値排除処理によって一般に、各画素毎に
Ｎ−１個の画像信号が残るから、これを用いて画像を構
成すれば良いことになる。排除されずに残される画像信
号から画像を構成する方法には種々の方式を用いること
ができる。その幾つかを例示すれば次の通りである。

【００１２】［１］３画像（１）〜（３）について各画
素毎に最小の画像信号を抽出して画面を構成する方法、
［２］３画像（１）〜（３）について各画素毎に２番目
（中間）の強さを有する画像信号を抽出して画面を構成
する方法、［３］各画素について残された２つの画像信
号を加算または平均化して、画像を構成する方法。

【００１３】以上説明した方法によって、ハレーション
画像を除去するという目的は一応達成できるが、各画面
における正常画像部Ｆ1 〜Ｆ3 における対応画素の画像
信号間に、照明ジオメトリ条件の変化に起因した強度差
が生ずることがある。これをそのままにして画像構成を
行なった場合には、各ハレーション画像部対応位置に明
るさの異なる画像領域ができる恐れがある。この明るさ
むらを解消するには、画像信号強度の規格化（ノーマリ
ゼーション）処理を行なえば良い。

【００１４】この画像信号規格化の方法には種々の方式
があり、いずれの方式を利用しても差し支えない。その
幾つか記せば、下記の通りである。＜１＞背景画像Ｇ1 〜Ｇ3 の画像信号強度の差異をなく
す処理を行なう。例えば、Ｇ1 を基準にして、Ｇ2 ，Ｇ
3 の明るさがＧ1 の明るさと一致するように画面（２）
及び（３）の各画素の画像信号に補正係数を乗ずる処理
または加算／減算する処理を施す方式。

【００１５】＜２＞ワーク２上でハレーションの生じる
可能性の無い特定点または領域を予め選択指定してお
き、該特定点または領域の明るさが３画像で一致するよ
うな処理を行なう。例えば、Ｆ1 内の特定点または領域
の画像信号を基準とし、Ｆ2 及びＦ3 内の対応特定点ま
たは領域の画像信号を補正する（乗算または加算／減算
処理）方式。

【００１６】＜３＞Ｈ1 〜Ｈ3 の画像信号を除去したも
のについて、３画像（Ｆ1 〜Ｆ3 のみ、あるいは、Ｇ1
〜Ｇ3 を含めた画像領域）の１画素当りの平均の明るさ
が一致するように画像信号を補正する（乗算または加算
／減算処理）方式。

【００１７】＜４＞各画面（１）〜（３）毎に、画像信
号強度のヒストグラムを作成し、そのＦ1 Ｆ3 （場合に
よってはＧ1 〜Ｇ3 ）のピーク位置を一致させる処理
（乗算または加算／減算処理）を行なう方式（後述実施
例を参照）。

【００１８】以上例記した方式の内、＜３＞の方式を除
けば、ハレーション画像信号の排除を行なう前・後のい
ずれにおいても実行可能であるが、照明条件の差異が大
きい場合には、規格化処理後にハレーション画像信号排
除処理を行なった方が好ましいと思われる。

【００１９】以上説明した画像修正処理プロセス中にお
いては、従来の濃度変換フィルタ処理等とは異なり、ハ
レーション画像信号を補正するのではなく、単純明解な
形で排除しているので、ハレーションの影響が最終画像
に残存する恐れがない。また、ハレーション発生部位に
含まれている本来の明暗情報については、これを該部位
に対して採用される正常な画像信号によって表現される
から、ハレーションによって有用な明暗情報を失うこと
がないという特徴がある。そして、上記各処理は、いず
れも通常の視覚センサシステムが有している画像処理機
能を利用した簡単なソフトウェア処理によって実行でき
る簡便なものであるから、特に高価で複雑な装置を新し
く準備する必要もない。（次記実施例を参照。）

【００２０】

【実施例】図２は、本願発明の画像修正処理方法を実施
する際に使用される画像処理システムの一例を示した要
部ブロック図である。これを説明すると、１０は画像処
理装置であり、中央演算処理装置（以下、ＣＰＵとい
う。）１１を有し、該ＣＰＵ１１には、図１におけるカ
メラ３に接続されたカメラインターフェイス１２、該カ
メラインターフェイス１２を介して取り込まれた画像信
号を記憶するフレームメモリ１３、画像処理プロセッサ
１４、ＣＰＵ１１を介して画像処理システム各部の動作
を制御する為のプログラムを格納したプログラムメモリ
１５、画像処理前あるいは画像処理後の画像を表示する
モニタ３０（例えばモニタＣＲＴ）に接続されたモニタ
インターフェイス１６、各種設定値等のデータが格納さ
れ、また、ＣＰＵ１１による演算実行時のデータ一時記
憶手段としても使用されるデータメモリ１７及び図１に
示した照明光源装置Ｌ１〜Ｌ３のＯＮ／ＯＦＦの切換を
行なう照明光源切換装置２０及びプロセスコントローラ
（図示省略）に接続された汎用信号インターフェイス１
８が、各々バス１９を介して接続されている。

【００２１】このように本実施例に用いられる視覚セン
サシステムは、従来の視覚センサシステムに照明光源切
換装置２０を加えたもので構成されているが、本願発明
を実施する為に、作用の説明の欄で述べた原理に沿って
具体的な処理を実行する画像処理プログラム及び関連設
定値がプログラムメモリ１５及びデータメモリ１７に格
納されている点に特徴がある。以下、図４のフローチャ
ート及び図５のヒストグラム説明図を用いて、本実施例
における画像修正処理について説明する。先ず、図４の
フローチャートは、図１及び図２に示した事例について
本願発明を適用する為に、画像処理装置１０のＣＰＵ１
１によって実行される処理の内容の概略を記したもので
ある。なお、本実施例で使用するカメラの画素数は、５
１２×５１２とし、図２（１），（２），（３）の各々
におけるｉ行ｊ列の画像信号強度をＺ（１）ij，Ｚ
（２）ij，Ｚ（３）ij（ｉ，ｊ＝１，２，・・５１２）
で表わすこととする。また、ハレーション画像信号除去
手段としては、ヒストグラムに基づいて上記３画像の画
像信号規格化を行なった上で、画素毎に最小信号値を選
択して最終画像を構成する手法を採用するものとする。

【００２２】図４のフローチャートに記した一連の処理
は、プロセスコントローラからワーク２の到着を表わす
外部信号が画像処理装置１０のＣＰＵに伝達された時点
から開始される。先ず、汎用信号インターフェイス１８
を介して照明光源切換装置２０に指令を送り、照明光源
Ｌ１を単独で点灯し（ステップＳ１）、光源の光力が安
定したタイミングでカメラインターフェイス１２を介し
てワーク２の撮像を行い、画像（１）をフレームメモリ
１３（＃１）に取り込む（ステップＳ２）。

【００２３】次いで、照明光源Ｌ２の単独点灯（ステッ
プＳ３）、画像（２）のフレームメモリ１３（＃２）へ
の取り込み（ステップＳ４）、照明光源Ｌ３の単独点灯
（ステップＳ５）、画像（３）のフレームメモリ１３
（＃３）への取り込み（ステップＳ６）を順次同様に実
行する。

【００２４】３つ画像（１）〜（３）が獲得されたなら
ば、各画像を構成する画素毎の信号の強度乃至大きさ
（画像の明るさ）を予め適当に設定された多数の区間に
グレード分けすることによって、各画像に対するヒスト
グラム作成処理を行なう（ステップＳ７）。ヒストグラ
ム作成の処理のソフトウェアは周知であるから、その詳
細内容については説明を省略する。

【００２５】各画像（１）〜（３）について作成される
ヒストグラムは概略図５に例示されたようなものとなる
筈である。即ち、各画像について、背景（ここでは暗色
のベルトコンベア１が使用されているものとする。）を
表わす低明度画像Ｇ1 〜Ｇ3に対応した部分、適度の明
るさを有するワーク２の正常画像Ｆ1 〜Ｆ3 に対応した
部分、高輝度を有するハレーション画像に対応した部分
Ｈ1 〜Ｈ3 に大きく分かれた分布が形成される。また、
ワーク２の明暗模様や縁部の影等に対応して小頻度の中
間部分Ｒも一部形成されることが想定される。

【００２６】ここで、各画像に対応したヒストグラムを
比較してみると、撮像時の照明ジオメトリの相違（ある
いは照明強度の相違）によって、ヒストグラム分布に若
干のずれが生じていることが判る。図５に示した例で
は、（２）→（１）→（３）の順で全体的に明るい画像
が得られている様子が描かれている。

【００２７】そこで、ステップＳ７で作成されたヒスト
グラムを利用して各画像（１）〜（３）の明るさを揃え
る為の規格化処理を実行する。ここでは、上記３部分
（Ｇ1〜Ｇ3 対応部分、Ｆ1 〜Ｆ3 対応部分、Ｈ1 〜Ｈ3
対応部分）が互いに離隔していることを利用して規格
化を行なう。即ち、予め設定された正常画像強度予測範
囲Ｚfmin〜Ｚfmaxにおける最大頻度を与える画像信号強
度Ｚf1〜Ｚf3を求め（ステップＳ８）、補正係数γ12＝
Ｚf1／Ｚf2及びγ13＝Ｚf1／Ｚf3を計算する（ステップ
Ｓ９）。γ12及びγ13を補正係数ではなく、シフト補正
量Ｚf1−Ｚf2及びγ13＝Ｚf1−Ｚf3としても良い。

【００２８】次いで、画素位置指標ｉ及びｊを１にリセ
ットし（ステップＳ１０）、ステップＳ１１へ進む。ス
テップＳ１１では、ｉ行ｊ列の画素について規格化され
た映像信号Ｚ（１）ij，γ12Ｚ（２）ij，γ13Ｚ（３）
ijの最小値Ｍｉｎ．Ｚijを決定する。補正係数でなく補
正シフト量とした場合には、Ｚ（１）ij，Ｚ（２）ij＋
γ12，Ｚ（３）ij＋γ13の中から最小値を定める。決定
されたＭｉｎ．Ｚijの値はフレームメモリ１３（＃４）
の画素（ｉ，ｊ）対応アドレスに書き込む。

【００２９】以上で１個分の画素についての処理が終了
するから、以後は各画素について全く同様の処理を繰り
返せば良い。即ち、ステップＳ１２で列指標ｊに１を加
算し、ｊが５１２を越えていないことを確認した上でス
テップＳ１１へ戻るプロセスを５１１回繰り返すとステ
ップＳ１３でイエスの判断が出され、ステップＳ１４へ
進む。ステップＳ１４では行指標ｉに１を加算し、ｉ＝
５１３でないことを確認した上で（ステップＳ１５）、
列指標ｊのみを１にリセットして（ステップＳ１６）再
度ステップＳ１へ戻る。以下、同様のプロセスの繰り返
しによって５１２×５１２個の画素のすべてについて最
小値Ｍｉｎ．Ｚijがフレームメモリ１３（＃４）の画素
（ｉ，ｊ）対応アドレスに書き込まれると、ステップＳ
１２→ステップＳ１３→ステップＳ１４→ステップＳ１
５→ステップＳ１６を経て処理が終了する。

【００３０】フレームメモリ１３（＃４）に書き込まれ
た画像信号から得られる画像は、ハレーション成分が取
り除かれたものであり、また、規格化によって明るさの
むらが抑制された画像となっている。なお、画像処理が
的確に実行されていることを随意視認できるように、モ
ニタ３０の画面にフレームメモリ１３（＃４）に格納さ
れた画像信号に基づく画像を周期的に表示する処理を加
えることも可能である。

【００３１】また、規格化処理の為に作成されたヒスト
グラムを設定されているＺfmin〜Ｚfmaxと共に図５に示
した態様で随時モニタ画面に表示しても良く、Ｚfmin及
びＺfmaxを可変設定する入力画面に兼用することも考え
られる。

【００３２】

【発明の効果】本願発明によれば、簡単なプロセスによ
って、対象物をカメラ手段によって撮像した場合に発生
するハレーションを画像成分を除去した画像を得ること
ができる。また、本願発明の画像修正処理方法は、異な
る照明ジオメトリを設定して切り換える手法の採用によ
って、ハレーションを画像成分を除去する一方でハレー
ションが発生した部分に含まれている本来の明暗情報を
別途確保する手段を備えているので、ハレーション効果
を抑える為に有用な明暗情報を犠牲することがないとい
う利点が発揮される。

【００３３】従って、高反射率ワークを取り扱うような
アプリケーションにおいても、ハレーションによる誤動
作を心配することなく視覚センサを利用したシステムを
採用することが可能となった。

【図面の簡単な説明】

【図１】本願発明の画像修正処理方法の原理について、
製造ライン上のコンベア終端部に順次送り込まれてくる
ワークの位置と姿勢をＣＣＤカメラを用いた視覚センサ
システムによって認識するケースを例にとって説明する
図である。

【図２】図１における各照明光源Ｌ１〜Ｌ３を単独点灯
した条件の下で獲得される画像（１）〜（３）を表わし
た図である。にとって説明する図である。

【図３】本願発明の画像修正処理方法を実施する際に使
用される画像処理システムの一例を示した要部ブロック
図である。

【図４】図１及び図２に示した事例について本願発明を
適用する為に、図３に示した画像処理装置のＣＰＵによ
って実行される処理の内容の概略を記したフローチャー
トである。

【図５】図４に示したフローチャート中のヒストグラム
作成処理において作成されるヒストグラムの内容を例示
・説明する為のグラフである。

【符号の説明】

１ベルトコンベア２，２’ ワーク３カメラ（ＣＣＤカメラ）４視野１０画像処理装置１１中央演算処理装置（ＣＰＵ）１２カメラインターフェイス１３フレームメモリ１４画像処理プロセッサ１５プログラムメモリ１６モニタインターフェイス１７データメモリ１８汎用信号インターフェイス１９バス２０照明光源切換装置３０モニタＬ１〜Ｌ３照明光源Ｇ1 〜Ｇ3 背景（ベルト）画像部Ｆ1 〜Ｆ3 ワーク正常画像部Ｈ1 〜Ｈ3 ハレーション画像部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 5/238 ＺＧ０６Ｆ 15/64 ３２５Ｚ

Claims

【特許請求の範囲】

【請求項１】カメラ手段を用い、互いに異なる複数の
照明ジオメトリ条件下で順次対象物の撮像を行い、前記
各照明ジオメトリ条件下における画像信号を獲得する段
階と、前記蓄積された画像信号から各画素毎に最大の光
検出出力を表すものを排除し、残された画像信号に基づ
いて前記対象物像を含む画像を構成する段階を含む画像
修正処理方法。
【請求項２】カメラ手段を用い、互いに異なる複数の
照明ジオメトリ条件下で順次対象物の撮像を行い、前記
各照明ジオメトリ条件下における画像信号を獲得する段
階と、前記各照明ジオメトリ条件下で獲得された画像信
号を規格化する段階と、規格化された画像信号から各画
素毎に最大の光検出出力を表すものを排除し、残された
画像信号に基づいて前記対象物像を含む画像を構成する
段階を含む画像修正処理方法。