JPH0567209A

JPH0567209A - 色識別装置

Info

Publication number: JPH0567209A
Application number: JP3225797A
Authority: JP
Inventors: Katsuhiro Kanamori; 克洋金森
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1991-09-05
Filing date: 1991-09-05
Publication date: 1993-03-19

Abstract

(57)【要約】【目的】カラー画像から色情報を用いて領域識別を行
う色識別装置に関するもので、画像内で数多くの色領域
が存在している場合にも誤りのない色識別を行うことが
でき、及び色領域の境界部での混色による色識別の誤り
をなくした色識別を行うことを目的とするものである。【構成】まず、色変換装置１０３によりカラー画像の
各画素の色を色度値などに変換し、一旦、画素バッファ
１０４にカラー画像において色識別すべき注目画素を含
む複数の画素を蓄え、次にカラー画像内の各画素を色識
別する際にその周辺の複数の画素のもつ色度などを神経
回路網を模した画像領域推定装置１０８に入力し、画像
内局所領域での画素の位置情報と画素の色情報とを総合
的に判断し、従来は誤りを生じていた多数の色を持つ画
像や色領域の境界部なども正しく色分割されるようにし
たものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は対象とするカラー画像か
ら画素の色情報を用いて特定の色領域を識別する色識別
装置に関するものである。

【０００２】

【従来の技術】従来より画像を画素ごとにその色によっ
て識別し画像の領域分割を行う手法がある。これはカラ
ー画像の各画素の色をレッドＲ、グリーンＧ、ブルーＢ
の三刺激値信号から輝度Ｙ、色度ＩＱなどの信号、ある
いは色相Ｈ、明度Ｌ、彩度Ｓ信号などに色座標変換し、
この座標変換された色空間内にて色分布の観測により、
色識別して結果的に画像上での色領域分割を行うもので
ある。これには、たとえば、文献１（”カラーパターン
図の認識システム”、石井他、電子情報通信学会論文誌
Ｄ、Ｎｏ．４、PP685-692、１９８８）がある。文献１
ではカラー画像として色わけして書いたカラーパターン
図を対象とし、各色領域分離処理を色分離の段階と色ご
との図形要素の認識の段階とに分けて行っている。色分
離段階ではＲＧＢ信号をマトリクス変換により明度信号
Ｙと２つの色差信号（Ｒ−Ｙ）と（Ｂ−Ｙ）とに変換
し、色差平面での色相Ｈを用いている。ここで生じた領
域分割は色鉛筆のノイズや色の重なりによる線の途切れ
などの変形を受けている。そこで、次に色分離された図
形要素ごとにプリント板固有の図形の性質を知識として
利用して正確な領域分割結果を得る。

【０００３】

【発明が解決しようとする課題】上述の色識別による画
像領域分割法は観測する色空間内で各画像領域に相当す
る色分布が互いに分離したクラスタを形成している場合
にのみ良好な結果を与える。即ち画像内で数色程度の色
が塊として分離して存在する場合には色分離が可能であ
るが、広い色分布をもつ領域が数多く存在すると、相互
の色分布どうしが重なる確率を増し、色分布で識別する
ことが困難になる。一方、画像内でまったく異なる色分
布を持つ領域でもその２つの色領域の境界（エッジ）部
では画像入力装置の光学的、電気的な一種の過渡現象に
より異なる領域の色どうしが混色を生じ、どちらの領域
にも属さない第三の領域として誤って分割されることが
多い。本発明は第一に画像内で数多くの色領域が存在
し、色空間内で色分布が重なりを生じている場合にも誤
りのない色識別を行うものである。また第二に、画像内
での異なる色領域の境界部での誤りをなくした色識別を
行うものである。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、本発明の技術的解決手段はカラー画像の各画素の色
を色度値、特定の色からの類似度などに変換する色変換
装置と、カラー画像において領域分割すべき注目画素を
含む複数の画素を蓄える画素バッファと、神経回路網を
模した画像領域推定装置とを用いるものである。

【０００５】

【作用】本発明はカラー画像内の各画素を領域分割する
際にその周辺の複数の画素のもつ色度、特定の色からの
類似度などを神経回路網を模した画像領域推定装置を用
いることにより、画像内局所領域での画素の位置情報と
画素の色情報とを総合的に判断し、従来は分割誤りを生
じていた色分布が重なりあっているような色領域や色領
域の境界部なども正しく色識別されるようにしたもので
ある。

【０００６】

【実施例】以下、本発明の一実施例について、図面を参
照しながら説明する。図１は本発明の一実施例の構成を
示すブロック図である。図１において、１０１は色識別
を行う対象をカラー画像として入力するためのカラー画
像入力装置である。この実施例では対象物はチップ部品
が実装されたプリント基板１０６であるから、入力装置
はカラーテレビカメラなどの装置である。１０２はカラ
ー信号を各画素をＲ、Ｇ、Ｂのデジタル色信号値に変換
する A/D変換手段、１０３はカラー画像の各画素のデジ
タル色信号値を色度信号または特定色についての類似度
信号に変換するための色変換装置である。本実施例で
は、色変換装置はＲＧＢの３個のデジタル色信号値のセ
ット１０５を後で述べるＩとＱの２個の色度信号１０７
を表現するデジタル信号に変換する構成であるが、１０
７は色変換装置の設定によっては別の任意個数の信号か
ら構成されることもありうる。１０４は画像内の局所的
な複数個の画素のデジタル色信号値を蓄える画素バッフ
ァである。この画素バッファは色識別すべき注目画素の
周辺の画素を蓄えるものであり、色変換されたカラー画
像内のウインドウとして、画像全体をスキャンする。本
実施例では、図１のように画素バッファは色変換後の画
素を蓄える構成であるが、これは原カラー画像を画素バ
ッファに蓄え、その各画素を並列に色変換していく構成
にしてもよい。ただし、その場合には色変換装置が複数
個必要になる。１０８は画素バッファ１０４に一時的に
蓄えられている複数個の色度信号１１０を入力して注目
する画素を色識別するための画像領域推定装置である。
画像領域推定装置１０８には画素バッファに蓄えられて
いる画像内の局所領域の色信号が入力され、画素の位置
情報と色情報とが総合的に判断されて色識別が行われ、
色識別信号１０９が出力される。

【０００７】つぎにプリント基板１０６上に銅箔のラン
ド部があり、その上にチップトランジスタが装着されて
いる実装基板を対象として、この画像からチップトラン
ジスタの色領域を色識別により抽出する場合の本発明の
動作について詳細に説明する。はじめに対象物体の色
分布について説明する。図２は対象画像である実装プリ
ント基板を示す。プリント基板２０１（図１のプリント
基板１０６）はレジストのグリーン色を呈する。チップ
トランジスタは黒色プラスチック製のボディ部２０２と
アルミ製のリード部２０３とから成り、ボディ部には通
常白色（灰色）にて文字、数字２０４が描かれている。
またリード部は正方形を呈する銅箔ランド上２０５に装
着される。リード部のアルミと銅箔ランドは金属である
から照明によって再現色が変化するが、適当な照明下で
は各々白色、赤色に近い色を呈する。これらの領域の色
分布をＹＩＱ色空間内で観測した結果を図３に模式的に
示す。ＹＩＱ空間ではＹ軸が色の明度を、Ｉ軸はオレン
ジーシアン方向を、Ｑ軸が黄緑ー紫方向を示す。

【０００８】図３において色分布３０１はボディ部とリ
ード部とを含むチップトランジスタの色分布を示す。ボ
ディ部、リード部とも色みを持たない無彩色でありなが
ら、明度はリード部の白からボディ部の黒まで広い範囲
に分布するために色分布はＹ軸近くに細長い分布を呈す
る。色分布３０２は銅箔ランドの色分布を示す。色相的
には赤を呈するため、３０１からＩ軸正方向寄りに明度
広範囲に分布する。また色分布３０３はプリント基板の
色分布を示す。これらをＩＱ軸平面で観測すると図４の
ようになる。色分布の番号は図３と同じ付け方をしてい
る。チップトランジスタの色分布３０１がＩ軸とＱ軸交
点近くに存在している。このようにチップトランジスタ
は２つの構成部品から構成されてはいるが、色度図上の
色分布ではプリント基板や銅箔ランドよりもＹ軸に近い
位置にある、すなわち彩度が低いという大きな特徴があ
る。そのため、チップトランジスタの領域分割には色を
ＹＩＱ軸に座標変換し、その彩度についてある値よりも
低い部分４０１内部を抽出すればよい。しかし、この方
法で抽出したチップトランジスタ領域は図５斜線部のよ
うになる。確かに部品の外形が抽出されているが、銅箔
とプリント基板との境界部５０１が同時に抽出されノイ
ズになってしまう。これは、銅箔と基板の境界部の数画
素でグリーン色と銅色（赤）の混色が起こり、その混色
の色分布は図４の４０２のようになり、ちょうど色分布
３０１の位置を占めた結果、チップトランジスタの色分
布と区別がつかなくなったからである。このような混色
の問題の他にも、画像内に数多くの物体が存在し、新た
な色分布が生じてくると、色度平面が混雑し、次第に誤
りのない色分離が困難になってくることは明らかであ
る。次に本発明をこの場合に適用する場合の例を説明す
る。この例では、画素バッファは画像上で注目画素を中
心とした縦３ｘ横３の計９個の画素を記憶するものとす
る。また色変換装置はデジタル色信号値ＲＧＢを前述の
ＹＩＱ座標軸のＩとＱの２個の信号に変換するものとす
る。

【０００９】この構成で、図２の２０６で示す銅箔とプ
リント基板の境界部を観測すると画素バッファ上では図
６のような画素配置となりこれを色変換すると図７のよ
うに色度図上に３ｘ３のウインドウ内の９画素（１）ー
（９）が配置する。この図では銅箔ランド部画素
（３）、（６）、（９）と基板部画素（１）、（４）、
（７）を結ぶ直線上に境界部（２）、（５）、（８）が
位置するため、無彩色の境界部が基板と銅箔ランドのそ
れぞれの色の混色によって生じているという情報が明確
に表現されている。この情報が画像領域推定装置に入力
され、出力として注目画素（５）の属するのがチップト
ランジスタなのか、あるいはそれ以外の領域なのかが識
別される。これは図７の入力に対して、「注目画素
（５）は銅箔と基板の境界部で生じた混色でありチップ
トランジスタ領域ではない」という教師信号を与えて、
神経回路網を模した画像領域推定装置を学習させれば実
現することができる。

【００１０】一方、図２の２０７で示される部品ボディ
部を観測すると画素バッファ上では図８のような色画素
配置となり、色変換した色度図上では図９のような画素
配置になるので、これは図７とは明らかに異なる入力と
して画像領域推定装置に入力され、「チップトランジス
タ領域である」という教師信号を与えて学習させればよ
い。

【００１１】上記の実施例では、色変換装置はデジタル
色信号値ＲＧＢをＩ信号とＱ信号という２つの色差信号
に変換していたが、色変換後の信号と数は、対象とする
物体によって変化してよい。たとえば色変換装置がデジ
タル色信号値ＲＧＢを１個の彩度信号Ｓや色相信号Ｈに
変換することもありえる。また、特定の色領域を見つけ
る目的のために、ある色からの類似度のような量を使用
することも考えられる。この類似度には、たとえば特定
の色との色差、あるいは色度図の色彩距離などを割り当
てることが可能である。

【００１２】つぎに本発明の一実施例における画像領域
推定装置の構成について説明する。この実施例では画像
領域推定装置１０８には９個の各画素ごとに各々２個の
信号が色変換されて入力されてくるため計１８本の信号
を入力してその組み合わせにより、画像領域が「チップ
トランジスタ領域であるか（１）その他の領域であるか
（０）」を出力するものである。画像内には種々の色の
物体が種々の隣接するパターンにて現れる可能性がある
ため、１８本の信号線が形成するパターンの数は非常に
多く判定ルールを決めるのは困難である。従来の方法
（たとえばテーブルルックアップ方式や人工知能の利用
など）に比較して、神経回路網を模した手法により学習
することが望ましい。用いるべき神経回路網模擬手段と
しては、文献２（ＰＤＰモデル、Ｄ．Ｅ．ラメルハート
他２名、甘利俊一監訳、１９８９年）、文献３（ニュー
ロコンピュータの基礎、ｐ１０２、中野馨他７名、１９
９０年）、特公昭６３−５５１０６号公報などに示され
たものがある。

【００１３】以下、文献２に記載された最もよく知られ
た学習アルゴリズムとして誤差逆伝播法を用いた多層パ
ーセプトロンを例にとり、具体的な神経回路網模擬手段
の構成および動作について説明する。尚、この画像領域
推定装置への入力線の本数などは、画素バッファの容量
と色変換装置の出力により自在に変化しうるもので特に
１８本に特定されることはない。

【００１４】図１０は、本実施例で使用する神経回路模
擬手段である。図１０において、１００１〜１００Ｎ）
は神経のシナプス結合を模擬する疑似シナプス変換器で
あり、１０ａは疑似シナプス変換器１０１〜１０Ｎから
の出力を加算する加算器であり、１０ｂは設定された非
線形関数、例えば閾値をｈとするシグモイド関数、ｆ（ｙ，ｈ）＝１／（１＋ｅｘｐ（−ｙ＋ｈ））（式１）によって加算器１０ａの出力を非線形変換する非線形変
換器である。なお、図面が煩雑になるので省略したが修
正手段（図示せず）からの修正信号を受ける入力線が疑
似シナプス変換器１００１〜１００Ｎと非線形変換器１
０ｂにつながっている。この神経模擬手段には、信号処
理モードと学習モードの２つ種類の動作モードがある。

【００１５】以下、図１０に基づいて神経回路模擬手段
のそれぞれのモードの動作について説明する。

【００１６】まず、信号処理モードの動作を説明する。
神経回路模擬模擬手段はＮ個の入力ｘ₁〜ｘ_Nを受けて１
つの出力を出す。ｉ番目の入力信号ｘ_iは、四角で示さ
れた疑似シナプス結合変換器においてｗ_i・ｘ_iに変換さ
れる。疑似シナプス結合変換器で変換されたＬ個の信号
ｗ₁・ｘ₁〜ｗ_N・ｗ_Nは円で示された加算器に入り、加算
結果ｙが楕円で示された非線形変換器に送られ、最終出
力ｆ（ｙ，ｈ）となる。

【００１７】つぎに、学習モードの動作について説明す
る。学習モードでは、疑似シナプス結合変換器１００１
〜１００Ｎと非線形変換器１０ｂの変換パラメータｗ₁
〜ｗ_Nとｈを、修正手段（図示せず）からの変換パラメ
ータの修正量Δｗ₁〜Δｗ_NとΔｈを表す修正信号を受け
て、ｗ_i＋Δｗ_i ：ｉ＝１，２，・・，Ｎｈ＋Δｈ（式２）と修正する。

【００１８】図１１は上記神経回路模擬手段を４つ並列
につないで構成した信号変換手段の概念図である。いう
までもなく以下の説明はこの信号変換手段を構成する神
経回路模擬手段の個数を４に特定するものではない。図
１１において１１１１〜１１４４は疑似シナプス変換器
であり、１１１〜１１４は上で図１０を参照しながら説
明した加算器１０ａと非線形変換器１０ｂをまとめた加
算非線形変換器である。図１１においても、図１０と同
様に、図面が煩雑になるので省略したが修正手段（図示
せず）からの修正信号を受ける入力線が疑似シナプス変
換器１１１１〜１１４４と加算非線形変換器１１１〜１
１４につながっている。

【００１９】この信号変換手段の動作については、図１
０で説明した神経模擬手段の動作が並列してなされると
いうものであるので、４つの神経模擬手段に同じ入力が
与えられる点を注意して、説明とする。

【００２０】図１２は、学習アルゴリズムとして誤差逆
伝播法を採用した場合の信号処理手段の構成を示したブ
ロック図である。図１２において、１２１は上で説明し
た信号変換手段であり、１２２は学習モードにおける信
号変換手段１２１の修正量を算出する修正手段である。

【００２１】以下、図１２に基づいて信号処理手段の学
習を行う場合の動作について説明する。

【００２２】信号変換手段手段１２１はＮ個の入力Ｓin
（Ｘ）を受け、Ｍ個の出力Ｓout（Ｘ）を出す。修正手
段１２２は、入力信号Ｓin（Ｘ）と出力信号Ｓout
（Ｘ）とを受け、誤差計算手段（図示せず）または後段
の信号変換手段（図示せず）からの誤差信号δi（Ｘ）
の入力があるまで待機する。誤差信号δi（Ｘ）が入力
され、修正量を Δｗ_ij＝δ_i（Ｘ）・Ｓ_jin（Ｘ）（ｉ＝１〜Ｎ，ｊ＝１〜Ｍ）（式３）と計算し、修正信号を信号変換手段１２１に送る。信号
変換手段１２１は、内部の神経模擬手段の変換パラメー
タを上で説明した学習モードの動作にしたがって修正す
る。

【００２３】図１３は、神経回路網模擬手段を用いた多
層パーセプトロンの構成を示すブロック図である。

【００２４】図１３において、１３１Ｘ、１３１Ｙ、１
３１ＺはそれぞれＫ個，Ｌ個，Ｍ個の神経模擬手段から
なる信号変換手段であり、１３２Ｘ、１３２Ｙ、１３２
Ｚは修正手段であり、１３３は誤差計算手段である。

【００２５】以上のように構成された多層パーセプトロ
ンについて、図１３を参照しながらその動作を説明す
る。

【００２６】信号処理手段１５Ｘにおいて、信号変換手
段１３１Ｘは、入力Ｓ_iin（Ｘ）（ｉ＝１，〜Ｎ）を受
け、出力Ｓ_jout（Ｘ）（ｊ＝１,〜，Ｋ）を出力する。
修正手段１３２Ｘは、信号Ｓ_iin（Ｘ）と信号Ｓ_jout
（Ｘ）を受け、誤差信号δ_j（Ｘ）（ｊ＝１,〜，Ｋ）が
入力されるまで待機する。以下同様の処理が、信号処理
手段１５Ｙ、１５Ｚにおいて行われ、信号変換手段１３
１Ｚより、最終出力Ｓ_kout（Ｚ）（ｋ＝１，〜Ｍ）が出
力される。最終出力Ｓ_kout（Ｚ）は、誤差計算手段１３
３にも送られる。誤差計算手段においては、２乗誤差な
どの評価関数

【００２７】

【数１】

【００２８】などにに基づいて理想的な出力Ｔ（Ｔ１，
…，Ｔ_M）との誤差が計算され、誤差信号δ_k（Ｚ）が修
正手段１３２Ｚに送られる。評価関数を２乗誤差とした
場合には、誤差信号は、 δ_k（Ｚ）＝−μ・（Ｓ_kout（Ｚ）−Ｔ_k）（式４）となる。修正手段１３２Ｚは、上で説明した手続きにし
たがって、信号変換手段１３１Ｚの変換パラメータの修
正量Δｗ（Ｚ）を計算し、修正装置１３２Ｙに送る誤差
信号を次式に基づき計算し、修正信号Δｗ（Ｚ）を信号
変換手段１３１Ｚに送り、誤差信号δ（Ｙ）を修正手段
１３２Ｙに送る。信号変換手段１３１Ｚは、修正信号Δ
ｗ（Ｚ）に基づいて、内部の変換パラメータを修正す
る。

【００２９】なお、誤差信号δ（Ｙ）は（数２）で与え
られる：

【００３０】

【数２】

【００３１】以下、同様の処理が信号処理手段１３１
Ｙ、１３１Ｘにおいて行われる。学習とも呼ばれる、以
上の手続きを繰り返し行うことにより、多層パーセプト
ロンは入力が与えられると理想的出力Ｔをよく近似する
出力を出すようになる。

【００３２】なお、上記の説明においては、３段の多層
パーセプトロンを用いたが、これは何段であってもよ
い。

【００３３】また、文献２にある信号変換手段のなかの
非線形変換手段の変換パラメータｈの修正法についてと
慣性項として知られる学習高速化の方法については、説
明の簡略化のため省略したが、この省略は本発明を拘束
するものではない。

【００３４】こうして、神経回路網模擬手段は入力され
る複数の各画素位置での色度データと、そのときの注目
画素が分割されるべき画像領域との関係を学習し、簡単
なルールでは記述することが容易でない望ましい色識別
の仕方を自然な形で表現することができる。尚、ここで
の説明では神経回路網模擬手段の出力はすべてアナログ
量として記述したが、実際には色識別の用途では各画素
が当該画像領域であるか否か、という１または０の２値
出力を要求されている。このためには、図１３に示した
信号処理手段の最終段を構成する神経回路模擬手段の出
力を適当なしきい値、たとえば０.５を用いてしきい値
処理することになる。

【００３５】

【発明の効果】以上のように本発明は、第一に色変換装
置と画素バッファとを用いてカラー画像の色度情報と画
素情報とを入力し、その情報を総合して判断する画像領
域推定装置を設けることにより、１画素の色識別のみで
は識別不可能な画像領域の識別を可能にするものであ
る。第二に、画素バッファという局所領域内でのみ色識
別をしているために、判別すべき色数が少なくて済み、
画像全体では数多くの色分布が存在している場合にも比
較的ノイズにつよい色識別を可能とするものである。第
三に神経回路網模擬手段による画像領域推定装置の高度
な識別能力により、２つの画像上の色領域の境界におい
て混色のため境界部分が第３の別の色領域として識別さ
れる誤りをなくすことを可能とするものである。

【図面の簡単な説明】

【図１】本発明の一実施例における色識別装置のブロッ
ク結線図

【図２】同色識別装置の色識別対象としての実装基板を
示す平面図

【図３】同色識別装置による実装基板の各部色のＹＩＱ
色空間内での色分布図

【図４】同色識別装置による実装基板の各部色のＩＱ平
面内での色分布図

【図５】従来のチップトランジスタ領域識別結果を示す
図

【図６】同色識別装置による銅箔ランドと基板との境界
部画素の画素バッファ内の位置を示す概念図

【図７】同色識別装置による銅箔ランドと基板との境界
部の各画素のＩＱ平面での分布図

【図８】同色識別装置によるチップトランジスタのボデ
ィ部画素の画素バッファ内での位置を示す図

【図９】同色識別装置によるチップトランジスタのボデ
ィ部の各画素のＩＱ平面での分布図

【図１０】同色識別装置の要部となる神経模擬手段のブ
ロック結線図

【図１１】同色識別装置の要部となる信号変換手段のブ
ロック結線図

【図１２】同色識別装置の要部となる信号処理手段のブ
ロック結線図

【図１３】同色識別装置の要部となる神経回路網模擬手
段を用いた多層パーセプトロンのブロック結線図

【符号の説明】

１０１カラー画像入力装置１０２ A/D変換手段１０３色変換装置１０４画素バッファ１０５デジタル色信号ＲＧＢ１０６実装基板１０７色度信号ＩＱ１０８画像領域推定装置１０９色識別信号

Claims

【特許請求の範囲】

【請求項１】カラー画像入力装置と、特定画素の色変
換を行う色変換装置と、画素バッファと画像領域推定装
置とから構成され、画像領域推定装置は神経回路網を模
した手法により画像内の複数の各画素での色度信号ある
いは特定の色に対する類似度信号を総合して対象領域を
推定する知識表現を内部にもつ神経回路網推定手段を有
することを特徴とする色識別装置。
【請求項２】画素バッファはカラー画像の注目画素の
周囲の複数画素を蓄えることを特徴とする請求項１記載
の色識別装置。
【請求項３】画素バッファは色変換されたカラー画像
の注目画素の周囲の複数画素を蓄えることを特徴とする
請求項１記載の色識別装置。
【請求項４】色変換装置は入力画素のもつ色を任意の
色度信号に色座標変換することを特徴とする請求項１記
載の色識別装置。
【請求項５】色変換装置は入力画素のもつ色を特定の
色に対する類似度信号に変換することを特徴とする請求
項１記載の色識別装置。