JPH08255247A - Ｉｃ基板認識方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 効率的かつロバスト性、柔軟性の高いＩＣ基
板の認識方法および装置を提供すること。 【構成】 逐次的情報統合／予測機構１は、内部に保持
した仮説１ａを基に観測により得られる特徴量情報の予
測を行ない、観測状態をセンシング機構２に送出する。
また、センシング機構２から送出された特徴量情報１ｂ
を現在までに保持していた観測情報と融合し、新たな仮
説を再構成する。センシング機構２では、逐次的情報統
合／予測機構１から送出された観測状態を実現するた
め、センサ４の位置等の調整を能動的に実行し、センサ
４により観測された情報から特徴量情報を抽出し逐次的
情報統合／予測機構１に送出する。逐次的情報統合／予
測機構１は、特徴量情報と保持していた情報とを融合す
ることにより、仮説の更新を行い、新たな仮説の再構成
を実行し、ＩＣ基板の認識を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＩＣ基板の認識方法お
よび装置に関し、さらに詳細には、逐次的にセンサから
得られる大量かつ不確実な情報を統合して判断すること
により、任意の位置に置かれたＩＣ基板の種別とその存
在位置を認識するＩＣ基板の認識方法および装置に関す
るものである。

【０００２】近年、ロボット技術とコンピュータ技術の
急速な発展に伴い、工場の生産ラインや組み立てライン
において、これまで人間に依存していた組み立て作業や
製品検査作業などの種々の高度な作業をロボットによっ
て完全自動化することを目指した無人工場実現への期待
が高まってきている。現在の工場内の生産ラインは、利
用者の嗜好の多様性に対処するため、従来の小品種大量
生産だけでなく、一つのラインで複数の製品や部品の組
み立てを行う多品種少量生産の方向に向かっている。

【０００３】このような多品種少量生産に対応したライ
ンでは同一の軌道に様々な種類、形状の異なる部品が混
在するため、製品検査作業などの高度な作業の自動化を
ロボットで実現しようとするためには、ライン上に存在
するＩＣ基板等の多種多様な部品や特徴を各種複数セン
サで観測し、この情報を基に複数種の作業対象物が混在
する中から、観測している対象物の判別や位置姿勢同定
などの認識を行う技術が必要不可欠となる。

【０００４】このため、複数センサから抽出される大量
かつ多種類にわたる観測情報を効率的に収集し、さら
に、これらの情報を正確にまた効率的に融合／統合する
ことによりＩＣ基板等の対象物を認識するシステム、ま
た大量のセンサ情報を取り扱うため、その中に必然的に
含まれる情報の不確実性、曖昧性に対して十分対処可能
な認識システムを構築する必要がある。

【０００５】

【従来の技術】従来の対象物体の種別判定および位置同
定の手法としては、あらかじめ与えられた対象物のモデ
ルと観測結果のマッチングをとる手法などが提案されて
いる。環境モデルのマッチング手法を用いた場合、対象
物体の種類あるいは対象の特徴量の種類が増加するにつ
れて、マッチングに要する組み合わせの数が増大すると
いう問題が生ずる。この点を考慮し、効率的なモデルマ
ッチングの手法を提案しているのが、Grimson （）や
Gaston（）らの解釈木を用いた対象物の認識手法であ
る。（については、W.E.L.Grimson and T.Lozano-Per
ez:Model-Basedrecognition and localization from sp
arse range or tactile data,Int.J.Robotics Res.,3,
3,pp.3-35,1984、についてはP.C.Gaston and T.Lonza
no-Perez:Tactile recognition and localization usin
g object models:The case of polyhedra on a plane,I
EEE Trans.Patten Anal.Mach.Intell.,PAMI-6,3,pp.257
-265,1984)

【０００６】

【発明が解決しようとする課題】上記した解釈木を用い
た手法は、特徴量情報から可能性のある全ての解釈を探
索し、矛盾が生じた時点でその可能性を一つずつ破棄し
ていくという手法を採用しているため、センサ情報や環
境モデルに含まれるノイズや誤差に対するロバスト性が
低く、間違ったセンサ情報を与えると、回復し難い影響
を受ける可能性がある。

【０００７】また、現時点までに獲得された特徴量情報
に対する解釈（仮説）が形成されず、仮説から導かれる
特徴量の予測情報を利用できなかったため、能動的なセ
ンシング行動を実行することができないといった問題が
あった。本発明は上記した従来技術の問題点に鑑みなさ
れたものであって、本発明の第１の目的は、大量かつ不
確実なセンサ情報を逐次的に収集および融合・淘汰・統
合していくことにより、モデルマッチング手法における
組み合わせ爆発の問題を回避しつつ、センサ情報の不確
実性、曖昧性に十分耐え得ることができる効率的かつロ
バスト性、柔軟性の高いＩＣ基板の認識方法および装置
を提供することである。 本発明の第２の目的は、観測
されたセンサ情報を融合することにより仮説を形成する
情報統合機能と、仮説を基にセンサ情報の推定を行う情
報予測機能を持ち、この情報予測機能からの予測情報を
利用した能動的なセンシング行動によりＩＣ基板を認識
することができるＩＣ基板の認識方法および装置を提供
することである。

【０００８】

【課題を解決するための手段】図１、図２は本発明の原
理図である。図１において、１は観測情報を逐次的に収
集し融合・統合していく逐次的情報統合／予測機構、２
はセンサによる観測状態を制御するセンシング機構、４
はＩＣ基板を観測するセンサ、５は認識の対象となるＩ
Ｃ基板である。

【０００９】また、図２は上記逐次的情報統合／予測機
構１の構成例を示しており、逐次的情報統合／予測機構
１は、例えば同図に示すように、内部に階層型情報モデ
ル３を備えている。上記課題を解決するため、本発明の
請求項１の発明は、図１に示すように、逐字的情報統合
／予測機構内に保持された仮説を基に、観測により得ら
れる特徴量情報を予測し、上記予測結果に基づき、ＩＣ
基板の新たな特徴量情報を取得し、取得した特徴量情報
をこれまでに逐字的情報統合／予測機構内に保持してい
た観測情報と融合・統合し、上記仮説を更新して新たな
仮説を再形成していくことによりＩＣ基板を認識するよ
うにしたものである。

【００１０】本発明の請求項２の発明は、図１に示すよ
うに、任意の位置に置かれたＩＣ基板の判別および位置
同定を行うＩＣ基板認識装置に、センサと、該センサの
観測状態を制御するセンシング機構と、センサにより逐
次的に収集された観測情報を融合・統合する逐次的情報
統合／予測機構とを設け、上記逐次的情報統合／予測機
構が、逐次的に収集された観測情報を融合・統合してい
くことによりＩＣ基板の判別および位置同定を行うよう
に構成したものである。

【００１１】本発明の請求項３の発明は、請求項２の発
明において、逐次的情報統合／予測機構に、確率的に表
現された不確実なセンサ情報をベイズ推定を基に融合し
て仮説を形成する情報統合機能と、仮説を基にセンサ情
報の推定を行う情報予測機能とを設けたものである。本
発明の請求項４の発明は、請求項２または請求項３の発
明において、観測状態を制御するセンシング機構が、逐
次的情報統合／予測機構からの予測情報に基づいて決定
される観測状態を実現するようにセンサの観測状態を制
御して、能動的にセンシング環境を変化させるように構
成したものである。

【００１２】本発明の請求項５の発明は、請求項２，３
または請求項４の発明において、図２に示すように、逐
次的情報統合／予測機構として、ＩＣ基板の各構成要素
が持つ階層的構造に応じて階層的に配置された構成要素
を表すノードと、上記ノードを結合するリンクにより表
現される階層型情報モデルを用い、ノード間で情報の伝
播を行って情報の統合および予測を行うように構成した
ものである。

【００１３】本発明の請求項６の発明は、請求項２，
３，４または請求項５の発明において、各ノードの内部
に、ＩＣ基板の構成要素を表現するパラメータの多次元
確率分布と、情報そのものの確からしさを表す確率変数
を保持させるように構成したものである。

【００１４】

【作用】図１において、逐次的情報統合／予測機構１
は、内部で保持している仮説１ａを基に観測により得ら
れる特徴量情報の予測を行ない、この特徴量の観測を実
現するための観測状態をセンシング機構２に送出する。
また、センシング機構２から送出された特徴量情報１ｂ
を取得し、これを現在までに保持していた観測情報と融
合することにより仮説１ａの更新を行い、新たな仮説の
再構成を実行する。

【００１５】一方、センシング機構２では、逐次的情報
統合／予測機構１から送出された観測状態を実現するた
め、使用するセンサ自身の位置やセンシング環境のパラ
メータ調整等を能動的に実行し、指定されたセンシング
対象に関する特徴量情報の抽出を行う。例えば、ＩＣ基
板上の各ＩＣの位置等からＩＣ基板を認識する場合、逐
次的情報統合／予測機構１は内部で保持している仮説
（基板、ＩＣ等の種別、位置等に関する仮説）に基づき
ＩＣの中心位置を予測して、該当するＩＣの観測を実現
するための観測状態をセンシング機構２に送出する。

【００１６】センサ４はセンシング機構２が指示する観
測状態に応じて、該当するＩＣを観測する。センサ４に
より観測されたＩＣの位置等に関する観測情報は、セン
シング機構２に送られて特徴量情報が抽出され、逐次的
情報統合／予測機構１に送出される。逐次的情報統合／
予測機構１は、上記特徴量情報と現在までに保持してい
た情報と融合することにより、前記仮説の更新を行い、
新たな仮説の再構成を実行する。

【００１７】上記逐次的情報統合／予測機構１が持つ特
徴量情報の統合機能と予測機能は、例えば、図２に示す
階層型情報モデル３を利用することにより実現される。
この、階層型情報モデル３は認識対象であるＩＣ基板中
に含まれる階層的な構造に着目し、そのレベルに応じて
階層的に配置された構成要素を表すノードとそれらを結
合するリンクにより表現される。

【００１８】例えば、ＩＣ基板が、数種類の基板からな
り、基板上に数種類の回路ブロックが搭載され、各回路
ブロック上に数種類のＩＣが配置されている場合には、
上記階層型情報モデル３は、基板層、回路ブロック層、
ＩＣ層等からなる３階層型モデルで表現することができ
る。各ノードの内部には、構成要素の位置や姿勢等を
表現するパラメータの多次元確率分布（以下パラメータ
分布という）、パラメータ分布情報自身がどの程度確
からしいものであるかを表す確率変数（以下信頼度とい
う）が保持されている。このパラメータ分布および信頼
度は、基本的な確率的情報融合手法であるベイズ推定に
基づいて定義される。

【００１９】パラメータ分布は、センサ出力等の情報の
期待値やその精度を表す多次元確率分布であり、本発明
ではこれを誤差のガウス性を過程して次の（１）式のよ
うに定義する。但し、（１Ａ）はセンサ出力等の期待
値、（１Ｂ）は測定誤差や認識精度などに依存する共分
散行列であり、ｎはパラメータの次元である。

【００２０】

【数１】

【００２１】一方、信頼度は、２つのパラメータ分布の
相対距離に応じて決定され、階層型情報モデル３におけ
る同一層内の全ノードの信頼度の和は上記（２）式に示
すように１に等しいとする。また、各リンクには、一方
のノードから他のノードへのパラメータ分布を伝播する
ために必要な変換情報が記述されている。

【００２２】例えば、前記ＩＣ基板の認識の場合には、
上記パラメータ分布は、回路ブロックにおけるＩＣの中
心位置、基板における回路ブロックの中心位置等をパラ
メータとする２次元確率分布であり、上記各リンクに
は、上記位置情報等のパラメータ分布を変換する変換情
報が記述される（例えば、ＩＣの中心位置と回路ブロッ
クの中心位置とを関係付ける変換情報）。

【００２３】図２に示す階層型情報モデル３内のある層
内では、下位層からの情報伝播を受けると、以下のよう
な処理が実行される。まず、下位層内のあるノードから
送出されたパラメータ分布をリンクに記述された変換情
報を用いて、結合された全てのノードに上位伝播する。
下位ノードからの伝播を受けた各ノードは保持していた
パラメータ分布と伝播されたパラメータ分布をベイズ推
定を基に融合することにより、パラメータ分布の更新と
信頼度の計算を行う。

【００２４】ここで、ノードが保持していたパラメータ
分布を次の（３Ａ）、伝播されたパラメータ分布を（３
Ｂ）とすると、更新後のノードが保持するパラメータ分
布（３Ｃ）は、以下のベイズ推定により導かれる融合式
（３），（４）に基づいて更新される。

【００２５】

【数２】

【００２６】一方、更新されたパラメータ分布の信頼度
ＲＥＬは、更新値のパラメータ分布の信頼度ＲＥＬold
と融合する２つのパラメータ分布の期待値と共分散行列
の関数である尤度により以下の（５）式のように計算さ
れる。ここで、αは前記（２）式を満たすための正規化
係数である。また、尤度とは、ノードが保持しているパ
ラメータ分布と伝播されたパラメータ分布の整合性を表
す度合いであり、以下の（６）式のように２つの分布の
相対距離および共分散行列の和によって定義される。

【００２７】

【数３】

【００２８】上式にしたがって計算された信頼度を評価
基準として同一層内でパラメータ分布の競合・淘汰を行
い、信頼度が最大値を示すノードのパラメータ分布をそ
の層内で統合された中間仮説として選択する。そして、
この選択されたノードの信頼度が閾値を越えていれば、
そのノードの保持するパラメータ分布を上位層内のリン
ク結合された全てのノードへ伝播する。

【００２９】一方、上位層からの情報伝播を受けた下位
層では、下位層から情報伝播を受けた場合と同様に、層
内において、パラメータ分布の融合、更新および信頼度
の計算を行う。そして同一層内で信頼度を評価基準とし
てセンシング戦略を実行し、信頼度が最小値を示すノー
ドを次のセンシング対象として選択する。この選択され
たノードの情報が直接観測可能であれば、センシング機
構２に対してパラメータ分布を送出し、ノード情報が直
接観測不可能であれば、そのノードのパラメータ分布を
下位層内のリンク結合された全てのノードへ下位伝播す
る。このように、階層型情報モデル３の各層内では、層
内に含まれる複数ノードの中から、各ノードの保持する
信頼度を評価基準として選択的にパラメータ分布の上位
および下位伝播が行われる。

【００３０】また、階層型情報モデル３内の各層間では
以下のような処理が行われる。まず、最上位層から順番
に下位層側へパラメータ分布を下位伝播し、直接観測可
能なノードに到達した時点で、そのノードのパラメータ
分布を予測情報としてセンシング機構２へ送出する。パ
ラメータ分布を取得したセンシング機構２は、先ず、予
測情報に基づいて特徴量の観測を行い、その結果獲得し
たパラメータ分布を対応するノードへ送出する。

【００３１】このノードは受け取ったパラメータ分布を
上位層へ伝播し、パラメータ分布の伝播を受けた層で前
記した層内処理を実行する。このような、層間での情報
処理を繰り返し実行し、センシング機構２から送出され
る特徴量情報が増加すると、同一層内の各ノードの信頼
度に偏りが生じ、最終的に最大信頼度が閾値を越えて一
段上の上位層へパラメータ分布が伝播される。

【００３２】以上のように、階層型情報モデル３内にお
いて、情報統合機能の相当する上位伝播と、情報予測機
能に相当する下位伝播を連携で繰り返し実行することに
より、上位層側へ信頼度の高い情報のみを段階的に伝播
していくことができる。そして、最上位層まで処理が伝
播し、かつ最上位層内の最大信頼度が閾値を越えた時点
で、そのノードのパラメータ分布を最も信頼できる仮説
として出力し、処理を終了する。

【００３３】以上のように、本発明においては、多次元
確率分布で表現されたセンサ情報が、逐次的情報統合／
予測機構１とセンシング機構２の間で相互に受渡しされ
ることにより、下記の一連の情報処理が逐次的に実行さ
れ、特徴量の観測回数が増加するにしたがって、実際に
観測された情報の整合性が保たれるように、仮説が修正
される。 仮説に基づいたセンサ情報の予測（情報予測機能） 予測情報に基づくセンシング・パラメータの調整
（能動的センシング行動） センシング機構による特徴量の抽出 測定された特徴量情報の融合および統合（情報統合
機構） 仮説の更新 すなわち、前記したＩＣ基板の認識の場合には、ＩＣ位
置を予測して（上記）、該ＩＣを観測するようにセン
シング・パラメータを調整し（上記）、センサにより
観測した情報から特徴量（位置等に関するパラメータ分
布）を抽出し（上記）、測定された特徴量情報を融合
および統合して（上記）、基板、回路ブロックの種
類、ＩＣ位置等に関する仮説を更新する（上記）。

【００３４】また、逐次的情報統合／予測機構１の階層
型モデル３の各層では、層内ノードの信頼度が閾値を越
えるまで特徴量の観測および情報統合機能が繰り返し実
行され、閾値を越えた時点で信頼度の十分高い情報だけ
が上位層へ伝播される。上記のように、階層型モデル３
の各層で信頼度を評価基準とした情報の競合淘汰が行わ
れるため、上位層では少数のより正確な情報だけを取り
扱えばよく、また、同時に、情報の曖昧性やノイズによ
って導かれた誤った解釈（中間仮説）が各層間で淘汰さ
れるため、上位層の仮説にまで悪影響を及ぼす可能性は
低減される。

【００３５】さらに、逐次的情報統合／予測機構１の情
報予測機能により、現時点での仮説に対して最も否定的
な観測結果を保持しているノードを次のセンシング対象
として選択し、さらに、選択されたセンシング対象に対
する予測情報をセンシング機構２に送出することによ
り、適切な観測状態を実現することができる。したがっ
て、大量かつ不確実なセンサ情報であっても、収集され
る情報を階層型モデル３を用いて逐次的に統合していく
ことにより、モデルマッチング手法における組み合わせ
爆発の問題を回避しつつ、センサ情報の不確実性、曖昧
性に十分耐え得ることができる効率的かつロバスト性、
柔軟性の高い認識が可能となる。また、内部的な予測情
報を利用した能動的なセンシング行動を実現することが
できる。

【００３６】

【実施例】図３は本発明の１実施例の構成を示す図であ
り、同図はテレビカメラ等の視覚センサを用いたＩＣ認
識装置を示している。同図において、５は認識の対象と
なるＩＣ基板、１１は前記した逐次的情報統合／予測機
構であり、逐次的情報統合／予測機構１１は後述するよ
うに、３階層型情報モデル１２を備えている。

【００３７】１３はマニピュレータであり、マニピュレ
ータ１３はそのアームの先端にテレビカメラ１４を備
え、ＩＣ基板５上のＩＣを観測する。また、マニピュレ
ータ１３は上記逐次的情報統合／予測機構１１が送出す
るＩＣ予測位置に応じて、テレビカメラの位置を変え、
その観測環境を変化させる。テレビカメラ１４により受
像された画像はテンプレートマッチングによりＩＣ位置
が測定され、逐次的情報統合／予測機構１１に送られ
る。

【００３８】図４は本実施例において、認識の対象とな
るＩＣ基板を示す図であり、本実施例においては、同図
（ａ）に示すように３種類の基板を認識対象とてモデル
化した。Ａ，Ｂ，Ｃの３種類の基板上にはα、β、γ、
δの回路ブロックが設けられ、各回路ブロックはＩＣ１
〜５から構成されている。そして、各基板上の回路ブロ
ック、ＩＣの位置関係は同図に示す関係にあり、例え
ば、回路ブロックαには同図（ｂ）に示すようにＩＣが
配置されている。なお、同図中のＰはＩＣ１の中心位
置、Ｑは回路ブロックαの中心位置を示しており、Ｐ→
ＱはＩＣ１の中心位置と回路ブロックαの中心位置の関
係を示し、後述するＩＣ層のノード１と回路ブロック層
のノードα間を結合するリンクに記述される変換情報に
相当する。

【００３９】上記基板の構成から、逐次的情報統合／予
測機構１１の階層型情報モデル１２は、図５に示すよう
に、基板層→回路ブロック層→ＩＣ層からなる３階層型
モデルとし、基板層の各ノードを各基板Ａ〜Ｃに、回路
ブロック層の各ノードを回路ブロックα〜δ、ＩＣ層の
各ノードをＩＣ１〜５に対応させた。各階層を結合する
リンクには、基板と回路ブロック、および、回路ブロッ
クとＩＣ１〜５中心位置の幾何学的関係（例えば、回路
ブロックαとＩＣ１の場合には、図４（ｂ）のＰ→Ｑの
ベクトル）を記述した。

【００４０】図４に示したＩＣをテレビカメラ１４で撮
影し、前記したようにテンプレートマッチング法により
カメラ画像中からＩＣ位置を測定し、逐次的情報統合／
予測機構１１により、回路ブロックの種別や位置を判定
し、さらに、ＩＣ基板の種別や位置を判定した。なお、
ＩＣ位置を測定する際、テンプレートマッチングの高速
化を図るため、カメラの視野の有効範囲ｌ（小文字エ
ル）を図６に示すように、画像上での回路ブロックの一
辺の長さにほぼ等しい値に限定した。

【００４１】ＩＣ位置の測定を行う場合には、逐次的情
報統合／予測機構１１の情報予測機能によりＩＣの位置
を予測し、マニピュレータ１３を用いて予測されたＩＣ
位置の真上にカメラフレームの中心が一致するようにカ
メラを移動させ、ＩＣ基板の撮影を行った。また、測定
されたＩＣ位置の情報は、センサの測定精度やマニピュ
レータ１３の位置決め精度などを考慮して、図７に示す
平面上の位置ｘ，ｙをパラメータとする２次元確率分布
（前記したパラメータ分布）として取扱い、このパラメ
ータ分布を、あらかじめ初期値として分散値が無限大の
パラメータ分布をセットした階層型モデル１２の各ノー
ドに伝播し、各ノードの保持するパラメータ分布を更新
した。

【００４２】図８、図９は本実施例におけるＩＣ基板認
識処理を示すフローチャートであり、前記図３〜図９を
参照しながら本実施例におけるＩＣ基板に認識処理につ
いて説明する。まず、図５に示した３階層型情報モデル
１２の全層の各ノードのパラメータ分布、および信頼度
を初期値にセットする（図８のステップＳ１）。

【００４３】次にＩＣ基板層のノードの内、最大信頼度
を持つノードを選択する（ステップＳ２）。上記したよ
うに信頼度は初期値にセットされ、各ノードの信頼度は
等しいので、最初はランダムに、もしくは、予め選定さ
れたノードが選択される。そして、選択されたノードの
パラメータ分布を回路ブロック層に伝播し（ステップＳ
３）、回路ブロック層でパラメータ分布を融合し信頼度
を計算する（ステップＳ４）。

【００４４】ついで、回路ブロック層で最小の信頼度を
持つノードを選択する（ステップＳ５）。この場合に
も、前記したように各ノードの信頼度は等しいので、ラ
ンダムに、もしくは、予め選定されたノードが選択され
る（ステップＳ２）。次に、上記と同様に、回路ブロッ
ク層の選択されたノードのパラメータをＩＣ層に伝播し
（ステップＳ６）、ＩＣ層でパラメータ分布を融合し信
頼度を計算する。

【００４５】そして、最小信頼度を持つノードが選択さ
れ、選択されたノードのＩＣを観察する（ステップＳ７
〜Ｓ９）。この場合にも、上記と同様、最初はＩＣ層に
おける各ノードの信頼度は等しいので、ＩＣ層のいずれ
か一つのノードが選定され、選定されたノードのＩＣの
観測情報が上記選択されたノードへ入力される（ステッ
プＳ１０）。

【００４６】すなわち、ＩＣがテレビカメラ１４により
観測され、テンプレートマッチング法によりカメラ画像
からＩＣの中心位置が測定され、ＩＣの中心位置のパラ
メータ分布（図７参照）が選択されたノードに入力され
る。選択されたノードに入力されたパラメータ分布は、
上記ノードにリンク結合された回路ブロック層の全ての
ノードに伝播される（ステップＳ１１）。また、ＩＣ層
と回路ブロック層α〜δを結合するリンクには、前記し
たように、回路ブロックα〜δとＩＣ１〜５中心位置の
幾何学的関係が記述されているので、パラメータ分布が
伝播されるとき、ＩＣの中心位置のパラメータ分布は、
各回路ブロックα〜δの中心位置のパラメータ分布に変
換される。

【００４７】ここで、例えば、図５のＩＣ層のノード１
（ＩＣ１に対応）が選択され、また、前記したテレビカ
メラ１４により図４に示すＩＣ基板の内、基板Ａの回路
ブロックαのＩＣ１が観測されたとする。ＩＣ層のノー
ド１にパラメータ分布が入力されると、該パラメータ分
布はリンクにより各回路ブロックα〜δの中心位置のパ
ラメータ分布に変換されて、回路ブロック層のα〜δの
ノードに伝播される。

【００４８】例えば、回路ブロック層のαのノードに伝
播される場合には、前記図４に示したＰ→Ｑのベクトル
によりＩＣ１の中心位置のパラメータ分布が回路ブロッ
クαの中心位置のパラメータ分布に変換されて、回路ブ
ロック層のノードに伝播される。すなわち、回路ブロッ
ク層の各ノードα〜δに伝播されるパラメータ分布は、
仮に観測されたＩＣ１がそれぞれのブロック上のＩＣ１
であった場合に、そのブロックの中心位置のパラメータ
分布を示すこととなる。例えば、前記したように、観測
されたＩＣ１が回路ブロックα上のＩＣの場合には、ノ
ードαに伝播されるパラメータ分布は回路ブロックαの
中心位置を示すパラメータ分布となるが、ノードα以外
のノードに伝播されるパラメータ分布は、回路ブロック
の中心位置に示すパラメータ分布にはならない（各回路
ブロックにおけるＩＣ１の相対位置が異なるから）。

【００４９】回路ブロック層のノードα〜δにパラメー
タ分布が伝播されると、各ノードでは、前記した（３）
（４）式によりパラメータ分布を融合し、（５）（６）
式により信頼度を計算し（ステップＳ１２）、回路ブロ
ック層の各ノードの内、最大信頼度を持つノードを選択
する（ステップＳ１３）。そして、最大信頼度が閾値を
越えているかを判別し（ステップＳ１４）、閾値を越え
ていない場合には、ステップＳ２０に行き、選択された
ノードのパラメータ分布を該ノードにリンク結合された
ＩＣ層のノードに伝播する。

【００５０】また、閾値を越えている場合には、ステッ
プＳ１５にいき、選択されたノードのパラメータ分布を
基板層に伝播する。前記したように観測されたＩＣが基
板Ａの回路ブロックαのＩＣ１の場合には、回路ブロッ
ク層のノードαの信頼度が最も大きくなると考えられ、
この最大信頼度を閾値と比較する。

【００５１】ここで、上記信頼度が閾値を越えていない
とすると、ステップＳ２０に行き、ノードαのパラメー
タ分布がＩＣ層のノード１〜５に伝播される。その際、
前記したように、各リンクにおいて回路ブロックαの中
心位置を示すパラメータ分布は各ＩＣの中心位置を示す
パラメータ分布に変換される。パラメータ分布を伝播さ
れたＩＣ層の各ノードでは、前記したようにパラメータ
分布の融合、信頼度の計算を行い（ステップＳ２１）、
最小信頼度を持つノードを選択する（ステップＳ２
２）。そして、図８のステップＳ９に戻り、選択された
ノードのＩＣを観測し、観測情報を選択されたＩＣ層の
ノードに入力する（ステップＳ１０）。

【００５２】例えば、上記したようにノードαのパラメ
ータ分布がＩＣ層のノード１〜５に伝播された場合に
は、最初に観測したＩＣがＩＣ１であるから、ＩＣ層の
ノード１が最も信頼度が高くなり、ノード２〜ノード５
の信頼度はノード１の信頼度より小さくなる。したがっ
て、ノード２〜ノード５の内最も信頼度の低いノード
（例えばノード２とする）が選択され、マニピュレータ
１３によりテレビカメラ１４がＩＣ２の真上（回路ブロ
ックαにおけるＩＣ２の真上）に来るように移動して、
ＩＣ２が観測され、テンプレートマッチングによりその
中心位置のパラメータ分布がノード２に入力される。

【００５３】なお、観測している回路ブロックが実は回
路ブロックαでない場合には、テレビカメラはＩＣ２の
上に行かず、回路ブロックα上のＩＣ２があるべき位置
の真上に移動し、異なったＩＣを観測することになる。
ついで、ステップＳ１１において、前記したように、Ｉ
Ｃ層の選択されたノードのパラメータ分布を該ノードに
リンク結合された回路ブロック層の各ノードへ伝播し、
ステップＳ１２において、パラメータ分布の融合、信頼
度の計算を行う。そして、ステップＳ１３において最大
信頼度を持つノードを選択し、ステップＳ１４におい
て、最大信頼度を閾値と比較する。

【００５４】例えば、観測されたＩＣが回路ブロックが
αのＩＣ２の場合には、ノード２のパラメータ分布が回
路ブロック層のノードα〜δに伝播される。この例の場
合、観測されたＩＣ２が回路ブロックαのＩＣ２なの
で、ノードα〜δの内、ノードαの信頼度がさらに高く
なる。ノードαの信頼度は閾値と比較され、信頼度が閾
値を越えていない場合には、閾値を越えるまでステップ
Ｓ９〜Ｓ１４、ステップＳ２０〜２２の処理が繰り返さ
れる。

【００５５】この例の場合には、観測している回路ブロ
ックがαなので、上記処理を繰り返す毎に、回路ブロッ
ク層のノードαの信頼度が大きくなり、最終的に閾値を
越える。なお、観測している対象が実は回路ブロックα
でない場合には、上記処理を繰り返すことにより、回路
ブロック層のノードαの信頼度が低下し、現実に観測し
ている回路ブロックに対応したノードの信頼度が高くな
り、そのノードの信頼度が閾値を越えることとなる。

【００５６】以上のようにして、回路ブロック層のノー
ドの内、最大信頼度を持つノードの信頼度が閾値を越え
ると、ステップＳ１５に行き、選択されたノードのパラ
メータ分布を該ノードにリンク結合された基板層のノー
ドＡ〜Ｃに伝播する。ここで、前記したように、各リン
クにおいて回路ブロックαの中心位置を示すパラメータ
分布は基板の中心位置を示すパラメータ分布に変換され
る。

【００５７】基板層の各ノードＡ〜Ｃでは、伝播された
パラメータ分布を融合し、信頼度を計算する（ステップ
Ｓ１６）。そして、最大信頼度を持つノードを選択し
（ステップＳ１７）、最大信頼度を閾値と比較する（ス
テップＳ１８）。最大信頼度が閾値より小さい場合に
は、図８のステップＳ３に戻り、選択されたノードのパ
ラメータ分布を回路ブロック層へ伝播する。そして、前
記したように、回路ブロック層とＩＣ層間でパラメータ
分布を伝播し、また基板層と回路ブロック層でパラメー
タ分布を伝播し、最大信頼度を持つノードの信頼度が閾
値を越えるまで処理を繰り返す。最大信頼度が閾値を越
えると、ステップＳ１９に行き、選択されたノードのパ
ラメータ分布を認識結果として出力する。

【００５８】例えば、前記したように、観測されている
ＩＣ基板がＡで、回路ブロックαのＩＣを観測している
場合には、回路ブロック層のノードαのパラメータ分布
が基板層のノードＡ〜Ｃに伝播され、最終的に基板層の
ノードＡの信頼度が最も大きくなり閾値を越える。した
がって、ノードＡのパラメータ分布が認識結果として出
力される。また、観測していた基板が実は基板Ａでない
場合には、上記処理を繰り返すことにより、基板層層の
ノードＡの信頼度が低下し、現実に観測している基板に
対応したノードの信頼度が高くなり、そのノードの信頼
度が閾値を越え、そのノードのパラメータ分布が認識結
果として出力される。

【００５９】図１０〜図１２は本実施例において、ＩＣ
基板Ａを提示した場合の回路ブロック層での信頼度の変
化、基板層での信頼度の変化、および、ＩＣ基板の推定
位置誤差の一例を示す図である。なお、同図では、前記
閾値として０．８を用いている。同図に示すように、観
測回数が増加するにしたがって、仮説によって示された
ＩＣ基板の中心位置と実際のＩＣ基板の中心位置の誤差
が減少し、３０回の能動的なＩＣ観測により、提示され
たＩＣ基板の種別と位置がほぼ正確に認識されている。

【００６０】すなわち、上記実施例の処理を繰り返すこ
とにより、図１０に示すように、まず、基板Ａの回路ブ
ロックγのノードの信頼度が大きくなり、次に、認識対
象を回路ブロックδ、回路ブロックβと切り換えること
により、回路ブロックδ、βのノードの信頼度が大きく
なり、最終的に回路ブロックαのノードの信頼度が最も
高くなっている。

【００６１】基板層のノードＡの信頼度も、図１１に示
すように観測回数が１５回を越えてから増加し始め、最
終的にノードＡの信頼度が最も高くなり、他のノードの
信頼度は低下している。また、図１２に示すように、基
板の推定位置誤差は最終的に１０ｍｍ程度となってい
る。

【００６２】さらに、カメラに対してＩＣ基板の提示位
置を変化させた場合や、提示するＩＣ基板の種類を変え
た場合など、１５回の提示パターンに対する認識終了時
の誤差を下記の表に示す。なお、同表において、Ｓ．
Ｄ．は標準偏差である。

【００６３】

【表１】

【００６４】このように、様々な提示パターンに対して
正確にＩＣ基板の種別と中心位置を認識可能であること
が確認できた。またさらに、回路ブロックγの中に、同
種のＩＣを任意の位置に追加することにより、逐次的情
報統合／予測機構に対して故意に誤った情報を与えた場
合の回路ブロック層での信頼度の変化を図１３に示す。

【００６５】同図に示すように、故意に誤った情報を与
えた場合、一時的に正解でない回路ブロックβの信頼度
が上昇するが、観測を繰り返し行うことで、最終的に正
しい回路ブロックの情報が基板層に伝播され、正確な認
識結果を出力することができる。

【００６６】

【発明の効果】以上説明したように、本発明において
は、センサを用いて任意の位置に置かれたＩＣ基板の判
別および位置同定を行うＩＣ基板の認識において、大量
かつ不確実なセンサ情報を逐次的に収集および融合・淘
汰・統合していくので、モデルマッチング手法における
組み合わせ爆発の問題を回避しつつ、センサ情報の不確
実性、曖昧性に十分耐え得ることができ、効率的かつロ
バスト性、柔軟性の高い認識を実現することができる。

【００６７】また、観測されたセンサ情報を融合するこ
とにより仮説を形成する情報統合機能と、仮説を基にセ
ンサ情報の推定を行う情報予測機能を有することによ
り、情報予測機能から出力される予測情報を利用して能
動的なセンシング行動を実現することができ、ＩＣ基板
認識における性能向上に寄与することができる。

【図面の簡単な説明】

【図１】本発明の原理図（その１）である。

【図２】本発明の原理図（その２）である。

【図３】本発明の実施例のＩＣ認識装置を示す図であ
る。

【図４】本実施例の認識対象となるＩＣ基板を示す図で
ある。

【図５】本実施例における３階層型情報モデルを示す図
である。

【図６】本実施例におけるカメラの視野を示す図であ
る。

【図７】本実施例における２次元パラメータ分布を示す
図である。

【図８】本実施例の処理を示すフローチャートである。

【図９】本実施例の処理を示すフローチャートである。

【図１０】本実施例の回路ブロック層での信頼度の変化
を示す図である。

【図１１】本実施例のＩＣ基板での信頼度の変化を示す
図である。

【図１２】本実施例のＩＣ基板の推定位置誤差の変化の
様子を示す図である。

【図１３】外乱を与えた場合の回路ブロック層での信頼
度の変化を示す図である。

【符号の説明】

１，１１ 逐次的情報統合／予測機構 ２ センシング機構 ４ センサ ３ 階層形情報モデル ５，Ａ，Ｂ，Ｃ ＩＣ基板 １２ ３階層型情報モデル １３ マニピュレータ １４ テレビカメラ ＩＣ１〜ＩＣ５ ＩＣ α〜δ 回路ブロック

Claims (6)

【特許請求の範囲】
1. 【請求項１】 逐字的情報統合／予測機構内に保持され
   た仮説を基に、観測により得られる特徴量情報を予測
   し、 上記予測結果に基づき、ＩＣ基板の新たな特徴量情報を
   取得し、 取得した特徴量情報をこれまでに逐字的情報統合／予測
   機構内に保持していた観測情報と融合・統合し、上記仮
   説を更新して新たな仮説を再形成していくことによりＩ
   Ｃ基板を認識することを特徴とするＩＣ基板の認識方
   法。
2. 【請求項２】 任意の位置に置かれたＩＣ基板の判別お
   よび位置同定を行うＩＣ基板認識装置であって、 センサと、該センサの観測状態を制御するセンシング機
   構と、 上記センサにより逐次的に収集された観測情報を融合・
   統合する逐次的情報統合／予測機構とを備え、 上記逐次的情報統合／予測機構は、逐次的に収集された
   観測情報を融合・統合していくことによりＩＣ基板の判
   別および位置同定を行うことを特徴とするＩＣ基板の認
   識装置。
3. 【請求項３】 逐次的情報統合／予測機構が、確率的に
   表現された不確実なセンサ情報をベイズ推定を基に融合
   して仮説を形成する情報統合機能と、仮説を基にセンサ
   情報の推定を行う情報予測機能とを備えたことを特徴と
   する請求項２のＩＣ基板の認識装置。
4. 【請求項４】 観測状態を制御するセンシング機構は、
   逐次的情報統合／予測機構からの予測情報に基づいて決
   定される観測状態を実現するようにセンサの観測状態を
   制御して、能動的にセンシング環境を変化させることを
   特徴とする請求項２または請求項３のＩＣ基板の認識装
   置。
5. 【請求項５】 逐次的情報統合／予測機構として、ＩＣ
   基板の各構成要素が持つ階層的構造に応じて階層的に配
   置された構成要素を表すノードと、 上記ノードを結合するリンクにより表現される階層型情
   報モデルを用い、 ノード間で情報の伝播を行って情報の統合および予測を
   行うことを特徴とする請求項２，３または請求項４のＩ
   Ｃ基板の認識装置。
6. 【請求項６】 各ノードの内部に、ＩＣ基板の構成要素
   を表現するパラメータの多次元確率分布と、情報そのも
   のの確からしさを表す確率変数を保持することを特徴と
   する請求項５のＩＣ基板の認識装置。