JP6514260B2 - 制御装置及び機械学習装置 - Google Patents

Description

本発明は、制御装置及び機械学習装置に関し、特に放熱板を電子素子に接着する際のロボットの最適な動作パラメータを学習する制御装置及び機械学習方法に関する。

従来、基板に対して電気部品等を実装するために、ロボットを用いる技術がある（例えば、特許文献１）。ロボットを用いた電気部品の実装では、ロボットアームの先に部品を把持するためのツールを装着し、該ツールで把持した電気部品等を基板上の所定の位置に位置決めして実装している。

基板に実装される電気部品の中には、放熱板を装着することが必要な電気部品がある。電気部品に対して放熱板を装着する場合には、図８に例示されるように、電気部品に接する面にシリコン接着剤などの熱伝導体を塗布した放熱板を電気部品の上方の所定位置に位置決めした後に、所定の速度で該放熱板を電子素子との接着位置へと移動させ、放熱板を電気部品へと押しつけることにより放熱板を電気部品に接着する。ここで、電気部品との接着位置へと放熱板を移動させる速度、放熱板の電気部品に対する押しつけ圧力及び押しつけ時間は、接着後の放熱板と電気部品との間の熱伝導体の面積と膜厚に影響する。従来は、ロボットを用いて放熱板を電気部品に対して自動接着する場合、あらかじめ作業者がロボットに対して放熱板を接着する際の動きを教示し、放熱板と電気部品との間の熱伝導体の膜厚を管理しながら接着作業を行っていた。

特開平０８−１１２７８８号公報

ロボットによる放熱板の電気部品に対する自動接着を教示によって行う際に、作業者はロボットの動作を最適化してタクトタイムがより短くなるように教示を行うが、図８（１）の時点で、放熱板を電子部品から遠い位置に位置決めすればタクトタイムは長くなり、一方で放熱板を電子部品から近い位置に位置決めすればタクトタイムは短くなるものの放熱板を接着位置へと移動させるときに所定速度に到達できないことがある。また、タクトタイムを短くするために図８（２）の所定速度を高く設定した場合、熱伝導体が電子部品に衝突した際に飛び散ったり、衝突時の衝撃で電気部品が破損したりすることもある。更に、図８（３）において放熱板を電子部品に押しつける圧力を高くしすぎると電気部品や基板が破損する原因となり、一方で、放熱板を電子部品に押しつける圧力を低くしたり、放熱板を電子部品に押しつける時間を短くすると放熱板の電子部品に対して十分接着しなかったり、適切な膜厚を維持できなくなる。

このように、放熱板を電気部品に対して自動接着する際の動作パラメータの決定はタクトタイムや製品の品質に関係するが、適切な動作パラメータの値は熱伝導体の種別（熱伝導体の粘度に関連する）、熱伝導体の塗布量、温度や湿度（熱伝導体の粘度に影響する）、また、基板や電子部品の種別（基板や電子部品の強度に関連する）などによって変化するため、作業者は試行錯誤を繰り返しながら動作パラメータを決定する必要があり、このことが作業者に大きな負担となるという課題があった。

そこで本発明の目的は、放熱板を電子素子に接着する際のロボットの最適な動作パラメータを決定できる制御装置及び機械学習装置を提供することである。

本発明の制御装置では、ロボットの動作パラメータ（指令位置、アーム速度、押しつけ圧力、押しつけ時間）をランダムに変えて放熱板の電子部品への接着動作を行った際に取得された熱伝導体の膜厚や接着動作のタクトタイムなどのデータを収集し、これらを教師データとした機械学習を行うことにより、あらゆる状態に適応して、熱伝導体の膜厚が適切な状態の製品が短い作業時間で得られる動作パラメータを導出できるようにする。

そして、本発明の一態様は、電気部品に対して熱伝導体を介して放熱板を接着するためのロボットを制御する制御装置であって、前記ロボットによる前記放熱板の接着動作の動作パラメータを学習する機械学習装置を備え、前記機械学習装置は、前記動作パラメータを示す動作パラメータデータ、及び前記熱伝導体に係る状態を示す熱伝導体状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記接着動作の適否判定結果を示す判定データを取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記動作パラメータを前記熱伝導体状態データと関連付けて学習する学習部と、を備える制御装置である。

本発明の他の態様は、電気部品に対して熱伝導体を介して放熱板を接着するためのロボットによる前記放熱板の接着動作の動作パラメータを学習する機械学習装置であって、前記動作パラメータを示す動作パラメータデータ、及び前記熱伝導体に係る状態を示す熱伝導体状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記接着動作の適否判定結果を示す判定データを取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記動作パラメータを前記熱伝導体状態データと関連付けて学習する学習部と、を備える機械学習装置である。

本発明により、人手を介在させることなく、また、熱伝導体の状態や環境に左右されずに適切な膜厚を維持しながら自動接着のタクトタイムを短縮できる。

第１の実施形態による制御装置の概略的な機能ブロック図である。 制御装置の一形態を示す概略的な機能ブロック図である。 機械学習方法の一形態を示す概略的なフローチヤートである。 ニューロンを説明する図である。 ニューラルネットワークを説明する図である。 第２の実施形態による制御装置の概略的な機能ブロック図である。 部品実装システムの一形態を示す概略的な機能ブロック図である。 部品実装システムの他の形態を示す概略的な機能ブロック図である。 従来技術によるロボットによる電気部品への放熱板の接着動作を説明する図である。

以下、本発明の実施形態を図面と共に説明する。
図１は、第１の実施形態による制御装置１０の概略的な機能ブロック図である。制御装置１０は、例えば、基板上に取り付けられた電気部品に対して放熱板を接着するロボット（図示せず）を制御する制御装置として実装することができる。制御装置１０は、ロボットによる放熱板の接着動作における動作パラメータ（指令位置、アーム速度、押しつけ圧力、押しつけ時間など）を、いわゆる機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（コンピュータのＣＰＵ等）を含む機械学習装置２０を備える。制御装置１０が備える機械学習装置２０が学習する動作パラメータは、放熱板の接着に用いる熱伝導体に係る状態と、当該状態におけるロボットによる放熱板の接着動作における動作パラメータとの、相関性を表すモデル構造に相当する。

図１に機能ブロックで示すように、制御装置１０が備える機械学習装置２０は、放熱板を接着に用いる熱伝導体に係る状態に対して設定された動作パラメータを示す動作パラメータデータＳ１と、放熱板を接着に用いる熱伝導体に係る状態を示す熱伝導体状態データＳ２を含む環境の現在状態を表す状態変数Ｓとして観測する状態観測部２２と、設定された動作パラメータの元でのロボットによる放熱板の接着動作の適否判定結果を示す判定データＤを取得する判定データ取得部２４と、状態変数Ｓと判定データＤとを用いて、動作パラメータデータＳ１に熱伝導体状態データＳ２を関連付けて学習する学習部２６とを備える。

状態観測部２２は、例えばコンピュータのＣＰＵの一機能として構成できる。或いは状態観測部２２は、例えばコンピュータのＣＰＵを機能させるためのソフトウェアとして構成できる。状態観測部２２が観測する状態変数Ｓのうち、動作パラメータデータＳ１は、例えば熟練した作業者により申告されて制御装置１０に与えられる動作パラメータの申告データを用いたり、ロボットや該ロボットの制御装置から取得した該ロボットによる放熱板の接着動作のログデータなどを用いたりすることができる。動作パラメータデータＳ１は、例えば放熱板の接着動作の開始位置を示す指令位置、接着動作時のアーム速度、接着動作時の放熱板の電気部品への押しつけ圧力及び押しつけ時間などを用いることができる。

また、状態変数Ｓのうち、熱伝導体状態データＳ２は、例えばロボットに付設された温度センサや湿度センサなどの各種センサ（図示せず）が実測した値や、基板に対する電気部品等の実装を行うシステムに用いられる各種ロボットや該ロボットの制御装置から取得された設定値などを用いることができる。熱伝導体状態データＳ２は、熱伝導対の塗布量（放熱板に熱伝導体を塗布する接着剤装置の設定値等から取得）、熱伝導対の種別（放熱板に熱伝導体を塗布する接着剤装置の設定値等から取得）、基板に対して電気部品等を実装する環境の温度（温度センサから取得）や湿度（湿度センサから取得）などを用いることができる。

判定データ取得部２４は、例えばコンピュータのＣＰＵの一機能として構成できる。或いは判定データ取得部２４は、例えばコンピュータのＣＰＵを機能させるためのソフトウェアとして構成できる。判定データ取得部２４が取得する判定データＤは、ロボットによる放熱板の接着動作が為された後で、例えば該ロボットに付設される第１の測定装置（図示せず）により実測された値や、該ロボットや該ロボットを制御する制御装置から取得された値などを用いることで取得できる。判定データＤは、例えば接着された放熱板と電気部品との間の熱伝導体の厚さ、ロボットによる接着動作に掛かるタクトタイムなどを用いることができる。判定データＤは、状態変数Ｓの下でロボットによる放熱板の接着動作を実行した時の結果を表す指標であって、接着動作の状態を間接的に表すものである。

第１の測定装置は、接着された放熱板と電気部品との間の熱伝導体の厚さを測定するために用いられる測定装置である。第１の測定装置は、例えば電気部品上に位置する放熱板の上端の基準位置からの高さなどを測定するものであり、このようにした場合、あらかじめ熱伝導体が無い状態で電気部品上に置かれた放熱板の高さを基準値として測定して記憶しておき、ロボットによる接着動作の後に第１の測定装置で測定された値から該基準値を減算することにより、接着された放熱板と電気部品との間の熱伝導体の厚さを測定することができる。この演算は、例えば制御装置１０が行ったり、状態観測部２２自体が行ったりすることもできる。第１の測定装置は、電気部品の実装を行うシステムのいずれかの位置に固定されて板も良いし、また、ロボットのアームに取りけられていても良い。第１の測定装置としては、光学的撮像装置、赤外線レーザ、超音波計測器等を採用できる。

このように、制御装置１０が備える機械学習装置２０が学習を進める間、環境においては、センサなどからの熱伝導体状態データＳ２の取得、ロボットによる放熱板の接着作業の実施、第１の測定装置などからの判定データＤの取得が実施される。

学習部２６は、例えばコンピュータのＣＰＵの一機能として構成できる。或いは学習部２６は、例えばコンピュータのＣＰＵを機能させるためのソフトウェアとして構成できる。学習部２６は、機械学習と総称される任意の学習アルゴリズムに従い、ロボットによる放熱板の接着動作の動作パラメータを学習する。学習部２６は、ロボットによる複数の放熱板の接着動作に対して、前述した状態変数Ｓと判定データＤとを含むデータ集合に基づく学習を反復実行することができる。ロボットによる複数の放熱板の接着動作に対する学習サイクルの反復中、状態変数Ｓのうち動作パラメータデータＳ１は、前回までの学習サイクルで得た動作パラメータとし、また判定データＤは、当該決定した動作パラメータに基づくロボットによる放熱板の接着動作に対する適否判定結果とする。

このような学習サイクルを繰り返すことにより、学習部２６は、熱伝導体に係る状態（熱伝導体状態データＳ２）とロボットによる放熱板の接着動作の動作パラメータとの相関性を暗示する特徴を自動的に識別することができる。学習アルゴリズムの開始時には熱伝導体状態データＳ２と動作パラメータとの相関性は実質的に未知であるが、学習部２６は、学習を進めるに従い徐々に特徴を識別して相関性を解釈する。熱伝導体状態データＳ２と動作パラメータとの相関性が、ある程度信頼できる水準まで解釈されると、学習部２６が反復出力する学習結果は、現在状態（つまり熱伝導体に係る状態）に対してどのような動作パラメータの下で放熱板の収納動作をするべきかと言う行動の選択（つまり意思決定）を行うために使用できるものとなる。つまり学習部２６は、学習アルゴリズムの進行に伴い、熱伝導体に係る状態と、当該状態に対してどのような動作パラメータでの放熱板の接着動作をするべきかという行動との、相関性を最適解に徐々に近づけることができる。

上記したように、制御装置１０が備える機械学習装置２０は、状態観測部２２が観測した状態変数Ｓと判定データ取得部２４が取得した判定データＤとを用いて、学習部２６が機械学習アルゴリズムに従い、ロボットが放熱板を電気部品に接着する際の動作パラメータを学習するものである。状態変数Ｓは、動作パラメータデータＳ１及び熱伝導体状態データＳ２といった、外乱の影響を受け難いデータで構成され、また判定データＤは、ロボットによる放熱板の接着動作に掛かったタクトタイムや、接着動作後の放熱板と電気部品との間の熱伝導体の膜厚を取得したりすることにより一義的に求められる。熱伝導体状態データＳ２については、例えば温度センサや湿度センサの能力としての機械の各部の測定精度に依存するが、それ自体高精度の熱伝導体状態データＳ２を観測できることが期待される。また判定データＤは、第１の測定装置の測定精度に依存して、高精度の判定データＤを取得できることが期待される。したがって、制御装置１０が備える機械学習装置２０によれば、学習部２６の学習結果を用いることで、熱伝導体に係る状態に応じた、ロボットによる放熱板の接着動作の動作パラメータを、演算や目算によらずに自動的に、しかも正確に求めることができるようになる。

ロボットによる放熱板の接着動作の動作パラメータを、演算や目算によらずに自動的に求めることができれば、ロボットによる放熱板の接着動作を開始する前に熱伝導体に係る状態（熱伝導体状態データＳ２）を把握するだけで、ロボットが放熱板を接着する際の適切な動作パラメータを迅速に決定することができる。したがって、ロボットによる放熱板の接着動作を効率よく行うことができる。

制御装置１０が備える機械学習装置２０の一変形例として、状態観測部２２は、状態変数Ｓとして、電気部品種別情報Ｓ３や、基盤種別情報Ｓ４を更に観測することができる。電気部品種別情報Ｓ３は、例えば電気部品の形状や強度等を含むことができる。また、基盤種別情報Ｓ４は、基盤の強度等を含むことができる。状態観測部２２は、例えば制御装置１０等にあらかじめ設定される電気部品や基板に係る情報から、電気部品の種別情報Ｓ３、基盤種別情報Ｓ４を取得できる。このようにする場合、該動作パラメータを、熱伝導体状態データＳ２に加えて、電気部品種別情報Ｓ３及び基盤種別情報Ｓ４の少なくともいずれかと関連付けて学習することができる。

上記変形例によれば、機械学習装置２０は、特定の種別の基盤に取り付けられた電気部品や、特定の種別の電気部品に対してロボットによる放熱板の接着動作が行われる場合の動作パラメータを学習することができる。例えば、２種の接着対象となる電気部品について、熱伝導体に係る状態（熱伝導体状態データＳ２）が略同一であっても、当該電気部品の強度や形状等（電気部品種別情報Ｓ３）が異なる場合、該電気部品に対する放熱板の接着動作をする際の動作パラメータが微妙に異なる状況が生じ得る。上記構成によれば、このような状況においても電気部品の強度や形状等（電気部品種別情報Ｓ３）に応じて放熱板の接着動作をする際の動作パラメータを最適化することができる。或いは、学習を進めるうちに熱伝導体に係る状態（熱伝導体状態データＳ２）と電気部品の種別（電気部品種別情報Ｓ３）や基盤の種別（基盤種別情報Ｓ４）との相関性を見出すことができる場合もある。この場合には、電気部品種別情報Ｓ３や基盤種別情報Ｓ４から熱伝導体状態データＳ２をある程度予測できるようになるので、熱伝導体に係る状態の測定精度が低い場合であっても、学習を適正に収束させて物品を収納する際の動作パラメータを最適化することができる。

制御装置１０が備える機械学習装置２０の他の変形例として、学習部２６は、同一の構成を有する複数のロボットのそれぞれについて得られた状態変数Ｓ及び判定データＤを用いて、それらロボットによる放熱板の接着動作の動作パラメータを学習することができる。この構成によれば、一定時間で得られる状態変数Ｓと判定データＤとを含むデータ集合の量を増加できるので、より多様なデータ集合を入力として、ロボットによる放熱板の接着動作の動作パラメータの学習の速度や信頼性を向上させることができる。

上記構成を有する機械学習装置２０では、学習部２６が実行する学習アルゴリズムは特に限定されず、機械学習として公知の学習アルゴリズムを採用できる。図２は、図１に示す制御装置１０の一形態であって、学習アルゴリズムの一例として強化学習を実行する学習部２６を備えた構成を示す。強化学習は、学習対象が存在する環境の現在状態（つまり入力）を観測するとともに現在状態で所定の行動（つまり出力）を実行し、その行動に対し何らかの報酬を与えるというサイクルを試行錯誤的に反復して、報酬の総計が最大化されるような方策（本願の機械学習装置ではロボットによる放熱板の接着動作の動作パラメータ）を最適解として学習する手法である。

図２に示す制御装置１０が備える機械学習装置２０において、学習部２６は、状態変数Ｓに基づいてロボットによる放熱板の接着動作の適否判定結果（次の学習サイクルで用いられる判定データＤに相当）に関連する報酬Ｒを求める報酬計算部２８と、報酬Ｒを用いて、ロボットによる放熱板の接着動作の動作パラメータの価値を表す関数Ｑを更新する価値関数更新部３０とを備える。学習部２６は、価値関数更新部３０が関数Ｑの更新を繰り返すことによって熱伝導体に係る状態に対するロボットによる放熱板の接着動作の動作パラメータを学習する。

学習部２６が実行する強化学習のアルゴリズムの一例を説明する。この例によるアルゴリズムは、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）として知られるものであって、行動主体の状態ｓと、その状態ｓで行動主体が選択し得る行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す関数Ｑ（ｓ，ａ）を学習する手法である。状態ｓで価値関数Ｑが最も高くなる行動ａを選択することが最適解となる。状態ｓと行動ａとの相関性が未知の状態でＱ学習を開始し、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことで、価値関数Ｑを反復して更新し、最適解に近付ける。ここで、状態ｓで行動ａを選択した結果として環境（つまり状態ｓ）が変化したときに、その変化に応じた報酬（つまり行動ａの重み付け）ｒが得られるように構成し、より高い報酬ｒが得られる行動ａを選択するように学習を誘導することで、価値関数Ｑを比較的短時間で最適解に近付けることができる。

価値関数Ｑの更新式は、一般に下記の数１式のように表すことができる。数１式において、ｓ_t及びａ_tはそれぞれ時刻ｔにおける状態及び行動であり、行動ａ_tにより状態はｓ_t+1に変化する。ｒ_t+1は、状態がｓ_tからｓ_t+1に変化したことで得られる報酬である。ｍａｘＱの項は、時刻ｔ＋１で最大の価値Ｑになる（と時刻ｔで考えられている）行動ａを行ったときのＱを意味する。α及びγはそれぞれ学習係数及び割引率であり、０＜α≦１、０＜γ≦１で任意設定される。

学習部２６がＱ学習を実行する場合、状態観測部２２が観測した状態変数Ｓ及び判定データ取得部２４が取得した判定データＤは、更新式の状態ｓに該当し、現在状態（つまり熱伝導体に係る状態）に対するロボットによる放熱板の接着動作の動作パラメータをどのように変更するべきかという行動は、更新式の行動ａに該当し、報酬計算部２８が求める報酬Ｒは、更新式の報酬ｒに該当する。よって価値関数更新部３０は、現在状態のロボットによる放熱板の接着動作の動作パラメータの価値を表す関数Ｑを、報酬Ｒを用いたＱ学習により繰り返し更新する。

報酬計算部２８が求める報酬Ｒは、例えば、ロボットによる放熱板の接着動作の動作パラメータを決定した後に該動作パラメータに基づいてロボットによる放熱板の接着動作を実施したときに、放熱板の接着動作の状態が「適」と判定される場合（例えば、タクトタイムが許容できる範囲に収まる場合、放熱板と電気部品との間の熱伝導体の膜厚が許容できる範囲に収まる場合、など）に正（プラス）の報酬Ｒとし、ロボットによる放熱板の接着動作の動作パラメータを決定した後に該動作パラメータに基づいてロボットによる放熱板の接着動作を実施したときに、放熱板の接着動作の状態が「否」と判定される場合（例えば、タクトタイムが許容できる範囲外の場合、放熱板と電気部品との間の熱伝導体の膜厚が許容できる範囲外の場合、など）に負（マイナス）の報酬Ｒとすることができる。正負の報酬Ｒの絶対値は、互いに同一であってもよいし異なっていてもよい。また、判定の条件として、判定データＤに含まれる複数の値を組み合わせて判定するようにしても良い。

また、ロボットによる放熱板の接着動作の状態の適否判定結果を、「適」及び「否」の二通りだけでなく複数段階に設定することができる。例として、放熱板の接着動作のタイムの許容範囲の最大値がＴ_maxの場合、放熱板の接着動作のタイムＴが、０≦Ｔ＜Ｔ_max／５のときは報酬Ｒ＝５を与え、Ｔ_max／５≦Ｔ＜Ｔ_max／２のときは報酬Ｒ＝２を与え、Ｔ_max／２≦Ｔ≦Ｔ_maxのときは報酬Ｒ＝１を与えるような構成とすることができる。さらに、学習の初期段階はＴ_maxを比較的大きく設定し、学習が進行するにつれてＴ_maxを縮小する構成とすることもできる。

価値関数更新部３０は、状態変数Ｓと判定データＤと報酬Ｒとを、関数Ｑで表される行動価値（例えば数値）と関連付けて整理した行動価値テーブルを持つことができる。この場合、価値関数更新部３０が関数Ｑを更新するという行為は、価値関数更新部３０が行動価値テーブルを更新するという行為と同義である。Ｑ学習の開始時には環境の現在状態とロボットによる放熱板の接着動作の動作パラメータとの相関性は未知であるから、行動価値テーブルにおいては、種々の状態変数Ｓと判定データＤと報酬Ｒとが、無作為に定めた行動価値の値（関数Ｑ）と関連付けた形態で用意されている。なお報酬計算部２８は、判定データＤが分かればこれ対応する報酬Ｒを直ちに算出でき、算出した値Ｒが行動価値テーブルに書き込まれる。

ロボットによる放熱板の接着動作の状態の適否判定結果に応じた報酬Ｒを用いてＱ学習を進めると、より高い報酬Ｒが得られる行動を選択する方向へ学習が誘導され、選択した行動を現在状態で実行した結果として変化する環境の状態（つまり状態変数Ｓ及び判定データＤ）に応じて、現在状態で行う行動についての行動価値の値（関数Ｑ）が書き替えられて行動価値テーブルが更新される。この更新を繰り返すことにより、行動価値テーブルに表示される行動価値の値（関数Ｑ）は、適正な行動ほど大きな値となるように書き換えられる。このようにして、未知であった環境の現在状態（熱伝導体に係る状態）とそれに対する行動（ロボットによる放熱板の接着動作の動作パラメータ）との相関性が徐々に明らかになる。つまり行動価値テーブルの更新により、熱伝導体に係る状態と、ロボットによる放熱板の接着動作の動作パラメータとの関係が最適解に徐々に近づけられる。

図３を参照して、学習部２６が実行する上記したＱ学習のフロー（つまり機械学習方法の一形態）をさらに説明する。まずステップＳＡ０１で、価値関数更新部３０は、その時点での行動価値テーブルを参照しながら、状態観測部２２が観測した状態変数Ｓが示す現在状態で行う行動としてロボットによる放熱板の接着動作の動作パラメータを無作為に選択する。次に価値関数更新部３０は、ステップＳＡ０２で、状態観測部２２が観測している現在状態の状態変数Ｓを取り込み、ステップＳＡ０３で、判定データ取得部２４が取得している現在状態の判定データＤを取り込む。次に価値関数更新部３０は、ステップＳＡ０４で、判定データＤに基づき、ロボットの放熱板の接着動作の動作パラメータが適当であったか否かを判断し、適当であった場合、ステップＳＡ０５で、報酬計算部２８が求めた正の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。ステップＳＡ０４で、ロボットによる放熱板の接着動作の動作パラメータが適当でなかったと判断した場合、ステップＳＡ０７で、報酬計算部２８が求めた負の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。学習部２６は、ステップＳＡ０１〜ＳＡ０７を繰り返すことで行動価値テーブルを反復して更新し、ロボットによる放熱板の接着動作の動作パラメータの学習を進行させる。

前述した強化学習を進める際に、例えばＱ学習の代わりに、ニューラルネットワークを用いることができる。図４Ａは、ニューロンのモデルを模式的に示す。図４Ｂは、図４Ａに示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。

図４Ａに示すニューロンは、複数の入力ｘ（ここでは一例として、入力ｘ₁〜入力ｘ₃）に対する結果ｙを出力するものである。各入力ｘ₁〜ｘ₃には、この入力ｘに対応する重みｗ（ｗ₁〜ｗ₃）が掛けられる。これにより、ニューロンは、次の数２式により表現される出力ｙを出力する。なお、数２式において、入力ｘ、出力ｙ及び重みｗは、すべてベクトルである。また、θはバイアスであり、ｆ_kは活性化関数である。

図４Ｂに示す三層のニューラルネットワークは、左側から複数の入力ｘ（ここでは一例として、入力ｘ１〜入力ｘ３）が入力され、右側から結果ｙ（ここでは一例として、結果ｙ１〜結果ｙ３）が出力される。図示の例では、入力ｘ１、ｘ２、ｘ３のそれぞれに対応の重み（総称してｗ１で表す）が乗算されて、個々の入力ｘ１、ｘ２、ｘ３がいずれも３つのニューロンＮ１１、Ｎ１２、Ｎ１３に入力されている。

図４Ｂでは、ニューロンＮ１１〜Ｎ１３の各々の出力を、総称してｚ１で表す。ｚ１は、入カベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ１のそれぞれに対応の重み（総称してｗ２で表す）が乗算されて、個々の特徴ベクトルｚ１がいずれも２つのニューロンＮ２１、Ｎ２２に入力されている。特徴ベクトルｚ１は、重みｗ１と重みｗ２との間の特徴を表す。

図４Ｂでは、ニューロンＮ２１〜Ｎ２２の各々の出力を、総称してｚ２で表す。ｚ２は、特徴ベクトルｚ１の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ２のそれぞれに対応の重み（総称してｗ３で表す）が乗算されて、個々の特徴ベクトルｚ２がいずれも３つのニューロンＮ３１、Ｎ３２、Ｎ３３に入力されている。特徴ベクトルｚ２は、重みｗ２と重みｗ３との間の特徴を表す。最後にニューロンＮ３１〜Ｎ３３は、それぞれ結果ｙ１〜ｙ３を出力する。
なお、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることも可能である。

制御装置１０が備える機械学習装置２０においては、状態変数Ｓと判定データＤとを入力ｘとして、学習部２６が上記したニューラルネットワークに従う多層構造の演算を行うことで、ロボットによる放熱板の接着動作の動作パラメータ（結果ｙ）を出力することができる。なおニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みＷを学習し、学習した重みＷを用いて価値予測モードで行動の価値判断を行うことができる。なお価値予測モードでは、検出、分類、推論等を行うこともできる。

上記した制御装置１０の構成は、コンピュータのＣＰＵが実行する機械学習方法（或いはソフトウェア）として記述できる。この機械学習方法は、ロボットによる放熱板の接着動作の動作パラメータを学習する機械学習方法であって、コンピュータのＣＰＵが、ロボットによる放熱板の接着動作の動作パラメータを示す動作パラメータデータＳ１、及び熱伝導体に係る状態を示す熱伝導体状態データＳ２を、ロボットによる放熱板の接着動作が行われる環境の現在状態を表す状態変数Ｓとして観測するステップと、ロボットによる放熱板の接着動作の状態の適否判定結果を示す判定データＤを取得するステップと、状態変数Ｓと判定データＤとを用いて、ロボットによる放熱板の接着動作の動作パラメータと熱伝導体状態データＳ２とを関連付けて学習するステップとを有する。

図５は、第２の実施形態による制御装置４０を示す。制御装置４０は、機械学習装置５０と、状態観測部２２が観測する状態変数Ｓの動作パラメータデータＳ１及び熱伝導体状態データＳ２を状態データＳ０として取得する状態データ取得部４２とを備える。状態データ取得部４２が取得する状態データＳ０は、電気部品種別情報Ｓ３や基盤種別情報Ｓ４を含むこともできる。状態データ取得部４２は、機械に付設される各種センサや前述した第１の測定装置、各装置の設定値、作業者による適宜のデータ入力などから、状態データＳ０を取得することができる。

制御装置４０が有する機械学習装置５０は、ロボットによる放熱板の接着動作の動作パラメータを機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（コンピュータのＣＰＵ等）に加えて、学習したロボットによる放熱板の接着動作の動作パラメータをロボット（図示せず）への指令として出力するためのソフトウェア（演算アルゴリズム等）及びハードウェア（コンピュータのＣＰＵ等）を含むものである。制御装置４０が含む機械学習装置５０は、１つの共通のＣＰＵが、学習アルゴリズム、演算アルゴリズム等の全てのソフトウェアを実行する構成を有することもできる。

意思決定部５２は、例えばコンピュータのＣＰＵの一機能として構成できる。或いは意思決定部５２は、例えばコンピュータのＣＰＵを機能させるためのソフトウェアとして構成できる。意思決定部５２は、学習部２６が学習したロボットによる放熱板の接着動作の動作パラメータに基づいて放熱板の接着動作を行うロボットへの指令値Ｃを生成し、生成した指令値Ｃとして出力する。意思決定部５２がロボットによる放熱板の接着動作の動作パラメータに基づく指令値Ｃをロボットに対して出力した場合、これに応じて、環境の状態（動作パラメータデータＳ１）が変化する。

状態観測部２２は、意思決定部５２による環境へのロボットによる放熱板の接着動作の動作パラメータの表示、または出力後に変化した動作パラメータデータＳ１を含む状態変数Ｓを次の学習サイクルにおいて観測する。学習部２６は、変化した状態変数Ｓを用いて、例えば価値関数Ｑ（すなわち行動価値テーブル）を更新することで、ロボットによる放熱板の接着動作の動作パラメータを学習する。意思決定部５２は、学習したロボットによる放熱板の接着動作の動作パラメータの下で状態変数Ｓに応じてロボットによる放熱板の接着動作の動作パラメータに基づく指令値Ｃをロボットへと出力する。このサイクルを繰り返すことにより、機械学習装置５０はロボットによる放熱板の接着動作の動作パラメータの学習を進め、自身が決定するロボットによる放熱板の接着動作の動作パラメータの信頼性を徐々に向上させる。

上記構成を有する制御装置４０が備える機械学習装置５０は、前述した機械学習装置２０と同等の効果を奏する。特に機械学習装置５０は、意思決定部５２の出力によって環境の状態を変化させることができる。他方、機械学習装置２０では、学習部２６の学習結果を環境に反映させるための意思決定部に相当する機能を、外部装置（例えばロボットの制御装置）に求めることができる。

図６は、ロボット６０を備えた一実施形態による部品実装システム７０を示す。部品実装システム７０は、少なくとも同一の機械構成を有する複数のロボット６０、６０’と、それらロボット６０、６０’を互いに接続するネットワーク７２とを備え、複数のロボット６０、６０’のうち少なくとも１つが、上記した制御装置４０を備えるロボット６０として構成される。また部品実装システム７０は、制御装置４０を備えないロボット６０’を含むことができる。ロボット６０、６０’は、基盤上に組みつけられた電気部品の上に放熱板を接着するために必要とされる一般的な構成を有する。

上記構成を有する部品実装システム７０は、複数のロボット６０、６０’のうちで制御装置４０を備えるロボット６０が、学習部２６の学習結果を用いて、熱伝導体に係る状態に応じたロボット６０、６０’よる放熱板の接着動作の動作パラメータを、演算や目算によらずに自動的に、しかも正確に求めることができる。また、少なくとも１つのロボット６０の制御装置４０が、他の複数のロボット６０、６０’のそれぞれについて得られた状態変数Ｓ及び判定データＤに基づき、全てのロボット６０、６０’に共通するロボットによる放熱板の接着動作の動作パラメータを学習し、その学習結果を全てのロボット６０、６０’が共有するように構成できる。したがって部品実装システム７０によれば、より多様なデータ集合（状態変数Ｓ及び判定データＤを含む）を入力として、ロボットによる放熱板の接着動作の動作パラメータの学習の速度や信頼性を向上させることができる。

図７は、ロボット６０’を備えた他の実施形態による部品実装システム７０’を示す。部品実装システム７０’は、機械学習装置５０（又は２０）と、同一の機械構成を有する複数のロボット６０’と、それらロボット６０’と機械学習装置５０（又は２０）とを互いに接続するネットワーク７２とを備える。

上記構成を有する部品実装システム７０’は、機械学習装置５０（又は２０）が、複数のロボット６０’のそれぞれについて得られた状態変数Ｓ及び判定データＤに基づき、全てのロボット６０’に共通するロボットによる放熱板の接着動作の動作パラメータを学習し、その学習結果を用いて、熱伝導体に係る状態に応じたロボットによる放熱板の接着動作の動作パラメータを、演算や目算によらずに自動的に、しかも正確に求めることができる。

部品実装システム７０’は、機械学習装置５０（又は２０）が、ネットワーク７２に用意されたクラウドサーバやセルコントローラ等に存在する構成を有することができる。この構成によれば、複数のロボット６０’のそれぞれが存在する場所や時期に関わらず、必要なときに必要な数のロボット６０’を機械学習装置５０（又は２０）に接続することができる。

部品実装システム７０、７０’に従事する作業者は、機械学習装置５０（又は２０）に
よる学習開始後の適当な時期に、機械学習装置５０（又は２０）によるロボットによる放熱板の接着動作の動作パラメータの学習の到達度（すなわちロボットによる放熱板の接着動作の動作パラメータの信頼性）が要求レベルに達したか否かの判断を実行することができる。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。

例えば、機械学習装置２０，５０が実行する学習アルゴリズム、機械学習装置５０が実行する演算アルゴリズム、制御装置１０、４０が実行する制御アルゴリズム等は、上述したものに限定されず、様々なアルゴリズムを採用できる。

また、上記した実施形態では制御装置１０，４０の上で機械学習装置２０，５０がオンラインで機械学習する例を示しているが、制御装置１０，４０によるロボットの制御時に状態データＳや判定データＤをログデータとして記録しておき、記録したログデータを収集して、収集したログデータから取得した状態データＳや判定データＤに基づいて機械学習装置２０，５０が機械学習するようにしても良い。

１０，４０ 制御装置
２０，５０ 機械学習装置
２２ 状態観測部
２４ 判定データ取得部
２６ 学習部
２８ 報酬計算部
３０ 価値関数更新部
４２ 状態データ取得部
５２ 意思決定部
６０，６０’ ロボット
７０，７０’ 部品実装システム
７２ ネットワーク

Claims (8)

1. 電気部品に対して熱伝導体を介して放熱板を接着するためのロボットを制御する制御装置であって、
   前記ロボットによる前記放熱板の接着動作の動作パラメータを学習する機械学習装置を備え、
   前記機械学習装置は、
   前記動作パラメータを示す動作パラメータデータ、及び前記熱伝導体に係る状態を示す熱伝導体状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、
   前記接着動作の適否判定結果を示す判定データを取得する判定データ取得部と、
   前記状態変数と前記判定データとを用いて、前記動作パラメータを前記熱伝導体状態データと関連付けて学習する学習部と、
   を備える制御装置。
2. 前記状態観測部は、前記状態変数として、前記電気部品の種別を識別する電気部品種別情報及び前記電気部品が組みつけられている基盤の種別を識別する基盤種別情報の少なくともいずれかを更に観測し、
   前記学習部は、前記動作パラメータを前記熱伝導体状態データに加えて、前記電気部品種別情報及び前記基盤種別情報の少なくともいずれかと関連付けて学習する、
   請求項１に記載の制御装置。
3. 前記学習部は、
   前記適否判定結果に関連する報酬を求める報酬計算部と、
   前記報酬を用いて、前記熱伝導体に係る状態に対する前記動作パラメータの価値を表す関数を更新する価値関数更新部とを備える、
   請求項１または２に記載の制御装置。
4. 前記学習部は、前記状態変数と前記判定データとを多層構造で演算する、
   請求項１〜３のいずれか１つに記載の制御装置。
5. 前記学習部による学習結果に基づいて、前記動作パラメータに基づく指令値を出力する意思決定部を更に備える、
   請求項１〜４のいずれか１つに記載の制御装置。
6. 前記学習部は、複数のロボットのそれぞれについて得られた前記状態変数及び前記判定データを用いて、該複数のロボットのそれぞれにおける前記動作パラメータを学習する、
   請求項１〜５のいずれか１つに記載の制御装置。
7. 前記機械学習装置は、クラウドサーバ又はセルコントローラに存在する、
   請求項１〜６のいずれか１つに記載の制御装置。
8. 電気部品に対して熱伝導体を介して放熱板を接着するためのロボットによる前記放熱板の接着動作の動作パラメータを学習する機械学習装置であって、
   前記動作パラメータを示す動作パラメータデータ、及び前記熱伝導体に係る状態を示す熱伝導体状態データを、環境の現在状態を表す状態変数として観測する状態観測部と、
   前記接着動作の適否判定結果を示す判定データを取得する判定データ取得部と、
   前記状態変数と前記判定データとを用いて、前記動作パラメータを前記熱伝導体状態データと関連付けて学習する学習部と、
   を備える機械学習装置。

Images