JP7224265B2 - 機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラム - Google Patents

機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラム Download PDF

Info

Publication number
JP7224265B2
JP7224265B2 JP2019169007A JP2019169007A JP7224265B2 JP 7224265 B2 JP7224265 B2 JP 7224265B2 JP 2019169007 A JP2019169007 A JP 2019169007A JP 2019169007 A JP2019169007 A JP 2019169007A JP 7224265 B2 JP7224265 B2 JP 7224265B2
Authority
JP
Japan
Prior art keywords
unit
substrate
processing unit
substrates
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019169007A
Other languages
English (en)
Other versions
JP2021048213A (ja
Inventor
顕 中村
貴正 中村
恒男 鳥越
裕史 大滝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ebara Corp
Original Assignee
Ebara Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ebara Corp filed Critical Ebara Corp
Priority to JP2019169007A priority Critical patent/JP7224265B2/ja
Priority to CN202080065900.8A priority patent/CN114430707A/zh
Priority to KR1020227012315A priority patent/KR20220063230A/ko
Priority to US17/761,464 priority patent/US20220344164A1/en
Priority to PCT/JP2020/034234 priority patent/WO2021054236A1/ja
Priority to TW109131815A priority patent/TW202114021A/zh
Publication of JP2021048213A publication Critical patent/JP2021048213A/ja
Application granted granted Critical
Publication of JP7224265B2 publication Critical patent/JP7224265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H01L21/04—Manufacture or treatment of semiconductor devices or of parts thereof the devices having potential barriers, e.g. a PN junction, depletion layer or carrier concentration layer
    • H01L21/18—Manufacture or treatment of semiconductor devices or of parts thereof the devices having potential barriers, e.g. a PN junction, depletion layer or carrier concentration layer the devices having semiconductor bodies comprising elements of Group IV of the Periodic Table or AIIIBV compounds with or without impurities, e.g. doping materials
    • H01L21/30—Treatment of semiconductor bodies using processes or apparatus not provided for in groups H01L21/20 - H01L21/26
    • H01L21/302—Treatment of semiconductor bodies using processes or apparatus not provided for in groups H01L21/20 - H01L21/26 to change their surface-physical characteristics or shape, e.g. etching, polishing, cutting
    • H01L21/304—Mechanical treatment, e.g. grinding, polishing, cutting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B37/00—Lapping machines or devices; Accessories
    • B24B37/04—Lapping machines or devices; Accessories designed for working plane surfaces
    • B24B37/07—Lapping machines or devices; Accessories designed for working plane surfaces characterised by the movement of the work or lapping tool
    • B24B37/10—Lapping machines or devices; Accessories designed for working plane surfaces characterised by the movement of the work or lapping tool for single side lapping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B37/00—Lapping machines or devices; Accessories
    • B24B37/005—Control means for lapping machines or devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B37/00—Lapping machines or devices; Accessories
    • B24B37/27—Work carriers
    • B24B37/30—Work carriers for single side lapping of plane surfaces
    • B24B37/32—Retaining rings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B37/00—Lapping machines or devices; Accessories
    • B24B37/34—Accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B51/00—Arrangements for automatic control of a series of individual steps in grinding a workpiece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H01L21/02041—Cleaning
    • H01L21/02096—Cleaning only mechanical cleaning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67011—Apparatus for manufacture or treatment
    • H01L21/67092—Apparatus for mechanical treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67011—Apparatus for manufacture or treatment
    • H01L21/67155—Apparatus for manufacturing or treating in a plurality of work-stations
    • H01L21/67207—Apparatus for manufacturing or treating in a plurality of work-stations comprising a chamber adapted to a particular process
    • H01L21/67219—Apparatus for manufacturing or treating in a plurality of work-stations comprising a chamber adapted to a particular process comprising at least one polishing chamber

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Container, Conveyance, Adherence, Positioning, Of Wafer (AREA)
  • Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
  • Finish Polishing, Edge Sharpening, And Grinding By Specific Grinding Devices (AREA)
  • Mechanical Treatment Of Semiconductor (AREA)

Description

本発明は、機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラムに関する。
半導体装置の配線形成プロセスとして、配線溝およびビアホールに金属（配線材料）を埋め込むようにしたプロセス（いわゆる、ダマシンプロセス）が知られている。これは、層間絶縁膜に予め形成された配線溝やビアホールに、アルミニウムや銅、銀などの金属を埋め込んだ後、余分な金属を化学機械研磨（ＣＭＰ）によって除去して平坦化するプロセス技術である。
図１Ａ～図１Ｄは、半導体装置における銅配線形成例を工程順に示す図である。まず、図１Ａに示すように、半導体素子が形成された半導体基材１上の導電層１ａの上に、たとえばＳｉＯ2からなる酸化膜やＬｏｗ－ｋ材膜などの絶縁膜（層間絶縁膜）２を堆積し、この絶縁膜２の内部に、たとえばリソグラフィ・エッチング技術により、配線用の微細凹部としてのビアホール３と配線溝４を形成し、その上にＴａＮなどからなるバリア層５、さらにその上に電界めっきにおける給電層としてのシード層６をスパッタリングなどにより形成する。
そして、図１Ｂに示すように、基板（研磨対象物）Ｗの表面に銅めっきを施すことで、基板Ｗのビアホール３および配線溝４内に銅を充填させるとともに、絶縁膜２上に銅膜７を堆積させる。その後、図１Ｃに示すように、化学機械研磨（ＣＭＰ）などにより、バリア層５上のシード層６および銅膜７を除去してバリア層５の表面を露出させ、さらに、図１Ｄに示すように、絶縁膜２上のバリア層５、および必要に応じて、絶縁膜２の表層の一部を除去して、絶縁膜２の内部にシード層６と銅膜７からなる配線（銅配線）８を形成する。
研磨プロセスにおけるスループットを向上させるため、２つの研磨ユニットと１つの洗浄ユニットとを備えた研磨装置が開発されている。このような研磨装置において、研磨後の基板（研磨対象物）は、２つの研磨ユニットから１つの洗浄ユニットに順次供給される。この場合、１枚の基板が洗浄工程に入ると、当該洗浄工程が終了するまで、他の基板は洗浄工程に入ることができない。そのため、研磨を終了した基板に対する洗浄を研磨直後に開始することができず、１つ前の基板の洗浄が終了まで待機する状況が発生する。
ここで、金属膜研磨プロセス、たとえば銅配線形成プロセスにおける銅膜研磨プロセスにおいて、研磨後の基板が研磨終了後にそのままウェットな状態で放置されると、基板表面の銅配線を形成する銅の腐食が進行する。銅は、半導体回路において配線を形成するため、その腐食は配線抵抗の増大に繋がる。
研磨終了後、洗浄を開始するまでの間における、銅配線を構成する銅の腐食の進行を遅くするために、基板表面に純水を供給して、研磨後の基板表面が直接大気に晒されないようにすることが一般的に行われている。しかしながら、この方法では、銅の腐食を十分に抑制することはできない。銅の腐食をより効果的に抑制するためには、研磨終了から洗浄開始までの時間自体を極力短くすることが求められる。
従来、たとえば基板処理装置において、基板の搬送、処理および洗浄の工程を予め定められたタイムチャートに従って管理するスケジューラが提案されている。特許第５０２３１４６号公報（特許文献１）では、第１研磨ユニットおよび第２研磨ユニットでの平均研磨時間と、搬送機構での平均搬送時間と、洗浄ユニットでの平均洗浄時間とを予め記憶しておき、タイムチャートの作成時に、基板に対する研磨終了から洗浄開始までの時間を最短にするように、予め記憶しておいた平均研磨時間、平均搬送時間および平均洗浄時間に基づいて、第１研磨ユニットおよび第２研磨ユニットでの研磨開始時刻を決定することが提案されている。
特許第５０２３１４６号公報
しかしながら、本件発明者の知見によれば、予め定められたタイムチャートに従って工程を管理する方法では、以下のような不都合がある。すなわち、研磨ユニットでの研磨時間は終点検出により決定されるため、研磨時間にばらつきが存在する。これは、異なる製品であれば異なるレシピで終点検出するからであり、また、同じレシピであっても研磨時間と消耗部材の使用時間との間に相関があるからである。また、機械的なばらつきにより、各ユニットの動作時間にもばらつきが存在する。また、特定のユニット同士の動作にインターロックがあり、任意に動作できない場合がある。また、複数の処理ルートが混在する場合もある。また、特定のユニットが故障して突発的な通行止めが発生する場合もある。したがって、たとえば平均搬送時間がＸ秒であるのに対し、実際の動作時間が０．５秒遅くなった場合に、タイムチャートが後ろにずれることで、次の動作に大きな遅れが生じる状態となる可能性がある。
本発明は、以上のような点を考慮してなされたものである。本発明の目的は、基板の搬送開始のタイミングおよびその搬送ルートを装置内におけるその時その時の状態に応じて適切に決定することを可能にできる機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラムを提供すること、または、基板の搬送ルートが予め決められている場合に、基板の搬送開始のタイミングを装置内におけるその時その時の状態に応じて適切に決定することを可能にできる機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラムを提供すること、または、処理ユニットにおける表面処理時間を精度よく予測することを可能にできる機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラムを提供することにある。
本発明の第１の態様に係る機械学習装置は、
複数枚の基板を収容するカセットが載置される載置部と、
基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
表面処理後の基板を洗浄する洗浄ユニットと、
前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行う機械学習装置であって、
前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得部と、
ある状態において、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を行うことに対する価値を予測する予測モデルを有し、前記状態情報取得部により取得された状態情報を入力として前記予測モデルに基づいて１つの行動を選択する行動選択部と、
前記行動選択部により選択された行動を行うように前記制御部に指示信号を送信する指示信号送信部と、
予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数と、表面処理後の基板が前記洗浄ユニットにて洗浄開始となるまでに待たされた待ち時間とを含む動作結果を取得する動作結果取得部と、
前記処理枚数が多くかつ前記待ち時間が短いほど報酬が大きくなるように、前記動作結果取得部により取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する予測モデル更新部と、
を備える。
このような態様によれば、機械学習装置は、基板処理装置内におけるその時その時の基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報に応じて、予測モデルに基づいて、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を選択することを試行錯誤し、あらかじめ定められた枚数の基板処理終了後、単位時間あたりの処理枚数が多くかつ表面処理後の基板が洗浄開始となるまでに待たされた待ち時間が短くなるほど大きな報酬を獲得し、当該報酬に基づいて予測モデルを更新することを繰り返すことにより、予測モデルの機械学習（強化学習）を行っている。そのため、このような機械学習装置により生成された学習済みの予測モデルを利用することにより、基板の搬送開始のタイミングおよびその搬送ルートを、基板処理装置内におけるその時その時の状態に応じて、（単位時間あたりの処理枚数が多くかつ待ち時間が短くなるように）適切に決定することが可能になる。
本発明の第２の態様に係る機械学習装置は、第１の態様に係る機械学習装置であって、
前記第１処理ユニットおよび第２処理ユニットは、基板を研磨する研磨ユニットである。
本発明の第３の態様に係る機械学習装置は、第１または２の態様に係る機械学習装置であって、
前記状態情報は、前記第１処理ユニットおよび第２処理ユニットにて使用される消耗部材の使用時間をさらに含む。
本発明の第４の態様に係る機械学習装置は、第２の態様を引用する第３の態様に係る機械学習装置であって、
前記消耗部材は、回転テーブルに取り付けられた研磨パッド、トップリングに取り付けられて基板の外周を支持するリテーナリング、トップリングに取り付けられて基板の裏面を支持する弾性膜のうちの１つまたは２つ以上である。
本発明の第５の態様に係る機械学習装置は、第１～４のいずれかの態様に係る機械学習装置であって、
前記状態情報は、前記カセット内に収容された基板に予め施されている処理のレシピ情報をさらに含む。
本発明の第６の態様に係る機械学習装置は、第１～５のいずれかの態様に係る機械学習装置であって、
前記状態情報は、前記第１処理ユニットおよび第２処理ユニットの故障発生情報または連続運転時間をさらに含む。
本発明の第７の態様に係る機械学習装置は、第１～６のいずれかの態様に係る機械学習装置であって、
前記状態情報は、前記第１処理ユニットおよび第２処理ユニットでの表面処理のレシピ情報をさらに含む。
本発明の第８の態様に係る基板処理装置は、
複数枚の基板を収容するカセットが載置される載置部と、
基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
表面処理後の基板を洗浄する洗浄ユニットと、
前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
を備えた基板処理装置であって、
前記制御部は、第１～７のいずれかの態様に係る機械学習装置により生成された学習済みモデルを有し、当該基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を入力として、前記学習済みモデルに基づいて、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を選択し、選択した行動を行うように前記搬送部の動作を制御する。
本発明の第９の態様に係る学習済みモデル（チューニングされたニューラルネットワークシステム）は、
複数枚の基板を収容するカセットが載置される載置部と、
基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
表面処理後の基板を洗浄する洗浄ユニットと、
前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行うことにより生成された学習済みモデル（チューニングされたニューラルネットワークシステム）であって、
入力層と、入力層に接続された１または２以上の中間層と、中間層に接続された出力層とを有し、
前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報が取得され、取得された状態情報が入力層に入力され、それにより出力層から出力される、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を行うことに対する価値に基づいて１つの行動が選択され、選択された行動を行うように前記搬送部の動作が制御され、予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数と、表面処理後の基板が前記洗浄ユニットにて洗浄開始となるまでに待たされた待ち時間とを含む動作結果が取得され、前記処理枚数が多くかつ前記待ち時間が短いほど報酬が大きくなるように、取得された動作結果に基づいて報酬が計算され、当該報酬に基づいて各ノードのパラメータが更新される処理が繰り返されることにより、前記処理枚数が多くかつ前記待ち時間が短くなるような基板の搬送開始のタイミングおよびその搬送ルートを強化学習したものであり、
前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報が入力層に入力されると、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を行うことに対する価値を予測して出力層から出力するよう、コンピュータを機能させるための学習済みモデル（チューニングされたニューラルネットワークシステム）である。
本発明の第１０の態様に係る機械学習方法は、
複数枚の基板を収容するカセットが載置される載置部と、
基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
表面処理後の基板を洗浄する洗浄ユニットと、
前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
を有する基板処理装置または当該基板処理装置のシミュレータに対して、コンピュータが実行する機械学習方法であって、
前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得ステップと、
前記状態情報取得ステップにおいて取得された状態情報を入力として、ある状態において、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を行うことに対する価値を予測する予測モデルに基づいて、１つの行動を選択する行動選択ステップと、
前記行動選択ステップにおいて選択された行動を行うように前記制御部に指示信号を送信する指示信号送信ステップと、
予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数と、表面処理後の基板が前記洗浄ユニットにて洗浄開始となるまでに待たされた待ち時間とを含む動作結果を取得する動作結果取得ステップと、
前記処理枚数が多くかつ前記待ち時間が短いほど報酬が大きくなるように、前記動作結果取得ステップにおいて取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する予測モデル更新ステップと、
を含む。
本発明の第１１の態様に係る機械学習プログラムは、
複数枚の基板を収容するカセットが載置される載置部と、
基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
表面処理後の基板を洗浄する洗浄ユニットと、
前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行うよう、コンピュータを機能させるための機械学習プログラムであって、
前記コンピュータを、
前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得部と、
ある状態において、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を行うことに対する価値を予測する予測モデルを有し、前記状態情報取得部により取得された状態情報を入力として前記価値関数に基づいて１つの行動を選択する行動選択部と、
前記行動選択部により選択された行動を行うように前記制御部に指示信号を送信する指示信号送信部と、
予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数と、表面処理後の基板が前記洗浄ユニットにて洗浄開始となるまでに待たされた待ち時間とを含む動作結果を取得する動作結果取得部と、
前記処理枚数が多くかつ前記待ち時間が短いほど報酬が大きくなるように、前記動作結果取得部により取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する予測モデル更新部と、
として機能させる。
本発明の第１２の態様に係る機械学習装置は、
複数枚の基板を収容するカセットが載置される載置部と、
基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
表面処理後の基板を洗浄する洗浄ユニットと、
前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
前記カセットから取り出される基板の順番と前記第１処理ユニットおよび第２処理ユニットのどちらに搬送するかとの対応関係が規定された搬送ルールに従って、前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部であって、
を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行う機械学習装置であって、
前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得部と、
ある状態において、新たな基板をカセットから取り出すか否かの行動を行うことに対する価値を予測する予測モデルを有し、前記状態情報取得部により取得された状態情報を入力として前記予測モデルに基づいて１つの行動を選択する行動選択部と、
前記行動選択部により選択された行動を行うように前記制御部に指示信号を送信する指示信号送信部と、
予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数を含む動作結果を取得する動作結果取得部と、
前記処理枚数が多いほど報酬が大きくなるように、前記動作結果取得部により取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する予測モデル更新部と、
を備える。
このような態様によれば、機械学習装置は、基板処理装置内におけるその時その時の基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報に応じて、予測モデルに基づいて、新たな基板をカセットから取り出すか否かの行動を選択することを試行錯誤し、あらかじめ定められた枚数の基板処理終了後、単位時間あたりの処理枚数が多くなるほど大きな報酬を獲得し、当該報酬に基づいて予測モデルを更新することを繰り返すことにより、予測モデルの機械学習（強化学習）を行っている。そのため、このような機械学習装置により生成された学習済みの予測モデルを利用することにより、基板の搬送開始のタイミングを、装置内におけるその時その時の状態に応じて、（単位時間あたりの処理枚数が多くなるように）適切に決定することが可能になる。
本発明の第１３の態様に係る機械学習装置は、第１２の態様に係る機械学習装置であって、
前記第１処理ユニットおよび第２処理ユニットは、基板を研磨する研磨ユニットである。
本発明の第１４の態様に係る機械学習装置は、第１２または１３の態様に係る機械学習装置であって、
前記状態情報は、前記第１処理ユニットおよび第２処理ユニットにて使用される消耗部材の使用時間をさらに含む。
本発明の第１５の態様に係る機械学習装置は、第１３の態様を引用する第１４の態様に係る機械学習装置であって、
前記消耗部材は、回転テーブルに取り付けられた研磨パッド、トップリングに取り付けられて基板の外周を支持するリテーナリング、トップリングに取り付けられて基板の裏面を支持する弾性膜のうちの１つまたは２つ以上である。
本発明の第１６の態様に係る機械学習装置は、第１２～１５のいずれかの態様に係る機械学習装置であって、
前記状態情報は、前記カセット内に収容された基板に予め施されている処理のレシピ情報をさらに含む。
本発明の第１７の態様に係る機械学習装置は、第１２～１６のいずれかの態様に係る機械学習装置であって、
前記状態情報は、前記第１処理ユニットおよび第２処理ユニットの連続運転時間をさらに含む。
本発明の第１８の態様に係る機械学習装置は、第１２～１７のいずれかの態様に係る機械学習装置であって、
前記状態情報は、前記第１処理ユニットおよび第２処理ユニットでの表面処理のレシピ情報をさらに含む。
本発明の第１９の態様に係る基板処理装置は、
複数枚の基板を収容するカセットが載置される載置部と、
基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
表面処理後の基板を洗浄する洗浄ユニットと、
前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
前記カセットから取り出される基板の順番と前記第１処理ユニットおよび第２処理ユニットのどちらに搬送するかとの対応関係が規定された搬送ルールに従って、前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
を備えた基板処理装置であって、
前記制御部は、第１２～１８のいずれかの態様に係る機械学習装置により生成された学習済みモデルを有し、当該基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を入力として、前記学習済みモデルに基づいて、新たな基板をカセットから取り出すか否かの行動を選択し、選択した行動を行うように前記搬送部の動作を制御する。
本発明の第２０の態様に係る学習済みモデル（チューニングされたニューラルネットワークシステム）は、
複数枚の基板を収容するカセットが載置される載置部と、
基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
表面処理後の基板を洗浄する洗浄ユニットと、
前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
前記カセットから取り出される基板の順番と前記第１処理ユニットおよび第２処理ユニットのどちらに搬送するかとの対応関係が規定された搬送ルールに従って、前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行うことにより生成された学習済みモデル（チューニングされたニューラルネットワークシステム）であって、
入力層と、入力層に接続された１または２以上の中間層と、中間層に接続された出力層とを有し、
前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報が取得され、取得された状態情報が入力層に入力され、それにより出力層から出力される、新たな基板をカセットから取り出すか否かの行動を行うことに対する価値に基づいて１つの行動が選択され、選択された行動を行うように前記搬送部の動作が制御され、予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数を含む動作結果が取得され、前記処理枚数が多いほど報酬が大きくなるように、取得された動作結果に基づいて報酬が計算され、当該報酬に基づいて各ノードのパラメータが更新される処理が繰り返されることにより、前記処理枚数が多くなるような基板の搬送開始のタイミングを強化学習したものであり、
前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報が入力層に入力されると、新たな基板をカセットから取り出すか否かの行動を行うことに対する価値を予測して出力層から出力するよう、コンピュータを機能させるための学習済みモデル（チューニングされたニューラルネットワークシステム）である。
本発明の第２１の態様に係る機械学習方法は、
複数枚の基板を収容するカセットが載置される載置部と、
基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
表面処理後の基板を洗浄する洗浄ユニットと、
前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
前記カセットから取り出される基板の順番と前記第１処理ユニットおよび第２処理ユニットのどちらに搬送するかとの対応関係が規定された搬送ルールに従って、前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
を有する基板処理装置または当該基板処理装置のシミュレータに対して、コンピュータが実行する機械学習方法であって、
前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得ステップと、
前記状態情報取得ステップにおいて取得された状態情報を入力として、ある状態において、新たな基板をカセットから取り出すか否かの行動を行うことに対する価値を予測する予測モデルに基づいて、１つの行動を選択する行動選択ステップと、
前記行動選択ステップにおいて選択された行動を行うように前記制御部に指示信号を送信する指示信号送信ステップと、
予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数を含む動作結果を取得する動作結果取得ステップと、
前記処理枚数が多いほど報酬が大きくなるように、前記動作結果取得ステップにおいて取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する予測モデル更新ステップと、
を含む。
本発明の第２２の態様に係る機械学習プログラムは、
複数枚の基板を収容するカセットが載置される載置部と、
基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
表面処理後の基板を洗浄する洗浄ユニットと、
前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
前記カセットから取り出される基板の順番と前記第１処理ユニットおよび第２処理ユニットのどちらに搬送するかとの対応関係が規定された搬送ルールに従って、前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行うよう、コンピュータを機能させるための機械学習プログラムであって、
前記コンピュータを、
前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得部と、
ある状態において、新たな基板をカセットから取り出すか否かの行動を行うことに対する価値を予測する予測モデルを有し、前記状態情報取得部により取得された状態情報を入力として前記予測モデルに基づいて１つの行動を選択する行動選択部と、
前記行動選択部により選択された行動を行うように前記制御部に指示信号を送信する指示信号送信部と、
予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数を含む動作結果を取得する動作結果取得部と、
前記処理枚数が多いほど報酬が大きくなるように、前記動作結果取得部により取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する価値関数更新部と、
として機能させる。
本発明の第２３の態様に係る機械学習装置は、
基板を表面処理する処理ユニットにおける表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間と、前記処理ユニットにおける実際の表面処理時間との関係性を機械学習する機械学習装置であって、
前記処理ユニットでの表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間とを入力情報として取得する入力情報取得部と、
前記処理ユニットでの表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間とに基づいて、前記処理ユニットにおける表面処理時間を予測する予測モデルを有し、前記入力情報取得部により取得された入力情報を入力として、前記予測モデルに基づいて、前記処理ユニットにおける表面処理時間を予測して出力する予測部と、
前記処理ユニットにおける実際の表面処理時間を取得する実表面処理時間取得部と、
前記実表面処理時間取得部により取得された実際の表面処理時間と前記予測部により予測された表面処理時間との誤差に応じて前記予測モデルを更新する予測モデル更新部と、
を備える。
このような態様によれば、機械学習装置は、処理ユニットでの表面処理のレシピ情報と、基板情報と、処理ユニット内にて使用される消耗部材の使用時間と、処理ユニットの連続運転時間と、処理ユニットにおける実際の表面処理時間との対応関係を教師データとして、予測モデルの機械学習（教師あり学習）を行っている。そのため、このような機械学習装置により生成された学習済みの予測モデルを利用することにより、処理ユニットでの表面処理のレシピ情報と、基板情報だけでなく、処理ユニット内にて使用される消耗部材の使用時間と、処理ユニットの連続運転時間をも考慮して、処理ユニットにおける表面処理時間を精度よく予測することが可能となり、これにより、タイムチャートの作成時に、当該予測された表面処理時間に基づいて、基板の搬送開始のタイミングを精度よく決定することが可能になる。
本発明の第２４の態様に係る機械学習装置は、第２３の態様に係る機械学習装置であって、
前記処理ユニットは、基板を研磨する研磨ユニットである。
本発明の第２５の態様に係る機械学習装置は、第２４の態様に係る機械学習装置であって、
前記消耗部材は、回転テーブルに取り付けられた研磨パッド、トップリングに取り付けられて基板の外周を支持するリテーナリング、トップリングに取り付けられて基板の裏面を支持する弾性膜のうちの１つまたは２つ以上である。
本発明の第２６の態様に係る基板処理装置は、
複数枚の基板を収容するカセットが載置される載置部と、
基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
表面処理後の基板を洗浄する洗浄ユニットと、
前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
前記カセットから取り出される基板の順番と前記第１処理ユニットおよび第２処理ユニットのどちらに搬送するか、およびその搬送開始時刻との対応関係が規定された搬送ルールに従って、前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
を備えた基板処理装置であって、
前記制御部は、第２３～２５のいずれかの態様に係る機械学習装置により生成された学習済みモデルを有し、前記カセットに収容された各基板に対して、前記第１処理ユニットまたは第２処理ユニットでの表面処理のレシピ情報と、基板情報と、前記第１処理ユニットまたは第２処理ユニット内にて使用される消耗部材の使用時間と、前記第１処理ユニットまたは第２処理ユニットの連続運転時間とを入力として、前記学習済みモデルに基づいて、前記第１処理ユニットまたは第２処理ユニットにおける表面処理時間を予測し、予測した表面処理時間に基づいて、前記搬送開始時刻を決定する。
本発明の第２７の態様に係る学習済みモデル（チューニングされたニューラルネットワークシステム）は、
基板を表面処理する処理ユニットにおける表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間と、前記処理ユニットにおける実際の表面処理時間との関係性を機械学習することにより生成された学習済みモデル（チューニングされたニューラルネットワークシステム）であって、
入力層と、入力層に接続された１または２以上の中間層と、中間層に接続された出力層とを有し、
前記処理ユニットでの表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間とが入力層に入力され、それにより出力層から出力される出力結果と、前記処理ユニットにおける実際の表面処理時間とが比較され、その誤差に応じて各ノードのパラメータが更新される処理が繰り返されることにより、前記処理ユニットでの表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間と、前記処理ユニットにおける実際の表面処理時間との関係性を機械学習したものであり、
前記処理ユニットでの表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間とが入力層に入力されると、前記処理ユニットにおける表面処理時間を予測して出力層から出力するよう、コンピュータを機能させるための学習済みモデル（ニューラルネットワークシステム）である。
本発明の第２８の態様に係る機械学習方法は、
基板を表面処理する処理ユニットにおける表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間と、前記処理ユニットにおける実際の表面処理時間との関係性を機械学習する、コンピュータが実行する機械学習方法であって、
前記処理ユニットでの表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間とを入力情報として取得する入力情報取得ステップと、
前記処理ユニットでの表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間とに基づいて、前記処理ユニットにおける表面処理時間を予測する予測モデルを利用して、前記入力情報取得ステップにおいて取得された入力情報を入力として、前記予測モデルに基づいて、前記処理ユニットにおける表面処理時間を予測する予測ステップと、
前記処理ユニットにおける実際の表面処理時間を取得する実表面処理時間取得ステップと、
前記実表面処理時間取得ステップにおいて取得された実際の表面処理時間と前記予測ステップにおいて予測された表面処理時間との誤差に応じて前記予測モデルを更新する学習モデル更新ステップと、
を含む。
本発明の第２９の態様に係る機械学習プログラムは、
基板を表面処理する処理ユニットにおける表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間と、前記処理ユニットにおける実際の表面処理時間との関係性を機械学習するよう、コンピュータを機能させるための機械学習プログラムであって、
前記コンピュータを、
前記処理ユニットでの表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間とを入力情報として取得する入力情報取得部と、
前記処理ユニットでの表面処理のレシピ情報と、基板情報と、前記処理ユニット内にて使用される消耗部材の使用時間と、前記処理ユニットの連続運転時間とに基づいて、前記処理ユニットにおける表面処理時間を予測する予測モデルを有し、前記入力情報取得部により取得された入力情報を入力として、前記学習モデルに基づいて、前記処理ユニットにおける表面処理時間を予測して出力する予測部と、
前記処理ユニットにおける実際の表面処理時間を取得する実表面処理時間取得部と、
前記実表面処理時間取得部により取得された実際の表面処理時間と前記予測部により予測された表面処理時間との誤差に応じて前記予測モデルを更新する学習モデル更新部と、
として機能させる。
本発明によれば、基板の搬送開始のタイミングおよびその搬送ルートを装置内におけるその時その時の状態に応じて適切に決定することが可能になる、または、基板の搬送ルートが予め決められている場合に、基板の搬送開始のタイミングを装置内におけるその時その時の状態に応じて適切に決定することが可能になる、または、処理ユニットにおける表面処理時間を精度よく予測することが可能になる。
図１Ａは、半導体装置における銅配線形成例を工程順に示す図である。 図１Ｂは、半導体装置における銅配線形成例を工程順に示す図である。 図１Ｃは、半導体装置における銅配線形成例を工程順に示す図である。 図１Ｄは、半導体装置における銅配線形成例を工程順に示す図である。 図２は、一実施の形態に係る基板処理装置の全体構成の概要を示す平面図である。 図３は、図２に示す基板処理装置の概要を示す構成図である。 図４は、スループットが最大となるように図２に示す基板処理装置を制御部により制御するときのタイムチャートである。 図５は、第１の実施形態に係る機械学習装置の構成を示すブロック図である。 図６は、第１の実施形態に係る予測モデルの構成の一例を説明するための模式図である。 図７は、第１の実施形態に係る機械学習方法の一例を示すフローチャートである。 図８は、第２の実施形態に係る機械学習装置の構成を示すブロック図である。 図９は、第２の実施形態に係る予測モデルの構成を説明するための模式図である。 図１０は、第２の実施形態に係る機械学習方法の一例を示すフローチャートである。 図１１は、第３の実施形態に係る機械学習装置の構成を示すブロック図である。 図１２は、第３の実施形態に係る予測モデルの構成を説明するための模式図である。 図１３は、第３の実施形態に係る機械学習方法の一例を示すフローチャートである。
以下に、添付の図面を参照して、実施の形態を詳細に説明する。なお、以下の説明および以下の説明で用いる図面では、同一に構成され得る部分について、同一の符号を用いるとともに、重複する説明を省略する。
以下に説明する実施の形態では、図１Ｂに示すように、表面に銅膜７が成膜された基板Ｗに対し、図１Ｃに示すように、バリア層５の上の銅膜７およびシード層６を研磨除去（第１研磨）してバリア層７を露出させ、次いで、図１Ｄに示すように、絶縁膜２上のバリア層５および必要に応じて絶縁膜２の表層の一部を研磨除去（第２研磨）する、２段研磨を行う例を説明するが、２段研磨はあくまで一例であり、本実施の形態は、このような２段研磨に限定されないことは言うまでもない。
図２は、一実施の形態に係る基板処理装置１０の全体構成の概要を示す平面図であり、図３は、図２に示す基板処理装置１０の概要を示す構成図である。
図２に示すように、本実施の形態に係る基板処理装置１０は、研磨装置であり、略矩形形状のハウジング１１と、複数枚の基板（研磨対象物）を収容する複数（図示された例では３つ）のカセット１２が載置される載置部１４と、基板を表面処理（研磨）する第１処理ユニット２０および第２処理ユニット３０と、表面処理（研磨）後の基板を洗浄する洗浄ユニット４０と、載置部１４と第１処理ユニット２０および第２処理ユニット３０と洗浄ユニット４０との間で基板を搬送する搬送部５０と、第１処理ユニット２０および第２処理ユニット３０と洗浄ユニット４０と搬送部５０の動作を制御する制御部７０と、を有している。
このうち載置部１４に載置されるカセット１２は、たとえばＳＭＩＦ（Standard Manufacturing Interface）ポッドまたはＦＯＵＰ（Font Opening Unified Pod）からなる密閉容器内に収容される。
図２に示すように、第１処理ユニット２０および第２処理ユニット３０は、ハウジング１１の内部のうち、その長手方向に沿った一側（図２における上側）に配置されている。本実施の形態では、第１処理ユニット２０および第２処理ユニット３０は、いずれも、基板を研磨する研磨ユニットである。
第１処理ユニット２０は、第１研磨部２２と第２研磨部２４とを有している。第１処理ユニット２０の第１研磨部２２は、基板Ｗを着脱自在に保持するトップリング２２ａと、表面に研磨面を有する研磨パッドが取り付けられた回転テーブル２２ｂとを有しており、第２研磨部２４は、基板Ｗを着脱自在に保持するトップリング２４ａと、表面に研磨面を有する研磨パッドが取り付けられた回転テーブル２４ｂとを有している。同様に、第２処理ユニット３０は、第１研磨部３２と第２研磨部３４とを有している。第２処理ユニット３０の第１研磨部３２は、トップリング３２ａと回転テーブル３２ｂとを有しており、第２研磨部３４は、トップリング３４ａと回転テーブル３４ｂとを有している。
図２に示すように、洗浄ユニット４０は、ハウジング１０の内部のうち、その長手方向に沿った他側（図２における下側）に配置されている。図示された例では、洗浄ユニット４０は、第１洗浄機４２ａと、第２洗浄機４２ｂと、第３洗浄機４２ｃと、第４洗浄機４２ｄと、搬送機構４４（図３参照）とを有している。第１～４洗浄機４２ａ～４２ｄは、ハウジング１０の長手方向に沿って、この順に直列に配置されている。搬送機構４４（図３参照）は、洗浄機４２ａ～４２ｄと同じ数（図示された例では４つ）のハンドを有し、洗浄機４２ａ～４２ｄの並び（すなわちハウジング１０の長手方向）に沿って往復移動可能である。
図３に示すように、搬送機構４４の往復移動によって、基板Ｗは、第１洗浄機４２ａ→第２洗浄機４２ｂ→第３洗浄機４２ｃ→第４洗浄機４２ｄと順次搬送されながら洗浄される。この洗浄タクト（洗浄時間）は、洗浄機４２ａ～４２ｄのうちの最も洗浄時間の長い洗浄機における洗浄時間にて設定され、最も洗浄時間の長い洗浄機における洗浄工程が終了したのち、搬送機構４４が駆動されて基板Ｗが搬送される。
図２および図３に示すように、搬送部５０は、載置部１４と第１処理ユニット２０および第２処理ユニット３０と洗浄ユニット４０とにより挟まれた領域に配置されている。図示された例では、搬送部５０は、研磨前の基板Ｗを１８０°反転させる第１反転機５２ａと、研磨後の基板Ｗを１８０°反転させる第２反転機５２ｂと、第１反転機５２ａと載置部１４との間に配置された、第１搬送ロボット５４ａと、第２反転機５２ｂと洗浄ユニット４０との間に配置された、第２搬送ロボット５４ｂとを有している。
図２および図３に示すように、第１処理ユニット２０と洗浄ユニット４０との間には、載置部１４側から順に、第１リニアトランスポータ５６ａ、第２リニアトランスポータ５６ｂ、第３リニアトランスポータ５６ｃおよび第４リニアトランスポータ５６ｄが配置されている。このうち第１リニアトランスポータ５６ａの上方には、上述した第１反転機５２ａが配置されており、その下方には、上下に昇降可能なリフタ５８ａが配置されている。また、第２リニアトランスポータ５６ｂの下方には、上下に昇降可能なプッシャ６０ａが配置されており、第３リニアトランスポータ５６ｃの下方には、上下に昇降可能なプッシャ６０ｂが配置されている。第４トランスポータ５６ｄの下方には、上下に昇降可能なリフタ５８ｂが配置されている。
図２および図３に示すように、第２処理ユニット４０側には、載置部１４側から順に、第５リニアトランスポータ５６ｅ、第６リニアトランスポータ５６ｆおよび第７リニアトランスポータ５６ｇが配置されている。このうち第５リニアトランスポータ５６ｅの下方には、上下に昇降可能なリフタ５８ｃが配置されている。また、第６リニアトランスポータ５６ｆの下方には、上下に昇降可能なプッシャ６０ｃが配置されており、第７リニアトランスポータ５６ｇの下方には、上下に昇降可能なプッシャ６０ｄが配置されている。
次に、このような構成からなる基板処理装置（研磨装置）１０を用いて基板Ｗを表面処理（研磨）する工程の一例について説明する。
まず、載置部１４に載置されたカセット１２の１つから第１搬送ロボット５４ａにより奇数枚目に取り出された基板（１枚目、３枚目…の基板）は、第１反転機５２ａ→第１リニアトランスポータ５６ａ→トップリング２２ａ（第１処理ユニット２０の第１研磨部２２）→第２リニアトランスポータ５６ｂ→トップリング２４ａ（第１処理ユニット２０の第２研磨部２４）→第３リニアトランスポータ５６ｃ→第２搬送ロボット５４ｂ→第２反転機５２ｂ→第１洗浄機４２ａ→第２洗浄機４２ｂ→第３洗浄機４２ｃ→第４洗浄機４２ｄ→第１搬送ロボット５４ａという経路（搬送ルート）で搬送されて、元のカセット１２に戻される。
また、載置部１４に載置されたカセット１２の１つから第１搬送ロボット５４ａにより偶数枚目に取り出された基板（２枚目、４枚目…の基板）は、第１反転機５２ａ→第４リニアトランスポータ５６ｄ→第２搬送ロボット５４ｂ→第５リニアトランスポータ５６ｅ→トップリング３２ａ（第２処理ユニット３０の第１研磨部３２）→第６リニアトランスポータ５６ｆ→トップリング３４ａ（第２処理ユニット３０の第２研磨部３４）→第７リニアトランスポータ５６ｇ→第２搬送ロボット５４ｂ→第２反転機５２ｂ→第１洗浄機４２ａ→第２洗浄機４２ｂ→第３洗浄機４２ｃ→第４洗浄機４２ｄ→第１搬送ロボット５４ａという経路（搬送ルート）で搬送されて、元のカセット１２に戻される。
ここで、第１処理ユニット２０の第１研磨部２２および第２処理ユニット３０の第１研磨部３２では、上述したように、バリア層５の上の銅膜７およびシード層６が研磨除去（第１研磨）され、第１処理ユニット２０の第２研磨部２４および第２処理ユニット３０の第２研磨部３４では、絶縁膜２上のバリア層５および必要に応じて絶縁膜２の表層の一部が研磨除去（第２研磨）される。そして、第２研磨後の基板は、洗浄機４２ａ～４２ｄにて順次洗浄され、乾燥されたのち、カセット１２に戻される。
洗浄ユニット４０では、第１処理ユニット２０にて研磨された１枚目の基板が第１洗浄機４２ａにて洗浄されたのち、１枚の基板と第２処理ユニット３０にて研磨された２枚目の基板が搬送機構４４にて同時に把持され、１枚目の基板が第２洗浄機４２ｂに、２枚目の基板が第１洗浄機４２ａに同時に搬送され、２枚の基板が同時に洗浄される。そして、１枚目の基板および２枚目の基板が洗浄されたのち、１枚目および２枚目の基板と第１処理ユニット２０にて研磨された３枚目の基板が搬送機構４４にて同時に把持され、１枚目の基板が第３洗浄機４２ｃに、２枚目の基板が第２洗浄機４２ｂに、３枚目の基板が第１洗浄機４２ａに同時に搬送され、３枚の基板が同時に洗浄される。このような動作が順次繰り返されることで、２つの処理ユニット２０、３０に対して、１つの洗浄ユニット４０にて対処することができる。
この場合、スループットが最大となるように基板処理装置１０を制御部７０により制御すると、図４のタイムチャートで示すように、２枚目の基板が研磨されたのち第１洗浄機４２ａにて洗浄されるまでの間に洗浄待ち時間Ｓ1が生じる。また、３枚目の基板が研磨されたのち第１洗浄機４２ａにて洗浄されるまでの間に洗浄待ち時間Ｓ2が生じる。さらに、４枚目の基板については、研磨されたのち第１洗浄機４２ａにて洗浄されるまでの間に洗浄待ち時間Ｓ3、Ｓ4が生じる。このように、研磨終了後に洗浄が開始されるまでの間に洗浄待ち時間が生じると、たとえば銅配線形成プロセスにあっては、銅の腐食が懸念される。
研磨終了から洗浄開始までの待ち時間を短くするために、特許第５０２３１４６号公報では、第１研磨ユニットおよび第２研磨ユニットでの平均研磨時間と、搬送機構での平均搬送時間と、洗浄ユニットでの平均洗浄時間とを予め記憶しておき、タイムチャートの作成時に、基板に対する研磨終了から洗浄開始までの時間を最短にするように、平均研磨時間、平均搬送時間および平均洗浄時間に基づいて、第１研磨ユニットおよび第２研磨ユニットでの研磨開始時刻を決定することが提案されている。
しかしながら、本件発明者の知見によれば、予め定められたタイムチャートに従って工程を管理する方法では、以下のような不都合がある。すなわち、研磨ユニットでの研磨時間は終点検出により決定されるため、研磨時間にばらつきが存在する。これは、異なる製品であれば異なるレシピで終点検出するからであり、また、同じレシピであっても研磨時間と消耗部材の使用時間との間に相関があるからである。また、機械的なばらつきにより、各ユニットの動作時間にもばらつきが存在する。また、特定のユニット同士の動作にインターロックがあり、任意に動作できない場合がある。また、複数の処理ルートが混在する場合もある。また、特定のユニットが故障して突発的な通行止めが発生する場合もある。したがって、たとえば平均搬送時間がＸ秒であるのに対し、実際の動作時間が０．５秒遅くなった場合に、タイムチャートが後ろにずれることで、次の動作に大きな遅れが生じる状態となる可能性がある。
（第１の実施形態）
以下に説明する第１の実施形態に係る機械学習装置８０は、以上のような点を考慮してなされたものであり、基板Ｗの搬送開始のタイミングおよびその搬送ルートを、基板処理装置１０内におけるその時その時の状態に応じて、（単位時間あたりの処理枚数が多くかつ待ち時間が短くなるように）適切に決定することを可能にできるものである。
図５は、第１の実施形態に係る機械学習装置８０の構成を示すブロック図である。機械学習装置８０の少なくとも一部は、１つのコンピュータまたは量子コンピューティングシステム、もしくは互いにネットワークを介して接続された複数のコンピュータまたは量子コンピューティングシステムによって構成されている。
図５に示すように、機械学習装置８０は、通信部８１と、制御部８２と、記憶部８３とを有している。各部８１～８３は、バスやネットワークを介して通信可能に接続されている。
このうち通信部８１は、基板処理装置１０の制御部７０に対する通信インターフェースである。通信部８１は、基板処理装置１０の制御部７０に有線で接続されていてもよいし、無線で接続されていてもよい。
記憶部８３は、たとえばフラッシュメモリなどの不揮発性データストレージである。記憶部８３には、制御部８２が取り扱う各種データが記憶される。
図５に示すように、制御部８２は、状態情報取得部８２ａと、行動選択部８２ｂと、指示信号送信部８２ｃと、動作結果取得部８２ｄと、予測モデル更新部８２ｅとを有している。これらの各部は、機械学習装置８０内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。
本実施の形態において、制御部８２は、単位時間あたりの処理枚数が多く、かつ、表面処理後の基板が洗浄ユニット４０にて洗浄開始となるまでに待たされる待ち時間が短くなるような基板の搬送開始のタイミングおよびその搬送ルートを、基板処理装置１０内におけるその時その時の状態に応じた試行錯誤を繰り返すことで、強化学習するものである。強化学習のアルゴリズムは、特に限定されるものではないが、たとえばＱ学習、ＳＡＲＳＡ法、方策勾配法、Ａｃｔｏｒ－Ｃｒｉｔｉｃ法などが用いられ得る。
状態情報取得部８２ａは、基板処理装置１０内における基板Ｗの位置および各ユニット２０、３０、４０内に位置する基板Ｗの当該ユニット内での経過時間を含む状態情報を、基板処理装置１０の制御部７０から所定の時間間隔（たとえば０．１ｓごと）で繰り返し取得する。
状態情報取得部８２ａが基板処理装置１０の制御部７０から取得する状態情報は、第１処理ユニット２０および第２処理ユニット３０にて使用される消耗部材の使用時間をさらに含んでいてもよい。本件発明者が鋭意検討を重ねた結果、第１処理ユニット２０および第２処理ユニット３０での処理時間（たとえば終点検出により決定される研磨時間）は、第１処理ユニット２０および第２処理ユニット３０にて使用される消耗部材の使用時間と相関関係があることが見出された。したがって、後述する予測モデル８５に入力される状態情報が、第１処理ユニット２０および第２処理ユニット３０にて使用される消耗部材の使用時間を含んでいる場合には、予測モデル８５による予測精度をさらに向上させることができる。消耗部材は、たとえば、回転テーブル２２ｂ、２４ｂ、３２ｂ、３４ｂに取り付けられた研磨パッド、トップリング２２ａ、２４ａ、３２ａ、３４ａに取り付けられて基板Ｗの外周を支持するリテーナリング、トップリング２２ａ、２４ａ、３２ａ、３４ａに取り付けられて基板Ｗの裏面を支持する弾性膜のうちの１つまたは２つ以上であってもよい。
状態情報取得部８２ａが基板処理装置１０の制御部７０から取得する状態情報は、カセット１２内に収容された基板Ｗに予め施されている処理のレシピ情報（たとえば図１Ｂに示す基板Ｗ表面の銅膜７の成膜条件）をさらに含んでいてもよい。本件発明者が鋭意検討を重ねた結果、第１処理ユニット２０および第２処理ユニット３０での処理時間（たとえば終点検出により決定される研磨時間）は、カセット１２内に収容された基板Ｗに予め施されている処理のレシピ情報と相関関係があることが見出された。したがって、後述する予測モデル８５に入力される状態情報が、カセット１２内に収容された基板Ｗに予め施されている処理のレシピ情報を含んでいる場合には、予測モデル８５による予測精度を向上させることができる。
状態情報取得部８２ａが基板処理装置１０の制御部７０から取得する状態情報は、第１処理ユニット２０および第２処理ユニット３０の故障発生情報または連続運転時間をさらに含んでいてもよい。本件発明者が鋭意検討を重ねた結果、第１処理ユニット２０および第２処理ユニット３０にて運転間隔が空くと水が滞留したりして一回洗い直すことによりコンデションが大きく変わることから、第１処理ユニット２０および第２処理ユニット３０での処理時間（たとえば終点検出により決定される研磨時間）は、第１処理ユニット２０および第２処理ユニット３０の連続運転時間と相関関係があることが見出された。したがって、後述する予測モデル８５に入力される状態情報が、第１処理ユニット２０および第２処理ユニット３０の連続運転時間を含んでいる場合には、予測モデル８５による予測精度を向上させることができる。また、後述する予測モデル８５に入力される状態情報が、第１処理ユニット２０および第２処理ユニット３０の故障発生情報を含んでいる場合にも、予測モデル８５による予測精度を向上させることができる。これは、一方のユニットに故障が発生した場合には、その状況に応じて故障が発生していないユニットへと搬送ルートを変更することで、通行止めによる大幅な遅延の発生を回避できるからであると考えられる。
状態情報取得部８２ａが基板処理装置１０の制御部７０から取得する状態情報は、第１処理ユニット２０および第２処理ユニット３０での表面処理（研磨処理）のレシピ情報をさらに含んでいてもよい。本件発明者が鋭意検討を重ねた結果、第１処理ユニット２０および第２処理ユニット３０での処理時間（たとえば終点検出により決定される研磨時間）は、第１処理ユニット２０および第２処理ユニット３０での表面処理（研磨処理）のレシピ情報と相関関係があることが見出された。したがって、後述する予測モデル８５に入力される状態情報が、第１処理ユニット２０および第２処理ユニット３０での表面処理（研磨処理）のレシピ情報を含んでいる場合には、予測モデル８５による予測精度を向上させることができる。
行動選択部８２ｂは、ある状態ｓtにおいて、新たな基板Ｗをカセット１２から取り出すか否か、および、取り出す場合には第１処理ユニット２０および第２処理ユニット３０のどちらに搬送するかの行動を行うことに対する価値（Ｑ学習におけるＱ値）を予測する予測モデル８５（図６参照）を有している。
図６は、予測モデル８５の構成の一例を説明するための模式図である。図６に示す例では、予測モデル８５は、ニューラルネットワークシステムであり、入力層と、入力層に接続された１または２以上の中間層と、中間層に接続され出力層とを有する階層型のニューラルネットワークまたは量子ニューラルネットワーク（ＱＮＮ）を含んでいる。図６では、階層型のニューラルネットワークとして、フィードフォワードニューラルネットワークが図示されているが、畳み込みニューラルネットワーク（ＣＮＮ）やリカレントニューラルネットワーク（ＲＮＮ）など、様々なタイプのニューラルネットワークが使用され得る。予測モデル８５は、中間層が２層以上に多層化されたニューラルネットワーク、すなわちディープラーニング（深層学習）を含んでいてもよい。
図６に示すように、予測モデル８５は、状態情報取得部８２ａにより取得された状態情報が入力層に入力されると、新たな基板Ｗをカセット１２から取り出すか否かおよび取り出す場合には第１処理ユニット２０および第２処理ユニット３０のどちらに搬送するかの行動を行うことに対する価値（Ｑ学習におけるＱ値）を予測して出力層から出力する。
行動選択部８２ｂは、複数の予測モデル８５を有し、当該複数の予測モデル８５による予測結果の組み合わせ（すなわちアンサンブル学習）に基づいて、各行動の価値（Ｑ値）を推定して出力してもよい。
行動選択部８２ｂは、状態情報取得部８２ａにより取得された状態情報を入力として予測モデル８５に基づいて１つの行動（すなわち、新たな基板Ｗをカセット１２から取り出して第１処理ユニット２０に搬送する行動と、新たな基板Ｗをカセット１２から取り出して第２処理ユニット２０に搬送する行動と、新たな基板Ｗをカセット１２から取り出さない行動のうちのいずれか）を選択する。選択方法としては、たとえば、行動選択部８２ｂは、予測モデル８５により予測された各行動の価値（Ｑ値）を比較して、最も価値（Ｑ値）が高い行動を選択してもよいし（ｇｒｅｅｄｙ法）、予め定められた確率ε以下でランダムに行動を選択し、それ以外では最も価値（Ｑ値）が高い行動を選択してもよい（ε－ｇｒｅｅｄｙ法）。
指示信号送信部８２ｃは、行動選択部８２ｂにより選択された行動を行うように基板処理装置１０の制御部７０に指示信号を送信する。基板処理装置１０の制御部７０が指示信号送信部８２ｃから受信した指示信号に従って行動することにより、基板処理装置１０内の状態ｓtは、次の状態ｓt+1に遷移する。
予測モデル更新部８２ｅは、遷移後の状態ｓt+1が終端状態（予め定められた枚数の基板処理が終了した状態）ではなかった場合には、状態情報取得部８２ａにより取得される遷移後の状態ｓt+1の状態情報を予測モデル８５の入力層に入力した場合に出力層から出力される各行動の価値のうちの最大の価値（Ｑ値）に基づいて予測モデル８５を更新（たとえば、ニューラルネットワークにおける各ノードのパラメータ（重みや閾値など）を更新）してもよい。
動作結果取得部８２ｄは、予め定められた枚数の基板処理終了後（すなわち遷移後の状態ｓt+1が終端状態である場合）、単位時間あたりの処理枚数と、表面処理後の基板が洗浄ユニット４０にて洗浄開始となるまでに待たされた待ち時間とを含む動作結果を、基板処理装置１０の制御部７０から取得する。ここで「待ち時間」は、処理された複数枚の基板の各々の待ち時間のうちの最大値であってもよいし、平均値であってもよい。
予測モデル更新部８２ｅは、予め定められた枚数の基板処理終了後（すなわち遷移後の状態ｓt+1が終端状態である場合）、処理枚数が多くかつ待ち時間が短いほど報酬が大きくなるように、動作結果取得部８２ｄにより取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて予測モデル８５を更新（たとえば、ニューラルネットワークにおける各ノードのパラメータ（重みや閾値など）を更新）する。
次に、このような構成からなる機械学習装置８０による機械学習方法の一例について説明する。図７は、機械学習方法の一例を示すフローチャートである。
図７に示すように、まず、基板処理装置１０にて１サイクルの処理（すなわち、あらかじめ定められた枚数ないしロットの処理）が開始されると、機械学習装置８０の制御部８２が、基板処理装置１０の制御部７０から処理開始通知を受信する（ステップＳ１０）。
そして、状態情報取得部８２ａが、基板処理装置１０内における基板Ｗの位置および各ユニット２０、３０、４０内に位置する基板Ｗの当該ユニット内での経過時間を含む状態情報を、基板処理装置１０の制御部７０から取得する（ステップＳ１１）。
次に、行動選択部８２ｂが、状態情報取得部８２ａにより取得された状態情報を入力として、予測モデル８５に基づいて、１つの行動（すなわち、新たな基板Ｗをカセット１２から取り出して第１処理ユニット２０に搬送する行動と、新たな基板Ｗをカセット１２から取り出して第２処理ユニット２０に搬送する行動と、新たな基板Ｗをカセット１２から取り出さない行動のうちのいずれか）を選択する（ステップＳ１２）。
そして、指示信号送信部８２ｃが、行動選択部８２ｂにより選択された行動を行うように基板処理装置１０の制御部７０に指示信号を送信する（ステップＳ１３）。基板処理装置１０の制御部７０が指示信号送信部８２ｃから受信した指示信号に従って行動することにより、基板処理装置１０内の状態ｓtは、次の状態ｓt+1に遷移する。
遷移後の状態ｓt+1が終端状態（予め定められた枚数の基板処理が終了した状態）ではなかった場合には（ステップＳ１４：ＮＯ）、ステップＳ１１から処理を繰り返す。この場合、予測モデル更新部８２ｅは、状態情報取得部８２ａにより取得される遷移後の状態ｓt+1の状態情報を予測モデル８５の入力層に入力した場合に出力層から出力される各行動の価値のうちの最大の価値（Ｑ値）に基づいて予測モデル８５を更新（たとえば、ニューラルネットワークにおける各ノードのパラメータ（重みや閾値など）を更新）してもよい。
予め定められた枚数の基板処理終了後（すなわち、遷移後の状態ｓt+1が終端状態である場合）には（ステップＳ１４：ＹＥＳ）、動作結果取得部８２ｄが、単位時間あたりの処理枚数と、表面処理後の基板Ｗが洗浄ユニット４０にて洗浄開始となるまでに待たされた待ち時間とを含む動作結果を、基板処理装置１０の制御部７０から取得する（ステップＳ１５）。
次いで、予測モデル更新部８２ｅは、予め定められた枚数の基板処理終了後（すなわち遷移後の状態ｓt+1が終端状態である場合）、処理枚数が多くかつ待ち時間が短いほど報酬が大きくなるように、動作結果取得部８２ｄにより取得された動作結果に基づいて報酬を計算する（ステップＳ１６）。
そして、予測モデル更新部８２ｅは、計算された報酬に基づいて予測モデル８５を更新（たとえば、ニューラルネットワークにおける各ノードのパラメータ（重みや閾値など）を更新）する（ステップＳ１７）。
機械学習装置８０の制御部８２は、あらかじめ定められた学習回数（たとえば１００００回）に到達したか否かを判断し、当該学習回数に到達していない場合には（ステップＳ１８：ＮＯ）、ステップＳ１０から処理を繰り返す。他方、あらかじめ定められた学習回数に到達した場合には（ステップＳ１８：ＹＥＳ）、処理を終了する。これにより、学習済みの予測モデル８５（たとえば、チューニングされたニューラルネットワークシステム）が得られる。
機械学習装置８０により生成された学習済みの予測モデル８５（たとえば、チューニングされたニューラルネットワークシステム）は、基板処理装置１０の制御部７０にインストールされて利用され得る。学習済みの予測モデル８５がインストールされた基板処理装置１０の制御部７０は、基板処理装置１０内における基板Ｗの位置および各ユニット２０、３０、４０内に位置する基板の当該ユニット内での経過時間を含む状態情報を入力として、学習済みの予測モデル８５に基づいて、新たな基板Ｗをカセット１２から取り出すか否かおよび取り出す場合には第１処理ユニット２０および第２処理ユニット３０のどちらに搬送するかの行動を選択し、選択した行動を行うように搬送部５０の動作を制御する。
以上のような第１の実施形態によれば、機械学習装置８０は、基板処理装置１０内におけるその時その時の基板Ｗの位置および各ユニット２０、３０、４０内に位置する基板Ｗの当該ユニット内での経過時間を含む状態情報に応じて、予測モデル８５に基づいて、新たな基板Ｗをカセットから取り出すか否かおよび取り出す場合には第１処理ユニット２０および第２処理ユニット３０のどちらに搬送するかの行動を選択することを試行錯誤し、あらかじめ定められた枚数の基板処理終了後、単位時間あたりの処理枚数が多くかつ表面処理後の基板が洗浄開始となるまでに待たされた待ち時間が短くなるほど大きな報酬を獲得し、当該報酬に基づいて予測モデルを更新することを繰り返すことにより、予測モデル８５の機械学習（強化学習）を行っている。そのため、このような機械学習装置８０により生成された学習済みの予測モデル８５を利用することにより、基板Ｗの搬送開始のタイミングおよびその搬送ルートを、基板処理装置１０内におけるその時その時の状態に応じて、（単位時間あたりの処理枚数が多くかつ待ち時間が短くなるように）適切に決定することが可能になる。
なお、上述した第１の実施形態に係る機械学習装置８０は、基板処理装置１０の実機に対して機械学習を行ったが、これに限定されず、基板処理装置１０のシミュレータに対して機械学習を行ってもよいし、機械学習の初期には基板処理装置１０のシミュレータに対して機械学習を行い、ある程度学習が進んだ後で、基板処理装置１０の実機に対して機械学習を行ってもよい。
（第２の実施形態）
次に、第２の実施形態について説明する。基板の搬送、処理（研磨）および洗浄の工程を予め定められたタイムチャートに従って管理するスケジューラを使用した従来の制御方法では、研磨ユニットでの研磨時間が終点検出により決定されることで研磨時間にばらつきが存在することなどを理由として、平均研磨時間、平均搬送時間および平均洗浄時間に基づいて計算した時刻どおりに（許容時間なしで）制御を行うと、確実に遅れが生じてスループットが悪化する。そのため、装置内にて基板が多少滞留してしまうことを許容し、少し早めに目的箇所に到着するように制御することで、遅れが生じないようにすることが行われる。この許容時間は、従来は人間が経験で調整しており、装置内におけるその時その時の状態に関わらず一律に決められていた。
第２の実施形態に係る機械学習装置１８０は、基板処理装置１０の制御部７０が、カセット１２から取り出される基板Ｗの順番と第１処理ユニット２０および第２処理ユニット３０のどちらに搬送するかとの対応関係が規定された搬送ルールに従って、第１処理ユニット２０および第２処理ユニット３０と洗浄ユニット４０と搬送部５０の動作を制御する場合（すなわち、カセット１２から新たに取り出す基板Ｗを第１処理ユニット２０および第２処理ユニット３０のどちらに搬送するかの搬送ルートが予め決められている場合）に、基板Ｗの搬送開始のタイミングを、基板処理装置１０内におけるその時その時の状態に応じて、（単位時間あたりの処理枚数が多くなるように）適切に決定することを可能にできるものである。
図８は、第２の実施形態に係る機械学習装置１８０の構成を示すブロック図である。機械学習装置１８０の少なくとも一部は、１つのコンピュータまたは量子コンピューティングシステム、もしくは互いにネットワークを介して接続された複数のコンピュータまたは量子コンピューティングシステムによって構成されている。
図８に示すように、機械学習装置１８０は、通信部１８１と、制御部１８２と、記憶部１８３とを有している。各部１８１～１８３は、バスやネットワークを介して通信可能に接続されている。
このうち通信部１８１は、基板処理装置１０の制御部７０に対する通信インターフェースである。通信部１８１は、基板処理装置１０の制御部７０に有線で接続されていてもよいし、無線で接続されていてもよい。
記憶部１８３は、たとえばフラッシュメモリなどの不揮発性データストレージである。記憶部１８３には、制御部１８２が取り扱う各種データが記憶される。
図８に示すように、制御部１８２は、状態情報取得部１８２ａと、行動選択部１８２ｂと、指示信号送信部１８２ｃと、動作結果取得部１８２ｄと、予測モデル更新部１８２ｅとを有している。これらの各部は、機械学習装置１８０内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。
本実施の形態において、制御部１８２は、単位時間あたりの処理枚数が多く、かつ、表面処理後の基板が洗浄ユニット４０にて洗浄開始となるまでに待たされる待ち時間が短くなるような基板の搬送開始のタイミングおよびその搬送ルートを、基板処理装置１０内におけるその時その時の状態に応じた試行錯誤を繰り返すことで、強化学習するものである。強化学習のアルゴリズムは、特に限定されるものではないが、たとえばＱ学習、ＳＡＲＳＡ法、方策勾配法、Ａｃｔｏｒ－Ｃｒｉｔｉｃ法などが用いられ得る。
状態情報取得部１８２ａは、基板処理装置１０内における基板Ｗの位置および各ユニット２０、３０、４０内に位置する基板Ｗの当該ユニット内での経過時間を含む状態情報を、基板処理装置１０の制御部７０から所定の時間間隔（たとえば０．１ｓごと）で繰り返し取得する。
状態情報取得部１８２ａが基板処理装置１０の制御部７０から取得する状態情報は、第１処理ユニット２０および第２処理ユニット３０にて使用される消耗部材の使用時間をさらに含んでいてもよい。本件発明者が鋭意検討を重ねた結果、第１処理ユニット２０および第２処理ユニット３０での処理時間（たとえば終点検出により決定される研磨時間）は、第１処理ユニット２０および第２処理ユニット３０にて使用される消耗部材の使用時間と相関関係があることが見出された。したがって、後述する予測モデル１８５に入力される状態情報が、第１処理ユニット２０および第２処理ユニット３０にて使用される消耗部材の使用時間を含んでいる場合には、予測モデル１８５による予測精度をさらに向上させることができる。消耗部材は、たとえば、回転テーブル２２ｂ、２４ｂ、３２ｂ、３４ｂに取り付けられた研磨パッド、トップリング２２ａ、２４ａ、３２ａ、３４ａに取り付けられて基板Ｗの外周を支持するリテーナリング、トップリング２２ａ、２４ａ、３２ａ、３４ａに取り付けられて基板Ｗの裏面を支持する弾性膜のうちの１つまたは２つ以上であってもよい。
状態情報取得部１８２ａが基板処理装置１０の制御部７０から取得する状態情報は、カセット１２内に収容された基板Ｗに予め施されている処理のレシピ情報（たとえば図１Ｂに示す基板Ｗ表面の銅膜７の成膜条件）をさらに含んでいてもよい。本件発明者が鋭意検討を重ねた結果、第１処理ユニット２０および第２処理ユニット３０での処理時間（たとえば終点検出により決定される研磨時間）は、カセット１２内に収容された基板Ｗに予め施されている処理のレシピ情報と相関関係があることが見出された。したがって、後述する予測モデル１８５に入力される状態情報が、カセット１２内に収容された基板Ｗに予め施されている処理のレシピ情報を含んでいる場合には、予測モデル１８５による予測精度を向上させることができる。
状態情報取得部１８２ａが基板処理装置１０の制御部７０から取得する状態情報は、第１処理ユニット２０および第２処理ユニット３０の連続運転時間をさらに含んでいてもよい。本件発明者が鋭意検討を重ねた結果、第１処理ユニット２０および第２処理ユニット３０にて運転間隔が空くと水が滞留したりして一回洗い直すことによりコンデションが大きく変わることから、第１処理ユニット２０および第２処理ユニット３０での処理時間（たとえば終点検出により決定される研磨時間）は、第１処理ユニット２０および第２処理ユニット３０の連続運転時間と相関関係があることが見出された。したがって、後述する予測モデル８５に入力される状態情報が、第１処理ユニット２０および第２処理ユニット３０の連続運転時間を含んでいる場合には、予測モデル８５による予測精度を向上させることができる。
状態情報取得部１８２ａが基板処理装置１０の制御部７０から取得する状態情報は、第１処理ユニット２０および第２処理ユニット３０での表面処理（研磨処理）のレシピ情報をさらに含んでいてもよい。本件発明者が鋭意検討を重ねた結果、第１処理ユニット２０および第２処理ユニット３０での処理時間（たとえば終点検出により決定される研磨時間）は、第１処理ユニット２０および第２処理ユニット３０での表面処理（研磨処理）のレシピ情報と相関関係があることが見出された。したがって、後述する予測モデル１８５に入力される状態情報が、第１処理ユニット２０および第２処理ユニット３０での表面処理（研磨処理）のレシピ情報を含んでいる場合には、予測モデル１８５による予測精度を向上させることができる。
行動選択部１８２ｂは、ある状態ｓtにおいて、新たな基板Ｗをカセット１２から取り出すか否かの行動を行うことに対する価値（Ｑ学習におけるＱ値）を予測する予測モデル１８５（図９参照）を有している。
図９は、予測モデル１８５の構成の一例を説明するための模式図である。図９に示す例では、予測モデル１８５は、ニューラルネットワークシステムであり、入力層と、入力層に接続された１または２以上の中間層と、中間層に接続され出力層とを有する階層型のニューラルネットワークまたは量子ニューラルネットワーク（ＱＮＮ）を含んでいる。図９では、階層型のニューラルネットワークとして、フィードフォワードニューラルネットワークが図示されているが、畳み込みニューラルネットワーク（ＣＮＮ）やリカレントニューラルネットワーク（ＲＮＮ）など、様々なタイプのニューラルネットワークが使用され得る。予測モデル１８５は、中間層が２層以上に多層化されたニューラルネットワーク、すなわちディープラーニング（深層学習）を含んでいてもよい。
図９に示すように、予測モデル１８５は、状態情報取得部１８２ａにより取得された状態情報が入力層に入力されると、新たな基板Ｗをカセット１２から取り出すか否かおよび取り出す場合には第１処理ユニット２０および第２処理ユニット３０のどちらに搬送するかの行動を行うことに対する価値（Ｑ学習におけるＱ値）を予測して出力層から出力する。
行動選択部１８２ｂは、複数の予測モデル１８５を有し、当該複数の予測モデル１８５による予測結果の組み合わせ（すなわちアンサンブル学習）に基づいて、各行動の価値（Ｑ値）を推定して出力してもよい。
行動選択部１８２ｂは、状態情報取得部１８２ａにより取得された状態情報を入力として予測モデル１８５に基づいて１つの行動（すなわち、新たな基板Ｗをカセット１２から取り出す行動と、新たな基板Ｗをカセット１２から取り出さない行動のいずれか）を選択する。選択方法としては、たとえば、行動選択部１８２ｂは、予測モデル１８５により予測された各行動の価値（Ｑ値）を比較して、最も価値（Ｑ値）が高い行動を選択してもよいし（ｇｒｅｅｄｙ法）、予め定められた確率ε以下でランダムに行動を選択し、それ以外では最も価値（Ｑ値）が高い行動を選択してもよい（ε－ｇｒｅｅｄｙ法）。
指示信号送信部１８２ｃは、行動選択部１８２ｂにより選択された行動を行うように基板処理装置１０の制御部７０に指示信号を送信する。基板処理装置１０の制御部７０が指示信号送信部１８２ｃから受信した指示信号に従って行動することにより、基板処理装置１０内の状態ｓtは、次の状態ｓt+1に遷移する。
予測モデル更新部１８２ｅは、遷移後の状態ｓt+1が終端状態（予め定められた枚数の基板処理が終了した状態）ではなかった場合には、状態情報取得部１８２ａにより取得される遷移後の状態ｓt+1の状態情報を予測モデル１８５の入力層に入力した場合に出力層から出力される各行動の価値のうちの最大の価値（Ｑ値）に基づいて予測モデル１８５を更新（たとえば、ニューラルネットワークにおける各ノードのパラメータ（重みや閾値など）を更新）してもよい。
動作結果取得部１８２ｄは、予め定められた枚数の基板処理終了後（すなわち遷移後の状態ｓt+1が終端状態である場合）、単位時間あたりの処理枚数を含む動作結果を、基板処理装置１０の制御部７０から取得する。
予測モデル更新部１８２ｅは、予め定められた枚数の基板処理終了後（すなわち遷移後の状態ｓt+1が終端状態である場合）、処理枚数が多いほど報酬が大きくなるように、動作結果取得部１８２ｄにより取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて予測モデル１８５を更新（たとえば、ニューラルネットワークにおける各ノードのパラメータ（重みや閾値など）を更新）する。
次に、このような構成からなる機械学習装置１８０による機械学習方法の一例について説明する。図１０は、機械学習方法の一例を示すフローチャートである。
図１０に示すように、まず、基板処理装置１０にて１サイクルの処理（すなわち、あらかじめ定められた枚数ないしロットの処理）が開始されると、機械学習装置１８０の制御部１８２が、基板処理装置１０の制御部７０から処理開始通知を受信する（ステップＳ１１０）。
そして、状態情報取得部１８２ａが、基板処理装置１０内における基板Ｗの位置および各ユニット２０、３０、４０内に位置する基板Ｗの当該ユニット内での経過時間を含む状態情報を、基板処理装置１０の制御部７０から取得する（ステップＳ１１１）。
次に、行動選択部１８２ｂが、状態情報取得部１８２ａにより取得された状態情報を入力として、予測モデル１８５に基づいて、１つの行動（すなわち、新たな基板Ｗをカセット１２から取り出す行動と、新たな基板Ｗをカセット１２から取り出さない行動のいずれか）を選択する（ステップＳ１１２）。
そして、指示信号送信部１８２ｃが、行動選択部１８２ｂにより選択された行動を行うように基板処理装置１０の制御部７０に指示信号を送信する（ステップＳ１１３）。基板処理装置１０の制御部７０が指示信号送信部８２ｃから受信した指示信号に従って行動することにより、基板処理装置１０内の状態ｓtは、次の状態ｓt+1に遷移する。
遷移後の状態ｓt+1が終端状態（予め定められた枚数の基板処理が終了した状態）ではなかった場合には（ステップＳ１１４：ＮＯ）、ステップＳ１１１から処理を繰り返す。この場合、予測モデル更新部１８２ｅは、状態情報取得部１８２ａにより取得される遷移後の状態ｓt+1の状態情報を予測モデル１８５の入力層に入力した場合に出力層から出力される各行動の価値のうちの最大の価値（Ｑ値）に基づいて予測モデル１８５を更新（たとえば、ニューラルネットワークにおける各ノードのパラメータ（重みや閾値など）を更新）してもよい。
予め定められた枚数の基板処理終了後（すなわち、遷移後の状態ｓt+1が終端状態である場合）には（ステップＳ１１４：ＹＥＳ）、動作結果取得部１８２ｄが、単位時間あたりの処理枚数を含む動作結果を、基板処理装置１０の制御部７０から取得する（ステップＳ１１５）。
次いで、予測モデル更新部１８２ｅは、予め定められた枚数の基板処理終了後（すなわち遷移後の状態ｓt+1が終端状態である場合）、処理枚数が多くなるように、動作結果取得部１８２ｄにより取得された動作結果に基づいて報酬を計算する（ステップＳ１１６）。
そして、予測モデル更新部１８２ｅは、計算された報酬に基づいて予測モデル１８５を更新（たとえば、ニューラルネットワークにおける各ノードのパラメータ（重みや閾値など）を更新）する（ステップＳ１１７）。
その後、機械学習装置１８０の制御部１８２は、あらかじめ定められた学習回数（たとえば１００００回）に到達したか否かを判断し、当該学習回数に到達していない場合には（ステップＳ１１８：ＮＯ）、ステップＳ１１０から処理を繰り返す。他方、あらかじめ定められた学習回数に到達した場合には（ステップＳ１１８：ＹＥＳ）、処理を終了する。これにより、学習済みの予測モデル１８５（たとえば、チューニングされたニューラルネットワークシステム）が得られる。
機械学習装置１８０により生成された学習済みの予測モデル１８５（たとえば、チューニングされたニューラルネットワークシステム）は、基板処理装置１０の制御部７０にインストールされて利用され得る。学習済みの予測モデル１８５がインストールされた基板処理装置１０の制御部７０は、カセット１２から取り出される基板Ｗの順番と第１処理ユニット２０および第２処理ユニット３０のどちらに搬送するかとの対応関係が規定された搬送ルールに従って、第１処理ユニット２０および第２処理ユニット３０と洗浄ユニット４０と搬送部５０の動作を制御するものであって、基板処理装置１０内における基板Ｗの位置および各ユニット２０、３０、４０内に位置する基板の当該ユニット内での経過時間を含む状態情報を入力として、学習済みの予測モデル１８５に基づいて、新たな基板Ｗをカセット１２から取り出すか否かの行動を選択し、選択した行動を行うように搬送部５０の動作を制御する。
以上のような第２の実施形態によれば、機械学習装置１８０は、基板処理装置１０内におけるその時その時の基板Ｗの位置および各ユニット２０、３０、４０内に位置する基板Ｗの当該ユニット内での経過時間を含む状態情報に応じて、予測モデル１８５に基づいて、新たな基板Ｗをカセットから取り出すか否かの行動を選択することを試行錯誤し、あらかじめ定められた枚数の基板処理終了後、単位時間あたりの処理枚数が多くなるほど大きな報酬を獲得し、当該報酬に基づいて予測モデルを更新することを繰り返すことにより、予測モデル１８５の機械学習（強化学習）を行っている。そのため、このような機械学習装置１８０により生成された学習済みの予測モデル１８５を利用することにより、基板Ｗの搬送開始のタイミングを、基板処理装置１０内におけるその時その時の状態に応じて、（単位時間あたりの処理枚数が多くなるように）適切に決定することが可能になる。
なお、上述した第２の実施形態に係る機械学習装置１８０は、基板処理装置１０の実機に対して機械学習を行ったが、これに限定されず、基板処理装置１０のシミュレータに対して機械学習を行ってもよいし、機械学習の初期には基板処理装置１０のシミュレータに対して機械学習を行い、ある程度学習が進んだ後で、基板処理装置１０の実機に対して機械学習を行ってもよい。
（第３の実施形態）
次に、第３の実施形態について説明する。基板の搬送、処理（研磨）および洗浄の工程を予め定められたタイムチャートに従って管理するスケジューラを使用した従来の制御方法では、同じレシピであっても研磨時間と消耗部材の使用時間との間に相関があることなどを理由として、平均研磨時間、平均搬送時間および平均洗浄時間に基づいて計算された時刻どおりに制御を行うと、遅れが生じてスループットが悪化することがある。
第３の実施形態に係る機械学習装置２８０は、基板処理装置１０の制御部７０が、カセット１２から取り出される基板Ｗの順番と第１処理ユニット２０および第２処理ユニット３０のどちらに搬送するか、およびその搬送開始時刻との対応関係が規定された搬送ルールに従って、第１処理ユニット２０および第２処理ユニット３０と洗浄ユニット４０と搬送部５０の動作を制御する場合（すなわち、カセット１２から新たに基板Ｗを取り出すタイミングと、取り出した基板Ｗを第１処理ユニット２０および第２処理ユニット３０のどちらに搬送するかの搬送ルートとが予め決められている場合）に、処理ユニットでの表面処理（研磨）のレシピ情報と、基板情報だけでなく、処理ユニット内にて使用される消耗部材の使用時間と、処理ユニットの連続運転時間をも考慮して、処理ユニットにおける表面処理時間を精度よく予測することを可能にでき、これにより、タイムチャート（搬送ルール）の作成時に、当該予測された表面処理時間に基づいて、基板の搬送開始のタイミングを精度よく決定することを可能にできるものである。
図１１は、第３の実施形態に係る機械学習装置２８０の構成を示すブロック図である。機械学習装置２８０の少なくとも一部は、１つのコンピュータまたは量子コンピューティングシステム、もしくは互いにネットワークを介して接続された複数のコンピュータまたは量子コンピューティングシステムによって構成されている。
図１１に示すように、機械学習装置２８０は、通信部２８１と、制御部２８２と、記憶部２８３とを有している。各部２８１～２８３は、バスやネットワークを介して通信可能に接続されている。
このうち通信部２８１は、基板処理装置１０の制御部７０に対する通信インターフェースである。通信部２８１は、基板処理装置１０の制御部７０に有線で接続されていてもよいし、無線で接続されていてもよい。
記憶部２８３は、たとえばフラッシュメモリなどの不揮発性データストレージである。記憶部２８３には、制御部２８２が取り扱う各種データが記憶される。
図１１に示すように、制御部２８２は、入力情報取得部２８２ａと、予測部２８２ｂと、実表面時間取得部２８２ｃと、予測モデル更新部２８２ｄとを有している。これらの各部は、機械学習装置２８０内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。
本実施の形態において、制御部２８２は、基板Ｗを表面処理する第１処理ユニット２０（または第２処理ユニット３０）における表面処理のレシピ情報と、基板情報と、第１処理ユニット２０（または第２処理ユニット３０）内にて使用される消耗部材の使用時間と、第１処理ユニット２０（または第２処理ユニット３０）の連続運転時間と、第１処理ユニット２０（または第２処理ユニット３０）における実際の表面処理時間との関係性を機械学習（教師あり学習）するものである。
入力情報取得部２８２ａは、第１処理ユニット２０（または第２処理ユニット３０）での表面処理のレシピ情報と、基板情報（たとえば図１Ｂに示す基板Ｗ表面の銅膜７の成膜条件）と、第１処理ユニット２０（または第２処理ユニット３０）内にて使用される消耗部材の使用時間と、第１処理ユニット２０（または第２処理ユニット３０）の連続運転時間とを、基板処理装置１０の制御部７０から入力情報として取得する。消耗部材は、たとえば、回転テーブル２２ｂ、２４ｂ、３２ｂ、３４ｂに取り付けられた研磨パッド、トップリング２２ａ、２４ａ、３２ａ、３４ａに取り付けられて基板Ｗの外周を支持するリテーナリング、トップリング２２ａ、２４ａ、３２ａ、３４ａに取り付けられて基板Ｗの裏面を支持する弾性膜のうちの１つまたは２つ以上であってもよい。
本件発明者が鋭意検討を重ねた結果、第１処理ユニット２０（または第２処理ユニット３０）での処理時間（たとえば終点検出により決定される研磨時間）は、第１処理ユニット２０（または第２処理ユニット３０）にて使用される消耗部材の使用時間と相関関係があることが見出された。また、本件発明者が鋭意検討を重ねた結果、第１処理ユニット２０（または第２処理ユニット３０）にて運転間隔が空くと水が滞留したりして一回洗い直すことによりコンデションが大きく変わることから、第１処理ユニット２０（または第２処理ユニット３０）での処理時間（たとえば終点検出により決定される研磨時間）は、第１処理ユニット２０（または第２処理ユニット３０）の連続運転時間と相関関係があることが見出された。したがって、後述する予測モデル２８５に入力される入力情報が、消耗部材の使用時間と当該処理ユニットの連続運転時間とを含んでいることにより、予測モデル２８５による予測精度を顕著に向上させることが可能である。
予測部２８２ｂは、第１処理ユニット２０（または第２処理ユニット３０）での表面処理のレシピ情報と、基板情報と、第１処理ユニット２０（または第２処理ユニット３０）内にて使用される消耗部材の使用時間と、第１処理ユニット２０（または第２処理ユニット３０）の連続運転時間とに基づいて、第１処理ユニット２０（または第２処理ユニット３０）における表面処理時間を予測する予測モデル２８５（図１２参照）を有している。
図１２は、予測モデル２８５の構成の一例を説明するための模式図である。図１２に示す例では、予測モデル２８５は、ニューラルネットワークシステムであり、入力層と、入力層に接続された１または２以上の中間層と、中間層に接続され出力層とを有する階層型のニューラルネットワークまたは量子ニューラルネットワーク（ＱＮＮ）を含んでいる。図１２では、階層型のニューラルネットワークとして、フィードフォワードニューラルネットワークが図示されているが、畳み込みニューラルネットワーク（ＣＮＮ）やリカレントニューラルネットワーク（ＲＮＮ）など、様々なタイプのニューラルネットワークが使用され得る。予測モデル２８５は、中間層が２層以上に多層化されたニューラルネットワーク、すなわちディープラーニング（深層学習）を含んでいてもよい。
図１２に示すように、予測モデル２８５は、入力情報取得部２８２ａにより取得された入力情報（すなわち、第１処理ユニット２０（または第２処理ユニット３０）での表面処理のレシピ情報と、基板情報と、第１処理ユニット２０（または第２処理ユニット３０）内にて使用される消耗部材の使用時間と、第１処理ユニット２０（または第２処理ユニット３０）の連続運転時間）とが入力層に入力されると、第１処理ユニット２０（または第２処理ユニット３０）における表面処理時間を予測して出力層から出力する。
実表面処理時間取得部２８２ｃは、第１処理ユニット２０（または第２処理ユニット３０）における実際の表面処理時間を、基板処理装置１０の制御部７０から取得する。
予測モデル更新部２８２ｄは、実表面処理時間取得部２８２ｃにより取得された実際の表面処理時間と、予測部２９２ｂにより予測された表面処理時間とを比較し、その誤差に応じて予測モデル２８５を更新（たとえば、ニューラルネットワークにおける各ノードのパラメータ（重みや閾値など）を更新）する。
次に、このような構成からなる機械学習装置２８０による機械学習方法の一例について説明する。図１３は、機械学習方法の一例を示すフローチャートである。
図１３に示すように、まず、入力情報取得部２８２ａが、第１処理ユニット２０（または第２処理ユニット３０）での表面処理のレシピ情報と、基板情報（たとえば図１Ｂに示す基板Ｗ表面の銅膜７の成膜条件）と、第１処理ユニット２０（または第２処理ユニット３０）内にて使用される消耗部材の使用時間と、第１処理ユニット２０（または第２処理ユニット３０）の連続運転時間とを、基板処理装置１０の制御部７０から入力情報として取得する（ステップＳ２１１）。
次に、予測部２８２ｂが、入力情報取得部２８２ａにより取得された入力情報（すなわち、第１処理ユニット２０（または第２処理ユニット３０）での表面処理のレシピ情報と、基板情報と、第１処理ユニット２０（または第２処理ユニット３０）内にて使用される消耗部材の使用時間と、第１処理ユニット２０（または第２処理ユニット３０）の連続運転時間）を入力として、予測モデル２８５に基づいて、第１処理ユニット２０（または第２処理ユニット３０）における表面処理時間を予測して出力する（ステップＳ２１２）。
次いで、実表面処理時間取得部２８２ｃが、第１処理ユニット２０（または第２処理ユニット３０）における実際の表面処理時間を、基板処理装置１０の制御部７０から取得する（ステップＳ２１３）。
そして、予測モデル更新部２８２ｄが、実表面処理時間取得部２８２ｃにより取得された実際の表面処理時間と、予測部２９２ｂにより予測された表面処理時間とを比較し、その誤差に応じて予測モデル２８５を更新（たとえば、ニューラルネットワークにおける各ノードのパラメータ（重みや閾値など）を更新）する（ステップＳ２１４）。
その後、機械学習装置２８０の制御部２８２は、あらかじめ定められた学習回数（たとえば１００００回）に到達したか否かを判断し、当該学習回数に到達していない場合には（ステップＳ２１５：ＮＯ）、ステップＳ２１１から処理を繰り返す。他方、あらかじめ定められた学習回数に到達した場合には（ステップＳ２１５：ＹＥＳ）、処理を終了する。これにより、学習済みの予測モデル２８５（たとえば、チューニングされたニューラルネットワークシステム）が得られる。
機械学習装置２８０により生成された学習済みの予測モデル２８５（たとえば、チューニングされたニューラルネットワークシステム）は、基板処理装置１０の制御部７０にインストールされて利用され得る。学習済みの予測モデル２８５がインストールされた基板処理装置１０の制御部７０は、カセット１２から取り出される基板Ｗの順番と第１処理ユニット２０および第２処理ユニット３０のどちらに搬送するか、およびその搬送開始時刻との対応関係が規定された搬送ルールに従って、第１処理ユニット２０および第２処理ユニット３０と洗浄ユニット４０と搬送部５０の動作を制御するものであって、第１処理ユニット２０（または第２処理ユニット３０）での表面処理のレシピ情報と、基板情報（たとえば図１Ｂに示す基板Ｗ表面の銅膜７の成膜条件）と、第１処理ユニット２０（または第２処理ユニット３０）内にて使用される消耗部材の使用時間と、第１処理ユニット２０（または第２処理ユニット３０）の連続運転時間とを入力として、学習済みの予測モデル２８５に基づいて、第１処理ユニット２０（または第２処理ユニット３０）における表面処理時間を予測し、タイムチャート（搬送ルール）の作成時に、当該予測された表面処理時間に基づいて、基板の搬送開始のタイミングを決定する。なお、タイムチャート作成時に、予測表面処理時間に基づいて基板の搬送開始のタイミングを決定する具体的な手法としては、たとえば、特許第５０２３１４６号公報にて提案された手法を利用することができる。
以上のような第３の実施の形態によれば、機械学習装置２８０は、第１処理ユニット２０（または第２処理ユニット３０）での表面処理のレシピ情報と、基板情報と、第１処理ユニット２０（または第２処理ユニット３０）内にて使用される消耗部材の使用時間と、第１処理ユニット２０（または第２処理ユニット３０）の連続運転時間と、第１処理ユニット２０（または第２処理ユニット３０）における実際の表面処理時間との対応関係を教師データとして、予測モデル２８５の機械学習（教師あり学習）を行っている。そのため、このような機械学習装置２８０により生成された学習済みの予測モデル２８５を利用することにより、第１処理ユニット２０（または第２処理ユニット３０）での表面処理のレシピ情報と、基板情報だけでなく、第１処理ユニット２０（または第２処理ユニット３０）内にて使用される消耗部材の使用時間と、第１処理ユニット２０（または第２処理ユニット３０）の連続運転時間をも考慮して、第１処理ユニット２０（または第２処理ユニット３０）における表面処理時間を精度よく予測することが可能となり、これにより、タイムチャートの作成時に、当該予測された表面処理時間に基づいて、基板の搬送開始のタイミングを精度よく決定することが可能になる。
なお、上述した実施の形態に係る機械学習装置８０、１８０、２８０は、１つのコンピュータまたは量子コンピューティングシステム、もしくは互いにネットワークを介して接続された複数のコンピュータまたは量子コンピューティングシステムによって構成され得るが、１または複数のコンピュータまたは量子コンピューティングシステムに機械学習装置８０、１８０、２８０を実現させるためのプログラム及び当該プログラムを非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）に記録したコンピュータ読取可能な記録媒体も、本件の保護対象である。
以上、本発明の実施の形態および変形例を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。また、各実施の形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
１０ 基板処理装置
１２ カセット
２０ 第１処理ユニット
２２ａ、２４ａ トップリング
２２ｂ、２４ｂ 回転テーブル
３０ 第２処理ユニット
３２ａ、３４ａ トップリング
３２ｂ、３４ｂ 回転テーブル
４０ 洗浄ユニット
５０ 搬送部
７０ 制御部
８０ 機械学習装置
８１ 通信部
８２ 制御部
８２ａ 状態情報取得部
８２ｂ 行動選択部
８２ｃ 指示信号送信部
８２ｄ 動作結果取得部
８２ｅ 予測モデル更新部
８３ 記憶部
８５ 予測モデル
１８０ 機械学習装置
１８１ 通信部
１８２ 制御部
１８２ａ 状態情報取得部
１８２ｂ 行動選択部
１８２ｃ 指示信号送信部
１８２ｄ 動作結果取得部
１８２ｅ 予測モデル更新部
１８３ 記憶部
１８５ 予測モデル
２８０ 機械学習装置
２８１ 通信部
２８２ 制御部
２８２ａ 入力情報取得部
２８２ｂ 予測部
２８２ｃ 実表面処理時間取得部
２８２ｄ 予測モデル更新部
２８３ 記憶部
２８５ 予測モデル

Claims (22)

  1. 複数枚の基板を収容するカセットが載置される載置部と、
    基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
    表面処理後の基板を洗浄する洗浄ユニットと、
    前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
    前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
    を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行う機械学習装置であって、
    前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得部と、
    ある状態において、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を行うことに対する価値を予測する予測モデルを有し、前記状態情報取得部により取得された状態情報を入力として前記予測モデルに基づいて１つの行動を選択する行動選択部と、
    前記行動選択部により選択された行動を行うように前記制御部に指示信号を送信する指示信号送信部と、
    予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数と、表面処理後の基板が前記洗浄ユニットにて洗浄開始となるまでに待たされた待ち時間とを含む動作結果を取得する動作結果取得部と、
    前記処理枚数が多くかつ前記待ち時間が短いほど報酬が大きくなるように、前記動作結果取得部により取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する予測モデル更新部と、
    を備えたことを特徴とする機械学習装置。
  2. 前記第１処理ユニットおよび第２処理ユニットは、基板を研磨する研磨ユニットである、
    ことを特徴とする請求項１に記載の機械学習装置。
  3. 前記状態情報は、前記第１処理ユニットおよび第２処理ユニットにて使用される消耗部材の使用時間をさらに含む、
    ことを特徴とする請求項１または２に記載の機械学習装置。
  4. 前記消耗部材は、回転テーブルに取り付けられた研磨パッド、トップリングに取り付けられて基板の外周を支持するリテーナリング、トップリングに取り付けられて基板の裏面を支持する弾性膜のうちの１つまたは２つ以上である
    ことを特徴とする請求項２を引用する請求項３に記載の機械学習装置。
  5. 前記状態情報は、前記カセット内に収容された基板に予め施されている処理のレシピ情報をさらに含む、
    ことを特徴とする請求項１～４のいずれかに記載の機械学習装置。
  6. 前記状態情報は、前記第１処理ユニットおよび第２処理ユニットの故障発生情報または連続運転時間をさらに含む、
    ことを特徴とする請求項１～５のいずれかに記載の機械学習装置。
  7. 前記状態情報は、前記第１処理ユニットおよび第２処理ユニットでの表面処理のレシピ情報をさらに含む、
    ことを特徴とする請求項１～６のいずれかに記載の機械学習装置。
  8. 複数枚の基板を収容するカセットが載置される載置部と、
    基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
    表面処理後の基板を洗浄する洗浄ユニットと、
    前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
    前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
    を備えた基板処理装置であって、
    前記制御部は、請求項１～７のいずれかに記載の機械学習装置により生成された学習済みモデルを有し、当該基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を入力として、前記学習済みモデルに基づいて、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を選択し、選択した行動を行うように前記搬送部の動作を制御する、
    ことを特徴とする基板処理装置。
  9. 複数枚の基板を収容するカセットが載置される載置部と、
    基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
    表面処理後の基板を洗浄する洗浄ユニットと、
    前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
    前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
    を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行うことにより生成された学習済みモデルであって、
    入力層と、入力層に接続された１または２以上の中間層と、中間層に接続された出力層とを有し、
    前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報が取得され、取得された状態情報が入力層に入力され、それにより出力層から出力される、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を行うことに対する価値に基づいて１つの行動が選択され、選択された行動を行うように前記搬送部の動作が制御され、予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数と、表面処理後の基板が前記洗浄ユニットにて洗浄開始となるまでに待たされた待ち時間とを含む動作結果が取得され、前記処理枚数が多くかつ前記待ち時間が短いほど報酬が大きくなるように、取得された動作結果に基づいて報酬が計算され、当該報酬に基づいて各ノードのパラメータが更新される処理が繰り返されることにより、前記処理枚数が多くかつ前記待ち時間が短くなるような基板の搬送開始のタイミングおよびその搬送ルートを強化学習したものであり、
    前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報が入力層に入力されると、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を行うことに対する価値を予測して出力層から出力するよう、コンピュータを機能させるための学習済みモデル。
  10. 複数枚の基板を収容するカセットが載置される載置部と、
    基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
    表面処理後の基板を洗浄する洗浄ユニットと、
    前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
    前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
    を有する基板処理装置または当該基板処理装置のシミュレータに対して、コンピュータが実行する機械学習方法であって、
    前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得ステップと、
    前記状態情報取得ステップにおいて取得された状態情報を入力として、ある状態において、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を行うことに対する価値を予測する予測モデルに基づいて、１つの行動を選択する行動選択ステップと、
    前記行動選択ステップにおいて選択された行動を行うように前記制御部に指示信号を送信する指示信号送信ステップと、
    予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数と、表面処理後の基板が前記洗浄ユニットにて洗浄開始となるまでに待たされた待ち時間とを含む動作結果を取得する動作結果取得ステップと、
    前記処理枚数が多くかつ前記待ち時間が短いほど報酬が大きくなるように、前記動作結果取得ステップにおいて取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する予測モデル更新ステップと、
    を含む機械学習方法。
  11. 複数枚の基板を収容するカセットが載置される載置部と、
    基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
    表面処理後の基板を洗浄する洗浄ユニットと、
    前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
    前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
    を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行うよう、コンピュータを機能させるための機械学習プログラムであって、
    前記コンピュータを、
    前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得部と、
    ある状態において、新たな基板をカセットから取り出すか否かおよび取り出す場合には第１処理ユニットおよび第２処理ユニットのどちらに搬送するかの行動を行うことに対する価値を予測する予測モデルを有し、前記状態情報取得部により取得された状態情報を入力として前記予測モデルに基づいて１つの行動を選択する行動選択部と、
    前記行動選択部により選択された行動を行うように前記制御部に指示信号を送信する指示信号送信部と、
    予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数と、表面処理後の基板が前記洗浄ユニットにて洗浄開始となるまでに待たされた待ち時間とを含む動作結果を取得する動作結果取得部と、
    前記処理枚数が多くかつ前記待ち時間が短いほど報酬が大きくなるように、前記動作結果取得部により取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する予測モデル更新部と、
    として機能させることを特徴とする機械学習プログラム。
  12. 複数枚の基板を収容するカセットが載置される載置部と、
    基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
    表面処理後の基板を洗浄する洗浄ユニットと、
    前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
    前記カセットから取り出される基板の順番と前記第１処理ユニットおよび第２処理ユニットのどちらに搬送するかとの対応関係が規定された搬送ルールに従って、前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部であって、
    を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行う機械学習装置であって、
    前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得部と、
    ある状態において、新たな基板をカセットから取り出すか否かの行動を行うことに対する価値を予測する予測モデルを有し、前記状態情報取得部により取得された状態情報を入力として前記予測モデルに基づいて１つの行動を選択する行動選択部と、
    前記行動選択部により選択された行動を行うように前記制御部に指示信号を送信する指示信号送信部と、
    予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数を含む動作結果を取得する動作結果取得部と、
    前記処理枚数が多いほど報酬が大きくなるように、前記動作結果取得部により取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する予測モデル更新部と、
    を備えたことを特徴とする機械学習装置。
  13. 前記第１処理ユニットおよび第２処理ユニットは、基板を研磨する研磨ユニットである、
    ことを特徴とする請求項１２に記載の機械学習装置。
  14. 前記状態情報は、前記第１処理ユニットおよび第２処理ユニットにて使用される消耗部材の使用時間をさらに含む、
    ことを特徴とする請求項１２または１３に記載の機械学習装置。
  15. 前記消耗部材は、回転テーブルに取り付けられた研磨パッド、トップリングに取り付けられて基板の外周を支持するリテーナリング、トップリングに取り付けられて基板の裏面を支持する弾性膜のうちの１つまたは２つ以上である
    ことを特徴とする請求項１３を引用する請求項１４に記載の機械学習装置。
  16. 前記状態情報は、前記カセット内に収容された基板に予め施されている処理のレシピ情報をさらに含む、
    ことを特徴とする請求項１２～１５のいずれかに記載の機械学習装置。
  17. 前記状態情報は、前記第１処理ユニットおよび第２処理ユニットの連続運転時間をさらに含む、
    ことを特徴とする請求項１２～１６のいずれかに記載の機械学習装置。
  18. 前記状態情報は、前記第１処理ユニットおよび第２処理ユニットでの表面処理のレシピ情報をさらに含む、
    ことを特徴とする請求項１２～１７のいずれかに記載の機械学習装置。
  19. 複数枚の基板を収容するカセットが載置される載置部と、
    基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
    表面処理後の基板を洗浄する洗浄ユニットと、
    前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
    前記カセットから取り出される基板の順番と前記第１処理ユニットおよび第２処理ユニットのどちらに搬送するかとの対応関係が規定された搬送ルールに従って、前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
    を備えた基板処理装置であって、
    前記制御部は、請求項１２～１８のいずれかに記載の機械学習装置により生成された学習済みモデルを有し、当該基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を入力として、前記学習済みモデルに基づいて、新たな基板をカセットから取り出すか否かの行動を選択し、選択した行動を行うように前記搬送部の動作を制御する、
    ことを特徴とする基板処理装置。
  20. 複数枚の基板を収容するカセットが載置される載置部と、
    基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
    表面処理後の基板を洗浄する洗浄ユニットと、
    前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
    前記カセットから取り出される基板の順番と前記第１処理ユニットおよび第２処理ユニットのどちらに搬送するかとの対応関係が規定された搬送ルールに従って、前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
    を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行うことにより生成された学習済みモデルであって、
    入力層と、入力層に接続された１または２以上の中間層と、中間層に接続された出力層とを有し、
    前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報が取得され、取得された状態情報が入力層に入力され、それにより出力層から出力される、新たな基板をカセットから取り出すか否かの行動を行うことに対する価値に基づいて１つの行動が選択され、選択された行動を行うように前記搬送部の動作が制御され、予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数を含む動作結果が取得され、前記処理枚数が多いほど報酬が大きくなるように、取得された動作結果に基づいて報酬が計算され、当該報酬に基づいて各ノードのパラメータが更新される処理が繰り返されることにより、前記処理枚数が多くなるような基板の搬送開始のタイミングを強化学習したものであり、
    前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報が入力層に入力されると、新たな基板をカセットから取り出すか否かの行動を行うことに対する価値を予測して出力層から出力するよう、コンピュータを機能させるための学習済みモデル。
  21. 複数枚の基板を収容するカセットが載置される載置部と、
    基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
    表面処理後の基板を洗浄する洗浄ユニットと、
    前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
    前記カセットから取り出される基板の順番と前記第１処理ユニットおよび第２処理ユニットのどちらに搬送するかとの対応関係が規定された搬送ルールに従って、前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
    を有する基板処理装置または当該基板処理装置のシミュレータに対して、コンピュータが実行する機械学習方法であって、
    前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得ステップと、
    前記状態情報取得ステップにおいて取得された状態情報を入力として、ある状態において、新たな基板をカセットから取り出すか否かの行動を行うことに対する価値を予測する予測モデルに基づいて、１つの行動を選択する行動選択ステップと、
    前記行動選択ステップにおいて選択された行動を行うように前記制御部に指示信号を送信する指示信号送信ステップと、
    予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数を含む動作結果を取得する動作結果取得ステップと、
    前記処理枚数が多いほど報酬が大きくなるように、前記動作結果取得ステップにおいて取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する予測モデル更新ステップと、
    を含む機械学習方法。
  22. 複数枚の基板を収容するカセットが載置される載置部と、
    基板を表面処理する第１処理ユニットおよび第２処理ユニットと、
    表面処理後の基板を洗浄する洗浄ユニットと、
    前記載置部と前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットとの間で基板を搬送する搬送部と、
    前記カセットから取り出される基板の順番と前記第１処理ユニットおよび第２処理ユニットのどちらに搬送するかとの対応関係が規定された搬送ルールに従って、前記第１処理ユニットおよび第２処理ユニットと前記洗浄ユニットと前記搬送部の動作を制御する制御部と、
    を有する基板処理装置または当該基板処理装置のシミュレータに対して、機械学習を行うよう、コンピュータを機能させるための機械学習プログラムであって、
    前記コンピュータを、
    前記基板処理装置内における基板の位置および各ユニット内に位置する基板の当該ユニット内での経過時間を含む状態情報を取得する状態情報取得部と、
    ある状態において、新たな基板をカセットから取り出すか否かの行動を行うことに対する価値を予測する予測モデルを有し、前記状態情報取得部により取得された状態情報を入力として前記予測モデルに基づいて１つの行動を選択する行動選択部と、
    前記行動選択部により選択された行動を行うように前記制御部に指示信号を送信する指示信号送信部と、
    予め定められた枚数の基板処理終了後、単位時間あたりの処理枚数を含む動作結果を取得する動作結果取得部と、
    前記処理枚数が多いほど報酬が大きくなるように、前記動作結果取得部により取得された動作結果に基づいて報酬を計算し、当該報酬に基づいて前記予測モデルを更新する価値関数更新部と、
    として機能させることを特徴とする機械学習プログラム。
JP2019169007A 2019-09-18 2019-09-18 機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラム Active JP7224265B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019169007A JP7224265B2 (ja) 2019-09-18 2019-09-18 機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラム
CN202080065900.8A CN114430707A (zh) 2019-09-18 2020-09-10 机器学习装置、基板处理装置、完成学习模型、机器学习方法、机器学习程序
KR1020227012315A KR20220063230A (ko) 2019-09-18 2020-09-10 기계 학습 장치, 기판 처리 장치, 학습 완료 모델, 기계 학습 방법, 기계 학습 프로그램
US17/761,464 US20220344164A1 (en) 2019-09-18 2020-09-10 Machine learning device, substrate processing device, trained model, machine learning method, and machine learning program
PCT/JP2020/034234 WO2021054236A1 (ja) 2019-09-18 2020-09-10 機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラム
TW109131815A TW202114021A (zh) 2019-09-18 2020-09-16 機械學習裝置、基板處理裝置、學習完成模型、機械學習方法、機械學習程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019169007A JP7224265B2 (ja) 2019-09-18 2019-09-18 機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラム

Publications (2)

Publication Number Publication Date
JP2021048213A JP2021048213A (ja) 2021-03-25
JP7224265B2 true JP7224265B2 (ja) 2023-02-17

Family

ID=74878686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019169007A Active JP7224265B2 (ja) 2019-09-18 2019-09-18 機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラム

Country Status (6)

Country Link
US (1) US20220344164A1 (ja)
JP (1) JP7224265B2 (ja)
KR (1) KR20220063230A (ja)
CN (1) CN114430707A (ja)
TW (1) TW202114021A (ja)
WO (1) WO2021054236A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836429B2 (en) * 2019-10-23 2023-12-05 Lam Research Corporation Determination of recipes for manufacturing semiconductor devices

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005109437A (ja) 2003-09-08 2005-04-21 Toshiba Corp 半導体装置の製造システムおよび半導体装置の製造方法
JP2008091698A (ja) 2006-10-03 2008-04-17 Matsushita Electric Ind Co Ltd 基板処理装置および基板処理方法
WO2008133286A1 (ja) 2007-04-20 2008-11-06 Ebara Corporation 研磨装置及びそのプログラム
JP2009004442A (ja) 2007-06-19 2009-01-08 Renesas Technology Corp 半導体ウェハの研磨方法
JP2010027701A (ja) 2008-07-16 2010-02-04 Renesas Technology Corp 化学的機械的研磨方法、半導体ウェハの製造方法、半導体ウェハ及び半導体装置
JP2010087135A (ja) 2008-09-30 2010-04-15 Nec Corp 半導体装置の製造方法およびｃｍｐ装置
JP2012074574A (ja) 2010-09-29 2012-04-12 Hitachi Ltd 加工装置制御システムおよび加工装置制御方法
JP2015199181A (ja) 2014-04-10 2015-11-12 株式会社荏原製作所 基板処理装置
JP2018186203A (ja) 2017-04-26 2018-11-22 株式会社荏原製作所 基板処理方法
JP2019040984A (ja) 2017-08-24 2019-03-14 株式会社日立製作所 探索装置及び探索方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4068404B2 (ja) * 2002-06-26 2008-03-26 大日本スクリーン製造株式会社 基板処理システム、基板処理装置、基板処理方法、プログラム及び記録媒体
JP4808453B2 (ja) * 2005-08-26 2011-11-02 株式会社荏原製作所 研磨方法及び研磨装置
JP5511190B2 (ja) * 2008-01-23 2014-06-04 株式会社荏原製作所 基板処理装置の運転方法
JP6627076B2 (ja) * 2016-03-01 2020-01-08 パナソニックＩｐマネジメント株式会社 部品実装用装置及び基板搬送方法
US20190240799A1 (en) * 2016-10-18 2019-08-08 Ebara Corporation Substrate processing control system, substrate processing control method, and program
JP6758247B2 (ja) * 2017-05-10 2020-09-23 株式会社荏原製作所 洗浄装置および基板処理装置、洗浄装置のメンテナンス方法、並びにプログラム
CN108427698A (zh) * 2017-08-29 2018-08-21 平安科技（深圳）有限公司 预测模型的更新装置、方法及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005109437A (ja) 2003-09-08 2005-04-21 Toshiba Corp 半導体装置の製造システムおよび半導体装置の製造方法
JP2008091698A (ja) 2006-10-03 2008-04-17 Matsushita Electric Ind Co Ltd 基板処理装置および基板処理方法
WO2008133286A1 (ja) 2007-04-20 2008-11-06 Ebara Corporation 研磨装置及びそのプログラム
JP2009004442A (ja) 2007-06-19 2009-01-08 Renesas Technology Corp 半導体ウェハの研磨方法
JP2010027701A (ja) 2008-07-16 2010-02-04 Renesas Technology Corp 化学的機械的研磨方法、半導体ウェハの製造方法、半導体ウェハ及び半導体装置
JP2010087135A (ja) 2008-09-30 2010-04-15 Nec Corp 半導体装置の製造方法およびｃｍｐ装置
JP2012074574A (ja) 2010-09-29 2012-04-12 Hitachi Ltd 加工装置制御システムおよび加工装置制御方法
JP2015199181A (ja) 2014-04-10 2015-11-12 株式会社荏原製作所 基板処理装置
JP2018186203A (ja) 2017-04-26 2018-11-22 株式会社荏原製作所 基板処理方法
JP2019040984A (ja) 2017-08-24 2019-03-14 株式会社日立製作所 探索装置及び探索方法

Also Published As

Publication number Publication date
TW202114021A (zh) 2021-04-01
KR20220063230A (ko) 2022-05-17
WO2021054236A1 (ja) 2021-03-25
JP2021048213A (ja) 2021-03-25
CN114430707A (zh) 2022-05-03
US20220344164A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
US7522968B2 (en) Scheduling method for processing equipment
TWI521628B (zh) 排程器、基板處理裝置，及基板處理裝置之基板傳送方法
JP7224265B2 (ja) 機械学習装置、基板処理装置、学習済みモデル、機械学習方法、機械学習プログラム
US20080051930A1 (en) Scheduling method for processing equipment
US20080014058A1 (en) Scheduling method for processing equipment
TW201532118A (zh) 用於控制多批工件處理的方法、儲存媒體及系統
US11599115B2 (en) Transport control device
JP5023146B2 (ja) 研磨装置及びそのプログラム
US11275360B2 (en) Using graphics processing unit for substrate routing and throughput modeling
TW202030826A (zh) 真空處理裝置之運轉方法
JP2011018737A (ja) 半導体製造システム
TW201926165A (zh) 將半導體批次調度到製造工具的系統和方法
JP2994321B2 (ja) 製造工程の生産管理システム
CN110223934B (zh) 调度器、衬底处理装置及衬底输送方法
US20030022404A1 (en) System processing time computation method, system processing time computation device, and recording medium with system processing time computation program recorded thereon
Sung et al. A neural network approach for batching decisions in wafer fabrication
JP5075835B2 (ja) 半導体製造システム
Gupta et al. Improving scheduling and control of the OHTC controller in wafer fab AMHS systems
JP7242890B2 (ja) 真空処理装置の運転方法
CN115295467A (zh) 一种基于工艺路径的传输时间控制方法及半导体工艺设备
JP2008159846A (ja) 半導体デバイス製造ラインの仕掛り平準化制御方法及びシステム
JPH06291006A (ja) 半導体ウェーハの生産方法
JP2000114131A (ja) 生産管理装置とその方法
JP2018093131A (ja) 搬送システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230207

R150 Certificate of patent or registration of utility model

Ref document number: 7224265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150