JP7843943B2 - 計測装置、計測データ利活用システム及び計測データ取得方法 - Google Patents

Description

本発明は、計測装置、計測データ利活用システム及び計測データ取得方法に関する。

半導体デバイスの生産性向上のため、半導体製造装置にはその性能向上のみならず、稼働率の向上が求められる。半導体製造装置の保守作業の多くには人手による作業が含まれているため、保守作業は効率的、かつ適正に行われる必要がある。保守作業における手戻りを防止するため、例えば、作業員による保守作業のログを蓄積・分析するシステムが有効であると考えられる。その場合、保守作業を定量的に特徴づけるため、各々の作業員が装置やパーツに対してどのように動いているかについてもログを蓄積する必要がある。例えば、部品の清拭時における部品を保持しつつ清拭する手の動き、部品の取付時における両手の位置関係、大型部品の解体・取付時における手の運び方、装置内で作業している作業員と周囲のエリアで準備をしている作業員の関係など。

特許文献１は、監視対象物の領域以外の領域が秘匿されるように画像を制限する技術に関する。監視対象物に対するメンテナンス等の作業を遠隔で支援する場合、作業者が監視対象物を撮影した画像を遠隔地の端末装置に送り、指示者が端末装置で画像を確認して作業者の作業を支援する。特許文献１の技術は、監視対象物の周囲には指示者に見せたくない秘匿情報がある場合に、それらを秘匿し、遠隔支援を可能とするものである。

特開２０２２－１８４４８１号公報

近年では測距技術が進展しており、３Ｄセンサを用いることで、実寸法レベルで装置に対する作業員の空間的な動きを計測することが可能となっている。

特許文献１では監視対象物として基板処理装置が例示されているが、このような装置の保守作業は、ユーザの工場に設置されており、工場内には他社装置やその他保守作業とは無関係な秘密情報などの多い場所で行われることが多い。さらに、保守作業は、保守作業の対象である装置から部品を取り外し、装置の設置場所とは別の場所で作業が行われることも頻繁に生じる。このため、特許文献１のように固定的に監視対象物だけをモニターできるだけは不十分である。

一般に、保守作業では作業場所の移動が頻繁に発生するため、部品あるいは作業員の動きを追従している計測データを取得する必要があるが、その過程で映してはいけない情報を意図せず取得してしまう可能性があり、情報漏洩につながる危険性がある。

さらに、３Ｄセンサのデータ量は大きく、データ取得が可能な領域であっても、長時間変化のない状態が続いている状態でデータ取得を継続することは、データ容量の観点から好ましくない。

本発明の一実施の形態である計測装置は、半導体製造装置に対する保守作業が行われる空間に設置された第１の３Ｄセンサを用いて、作業員による保守作業を計測した計測データを取得する計測装置であって、第１の３Ｄセンサから取得した生データの画像に含まれる物体を識別する物体識別部と、物体識別部により識別された識別オブジェクトの空間における位置を取得する座標変換部と、１以上の識別オブジェクトの動きに基づき作業員が実施している作業工程を判断する作業判断部と、作業判断部が判断した作業工程に応じて生データの画像のうち出力可／不可とする領域を設定する領域設定部と、生データの画像のうち領域設定部が出力不可とした領域を視認不能とする限定データを生成するデータ限定部とを有する。

情報漏洩リスクが低く、データ容量の小さな計測データを取得可能な計測装置、計測データ利活用システム、計測データ取得方法を提供する。その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになる。

作業員が保守作業を行う空間を示す図である。 情報処理装置のハードウェア構成例である。 データ処理装置の計測機能の機能ブロック図である。 ゲートバルブに対する保守作業のフローである。 データ記憶部に読み込まれるデータを示す図である。 仮想空間において設定されるＲＯＩの例である。 作業工程テーブルのデータ構成例である。 ゲートバルブ解体工程の例である。 ゲートバルブモデルを基準にＲＯＩを減縮する方法を示す図である。 上部チャンバの組立工程の例である。 上部チャンバの解体工程の例である。 計測データ利活用システムの構成例である。

以下、図面を用いて本実施例について説明する。

実施例１において作業員が半導体製造装置に対する保守作業を行う空間を図１に示す。図１の左側に示す現実空間１００は、作業員が保守作業を行う空間を模式的に示す上面図である（作業員のみ作図の都合上、側面図として示している）。半導体製造装置４０が保守作業を行う対象であり、その周囲に通路１０や作業エリア１５が設けられている。なお、通路や作業エリアはそれぞれ複数の区画に区分されており、特定の区画の通路や作業エリアを示す場合には符号を付して示すものとする。また、半導体製造装置４０としてはエッチャーの例を示しており、図にはベースプレート４１、リッド４２及びバルブボックス４３が示されている。

保守作業時、例えば、作業員３０は半導体製造装置４０のゲートバルブを解体し、具体的にはバルブボックス４３からゲートバルブ４４を取り出し、そのときの状況に応じていずれかの作業エリア（この例では作業エリア１５ｂ）に移動し、ゲートバルブ４４に対する保守作業を行う。このような作業員の作業を３Ｄセンサ２１で計測するため、作業員が作業する可能性のある空間を観測できるよう、現実空間１００内には１以上の３Ｄセンサ２１が固定的に設置されている。複数台の３Ｄセンサを設ける場合には、隣接する３Ｄセンサの観測範囲が重複するように設置することが望ましい。なお、３Ｄセンサについても、特定の３Ｄセンサを示す場合には符号を付して示すものとする。この例では、作業エリア１５ｂにおける作業が視野２３ａに含まれるよう３Ｄセンサ２１ａが、半導体製造装置４０に対する作業が視野２３ｂに含まれるよう、３Ｄセンサ２１ｂが配置されている。３Ｄセンサ２１はケーブル２２を介してデータ処理装置２０に接続されている。また、この例では作業員３０がＨＭＤ（Head Mounted Display）３１を装着している。ＨＭＤ３１もまた、３Ｄセンサとしての機能を有する。

データ処理装置２０は、３Ｄセンサ２１あるいはＨＭＤ３１からの計測データ（生データ）を受信するとともに、計測データの画像について作業員が実施する作業工程に応じて視認可能な領域を限定する機能を有する。以下では、視認可能な領域を限定された計測データを限定データという。なお、データ処理装置２０は、現実空間１００内に配置されている必要はなく、現実空間１００外に配置されていてもよい。

データ処理装置２０は、限定データを生成するため現実空間１００に対応させた空間モデルを保持している。空間モデルが示す仮想空間１１０を図１の右側に示す。仮想空間１１０において、通路１０が通路モデル５０に、作業エリア１５が作業エリアモデル５５に、ベースプレート４１、リッド４２、バルブボックス４３及びゲートバルブ４４がそれぞれベースプレートモデル８１、リッドモデル８２、バルブボックスモデル８３及びゲートバルブモデル８４に、作業員３０が作業員モデル７０に対応している。図１に示す仮想空間１１０の例では、通路１０や作業エリア１５をレイアウトにあわせてそのままモデル化しているが、簡略化してもよく、あるいは通路モデル５０や作業エリアモデル５５といった区分を省略してしまってもよい。座標基準５１は、仮想空間の世界座標系の原点を示している。仮想空間１１０と現実空間１００とを対応付けるため仮想空間１１０の座標基準５１に対応する現実空間１００の位置には、マーカ１１が設置されている。マーカ１１として、例えば床面に二次元バーコードや識別しやすい模様を表示したり、テープを貼付したりすることができる。

なお、空間モデルを作成する現実空間１００の大きさは、計測対象とする保守作業に応じて定めればよい。上記の例であれば、建屋全体がモデル化されていなくても、作業員が作業する可能性のある範囲が仮想空間１１０としてモデル化されていれば十分である。

図２Ａに、データ処理装置２０のハードウェア構成例を示す。データ処理装置２０は、図２Ａに示すようなプロセッサ（ＣＰＵ）２０１、メモリ２０２、ストレージ装置２０３、入力インタフェース（Ｉ／Ｆ）２０４、出力Ｉ／Ｆ２０５、通信Ｉ／Ｆ２０６、入出力ポート２０７、バス２０８を主要な構成として含む情報処理装置により実現される。プロセッサ２０１は、メモリ２０２にロードされたプログラムに従って処理を実行することによって、所定の機能を提供する機能部（機能ブロック）として機能する。ストレージ装置２０３は、機能部で使用するデータやプログラムを格納する。ストレージ装置２０３には、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）のような不揮発性記憶媒体が用いられる。入力Ｉ／Ｆ２０４はキーボード、ポインティングデバイスなどの入力装置２０９を接続するインタフェースであり、出力Ｉ／Ｆ２０５は表示装置２１０を接続するインタフェースである。通信Ｉ／Ｆ２０６は、ネットワークを介して他の情報処理装置との通信を可能にする。入出力ポート２０７は、３Ｄセンサ２１のケーブル２２が接続され、３Ｄセンサ２１からの計測データが入力される。これらはバス２０８により互いに通信可能に接続されている。

なお、データ処理装置２０は１台の情報処理装置で実現する必要はなく、複数台の情報処理装置で実現してもよい。さらに、データ処理装置２０の一部、あるいはすべての機能をクラウド上のアプリケーションとして実現してもよい。

図２Ｂに、データ処理装置２０の計測機能の機能ブロック図を示す。本機能は、初期設定部２２１、データ取得部２２２、物体識別部２２３、座標変換部２２４、作業判断部２２５、領域設定部２２６、データ限定部２２７、データ出力部２２８及び計測機能に必要なデータを記憶するデータ記憶部２２９を有している。これらの詳細について、以下では図３に示すゲートバルブに対する保守作業を例として参照しながら後述する。この保守作業には半導体製造装置４０近傍にて行われるゲートバルブ解体作業や作業エリアにおけるゲートバルブ清拭作業を含む。本実施例によるデータ処理装置２０の計測機能は生データの画像について、フレキシブルに視認可能な領域を限定することができるため、半導体製造装置４０が設置された建屋内における秘密情報が映り込んだりすることない保守作業の計測データを取得し、秘密漏洩のおそれなく第三者と共有することができる。

［初期設定部２２１］
初期設定部２２１は、３Ｄセンサ２１の起動を行う。ここでは３Ｄセンサ２１としてＬｉＤＡＲ（Light Detection And Ranging）方式カメラを用いる例を示す。ＬｉＤＡＲ方式カメラはＲＧＢ（色）画像データに加え、対象までの距離を示す深度画像データを出力することができる。ただし、３Ｄセンサ２１は３次元のデータ（点群データやメッシュ、ボクセルなどのボリュームデータ）に変換可能な計測データを得られるセンサであればよく、ＬｉＤＡＲ方式カメラ以外にも、２つのＣＭＯＳイメージセンサを設けたステレオカメラ、投影用パターン発光素子とイメージセンサとを組み合わせたストラクチャードライト方式のセンサ、距離センサとＲＧＢカメラとを組み合わせ、画素間の関係を調整したセンサデバイスなどでもよい。さらに、機械学習などを用いて、ＲＧＢ画像から各画素の距離情報を推定する機能を実装したセンサを使用してもよい。

また、初期設定部２２１は計測機能を実行するためのデータの読み込み、初期化を行う。図４Ａにデータ記憶部２２９に読み込まれるデータを示す。ＣＡＤデータ３０１は、保守作業の対象である装置、この例では半導体製造装置４０のＣＡＤデータである。空間モデル３０２は、図１を用いて説明した作業員が保守作業を行う現実空間のモデルであり、空間モデル３０２には、生データの画像の出力可否についての属性情報を備える領域（以下、ＲＯＩ（Region of Interest）と表記する）が設定されている。図４Ｂに空間モデル３０２が表す仮想空間において設定されるＲＯＩの例を示す。ＲＯＩの属性情報は、「出力可」、「出力不可」、「出力禁止」の３区分とする。例えば、ＲＯＩ３２１は「出力禁止」属性の領域であり、常に計測データの出力が禁止され、ＲＯＩ３２２，３２３，３２４は「出力可」／「出力不可」属性の領域であり、データ処理装置２０の判断により計測データの出力が許可されうる。なお、初期状態ではすべてのＲＯＩを「出力不可」または「出力禁止」に設定しておくものとする。

ここで、空間モデルに対するＲＯＩの設定について説明する。ＲＯＩは、図１に説明した通路１０や作業エリア１５にしたがって区画される必要はない。例えば、図４Ｂでは作業エリアモデル５５ａの一部がＲＯＩ３２１により「出力禁止」とされているが、例えば、作業エリアモデル５５ａに対応する作業エリア１５ａの壁面に金属面あるいは鏡が設けられている場合に、金属面や鏡へ意図しない情報が映り込み、計測データに含まれて漏洩するおそれがある。このような事態を防止するため、作業エリア１５ａの壁面に対応する作業エリアモデル５５ａの一部に「出力禁止」属性をもつＲＯＩ３２１を設定することができる。また、作業エリアモデル５５ｂは一つのＲＯＩ（ＲＯＩ３２２）とされているが、例えば複数のＲＯＩに分割されていても構わない。現実空間の利用の実情にあわせて設定することができる。「出力可」／「出力不可」属性のＲＯＩは、現実空間に設置された３Ｄセンサの視野の全てがカバーするように設定されていれば十分であるが、「出力禁止」属性のＲＯＩは現実空間に設置された３Ｄセンサの配置にかかわらず、仮想空間の全体に対して設定しておく。ＨＭＤ３１のような移動する３Ｄセンサの計測データについても制限可能とするためである。

作業工程テーブル３０３には、計測する保守作業の作業工程の情報が登録されている。図４Ｃに作業工程テーブル３０３のデータ構成例を示す。ＩＤ３３１には作業工程を特定するＩＤが登録される。作業工程名３３２には作業工程の名称が登録される。判断基準３３３には３Ｄセンサの計測データ等から当該作業工程が実施されていることを判断するための判断基準が登録される。作業エリア候補３３４には、当該作業工程が実施される作業エリア候補が登録される。作業エリア候補は１箇所の場合もあるし、複数箇所の場合もある。関連ＲＯＩ３３５には、作業エリア候補に対応するＲＯＩが登録される。属性３３６には関連ＲＯＩの属性が登録される。なお、上述のように、初期設定部２２１による初期設定では「出力可」／「出力不可」属性のＲＯＩは「出力不可」として登録されている。限定態様３３７は生データの画像を限定する場合の態様が登録される。限定態様についてはさまざまありうるが、例えば視認不能とする画像領域をぼかす、黒塗りにするといった態様が考えられる。

［データ取得部２２２］
データ取得部２２２は、３Ｄセンサ２１から受信した計測データ（生データ）を物体識別部２２３で処理可能なようにデータ処理を行う。具体的には、データ取得部２２２では、３Ｄセンサ２１から得られるＲＧＢ画像データ及び深度画像データの画角を一致させるとともに、座標基準５１を原点とする世界座標系で画像データに含まれるオブジェクトの位置を特定するためのカメラパラメータを取得する。カメラパラメータは、カメラ内パラメータとカメラ外パラメータとを含む。カメラ内パラメータは、３Ｄセンサ２１におけるレンズ歪みやＲＧＢセンサと距離センサとの位置関係を含むカメラ校正のためのパラメータをいい、カメラ外パラメータは、３Ｄセンサ２１が世界座標系においてどの位置に、どのような姿勢で設置されているかを示すパラメータをいう。カメラ内パラメータが３Ｄセンサ２１の内蔵メモリに保持されている場合には、３Ｄセンサ２１からカメラ内パラメータを取得し、そうでない場合には、あらかじめ校正を行うことによりカメラ内パラメータを生成しておく。一方、カメラ外パラメータは、３Ｄセンサ２１設置に設定しておいてもよく、ＳＬＡＭ（Simultaneous Localization and Mapping）処理などの自己位置推定アルゴリズムを使って推定した設置位置及び姿勢に基づき設定しておいてもよい。

データ取得部２２２におけるデータ処理は、後段の物体識別部２２３でのデータ処理方法に依存する。物体識別部２２３における物体識別が２Ｄ処理である場合には、ＲＧＢ画像データ及び深度画像データの画角をあわせる処理を行う。一方、物体識別部２２３における物体識別が３Ｄ処理である場合には、画角をあわせたＲＧＢ画像データ及び深度画像データについて、カメラパラメータを用い仮想空間の３Ｄデータ（３Ｄ点群データ）に変換する。

［物体識別部２２３］
物体識別部２２３は、データ取得部２２２によって処理された画像データまたは３Ｄデータとカメラパラメータを用いて物体識別処理を行う。物体識別処理は２Ｄ処理、３Ｄ処理のいずれで行ってもよく、公知の手法を用いることができる。物体識別部２２３は、物体識別処理によって識別されたオブジェクト（識別オブジェクト）を３Ｄデータとして抽出する。抽出された識別オブジェクトごとに識別情報が付与される。

［座標変換部２２４］
座標変換部２２４は、カメラパラメータを用いて、抽出された識別オブジェクトの３Ｄデータを世界座標系に変換する。以上の処理によって、データ処理装置２０は、３Ｄセンサ２１が取得した生データの画像に含まれる識別オブジェクトを仮想空間における位置とともに把握することができる。

［作業判断部２２５］
３Ｄセンサ２１からの計測データに対して、以上の処理を連続して実施することにより、データ処理装置２０は、仮想空間における識別オブジェクトの動きを把握することが可能になる。ここで、識別オブジェクトの動きには、仮想空間における識別オブジェクトの移動の他、識別オブジェクトそのものの形状変化なども含む。作業判断部２２５は、仮想空間における１以上の識別オブジェクトの動きが作業工程テーブル３０３の判断基準３３３に該当すれば、当該作業工程として検知する。

図５は、ゲートバルブ解体工程の例である。現実空間においてバルブボックス４３からゲートバルブ４４が取り出される様子は、仮想空間ではバルブボックスモデル８３からゲートバルブモデル８４が遠ざかっていく動きとして表れる。例えば、バルブボックスモデル８３とゲートバルブモデル８４との最小距離の軌跡などからゲートバルブモデル８４の動線を把握し、ゲートバルブの取り出しを判断することができる。なお、ゲートバルブモデル８４は、３Ｄセンサ２１からの画像データから抽出された識別オブジェクトであるが、バルブボックスモデル８３は固定の装置であるため、識別オブジェクトとして抽出しなくてもＣＡＤデータ３０１に基づきあらかじめ形状を把握しておくことができる。

データ処理装置２０は、ゲートバルブ解体において取り出されたゲートバルブをトラッキングする。現実空間に多数の３Ｄセンサ２１が配置されている場合には、ゲートバルブが物体識別部２２３によって識別オブジェクトとして識別され続けることによって、仮想空間上の軌道をトレースすることで行える。あるいは、作業員３０がＨＭＤ３１のような、作業員３０の位置を特定可能とするセンサを装着しているような場合には、メンテナンスを行う作業員３０の位置情報に基づき、ゲートバルブのトラッキングを行ってもよい。

作業判断部２２５は、仮想空間におけるゲートバルブ（識別オブジェクト）の動きをトレースし、作業工程テーブル３０３の判断基準３３３と照合する。保守作業がゲートバルブの解体から再びバルブボックスに組み込まれるまでの一連の作業工程を含む場合（図４Ｃ参照（ＩＤ：Ｐ０１－１～３））、ゲートバルブモデル８４が関連ＲＯＩ３３５として登録されているいずれかのＲＯＩへ移動したことが確認されると、作業判断部２２５はゲートバルブの清拭作業の実施を検知する。

［領域設定部２２６］
ここでは、ゲートバルブの清拭作業に関する生データの画像についての出力可／不可の領域設定を例に説明する。領域設定部２２６は、３Ｄセンサ２１が取得した生データの画像について出力可／不可とする領域を設定する。この例では、ゲートバルブモデル８４が移動したＲＯＩの属性を初期状態の出力不可から出力可に切り換える。

生データの画像に出力禁止属性のＲＯＩが映り込む範囲がある場合には常に出力不可領域とされる。３Ｄセンサ２１は固定されており、出力禁止属性のＲＯＩが映り込む範囲も画像データ内で固定されるため、あらかじめ出力禁止属性のＲＯＩに基づく出力不可領域を定めておくことができる。

本例のように「出力可」／「出力不可」属性のＲＯＩに識別オブジェクトが移動した場合、最も単純な方法は、移動のタイミングでその属性を出力不可から出力可に切り換え、識別オブジェクトが出ていくと再び出力可から出力不可に切り換える方法である。加えて、「出力可」／「出力不可」属性のＲＯＩの属性切り換えにはさらに条件を加えてもよい。例えば、ＲＯＩ内に入って一定時間（例えば５秒程度）経過した後に出力可に切り換えるようにする。作業のためではなく一時的に通過したようなＲＯＩに対する処理を不要にできる。また、作業員の手を識別オブジェクトとして認識しておき、作業員の手がゲートバルブから離れていると判断される場合には、ＲＯＩの属性を出力可から出力不可に切り換えるようにしてもよい。

さらにＲＯＩの属性切り換えに加え、ＲＯＩの範囲を限定するようにしてもよい。現実空間の運用によっては、例えば同じ作業エリアで別の作業員が別の作業を行っており、この作業の画像は出力不可である、といった場合もありうる。このため、ＲＯＩを減縮調整可能とする。図６は、ゲートバルブモデル８４を基準にＲＯＩを減縮する方法を示す。この例では、ゲートバルブモデル８４のバウンディングボックス３５０を算出し、これに作業員の手元が含まれるよう、例えばバウンディングボックス３５０の重心を基準に、所定倍（例えば1.5倍）に拡大した領域にＲＯＩを変更する。ここでは、ＲＯＩ３２２を減縮したＲＯＩをＲＯＩ３２２’として示している。また、別の方法として作業員がＲＯＩの領域を調整可能としてもよい。作業員３０が装着するＨＭＤ３１にＲＯＩをＡＲ表示させ、出力可能な範囲をハンドモーションで指定可能にすることにより、ＲＯＩを減縮することができる。

また、領域設定部２２６は、このように領域設定部２２６のアルゴリズムや作業員の判断によってなされた出力可／不可の設定をユーザ（情報管理責任者）が確認できるよう、出力可／不可の設定結果と視認可能に出力される領域をユーザに提示し、必要に応じて出力領域を調整する編集画面を備える。

さらに、領域設定部２２６は、以上で説明したような出力可／不可の設定に適用した計測装置のアルゴリズムや編集経緯を示すログを限定化レポートとして出力することが望ましい。例えば、限定化レポートは、計測データを限定化する過程についての情報を含む。具体的には、あらかじめデータ出力不可として設定された領域や、作業工程を判断した根拠として識別された物体（識別オブジェクト）の情報や、その物体あるいはその物体を保持する作業員の位置などの情報を含む。また、生データの画像と限定データの画像とを比較表示してもよい。

［データ限定部２２７］
データ限定部２２７は、領域設定部２２６において出力不可とされた生データの画像の一部領域を視認不能にした限定データを生成する。作業工程テーブル３０３の限定態様３３７にしたがい、例えば、出力不可領域および出力禁止領域に対して黒塗り、ぼかし、デフォルメ（予めパッチを用意しておいてもよいし、単純図形で置き換えてもよい）といった処理を加える。あるいは、出力不可領域は出力可能になる場面もあるのでぼかし、出力禁止領域に対しては黒塗りというように区別してもよい。ただし、黒塗り部分が多いと空間認識が阻害される可能性があり、その場合は、出力禁止領域に対してもぼかしやデフォルメを用いるとよい。

［データ出力部２２８］
データ限定部２２７により生成された限定データを出力する。

実施例１では固定の３Ｄセンサにより計測する例を示したが、実施例２では固定の３Ｄセンサに加え、移動可能な３Ｄセンサによる計測をも行う例を示す。移動可能な３Ｄセンサは特に限定されないが、ここでは作業員３０が装着するＨＭＤ３１を３Ｄセンサとして利用する例を示す。移動可能な３Ｄセンサの場合、固定された３Ｄセンサと異なり、あらかじめ仮想空間においてＲＯＩを定めておくことができない。

図７を用いて、実施例２で取り上げる上部チャンバの組立工程の例を説明する。ここでは、半導体製造装置４０を本体部４０１、上部チャンバ４０２、下部チャンバ４０３を備えるものとして模式的に示している。図７の右下の上部チャンバ４０２の上面図（模式図）に示されるように、上部チャンバ４０２は、その中央部に試料台４０４が設けられ、試料台４０４を支持する試料台ベース４０５を備えている。保守作業は、具体的には、半導体製造装置４０を分解して、上部チャンバ４０２を引出し、試料台ベース４０５にカバーを取り付ける作業とする。

半導体製造装置４０は図７の左側に示されるように、通常、本体部４０１、上部チャンバ４０２、下部チャンバ４０３で一体化されており、この状態では固定３ＤセンサによるＲＯＩであるＲＯＩ４１１に含まれている。上記の保守作業を実施するため、本体部４０１が引き上げられる一方、上部チャンバ４０２は側方に引き出される。例えば、上部チャンバ４０２は通路１０ｃ（図１参照）に引き出され、通路１０ｃを視野に含む固定３Ｄセンサは設置されておらず、したがってＲＯＩが設定されておらず、作業員３０が装着するＨＭＤ３１を３Ｄセンサとして利用して計測するものとする。この場合の処理について説明する。以下では、実施例１と異なる部分を中心に説明する。

ＨＭＤ３１は、実施例１で説明した３Ｄセンサ２１と同様にＲＧＢ画像データ及び深度データを計測データ（生データ）として取得する。ＨＭＤ３１の計測データもデータ取得部２２２、物体識別部２２３、座標変換部２２４によって実施例１において説明した処理がなされ、識別オブジェクトが抽出され、世界座標系における位置が特定される。

［作業判断部２２５］
特徴的な識別オブジェクトの動きが作業工程テーブル３０３の判断基準３３３に定義されており、上部チャンバ４０２の組立作業の判断を行う。例えば、取り付けるカバーとエアスプレーとを作業員が保持していることを検知条件とする（図４Ｃ参照（ＩＤ：Ｐ０２－１））。カバーとエアスプレーと手を検知し、手の重心位置からカバーとエアスプレーとがそれぞれ所定距離未満にあれば、上部チャンバ４０２の組立作業であると判断する。

［領域設定部２２６］
作業判断部２２５の判断を受けて、領域設定部２２６は、ＨＭＤ３１の計測データに対して、上部チャンバ４０２の識別オブジェクトを元に出力可属性のＲＯＩを設定する。図６と同様に、上部チャンバモデルのバウンディングボックスを算出し、これに作業員の手元が含まれるよう、例えばバウンディングボックスの重心を基準に、所定倍（例えば1.5倍）に拡大した領域を出力可属性のＲＯＩ４１２を設定する。

これにより、固定の３Ｄセンサが設置されていない領域であっても、作業員が装着した３Ｄセンサを用いて計測データが取得でき、かつ出力する映像データは、作業対象に関わる周囲のみに限定することにより、意図しない情報漏洩が発生することを予防できる。なお、出力可属性のＲＯＩ内においてＨＭＤ３１からの計測データを取得する場合には、計測データの画像の全領域をＲＯＩとしてもよい。

実施例３も移動可能な３Ｄセンサを用いる例であり、ここでは大型部品の運搬に用いる台車に搭載された３Ｄセンサを用いる例を示す。

図８を用いて、実施例３で取り上げる上部チャンバの解体工程の例を説明する。作業員は上部チャンバ４０２を下部チャンバ４０３から分離し、上部チャンバ４０２を台車４２０に搭載する。

台車４２０に搭載された３Ｄセンサは、実施例１で説明した３Ｄセンサ２１と同様にＲＧＢ画像データ及び深度データを計測データ（生データ）として取得する。台車４２０に搭載された３Ｄセンサの計測データもデータ取得部２２２、物体識別部２２３、座標変換部２２４によって実施例１において説明した処理がなされ、識別オブジェクトが抽出され、世界座標系における位置が特定される。

［作業判断部２２５］
特徴的な識別オブジェクトの動きが作業工程テーブル３０３の判断基準３３３に定義されており、上部チャンバ４０２の解体作業の判断を行う。３Ｄセンサ２１ｂが上部チャンバ４０２と下部チャンバ４０３とが分離されたことを検知することを第１条件とする。上部チャンバ４０２のバウンディングボックス重心と下部チャンバ４０３のバウンディングボックス重心との距離が所定の距離以上離れた場合に両者が分離されたと判断できる。また、台車４２０に搭載された３Ｄセンサが、台車４２０に上部チャンバ４０２が置かれたことを検知条件することを第２条件とする。例えば、台車４２０の上面と上部チャンバ４０２のバウンディングボックス重心の距離が所定の距離未満となった場合に台車に置かれたと判断できる。この２つの検知条件を満たしたときに上部チャンバ４０２の解体作業であると判断する。

［領域設定部２２６］
本例では、台車４２０に搭載された３Ｄセンサは、台車４２０の上面にその視野が固定されているとする。この場合は、作業判断部２２５の判断を受けて、台車４２０に搭載された３Ｄセンサの視野全体に対して出力可属性のＲＯＩ４１３を設定する。あるいは、台車４２０の上面に搭載された物のバウンディングボックスを元に出力可属性のＲＯＩを設定するようにしてもよい。

これにより、固定の３Ｄセンサが設置されていない領域であっても、移動体に設置された３Ｄセンサを用いて計測データが取得でき、かつ出力する映像データは、作業対象に関わる周囲のみに限定することにより、意図しない情報漏洩が発生することを予防できる。

図９に実施例１～３で説明した計測装置（データ処理装置２０）が収集した、半導体製造装置４０に対する保守作業についての計測データを利活用する計測データ利活用システムの構成例を示す。本システムは、半導体製造装置４０の製造者であるベンダと半導体製造装置４０の使用者であるユーザとによって運用される。図９において、左側にユーザサイトが有する情報処理装置を示し、右側にベンダサイトが有する情報処理装置を示す。ユーザサイトとベンダサイトとはネットワークを介して通信可能とされている。これらの情報処理装置について、３Ｄセンサによる半導体製造装置４０に対する保守作業についての計測データの生データにアクセス可能な装置を実線の黒枠で、計測装置２０によって一部の領域が秘匿化された計測データである限定データにアクセス可能な装置を破線の黒枠で囲って示している。

計測装置２０が収集した生データ、限定データ及び限定化レポートは、データ共有サーバ５０１に蓄積される。秘密情報へのアクセス権限を有するユーザはユーザ端末５０２において、限定化レポートを参照しながら生データと限定データの双方を確認することが可能である。一方、ユーザサイトに滞在しているベンダの担当者も、認証サーバ５０３を介して、ベンダルームサーバ５０４から計測データを確認することが可能であるが、アクセス可能な計測データは限定データに限られる。

限定データはネットワークを介して、ベンダサイトにおいても認証サーバ５１１を介して、アクセスできる。例えば、ベンダでは、解析サーバ５１２で限定データに基づく保守作業のログを解析し、その解析結果をユーザにレポートすることができる。これにより、遠隔での作業員のトレーニング等が可能になる。

以上の実施例、変形例は本発明を分かりやすくするために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例、変形例の構成の一部を他の実施例、変形例の構成に置き換えることが可能であり、また、ある実施例、変形例の構成に他の実施例、変形例の構成を加えることも可能である。また、各実施例、変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０：通路、１１：マーカ、１５：作業エリア、２１：３Ｄセンサ、２２：ケーブル、２３：視野、３０：作業員、３１：ＨＭＤ、４０：半導体製造装置、４１：ベースプレート、４２：リッド、４３：バルブボックス、４４：ゲートバルブ、５０：通路モデル、５１：座標基準、５５：作業エリアモデル、７０：作業員モデル、８１：ベースプレートモデル、８２：リッドモデル、８３：バルブボックスモデル、８４：ゲートバルブモデル、１００：現実空間、１１０：仮想空間、２０１：プロセッサ（ＣＰＵ）、２０２：メモリ、２０３：ストレージ装置、２０４：入力インタフェース、２０５：出力インタフェース、２０６：通信インタフェース、２０７：入出力ポート、２０８：バス、２０９：入力装置、２１０：表示装置、２２１：初期設定部、２２２：データ取得部、２２３：物体識別部、２２４：座標変換部、２２５：作業判断部、２２６：領域設定部、２２７：データ限定部、２２８：データ出力部、２２９：データ記憶部、３０１：ＣＡＤデータ、３０２：空間モデル、３０３：作業工程テーブル、３２１，３２２，３２２’，３２３，３２４：ＲＯＩ、３３１：ＩＤ、３３２：作業工程名、３３３：判断基準、３３４：作業エリア候補、３３５：関連ＲＯＩ、３３６：属性、３３７：限定態様、３５０：バウンディングボックス、４０１…本体部、４０２…上部チャンバ、４０３…下部チャンバ、４０４…試料台、４０５：試料台ベース、４１１，４１２，４１３：ＲＯＩ、４２０：台車、５０１：データ共有サーバ、５０２：ユーザ端末、５０３，５１１：認証サーバ、５０４：ベンダルームサーバ、５１２：解析サーバ。

Claims (13)

1. 半導体製造装置に対する保守作業が行われる空間に設置された第１の３Ｄセンサを用いて、作業員による前記保守作業を計測した計測データを取得する計測装置であって、
   前記第１の３Ｄセンサから取得した生データの画像に含まれる物体を識別する物体識別部と、
   前記物体識別部により識別された識別オブジェクトの前記空間における位置を取得する座標変換部と、
   １以上の前記識別オブジェクトの動きに基づき前記作業員が実施している作業工程を判断する作業判断部と、
   前記作業判断部が判断した作業工程に応じて前記生データの画像のうち出力可／不可とする領域を設定する領域設定部と、
   前記生データの画像のうち前記領域設定部が出力不可とした領域を視認不能とする限定データを生成するデータ限定部とを有する計測装置。
2. 請求項１において、
   前記空間に、前記生データの画像の出力可否についての属性を備えるＲＯＩが設定されており、
   前記ＲＯＩは、前記生データの画像の出力が常に不可とされる出力禁止属性の第１のＲＯＩと前記生データの画像の出力の可／不可が切り換え可能な第２のＲＯＩとを含み、
   前記領域設定部は、前記生データの画像のうち、前記作業判断部が判断した作業工程において関連ＲＯＩとして定められた少なくとも１つの前記第２のＲＯＩを出力可として、それ以外の領域を出力不可として設定する計測装置。
3. 請求項２において、
   前記領域設定部は、前記識別オブジェクトの移動に応じて、前記第２のＲＯＩの出力可／不可を切り換える計測装置。
4. 請求項２において、
   前記領域設定部は、前記生データの画像のうち、出力可とされた前記第２のＲＯＩの領域をさらに減縮して設定可能な計測装置。
5. 請求項４において、
   前記領域設定部は、前記生データの画像のうち、出力可とされた前記第２のＲＯＩの領域を前記識別オブジェクトを含む範囲、または前記作業員の指示する範囲に減縮して設定可能であり、
   前記作業員の指示する範囲は、前記作業員が装着した第２の３Ｄセンサにより設定される計測装置。
6. 請求項２において、
   前記作業員は、第２の３Ｄセンサを装着しており、
   前記物体識別部は、前記第２の３Ｄセンサから取得した生データの画像に含まれる物体を識別し、
   前記領域設定部は、前記第２の３Ｄセンサから取得した生データの画像のうち、前記物体識別部により識別された識別オブジェクトを含む範囲を出力可能な領域として設定する計測装置。
7. 請求項２において、
   前記保守作業において台車が使用され、前記台車はその上面を第３のＲＯＩとする第３の３Ｄセンサを備え、
   前記物体識別部は、前記第３の３Ｄセンサから取得した生データの画像に含まれる物体を識別し、
   前記領域設定部は、前記台車上に物体がおかれたことを検知すると、前記第３の３Ｄセンサから取得した生データの画像について前記第３のＲＯＩを出力可として設定する計測装置。
8. 請求項１において、
   前記領域設定部は、前記生データと前記限定データとを比較可能に表示し、前記限定データの画像の視認不能な領域を編集可能な計測装置。
9. 請求項１において、
   前記領域設定部は、前記限定データにおいての視認不能とする領域が設定された過程についての情報を含む限定化レポートを作成する計測装置。
10. 請求項１において、
    前記データ限定部は、前記生データの画像のうち前記領域設定部が出力不可とした領域に黒塗り、ぼかし及びデフォルメのいずれかを適用する計測装置。
11. 請求項１～１０のいずれか一項に記載の計測装置と、
    前記計測装置とネットワークを介して接続可能な情報処理装置とを有し、
    前記情報処理装置には、前記生データの提供は禁止され、前記限定データが提供される計測データ利活用システム。
12. 計測装置を用いて、半導体製造装置に対する保守作業が行われる空間に設置された３Ｄセンサによって作業員による前記保守作業を計測した計測データを取得する計測データ取得方法であって、
    前記計測装置は、物体識別部、座標変換部、作業判断部、領域設定部及びデータ限定部を有し、
    前記物体識別部は、前記３Ｄセンサから取得した生データの画像に含まれる物体を識別し、
    前記座標変換部は、前記物体識別部により識別された識別オブジェクトの前記空間における位置を取得し、
    前記作業判断部は、１以上の前記識別オブジェクトの動きに基づき前記作業員が実施している作業工程を判断し、
    前記領域設定部は、前記作業判断部が判断した作業工程に応じて前記生データの画像のうち出力可／不可とする領域を設定し、
    前記データ限定部は、前記生データの画像のうち前記領域設定部が出力不可とした領域を視認不能とする限定データを生成する計測データ取得方法。
13. 請求項１２において、
    前記空間に、前記生データの画像の出力可否についての属性を備えるＲＯＩが設定されており、
    前記ＲＯＩは、前記生データの画像の出力が常に不可とされる出力禁止属性の第１のＲＯＩと前記生データの画像の出力の可／不可が切り換え可能な第２のＲＯＩとを含み、
    前記領域設定部は、前記生データの画像のうち、前記作業判断部が判断した作業工程において関連ＲＯＩとして定められた少なくとも１つの前記第２のＲＯＩを出力可として、それ以外の領域を出力不可として設定する計測データ取得方法。