WO2004097703A1

WO2004097703A1 - 製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体

Info

Publication number: WO2004097703A1
Application number: PCT/JP2003/005635
Authority: WO
Inventors: Daiki Masumoto; Yusuke Uehara; Susumu Endo; Shuichi Shiitani; Takayuki Baba; Shigemi Nagata
Original assignee: Fujitsu Limited
Priority date: 2003-05-02
Filing date: 2003-05-02
Publication date: 2004-11-11
Also published as: US20050222791A1; CN1714361B; JPWO2004097703A1; US6973363B2; CN1714361A; JP4266930B2

Abstract

製品の品質要因と特性との関係を解析する作業を支援する製造工程解析支援方法、プログラムプロダクト及び記録媒体であって、コンピュータに、要因の指定をユーザから受付け、受付けた要因に関係する画像データに対応する画像をコンピュータに接続された表示装置内の仮想空間上に配置し（Ｓ１３）、画像が配置された仮想空間を表示装置に表示し（Ｓ１４）、表示された画像中の隣接画像間に類似性があるとユーザが判定するまで指定受付、配置および表示を繰り返し、隣接画像間に類似性のある画像からユーザによる少なくとも１つの画像指定を受付け（Ｓ１５）、その指定した画像の要因に共通の要因を自動的に抽出し（Ｓ１６）、ユーザが指定した該共通要因と製品の品質との関係の仮説を受付け、その関係仮説を検証し（Ｓ１７）、それによりユーザが選択された要因と品質特性との関係を分析する作業を支援するようにし、製品の画像データからの特徴量と製造作業者による工程に関するテキストデータからの特徴量とを数値文字化して要因に加えた（Ｓ１１，Ｓ１２）。

Description

明細書製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体技術分野

本発明は、さまざまな産業における各種工業製品の製造工程解析に利用できる製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体に関し、具体的には、半導体製造工程、磁気ディスク装置製造工程、ディスプレイ製造工程などにおいて、完成品の特性または中間生成物（以下、製品という）の特性が画像データとして表現される際の、該製品の品質に影響を与える可能性のある要因と、品質特性との関係の分析作業を支援する製造工程解析支援方法、プログラム、プログラムプロダクトおよび記録媒体に関する。背景技術 .

各種工業製品の製造工程では、製品の品質や特性に影響¹を与える可能性がある多数の要因が存在する。それらの要因の相互作用は良くわかっていない。それらの要因としては、たとえば、原材料特性、装置、温度、圧力、電流、粘性、速度、湿度、気圧などがある。これらの要因の中には外部から制御可能なパラメータ（制御因子）を持つものと、制御不可能なもの（誤差因子）とがある。製造工程の解析とは、製品の品質向上を目的として、これらの要因と製品の特性との間の関係を明らかにする作業をいう。

従来は、要因の計測が困難だったため、熟練者の経験や勘に基づいて製造工程の解析がなされてきたが、近年になって、測定器や情報処理機器の高性能化により、要因や製品の特性に関するデータを容易に取得できるようになつてきた。そこで、経験や勘に頼らずシステマチックに製造工程の解析を行なうアプローチとして、多変量解析などの統計的手法（円川隆夫、宫川雅巳著： S Q C理論と実際シリーズ「現代人の数理」、朝倉書店（ 1 9 9 2 ) 参照）ゃデータマイニングの技術を用いて工程解析を行なうという事例が増えてきている（津田英隆、白井英大、武理一郎： "データマイニングの歩留り解析への適用" 、第 3回データマイニングワークショップ論文集、日本ソフトウェア科学会データマイニング研究会（2002) 、および Michael J. A. Berry ana ordon Linof f： Mastering Da ta Mining, John Willey & Sons Inc. (2000)参,照）。

因子分析などの統計的手法やデータマイニング技術を用いた従来の製造工程解析方法では、各種要因を説明変数とし、品質に当たる指標を目的変数として、説明変数の目的変数に与える影響度を統計的に分析する。しかし、これには以下の課題がある。

(a) 製造工程で得られるデータは要因数が数百から数千にのぼる場合も多いのに対し、ロット数に対応するレコード数は一般に少ない。したがって、従来の統計的手法のみでは、レコード数が少ない場合には有意な結果を得るのが困難である。

(b) 製造工程で、完成品の特性あるいは中間生成物の特性を表す画像データや製造作業者のコメント等の工程に関するテキストデータが得られたとしても、それらはあくまでも参考データとして扱われ、工程解析で直接利用することができない。たとえば、製造作業者は中間生成物や完成品の外観を見て、これまでの経験に基づいて工程のどの部分がどんな状態であるのかを直観的に判断する場合があるが、従来の統計的な手法ではこのような解析を行なうことができない。 (c) 検査者が目視したり、画像認識技術を利用したりすることで、外観を数値化し、統計的に工程解析を行なうことはできる。しかし、外観の微妙な変化を数値化することは難しく、数値化によりェ程解析のための情報が失われてしまうことがある。

非特許文献

[1] 円川隆夫，宫川雅巳： SQC理論と実際シリーズ「現代人の数理」，朝倉書店 (1992)₀

[2] 津田英隆，白井英大，武理一郎： "データマイニングの歩留り解析への適用" ，第 3回データマイニングワークショップ論文集，日本ソフトウェア科学会データマイニング研究会（2002)。

[3] Michae丄 J. A. Berry and Gordon し inoff: Mastering Data Mi ning, John Willey & Sons Inc. (2000)。

[4] 村尾晃平：〃画像特徴量の自動抽出と類似画像検索"，勉誠出版

，人文学と情報処理， Vol.28， pp.54-61, July (2000)。

http: //venus. net丄 ab oratory. com/ salon/ chit eki/mur/ lmgsearcn. h tml

[o] Vittorio Castelli and Lawrence D. Bergman ed. ： Image Dat abases ： Search and Retrieval oi Digital Imagery , pp. 285 - 372, John, Wiley & Sons (2002)。

[6] 西尾他：情報の構造化と検索， pp.113 - 119, 岩波書店（2000

) o

[7] 柳井晴夫：多変量データ解析法理論と応用，朝倉書店（1994

) 0 -

[8]T. コホネン著，徳高他訳：自己組織化マップ，シュプリンガー . フヱアラーク東京株式会社（1996)。発明の開示本発明の目的は、従来の製造工程解析方法が持つ上記の課題を解決するために、複数の製品の隣接画像が類似するまで要因を選択し直した後に、指定画像に共通の要因を自動抽出するという構想に基づき、製品のレコード数が少ない場合でも統計的手法だけに頼らずに、要因と品質特性との関係を解析する作業の容易化を支援する製造工程解析支援方法、プログラム、プログラムプロダクトおよび記録媒体を提供することにある。

また製造工程解析者が熟練者でなくても、要因と品質特性との関係を解析する作業の容易化を支援する製造工程解析支援方法、プログラムおよび記録媒体を提供することにある。

さらに、製品の画像や製造作業者が作成した工程に関するテキストを数値文字化した要因の一部にすることにより、要因と品質特性との関係を解析する作業の容易化を支援する製造工程解析支援方法、プログラム、プログラムプロダクトおよび記録媒体を提供することにある。

上記目的を達成するために、本発明の第 1の態様により、製造ェ程における製品の品質に影響を与える可能性のある要因であって数値文字データで構成されるものと製品の品質特性との関係を解析する作業を支援する製造工程解析支援方法、プログラム、プログラムプロダクトおよびそのプログラムを格納した記録媒体が提供される。その方法は、ユーザから受付けた要因に関係する画像データに対応する画像を表示装置内の仮想空間上に表示する表示手順と、表示された画像中の隣接画像間に類似性があるとユーザが判定するまでユーザからの要因指定受付および表示手順を繰り返す手順と、隣接画像間に類似性のある画像からユーザによる複数の画像指定を受付ける画像指定受付手順と、指定した画像が有する要因に共通の要因を自動的に抽出す.る共通要因抽出手順と、ユーザが指定した共通要因と製品の品質との関係の仮説を受付ける関係仮説受付手順と、関係仮説を検証する手順とを備える。それにより選択された要因と品質特性との関係をユーザが分析する作業を支援する。

この第 1 の態様により、解析者がデータを眺めながら、知識や経験も加味して、解析を行なうための支援環境が提供されるので、レコード数の少なさが力パーされる。

具体的には、画像データを工程解析で直接扱えるようにするので、ユーザ（即ち、製造工程解析者）が画像を一覧したり、それらの画像をさまざまな観点に基づいて並べ替えたりすることにより、製品の品質に影響を与える可能性のある要因と製品の品質特性との間の関係に関する仮説を立案することを支援する。また、立案した仮説がどの程度確からしいのかを確認するための検証作業を容易に行なうことができるようになる。

上記第 1の態様において、製品の品質特性を表す画像データおよび製造作業者が作成した工程に関するテキストデータからそれぞれ特徴量を数値文字化して抽出し要因に加える手順とをさらに備え、共通要因抽出手順は、選択された画像に共通する画像特徴、単語、および要因の少なくとも一つを抽出する手順を含むことが好ましい

これにより、画像やテキストに共通する諸特徴を簡単に抽出できるので、製品の製造工程の解析が容易になる。

また、上記第 1の態様において、指定画像受付手順は、仮想空間内でユーザが指定した特定の画像を受付ける手順を含み、表示手順は、指定された画像の特徴量、数値および文字データの少なくとも一つをユーザが指定した場合に、指定された画像に類似した画像をリストアップして表示手段に表示する手順を含むようにしてもよいこれにより、指定された画像に類似する画像が容易に抽出できるので、製品の製造工程の解析が容易になる。

また、上記第 1の態様において、関係仮説を検証する手順は、ュ一ザが発見した要因と品質特性との関係を検証させる手順を含むようにしてもよい。

これにより、要因と品質特性との関係が確実に把握できる。

また、上記第 1の態様において、配置手順は、自己組織化マップを利用する手順を含むようにしてもよい。

これにより、 4次元以上の要因に対応する画像を三次元空間に表示することができ、製品の製造工程の解析が容易になる。

また、上記第 1の態様において、表示手順は、仮想空間内で画像を閲覧する作業を支援するために、仮想空間内の視点を変更させる手順を含むようにしてもよい。

これにより、ユーザは仮想空間内を自由に閲覧できるので、所望の要因とその品質特性との関係を容易に把握できる。

また、上記第 1の態様において、表示手順は、ネットワークを介して別のコンピュータに接続された表示装置に仮想空間を表示させる手順を含むようにしてもよい。

これにより、クライアント一サーバの関係にあるネットワークを利用して任意の場所で仮想空間を表示できる。図面の簡単な説明

上記本発明の目的および諸特徴は図面を参照しながら説明する以下に記載する発明を実施するための最良の形態から一層明瞭になる図 1 は本発明の実施例による製造工程解析支援方法の概略を説明するフローチャートである。図 2は図 1 に示した工程データ中の画像およびテキストから特徴量を数値文字化して抽出する方法を説明するフローチャートである図 3は本発明の実施例による製造工程解析支援方法の詳細を説明するフローチヤ一トである。

図 4は本発明の実施例による製造工程解析支援方法の具体例を説明するフローチヤ一トである。

図 5は図 4に示したコメントの例を示す図である。

図 6は図 4の具体例において、ユーザが任意の 3·つの要因を選択した場合に仮想空間に表示された画像を含む画面の例を示す図である。

図 7は図 4の具体例において、 4次元以上の要因から自己組織化マップを用いて三次元仮想空間に画像を表示した画面の例を示す図である。

図 8は図 4の具体例において、ユーザが選択した一つの画像に類似する画像をリストアツプして表示した画面を示す図である。

図 9は図 4の具体例において、ユーザが選択した共通要因を持つ画像を表示した画面を示す図である。

図 1 0は図 4の具体例において、共通画像特徴をユーザが抽出した画面を示す図である。 '

図 1 1 は図 4の具体例において、共通単語をユーザが抽出した画面を示す図である。発明を実施するための最良の形態

図 1 は本発明の実施例による製造工程解析支援方法の概略を説明するフローチャートである。同図において、工程データは製品の製造工程における製品の品質に影響を与える可能性のある要因 1からしまでと、製品の画像 1から Mまでと、製品の製造工程こおいて製造作業者が作成した工程に関するコメント（テキストデータ） 1から Z とが、製品番号 pェから P_N の各々に割当てられている。

図示例においては、製品番号 P i の要因 1〜 Lの数値文字データは X 1 1〜X 1 Lであり、画像は I 丄から I _{1 M} であり、コメントは Ί\ ₁ から Ί\ _ζ である。製品番号 Ρ ₂ の要因 1〜： Lの数値文字データは X 2 1〜X 2 Lであり、画像は I _{2 1} から I _{2 M} であり、コメントは T _{2 1} から Τ _{2 ζ} である。製品番号 Ρ_Νの要因 1〜L の数値文字データは XN 1〜XN Lであり、画像は I _N から I _NM であり、コメントは T_{N 1} から T_{N Z} である。

製品の各画像は画像データとしてコンピュータ内の記憶装置に格納されており、各コメントはテキストデータとしてコンピュータ内の記憶装置に格納されている。

<画像特徴抽出手順 S 1 1 >

ステップ S 1 1で各画像の画像データから本発明により特徴が抽出されて数値文字化される。以下の記載において数値文字化とは、数値および文字の少なくとも一方からなる記号の集合をいう。抽出される画像特徴としては、色特徴、テクスチャ特徴、周波数特徴（フーリエ特徴や DCT特徴）、形状特徴がある（上記非特許文献 4および 5参照）。また、画像を複数の領域に自動的に分割（セグメンテーシヨン）して、個々の領域に対応する画像特徴を抽出したり、特定の領域をユーザが指定してその領域に対応する画像特徴を抽出したりすることもできる。

<テキスト特徴抽出手順 S 1 2 >

同様にステップ S 1 2で各コメントのテキストデータから本発明により特徴が抽出されて数値文字化される。テキスト特徴は以下のように抽出する。まず、あらかじめテキストを特徴づけるのに有効だと思われる単語セットを選んでおき、 tf - idf ( t erm fr equency

- inver s e do cument fr equency) を用レヽて、各単語の相対的重要度を測り、それを列挙することで、各テキストデータから単語の ί f-id を要素として持つベタトルをテキスト特徴として抽出する（上記非特許文献 6参照）。

画像データの数値文字化されたものおよびテキストデータの数値文字化されたものは、要因 1〜L以外の要因として工程データに追加される。

工程データはコンピュータに接続された表示装置に表示される。ユーザは、表示された工程データ中の少なくとも一つの要因をマウスでクリックすることにより指定する。即ち、ユーザは、各製品について、その製品の画像特徴、テキスト特徴、要因 1〜： Lの少なくとも一つの要因を指定する。コンピュータはこの要因の指定を受付ける。

<画像配置手順 S 1 3 >

次にステップ S 1 3にて、コンピュータはこの指定に応じて、 3 次元以下の仮想空間にその製品の画像データを配置する。画像特徴およびテキスト特徴を含むそれぞれの要因を表す数値文字データは一般に高次元のベタトルであり、そのままでは 3次元以下の仮想空間に配置する ^とが出来ない。そこで、たとえば 3次元の仮想空間内の画像の配置を決定するためには、各製品の数値文字データから 3つの数値文字を選択し、それを空間内に設定した直交する 3本の座標軸に割り当てる方法がある。また、画像特徴、テキスト特徴、数値文字データを主成分分析、多次元尺度分析などの統計的な手法を用いて 3次元に圧縮する方法もある（上記非特許文献 7参照）。さらに、ニュ一ラルネットワークの 1種である自己組織化マップ（S e l f Organi z ing Map , S0M )を用いることもできる（上記非特許文献 8参照）。

<仮想空間表示手順 S 1 4〉

次にステップ S 1 4にて、画像が配置された仮想空間を実際に表示装置に表示する。画像の表示は、コンピュータグラフィックスの技術を利用することにより、ユーザが仮想空間内における自分の視点を変更したり、空間内を自由に歩き回ったり（ウォークスルー）、飛び回ったり（フライスルー）することにより実行できる。これによって、多くの画像を一覧したり、一部の画像だけに絞ってみたり、あるいは特定の画像にズームして詳細を調べたりする作業を支援する。

また、ネットワークを介して別の装置に仮想空間の表示を行なうこともできる。この場合、画像をクライアント一サーバ間のネットワーク経由で転送することになる。

さらに、ユーザは仮想空間内を移動している途中で画像配置手順を利用することができる。具体的には、新たな種類の特徴を抽出したり、座標軸への数値文字の割り当て方を変更したり、画像を配置するための特徴の種別を切り替えたりすることができる。これによつて、ユーザがさまざまな観点で画像データを比較しながら、各要因と画像データのパターンとの間の関係を発見する作業を支援することが可能になる。

ユーザは仮想空間内を移動している途中で、表示された画像中の隣接画像間に類似性があるとユーザが判定するまで指定受付手順、配置手順および表示手順を繰り返す。

<類似画像検索手順 S 1 5〉

次にステップ S 1 5にて、仮想空間内に表示されている画像から、ユーザはマウスやキーボードにより類似画像を選択したり隣接する類似画像の範囲を指定したりする。また、特定の画像をマウスやキーボードにより選択し、その画像の着目する特徴や数値文字データを指定することにより、類似した画像をリストアツプして表示することもできる。これにより、ユーザがさまざまな観点で画像データを比較しながら、各要因と画像データのパターンとの間の関係を発見する作業を支援することが可能になる。

く共通要因抽出手順 S 1 6 >

また、ステップ S 1 6にて、仮想空間内で複数の画像をマウスやキーボードにより選択し、さらに着目する特徴の種別や数値ノ文字データを指定することにより、それらの画像に対応する製品に共通する画像特徴，単語，要因を抽出することができる。これにより、配置に用いた要因や特徴と、抽出した画像特徴、単語、要因との間の関係を発見する作業を支援することが可能になる。

<関係検証手順 S 1 >

最後にステップ S 1 7にて、上述の手順でユーザ（工程解析者）が発見した「要因と品質特性との関係」を検証する。たとえば、関係として、「ある要因が特定の範囲にある場合は、品質特性がある範囲に収まる傾向がある」というルールを発見した場合には、そのルールが成り立っているかどうかを多くのデータについてチェックし、ルールの妥当性を定量的に検証することができる。また、「ある要因と品質特性とが相関関係を持つ」という関係を発見した場合には、その関係がどの程度成り立っているかを多くのデータについてチェックし、発見した関係の妥当性を定量的に検証することができる。

本発明によれば、上記方法をコンピュータに実行させるプログラム、プログラムプロダクトおよびそのプログラムを格納した記録媒体も提供される。

なお、本明細書におけるプログラムおよびプログラムプロダクトは、ネットワークを介して配信中のプログラムおよびプログラムプロダクトゃ記録媒体に格納されたプログラムおよびプログラムプロダクトを含む。

図 2は図 1 に示した工程データ内に画像特徴およびテキスト特徴を要因として追加する手順を説明するフローチャートである。同図において、ステップ S 2 1 にて工程データ内の全製品データについて、画像特徴およびテキスト特徴の抽出処理が完了したかを判定し、完了しでいなければステップ S 2 2にて一つの製品の画像データから画像特徴を抽出し、要因として工程データに追加する。

次いでステップ S 2 3にて、その製品のテキストデータからテキスト特徴を抽出し、要因として工程データに追加する。

次いでステップ S 2 4にて、工程データ内のその製品の数値文字データを抽出し、要因として工程データに追加する。

次いでステップ S 2 1に戻り、工程データ内の全製品データについて、画像特徴およびテキスト特徴の抽出処理が完了したかを判定し、完了していなければステップ S 2 2から S 2 4を繰り返し、完了していれば工程データへの要因の追加手順を終了する。

なお、図 2に示した処理は本発明で必須の処理ではない。

図 3は本発明の実施例による製造工程解析支援方法の詳細を説明するフローチヤ一トである。

同図において、ステップ S 3 0 1 にて、コンピュータはユーザから工程データ中の要因のマウスやキーボードによる指定を受付ける次にステップ S 3 0 2にて、要因指定が完了したかを判定する。ユーザからの更なる要因指定がなければ、処理を終了する。

要因指定があれば、ステップ S 3 0 3に進み、指定された要因に基づいてコンピュータ内の仮想空間における配置データを作成する次いでステップ S 3 0 4にて、ステップ S 3 0 3で作成された配置データに基づいて、各製品データ内の画像を表示装置の仮想空間に表示し、ステップ S 3 0 5にてユーザから要因の指定の受付け状態になり、ステップ S 3 0 2に戻り、隣接した画像間に類似性があるとユーザが判定するまでステップ S 3 0 3から S 3 0 5を繰り返す。以上の動作が図 1におけるステップ S 1 1から S 1 4の動作の詳細である。

次にステップ S 3 0 6にて、ユーザのマウス操作又はキーボード操作による複数の画像の指定を受付ける。

次にステップ S 3 0 7にて、ユーザからの画像指定があるかを判定し、なければ処理を終了する。

画像指定があれば、ステップ S 3 0 8にてコンピュータは自動的に指定画像に類似した複数の画像だけを取り出して表示する。

次いでステップ S 3 0 9にてコンピュータは、ユーザが指定した要因の中から、取り出し表示された画像に共通する要因のサブセットを自動的に抽出する。

次いでステップ S 3 1 0にてコンピュータはユーザの指定した要因と製品の品質との間の関係に関するユーザ作成の仮説を受付ける次いでステップ S 3 1 1にて、コンピュータは受付けた関係仮説を、関係する画像を表示して比較することによりユーザが検証する次いで、ステップ S 3 1 2にて、再びユーザによる少なくとも一つの画像の指定を受付け、ステップ S 3 0 7にてユーザからの画像指定があるかの判定をし、指定ありであればステップ S 3 0 8から S 3 1 1 を繰り返す。図 4は本発明の実施例による製造工程解析支援方法の具体例を説明するフローチヤ一トである。

同図において、図 1 と同一の手順には同一の参照符号を付してある。

本具体例では、建物の基礎部分や壁部分に箱形の構造物を作り、その間にコンクリートを流し込み、コンクリートの持つ特性を利用して固まらせる「コンクリート打設」の工程を解析対象とした製造工程解析支援方法について説明する。ここでは、打設後の外観を美しくし、かつ誤差要因によるばらつきを減らすことを目的とする。本具体例例の処理の流れは以下の通りである。

( 1 ) データ取得

制御因子としては以下の 5つを取り上げる。

要因 1 ：スランプ（まだ固まらないコンクリトの軟らかさの程度の指標）：単位は c _m

要因 2 ：打設速度：単位は m ³ / h (時間）

要因 3 打ち止め圧力：単位は k g / c m ²

要因 4 最大骨材寸法：単位は m m

要因 5 細骨材率：単位は％

また打設現場の環境条件が完成品に影響するとがわかっているので、それを誤差因子とする。

要因 6 ：気温：単位は。 C

要因 7 ：湿度：単位は％

画像データは以下の通りである。

画像 1 ：打設後の外観画像（図示の簡略化のために、画像中の斜線の数が多いほど、画像は暗い色であるとする。実際には打設中の泥水の影響や、コンクリートの流し込み速度の影響や、雨の影響などが画像に反映される。）テキストデータは以下の通りである。

コメント 1 ：打設中の観察結果を記載した文章

図 5は各製品番号に対応するコメント T i 、 T ₂ 、 … T _N の例の一部を示す図である。同図において、製品番号のコメントは「泥を掃除してもらったが、一部泥水が残っている。雑巾でふき取るように指示を出した。」というものである。また、製品番号 Ρ ₂ のコメント Τ ₂ は「型枠にコンクリートを一気に流し込んでしまうと、側圧が大きくなり、型枠がたえられなくなる。」というものである。さらに、製品番号 Ρ _Ν のコメント Τ _Ν は「打設開始後 3 0 分。ポッポッと雨^落ちてきた。打設が完了した部分にブルーシートを掛け…」とレ、うものである。

図 4におけるステップ S 1 1 の画像データから特徴量を数値文字化して抽出する画像特徴抽出手順は次の通り行われる。

(Α)色分布特徴の抽出（前述の非特許文献 5参照）

1 ) 画像データの各画素値を RGB色空間での表現（r， g， b )から HS I 色空間での表現（h， s , i )に変換する。

2 ) HS I空間を = N— h(H軸の分割数） X N_s ( S軸の分割数） X N_i ( I軸の分割数） = N個のブロックに分割して、各ブロックに含まれ'る画素の数をカウントした結果を列挙し、 N次元のべクトルに変換し

、それを特徴量とする。

(B )ウェーブレツト特徴の抽出（前述の非特許文献 2参照）

1 ) 画像データをウェーブレツト変換する。

2 ) その結果として得られるウェーブレット変換係数を、画像の大まかな形状成分や細かな模様成分、輪郭成分などに分離する。

3 ) それぞれを組み合わせベクトルに変換し、それを特徴量とする。

ウェーブレツト変換は、画像の位置情報を保存したまま空間周波数変換を行なう変換であり、画像の形状をコンパクトに記述でき、大きさが異なる画像間を同じスケールで比較できる。

(C) エッジ方向ヒストグラム特徴の抽出（前述の非特許文献 4 参照）

1) 画像データから Sobelフィルタ等でエッジを抽出する。

2) 抽出したエッジの方向を離散化し、それぞれの方向ごとに頻度を力ゥントする。

3) それを画像全体のエッジ数で割った数値を並べ、べクトルとし、それを特徴量とする。

これ以外にも、フーリエ特徴、 DCT特徴、テクスチャ特徴などさまざまな画像特徴を画像データから抽出し、べクトルの形で利用することができる（前述の非特許文献 9参照）。

図 4のステップ S 1 2のテキストデータから特徴量を数値文字化するテキスト特徴抽出手順は以下に挙げるような方法によって行われる（前述の非特許文献 6参照) 。

1)まずテキストデータから単語を抽出する。

2 tf-i df^ (term irequency - inverse document frequency) を用いて、各単語の相対的重要度を測り、それを列挙することで、各テキストから単語の tf - idf値を要素として持つベタトルとし、それを特徴量とする。

図 4のステップ S 1 3および S 1 4の画像配置 & 3次元仮想空間表示手順は以下の方法によって行われる。

図 6は図 4の具体例において、要因 1 〜 7、画像 1〜Mおよびコメント 1〜 Zの数値文字データのうち 3つの数値文字を選択し、それを仮想空間内に設定した直交する 3本の座標軸に割り当てた場合に表示装置に表示される仮想空間を示す図である。画像およびコメントを含む要因の数値文字データのうち 3つの数値文字を選択し、それを仮想空間内に設定した直交する 3本の座標軸に割り当てる。たとえば、要因 1 (スランプ）と要因 5 (細骨材率）と要因 6 (温度）を選び、各軸に割り当てる。仮想空間表示手段を用いることで、各製品の画像データを仮想空間内に配置し、コンピュータに接続された表示装置に表示する。

テキスト特徴や画像特徴の場合には、自己組織化マップ（Sel f Or ganiz ing Map, SOM) (上記非特許文献 8参照）により画像を平面上に配置し、それらの画像の特徴が類似した画像が近くに集まるように配置することができる。自己組織化マップは、教師なし競合学習モデルに基づくニューラルネットワークの一種であり、高次元空間内のデータを低次元空間に写像する。その際、高次元空間において距離が近いデータ同士を低次元空間でもなるベく近くに配置することができる。 S0Mの処理は、学習フェーズと配置フェーズの二つに分かれている。学習フェーズでは、セルを平面上に規則的に配置した後、入力に基づいて各セルに割り当てたベタトル値を更新することによって行なう。この学習の結果、近い位置にあるセル同士は類似したベクトル値を持つことになる。配置フェーズは、学習結果をもとに配置対象のべクトル値に最も近いべクトル値を持つセルの位置に配置することによつて行なう。 MIRACLESでは情報セットを配置対象として特徴の種別毎に S0Mの処理を行ない、その配置結果を保持する。

仮想空間表示手順により、各製品の画像データを仮想空間内に配置し、コンピュータに接続された表示装置に表示する。

画像データから、色相、再度、明度等を表す色分布特徴（HSV(Hu e Saturat i on Value )色空間をセルに分割し各セルに含まれる画素数を画像全体の画素数で割り、それを並べたベクトル）、きめの細かさを表すテクスチヤ特徴（Wave l e t変換係数を重み付けして列挙したベクトル）、規則性を表す周波数特徴（フーリエ特徴や DCT特徴）、亀裂等を表す形状特徴（画像からエッジを抽出し、その方向を離散化して頻度を力ゥントし、それを画像全体のエツジ数で割り、それを並べたベクトル）を抽出する（前述の非特許文献 4および 5を参照）。

図 6又は図 7に示した仮想空間において、図 4にステップ S 4 1 で示すように、 3次元仮想空間内ウォークルーを行うことが可能である。即ち、ュ一ザは、表示された 3次元の仮想空間內において、マウス操作で視点を変更し、所望の画像を探すことで情報を探索することができる。画像をクリックすることで、その画像に対応する製品の詳細情報にアクセスすることも可能である。

また、図 6又は図 7に示した仮想空間において、図 4にステップ S 4 2で示すように、画像の配置方法を変更することもできる。即ち、各軸に割り当てる要因を切り替えて表示することで、さまざまな観点から分類配置を行なうことができる。たとえば、テキスト特徴を配置用の特徴として選び、配置を行なって表示することもできる。また、何らかのキーワードを入力し、製品のコメントに含まれるテキスト属性がそのキーワードと合致するもの程、ユーザの視点に近くに来るように、該当する画像の配置を変更して表示することもできる。隣接画像間に類似性があるとユーザが判定するまで、この操作を繰り返す。

図 8は図 4に示した具体例において、ユーザが選択した一つの画像に類似する画像をリストアップして表示した画面を示す図である。同図において、仮想空間内で特定の画像 8 1 を選択し、さらに着目する特徴量や数値文字データを指定することにより、類似した画像 8 2〜 8 9をリストアップして表示することができる。これにより、ユーザがさまざまな観点で画像データを比較しながら、各要因と画像データのパターンとの間の関係を発見する作業を支援することが可能になる。

図 9は図 4に示した具体例において、ユーザが選択した共通要因を持つ画像を表示した画面を示す図である。同図において、隣接画像間に類似性があるようになった仮想空間内で、複数の画像を選択し、さらに着目する特徴量や数値文字データを指定することにより、それらの画像に対応する製品に共通する要因、単語、画像特徴を抽出することができる。これにより、配置に用いた要因や特徴量と、抽出した要因、単語、画像特徴との間の関係を発見する作業を支援することが可能になる。例えば図 9に示すように、要因 1 〜 7、画像 1、コメント 1 を使って配置すると、以下の手順で共通要因を抽出することができる。

• 要因 1〜 7、画像 1およびコメント 1 を並べ 9次元のベクトルとし、二次元自己組織化マップ（三次元空間内の平面）を構成する

• 学習後の自己組織化マップを使い画像を仮想 3次元空間に配置する。

• ユーザが仮想 3次元空間を眺め、ある共通性を持った画像が集まっている場所、規則性を持って並んでいる場所を見出す。

たとえば、図 9では色むらがある画像 9 ；! 〜 9 9が集まっており、それらの画像を所望の色の枠で囲んで選択する。

，画像全体での要因の分布と比較して、選択した画像の要因の分布が偏っているかどうかを装置が計算し、偏っているものを共通要因として抽出する。図 9では、要因 1 と要因 3 とが共通要因の候補として抽出されている。

' このようにして、ルールとして、たとえば、「要因 1 のスランプが 16 ± l cmであれば色むらが出やすい」というものが発見できる図 1 0は図 4に示した具体例において、共通テキスト用いてユーザが抽出した画面を示す図である。

テキスト特徴を使って配置すると、たとえば以下のように共通要因を抽出することができる。

• テキスト特徴で、自己組織化マップを構成する。

• ユーザが仮想 3次元空間を眺め、ある共通性を持った画像が集まっている場所、規則性を持って並んでいる場所を見出す。たとえば、図 1 0では青みのある画像が集まっており、それらの画像を黄色い枠で囲んで選択する。図 1 0では、「雨」、「シート」、「泥」などコメント中の複数の単語が共通単語の候補として抽出されている。

• そこでルールとして、「雨によってシートをかけたり、土が泥になったりすると青みが出やすい」というものが発見できる。

図 1 1は図 4に示した具体例において、共通画像特徴をユーザが抽出した画面を示す図である。

画像特徴を使って配置すると、たとえば以下のように共通要因を抽出することができる。

- 画像特徴としてテクスチャ特徴で、自己組織化マップを構成する。

• 学習後の自己組織化マップを使い画像を仮想 3次元空間に配置する。 • ユーザが仮想 3次元空間を眺め、ある共通性を持った画像が集まっている場所.、規則性を持って並んでいる場所を見出す。たとえば、図 1 1ではオレンジ色の画像が集まっており、それらの画像を黄色い枠で囲んで選択する。共通特徴としては、テクスチャ特徴のうち「方向性」に対応する成分がある一定の範囲内にあることが共通画像特徴の候補として抽出されている。

• ルールとして、「テクスチャの方向成分がある範囲内であればオレンジ色を帯びやすい」というものが発見できる。

次に図 4のステップ S 1 7による関係検証手順を以下の通り実行する。

上述の手順でユーザが発見した「要因と品質特性との関係」を検証する。たとえば、関係として、「ある要因が特定の範囲にある場合は、品質特性がある範囲に収まる傾向がある」というルールを発見した場合には、そのルールが成り立っているかどうかを多くの製品番号のデータについて要因と画像やコメントに現われている品質特性とを照合することによりチェックし、ルールの妥当性を定量的に検証することができる。また、「ある要因と品質特性とが相関関係を持つ」という関係を発見した場合には、その関係がどの程度成り立っているかを多くの製品番号のデータについて要因と画像ゃコメントに現われている品質特性とを照合することによりチェックし、発見した関係の妥当性を定量的に検証することができる。

なお、要因の中に画像データを数値文字化したものやテキストデータを数値文字化したものを含まなくても、本発明の効果は得られる。産業上の利用可能性

以上の説明から明らかなように、本発明の工程解析支援方法、その方法をコンピュータに実行させるプログラム又はそのプログラムを格納した記録媒体を用いると、製造工程で得られるデータのレコード数（製品数に対応）が少ない場合にも、解析者の知識や経験を加味して仮説の立案、検証を繰り返すことができ、それによつて「要因と特性との間の関係」に関する分析を行なうことができる。また、製造工程で得られる，完成品の特性あるいは中間生成物の特性を表す画像データや製造作業者のコメント等の工程に関するテキストデータを工程解析で直接利用することができる。

Claims

請求の範囲

1 . 製造工程における製品の品質に影響を与える可能性のある要因であつて数値文字データで構成されるものと該製品の品質特性との関係を解析する作業を支援する製造工程解析支援方法であって、前記要因の少なくとも一つの指定をユーザからコンピュータに受付ける指定受付手順と、該受付けた要因に関係する前記画像データに対応する画像を前記コンピュータ内の仮想空間上に配置する配置手順と、前記画像が配置された仮想空間を前記表示装置に表示する表示手順と、該表示された画像中の隣接画像間に類似性があるとユーザが判定するまで前記指定受付手順、前記配置手順および前記表示手順を繰り返す手順と、前記隣接画像間に類似性のある画像からュ一ザによる複数の画像指定を受付ける画像指定受付手順と、該指定した画像が有する要因に共通の要因を自動的に抽出する共通要因抽出手順と、ユーザが指定した該共通要因と製品の品質との関係の仮説を受付ける関係仮説受付手順と、該関係仮説を検証する手順とを実行させ、それによりユーザが選択された要因と前記品質特性との関係を分析する作業を支援するようにした製造工程解析支援方法。

2 . 前記製品の品質特性を表す画像データから特徵量を数値文字化して抽出し前記要因の一つに加える手順と、製造作業者が作成した工程に関するテキストデータから特徴量を数値文字化して抽出し前記要因の一つに加える手順とを更に備え、前記共通要因抽出手順は、前記選択された画像に共通する面像特徴、単語、および要因の少なくとも一つを抽出する手順を含む、請求項 1記載の製造工程解析支援方法。

3 .前記指定画像受付手順は、前記コンピュータに、前記仮想空間内でユーザが指定した特定の画像を受付けさせる手順を含み、前記表示手順は、前記コンピュータに、該指定された画像の特徴量、数値および文字データの少なくとも一つをユーザが指定した場合に、該指定された画像に類似した画像をリストアップして前記表示手段に表示させる手順を含む、請求項 1記載の製造工程解析支援方法

4 . 前記関係仮説を検証する手順は、前記コンピュータに、ュ一ザが発見した前記要因と前記品質特性との関係を検証させる手順を含む、請求項 1記載の製造工程解析支援方法。

5 . 前記配置手順は、前記コンピュータに自己組織化マップを利用させる手順を含む、請求項 1記載の製造工程解析支援方法。

6 . 前記表示手順は、前記コンピュータに、前記仮想空間内で画像を閲覧する作業を支援するために、仮想空間内の視点を変更させる手順を含む、請求項 1記載の製造工程解析支援方法。

7 . 前記表示手順は、前記コンピュータに、ネットヮ一クを介して別のコンピュータに接続された表示装置に仮想空間を表示させる手順を含む、請求項 1記載の製造工程解析支援方法。

8 . 製造工程における製品の品質に影響を与える可能性のある要因であって数値文字データで構成されるものと該製品の品質特性との関係を解析する作業を支援する製造工程解析支援プログラムプロダクトであって、コンピュータに、前記要因の少なくとも一つの指定をユーザから受付ける指定受付手順と、該受付けた要因に関係する前記画像データに対応する画像を前記コンピュータに接続された表示装置内の仮想空間上に配置する配置手順と、前記画像が配置された仮想空間を前記表示装置に表示する表示手順と、該表示された画像中の隣接画像間に類似性があるとユーザが判定するまで前記指定受付手順、前記配置手順および前記表示手順を繰り返す手順と、前記隣接画像間に類似性のある画像からユーザによる複数の画像指定を受付ける画像指定受付手順と、該指定した画像が有する要因に共通の要因を自動的に抽出する共通要因抽出手順と、ユーザが指定した該共通要因と製品の品質との関係の仮説を受付ける関係仮説受付手順と、該闋係仮説を検証する手順とを実行させ、それによりュ一ザが選択された要因と前記品質特性との関係を分析する作業を支援するようにした製造工程解析支援プログラムプロダクト。

9 . 前記コンピュータに、前記製品の品質特性を表す画像データから特徴量を数値文字化して抽出し前記要因の一つに加える手順と、製造作業者が作成した工程に関するテキストデータから特徴量を数値文字化して抽出し前記要因の一つに加える手順を実行させ、前記共通要因抽出手順は、前記選択された画像に共通する画像特徴、単語、および要因の少なくとも一つを抽出させる手順を含む、請求項 8記載の製造工程解析支援プログラムプロダクト。

1 0 .前記指定画像受付手順は、前記コンピュータに、前記仮想空間内でユーザが指定した特定の画像を受付けさせる手順を含み、前記表示手順は、前記コンピュータに、該指定された画像の特徴量、数値および文字データの少なくとも一つをユーザが指定した場合に、該指定された画像に類似した画像をリストアップして前記表示手段に表示させる手順を含む、請求項 8記載の製造工程解析支援プログラムプロダクト。

1 1 . 前記関係仮説を検証する手順は、前記コンピュータに、ュ一ザが発見した前記要因と前記品質特性との関係を検証させる手順を含む、請求項 8記載の製造工程解析支援プログラムプロダクト。

1 2 . 前記配置手順は、前記コンピュータに自己組織化マップを利用させる手順を含む、請求項 8記載の製造工程解析支援プロダラムプロダクト。

1 3 . 前記表示手順は、前記コンピュータに、前記仮想空間内で画像を閲覧する作業を支援するために、仮想空間内の視点を変更させる手順を含む、請求項 8記載の製造工程解析支援プログラムプロダクト。

1 4 . 前記表示手順は、前記コンピュータに、ネットワークを介して別のコンピュータに接続された表示装置に仮想空間を表示させる手順を含む、請求項 8記載の製造工程解析支援プログラムプロダク卜。

1 5 . 製造工程における製品の品質に影響を与える可能性のある要因であって数値文字データで構成されるものと該製品の品質特性との関係を解析する作業を支援する製造工程解析支援プログラムを記録した記録媒体であって、コンピュータに、前記要因の少なくとも一つの指定をユーザから受付ける指定受付手順と、該受付けた要因に関係する前記画像データに対応する画像を前記コンピュータに接続された表示装置内の仮想空間上に配置する配置手順と、前記画像が配置された仮想空間を前記表示装置に表示する表示手順と、該表示された画像中の隣接画像間に類似性があるとユーザが判定するまで前記指定受付手順、前記配置手順および前記表示手順を繰り返す手順と、前記隣接画像間に類似性のある画像からユーザによる複数の画像指定を受付ける画像指定受付手順と、該指定した画像が有する要因に共通の要因を自動的に抽出する共通要因抽出手順と、ュ一ザが指定した該共通要因と製品の品質との関係の仮説を受付ける関係仮説受付手順と、該関係仮説を検証する手順とを実行させ、それによりユーザが選択された要因と前記品質特性との関係を分析する作業を支援するようにした製造工程解析支援プログラムを格納した記録媒体。

1 6 . 前記コンピュータに、製品の品質特性を表す画像データから特徴量を数値文字化して抽出し前記要因の一つに加える手順と、製造作業者が作成した工程に関するテキストデータから特徴量を数値文字化して抽出し前記要因の一つに加える手順とをさらに実行させ、前記共通要因抽出手順は、前記コンピュータに、前記選択された画像に共通する画像特徴、単語、および要因の少なくとも一つを抽出させる手順を含む、請求項 1 5記載の製造工程解析支援プログラムを格納した記録媒体。

1 7 .前記指定画像受付手順は、前記コンピュータに、前記仮想空間内でユーザが指定した特定の画像を受付けさせる手順を含み、前記表示手順は、前記コンピュータに、該指定された画像の特徴量、数値および文字データの少なくとも一つをユーザが指定した場合に、該指定された画像に類似した画像をリストアップして前記表示手段に表示させる手順を含む、請求項 1 5記載の製造工程解析支援プログラムを格納した記録媒体。

1 8 . 前記関係仮説を検証する手順は、前記コンピュータに、ュ一ザが発見した前記要因と前記品質特性との関係を検証させる手順を含む、請求項 1 5記載の製造工程解析支援プログラムを格納した記録媒体。

1 9 . 前記配置手順は、前記コンピュータに自己組織化マップを利用させる手順を含む、請求項 1 5記載の製造工程解析支援プログラムを格納した記録媒体。

2 0 . 前記表示手順は、前記コンピュータに、前記仮想空間内で画像を閲覧する作業を支援するために、仮想空間内の視点を変更させる手順を含む、請求項 1 5記載の製造工程解析支援プログラムを格納した記録媒体。

2 1 . 前記表示手順は、前記コンピュータに、ネットワークを介して別のコンピュータに接続された表示装置に仮想空間を表示させる手順を含む、請求項 1 5記載の製造工程解析支援プログ'ラムを格納した記録媒体。