JP4266930B2 - 製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体 - Google Patents
製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体 Download PDFInfo
- Publication number
- JP4266930B2 JP4266930B2 JP2004571333A JP2004571333A JP4266930B2 JP 4266930 B2 JP4266930 B2 JP 4266930B2 JP 2004571333 A JP2004571333 A JP 2004571333A JP 2004571333 A JP2004571333 A JP 2004571333A JP 4266930 B2 JP4266930 B2 JP 4266930B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- factors
- user
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Description
本発明は、さまざまな産業における各種工業製品の製造工程解析に利用できる製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体に関し、具体的には、半導体製造工程、磁気ディスク装置製造工程、ディスプレイ製造工程などにおいて、完成品の特性または中間生成物（以下、製品という）の特性が画像データとして表現される際の、該製品の品質に影響を与える可能性のある要因と、品質特性との関係の分析作業を支援する製造工程解析支援方法、プログラム、プログラムプロダクトおよび記録媒体に関する。
各種工業製品の製造工程では、製品の品質や特性に影響を与える可能性がある多数の要因が存在する。それらの要因の相互作用は良くわかっていない。それらの要因としては、たとえば、原材料特性、装置、温度、圧力、電流、粘性、速度、湿度、気圧などがある。これらの要因の中には外部から制御可能なパラメータ（制御因子）を持つものと、制御不可能なもの（誤差因子）とがある。製造工程の解析とは、製品の品質向上を目的として、これらの要因と製品の特性との間の関係を明らかにする作業をいう。
従来は、要因の計測が困難だったため、熟練者の経験や勘に基づいて製造工程の解析がなされてきたが、近年になって、測定器や情報処理機器の高性能化により、要因や製品の特性に関するデータを容易に取得できるようになってきた。そこで、経験や勘に頼らずシステマチックに製造工程の解析を行なうアプローチとして、多変量解析などの統計的手法（円川隆夫、宮川雅巳著：ＳＱＣ理論と実際 シリーズ「現代人の数理」、朝倉書店（１９９２）参照）やデータマイニングの技術を用いて工程解析を行なうという事例が増えてきている（津田英隆、白井英大、武理一郎：“データマイニングの歩留り解析への適用”、第３回データマイニング ワークショップ論文集、日本ソフトウエア科学会データマイニング研究会（２００２）、およびＭｉｃｈａｅｌ Ｊ．Ａ．Ｂｅｒｒｙ ａｎｄ Ｇｏｒｄｏｎ Ｌｉｎｏｆｆ：Ｍａｓｔｅｒｉｎｇ Ｄａｔａ Ｍｉｎｉｎｇ、Ｊｏｈｎ Ｗｉｌｌｅｙ ＆ Ｓｏｎｓ Ｉｎｃ．（２０００）参照）。
因子分析などの統計的手法やデータマイニング技術を用いた従来の製造工程解析方法では、各種要因を説明変数とし、品質に当たる指標を目的変数として、説明変数の目的変数に与える影響度を統計的に分析する。しかし、これには以下の課題がある。
（ａ）製造工程で得られるデータは要因数が数百から数千にのぼる場合も多いのに対し、ロット数に対応するレコード数は一般に少ない。したがって、従来の統計的手法のみでは、レコード数が少ない場合には有意な結果を得るのが困難である。
（ｂ）製造工程で、完成品の特性あるいは中間生成物の特性を表す画像データや製造作業者のコメント等の工程に関するテキストデータが得られたとしても、それらはあくまでも参考データとして扱われ、工程解析で直接利用することができない。たとえば、製造作業者は中間生成物や完成品の外観を見て、これまでの経験に基づいて工程のどの部分がどんな状態であるのかを直観的に判断する場合があるが、従来の統計的な手法ではこのような解析を行なうことができない。
（ｃ）検査者が目視したり、画像認識技術を利用したりすることで、外観を数値化し、統計的に工程解析を行なうことはできる。しかし、外観の微妙な変化を数値化することは難しく、数値化により工程解析のための情報が失われてしまうことがある。
［１］円川隆夫，宮川雅巳：ＳＱＣ理論と実際 シリーズ「現代人の数理」，朝倉書店（１９９２）。
従来は、要因の計測が困難だったため、熟練者の経験や勘に基づいて製造工程の解析がなされてきたが、近年になって、測定器や情報処理機器の高性能化により、要因や製品の特性に関するデータを容易に取得できるようになってきた。そこで、経験や勘に頼らずシステマチックに製造工程の解析を行なうアプローチとして、多変量解析などの統計的手法（円川隆夫、宮川雅巳著：ＳＱＣ理論と実際 シリーズ「現代人の数理」、朝倉書店（１９９２）参照）やデータマイニングの技術を用いて工程解析を行なうという事例が増えてきている（津田英隆、白井英大、武理一郎：“データマイニングの歩留り解析への適用”、第３回データマイニング ワークショップ論文集、日本ソフトウエア科学会データマイニング研究会（２００２）、およびＭｉｃｈａｅｌ Ｊ．Ａ．Ｂｅｒｒｙ ａｎｄ Ｇｏｒｄｏｎ Ｌｉｎｏｆｆ：Ｍａｓｔｅｒｉｎｇ Ｄａｔａ Ｍｉｎｉｎｇ、Ｊｏｈｎ Ｗｉｌｌｅｙ ＆ Ｓｏｎｓ Ｉｎｃ．（２０００）参照）。
因子分析などの統計的手法やデータマイニング技術を用いた従来の製造工程解析方法では、各種要因を説明変数とし、品質に当たる指標を目的変数として、説明変数の目的変数に与える影響度を統計的に分析する。しかし、これには以下の課題がある。
（ａ）製造工程で得られるデータは要因数が数百から数千にのぼる場合も多いのに対し、ロット数に対応するレコード数は一般に少ない。したがって、従来の統計的手法のみでは、レコード数が少ない場合には有意な結果を得るのが困難である。
（ｂ）製造工程で、完成品の特性あるいは中間生成物の特性を表す画像データや製造作業者のコメント等の工程に関するテキストデータが得られたとしても、それらはあくまでも参考データとして扱われ、工程解析で直接利用することができない。たとえば、製造作業者は中間生成物や完成品の外観を見て、これまでの経験に基づいて工程のどの部分がどんな状態であるのかを直観的に判断する場合があるが、従来の統計的な手法ではこのような解析を行なうことができない。
（ｃ）検査者が目視したり、画像認識技術を利用したりすることで、外観を数値化し、統計的に工程解析を行なうことはできる。しかし、外観の微妙な変化を数値化することは難しく、数値化により工程解析のための情報が失われてしまうことがある。
［１］円川隆夫，宮川雅巳：ＳＱＣ理論と実際 シリーズ「現代人の数理」，朝倉書店（１９９２）。
［２］津田英隆，白井英大，武理一郎：“データマイニングの歩留り解析への適用”，第３回データマイニング ワークショップ論文集，日本ソフトウエア科学会データマイニング研究会（２００２）。
［３］Ｍｉｃｈａｅｌ Ｊ．Ａ．Ｂｅｒｒｙ ａｎｄ Ｇｏｒｄｏｎ Ｌｉｎｏｆｆ：Ｍａｓｔｅｒｉｎｇ Ｄａｔａ Ｍｉｎｉｎｇ，Ｊｏｈｎ Ｗｉｌｌｅｙ ＆ Ｓｏｎｓ Ｉｎｃ．（２０００）。
［４］村尾晃平：″画像特徴量の自動抽出と類似画像検索″，勉誠出版，人文学と情報処理，Ｖｏｌ．２８，ｐｐ．５４−６１，Ｊｕｌｙ（２０００）。
ｈｔｔｐ：／／ｖｅｎｕｓ．ｎｅｔｌａｂｏｒａｔｏｒｙ．ｃｏｍ／ｓａｌｏｎ／ｃｈｉｔｅｋｉ／ｍｕｒ／ｉｍｇｓｅａｒｃｈ．ｈｔｍｌ
［５］Ｖｉｔｔｏｒｉｏ Ｃａｓｔｅｌｌｉ ａｎｄ Ｌａｗｒｅｎｃｅ Ｄ．Ｂｅｒｇｍａｎ ｅｄ．：Ｉｍａｇｅ Ｄａｔａｂａｓｅｓ：Ｓｅａｒｃｈ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅｒｙ，ｐｐ．２８５−３７２，Ｊｏｈｎ，Ｗｉｌｅｙ ＆ Ｓｏｎｓ（２００２）。
［６］西尾他：情報の構造化と検索，ｐｐ．１１３−１１９，岩波書店（２０００）。
［７］柳井晴夫：多変量データ解析法 理論と応用，朝倉書店（１９９４）。
［８］Ｔ．コホネン著，徳高他訳：自己組織化マップ，シュプリンガー・フェアラーク東京株式会社（１９９６）。
［３］Ｍｉｃｈａｅｌ Ｊ．Ａ．Ｂｅｒｒｙ ａｎｄ Ｇｏｒｄｏｎ Ｌｉｎｏｆｆ：Ｍａｓｔｅｒｉｎｇ Ｄａｔａ Ｍｉｎｉｎｇ，Ｊｏｈｎ Ｗｉｌｌｅｙ ＆ Ｓｏｎｓ Ｉｎｃ．（２０００）。
［４］村尾晃平：″画像特徴量の自動抽出と類似画像検索″，勉誠出版，人文学と情報処理，Ｖｏｌ．２８，ｐｐ．５４−６１，Ｊｕｌｙ（２０００）。
ｈｔｔｐ：／／ｖｅｎｕｓ．ｎｅｔｌａｂｏｒａｔｏｒｙ．ｃｏｍ／ｓａｌｏｎ／ｃｈｉｔｅｋｉ／ｍｕｒ／ｉｍｇｓｅａｒｃｈ．ｈｔｍｌ
［５］Ｖｉｔｔｏｒｉｏ Ｃａｓｔｅｌｌｉ ａｎｄ Ｌａｗｒｅｎｃｅ Ｄ．Ｂｅｒｇｍａｎ ｅｄ．：Ｉｍａｇｅ Ｄａｔａｂａｓｅｓ：Ｓｅａｒｃｈ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅｒｙ，ｐｐ．２８５−３７２，Ｊｏｈｎ，Ｗｉｌｅｙ ＆ Ｓｏｎｓ（２００２）。
［６］西尾他：情報の構造化と検索，ｐｐ．１１３−１１９，岩波書店（２０００）。
［７］柳井晴夫：多変量データ解析法 理論と応用，朝倉書店（１９９４）。
［８］Ｔ．コホネン著，徳高他訳：自己組織化マップ，シュプリンガー・フェアラーク東京株式会社（１９９６）。
本発明の目的は、従来の製造工程解析方法が持つ上記の課題を解決するために、複数の製品の隣接画像が類似するまで要因を選択し直した後に、指定画像に共通の要因を自動抽出するという構想に基づき、製品のレコード数が少ない場合でも統計的手法だけに頼らずに、要因と品質特性との関係を解析する作業の容易化を支援する製造工程解析支援方法、プログラム、プログラムプロダクトおよび記録媒体を提供することにある。
また製造工程解析者が熟練者でなくても、要因と品質特性との関係を解析する作業の容易化を支援する製造工程解析支援方法、プログラムおよび記録媒体を提供することにある。
さらに、製品の画像や製造作業者が作成した工程に関するテキストを数値文字化した要因の一部にすることにより、要因と品質特性との関係を解析する作業の容易化を支援する製造工程解析支援方法、プログラム、プログラムプロダクトおよび記録媒体を提供することにある。
上記目的を達成するために、本発明の第１の態様により、製造工程における製品の品質に影響を与える可能性のある要因であって数値文字データで構成されるものと製品の品質特性との関係を解析する作業を支援する製造工程解析支援方法、プログラム、プログラムプロダクトおよびそのプログラムを格納した記録媒体が提供される。その方法は、ユーザから受付けた要因に関係する画像データに対応する画像を表示装置内の仮想空間上に表示する表示手順と、表示された画像中の隣接画像間に類似性があるとユーザが判定するまでユーザからの要因指定受付および表示手順を繰り返す手順と、隣接画像間に類似性のある画像からユーザによる複数の画像指定を受付ける画像指定受付手順と、指定した画像が有する要因に共通の要因を自動的に抽出する共通要因抽出手順と、ユーザが指定した共通要因と製品の品質との関係の仮説を受付ける関係仮説受付手順と、関係仮説を検証する手順とを備える。それにより選択された要因と品質特性との関係をユーザが分析する作業を支援する。
この第１の態様により、解析者がデータを眺めながら、知識や経験も加味して、解析を行なうための支援環境が提供されるので、レコード数の少なさがカバーされる。
具体的には、画像データを工程解析で直接扱えるようにするので、ユーザ（即ち、製造工程解析者）が画像を一覧したり、それらの画像をさまざまな観点に基づいて並べ替えたりすることにより、製品の品質に影響を与える可能性のある要因と製品の品質特性との間の関係に関する仮説を立案することを支援する。また、立案した仮説がどの程度確からしいのかを確認するための検証作業を容易に行なうことができるようになる。
上記第１の態様において、製品の品質特性を表す画像データおよび製造作業者が作成した工程に関するテキストデータからそれぞれ特徴量を数値文字化して抽出し要因に加える手順とをさらに備え、共通要因抽出手順は、選択された画像に共通する画像特徴、単語、および要因の少なくとも一つを抽出する手順を含むことが好ましい。
これにより、画像やテキストに共通する諸特徴を簡単に抽出できるので、製品の製造工程の解析が容易になる。
また、上記第１の態様において、指定画像受付手順は、仮想空間内でユーザが指定した特定の画像を受付ける手順を含み、表示手順は、指定された画像の特徴量、数値および文字データの少なくとも一つをユーザが指定した場合に、指定された画像に類似した画像をリストアップして表示手段に表示する手順を含むようにしてもよい。
これにより、指定された画像に類似する画像が容易に抽出できるので、製品の製造工程の解析が容易になる。
また、上記第１の態様において、関係仮説を検証する手順は、ユーザが発見した要因と品質特性との関係を検証させる手順を含むようにしてもよい。
これにより、要因と品質特性との関係が確実に把握できる。
また、上記第１の態様において、配置手順は、自己組織化マップを利用する手順を含むようにしてもよい。
これにより、４次元以上の要因に対応する画像を三次元空間に表示することができ、製品の製造工程の解析が容易になる。
また、上記第１の態様において、表示手順は、仮想空間内で画像を閲覧する作業を支援するために、仮想空間内の視点を変更させる手順を含むようにしてもよい。
これにより、ユーザは仮想空間内を自由に閲覧できるので、所望の要因とその品質特性との関係を容易に把握できる。
また、上記第１の態様において、表示手順は、ネットワークを介して別のコンピュータに接続された表示装置に仮想空間を表示させる手順を含むようにしてもよい。
これにより、クライアント−サーバの関係にあるネットワークを利用して任意の場所で仮想空間を表示できる。
また製造工程解析者が熟練者でなくても、要因と品質特性との関係を解析する作業の容易化を支援する製造工程解析支援方法、プログラムおよび記録媒体を提供することにある。
さらに、製品の画像や製造作業者が作成した工程に関するテキストを数値文字化した要因の一部にすることにより、要因と品質特性との関係を解析する作業の容易化を支援する製造工程解析支援方法、プログラム、プログラムプロダクトおよび記録媒体を提供することにある。
上記目的を達成するために、本発明の第１の態様により、製造工程における製品の品質に影響を与える可能性のある要因であって数値文字データで構成されるものと製品の品質特性との関係を解析する作業を支援する製造工程解析支援方法、プログラム、プログラムプロダクトおよびそのプログラムを格納した記録媒体が提供される。その方法は、ユーザから受付けた要因に関係する画像データに対応する画像を表示装置内の仮想空間上に表示する表示手順と、表示された画像中の隣接画像間に類似性があるとユーザが判定するまでユーザからの要因指定受付および表示手順を繰り返す手順と、隣接画像間に類似性のある画像からユーザによる複数の画像指定を受付ける画像指定受付手順と、指定した画像が有する要因に共通の要因を自動的に抽出する共通要因抽出手順と、ユーザが指定した共通要因と製品の品質との関係の仮説を受付ける関係仮説受付手順と、関係仮説を検証する手順とを備える。それにより選択された要因と品質特性との関係をユーザが分析する作業を支援する。
この第１の態様により、解析者がデータを眺めながら、知識や経験も加味して、解析を行なうための支援環境が提供されるので、レコード数の少なさがカバーされる。
具体的には、画像データを工程解析で直接扱えるようにするので、ユーザ（即ち、製造工程解析者）が画像を一覧したり、それらの画像をさまざまな観点に基づいて並べ替えたりすることにより、製品の品質に影響を与える可能性のある要因と製品の品質特性との間の関係に関する仮説を立案することを支援する。また、立案した仮説がどの程度確からしいのかを確認するための検証作業を容易に行なうことができるようになる。
上記第１の態様において、製品の品質特性を表す画像データおよび製造作業者が作成した工程に関するテキストデータからそれぞれ特徴量を数値文字化して抽出し要因に加える手順とをさらに備え、共通要因抽出手順は、選択された画像に共通する画像特徴、単語、および要因の少なくとも一つを抽出する手順を含むことが好ましい。
これにより、画像やテキストに共通する諸特徴を簡単に抽出できるので、製品の製造工程の解析が容易になる。
また、上記第１の態様において、指定画像受付手順は、仮想空間内でユーザが指定した特定の画像を受付ける手順を含み、表示手順は、指定された画像の特徴量、数値および文字データの少なくとも一つをユーザが指定した場合に、指定された画像に類似した画像をリストアップして表示手段に表示する手順を含むようにしてもよい。
これにより、指定された画像に類似する画像が容易に抽出できるので、製品の製造工程の解析が容易になる。
また、上記第１の態様において、関係仮説を検証する手順は、ユーザが発見した要因と品質特性との関係を検証させる手順を含むようにしてもよい。
これにより、要因と品質特性との関係が確実に把握できる。
また、上記第１の態様において、配置手順は、自己組織化マップを利用する手順を含むようにしてもよい。
これにより、４次元以上の要因に対応する画像を三次元空間に表示することができ、製品の製造工程の解析が容易になる。
また、上記第１の態様において、表示手順は、仮想空間内で画像を閲覧する作業を支援するために、仮想空間内の視点を変更させる手順を含むようにしてもよい。
これにより、ユーザは仮想空間内を自由に閲覧できるので、所望の要因とその品質特性との関係を容易に把握できる。
また、上記第１の態様において、表示手順は、ネットワークを介して別のコンピュータに接続された表示装置に仮想空間を表示させる手順を含むようにしてもよい。
これにより、クライアント−サーバの関係にあるネットワークを利用して任意の場所で仮想空間を表示できる。
上記本発明の目的および諸特徴は図面を参照しながら説明する以下に記載する発明を実施するための最良の形態から一層明瞭になる。
図１は本発明の実施例による製造工程解析支援方法の概略を説明するフローチャートである。
図２は図１に示した工程データ中の画像およびテキストから特徴量を数値文字化して抽出する方法を説明するフローチャートである。
図３は本発明の実施例による製造工程解析支援方法の詳細を説明するフローチャートである。
図４は本発明の実施例による製造工程解析支援方法の具体例を説明するフローチャートである。
図５は図４に示したコメントの例を示す図である。
図６は図４の具体例において、ユーザが任意の３つの要因を選択した場合に仮想空間に表示された画像を含む画面の例を示す図である。
図７は図４の具体例において、４次元以上の要因から自己組織化マップを用いて三次元仮想空間に画像を表示した画面の例を示す図である。
図８は図４の具体例において、ユーザが選択した一つの画像に類似する画像をリストアップして表示した画面を示す図である。
図９は図４の具体例において、ユーザが選択した共通要因を持つ画像を表示した画面を示す図である。
図１０は図４の具体例において、共通画像特徴をユーザが抽出した画面を示す図である。
図１１は図４の具体例において、共通単語をユーザが抽出した画面を示す図である。
図１は本発明の実施例による製造工程解析支援方法の概略を説明するフローチャートである。
図２は図１に示した工程データ中の画像およびテキストから特徴量を数値文字化して抽出する方法を説明するフローチャートである。
図３は本発明の実施例による製造工程解析支援方法の詳細を説明するフローチャートである。
図４は本発明の実施例による製造工程解析支援方法の具体例を説明するフローチャートである。
図５は図４に示したコメントの例を示す図である。
図６は図４の具体例において、ユーザが任意の３つの要因を選択した場合に仮想空間に表示された画像を含む画面の例を示す図である。
図７は図４の具体例において、４次元以上の要因から自己組織化マップを用いて三次元仮想空間に画像を表示した画面の例を示す図である。
図８は図４の具体例において、ユーザが選択した一つの画像に類似する画像をリストアップして表示した画面を示す図である。
図９は図４の具体例において、ユーザが選択した共通要因を持つ画像を表示した画面を示す図である。
図１０は図４の具体例において、共通画像特徴をユーザが抽出した画面を示す図である。
図１１は図４の具体例において、共通単語をユーザが抽出した画面を示す図である。
図１は本発明の実施例による製造工程解析支援方法の概略を説明するフローチャートである。同図において、工程データは製品の製造工程における製品の品質に影響を与える可能性のある要因１からＬまでと、製品の画像１からＭまでと、製品の製造工程において製造作業者が作成した工程に関するコメント（テキストデータ）１からＺとが、製品番号Ｐ１からＰＮの各々に割当てられている。
図示例においては、製品番号Ｐ１の要因１〜Ｌの数値文字データはＸ１１〜Ｘ１Ｌであり、画像はＩ１１からＩ１Ｍであり、コメントはＴ１１からＴ１Ｚである。製品番号Ｐ２の要因１〜Ｌの数値文字データはＸ２１〜Ｘ２Ｌであり、画像はＩ２１からＩ２Ｍであり、コメントはＴ２１からＴ２Ｚである。製品番号ＰＮの要因１〜Ｌの数値文字データはＸＮ１〜ＸＮＬであり、画像はＩＮ１からＩＮＭであり、コメントはＴＮ１からＴＮＺである。
製品の各画像は画像データとしてコンピュータ内の記憶装置に格納されており、各コメントはテキストデータとしてコンピュータ内の記憶装置に格納されている。
＜画像特徴抽出手順Ｓ１１＞
ステップＳ１１で各画像の画像データから本発明により特徴が抽出されて数値文字化される。以下の記載において数値文字化とは、数値および文字の少なくとも一方からなる記号の集合をいう。抽出される画像特徴としては、色特徴、テクスチャ特徴、周波数特徴（フーリエ特徴やＤＣＴ特徴）、形状特徴がある（上記非特許文献４および５参照）。また、画像を複数の領域に自動的に分割（セグメンテーション）して、個々の領域に対応する画像特徴を抽出したり、特定の領域をユーザが指定してその領域に対応する画像特徴を抽出したりすることもできる。
＜テキスト特徴抽出手順Ｓ１２＞
同様にステップＳ１２で各コメントのテキストデータから本発明により特徴が抽出されて数値文字化される。テキスト特徴は以下のように抽出する。まず、あらかじめテキストを特徴づけるのに有効だと思われる単語セットを選んでおき、ｔｆ−ｉｄｆ法（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ―ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）を用いて、各単語の相対的重要度を測り、それを列挙することで、各テキストデータから単語のｔｆ−ｉｄｆ値を要素として持つベクトルをテキスト特徴として抽出する（上記非特許文献６参照）。
画像データの数値文字化されたものおよびテキストデータの数値文字化されたものは、要因１〜Ｌ以外の要因として工程データに追加される。
工程データはコンピュータに接続された表示装置に表示される。ユーザは、表示された工程データ中の少なくとも一つの要因をマウスでクリックすることにより指定する。即ち、ユーザは、各製品について、その製品の画像特徴、テキスト特徴、要因１〜Ｌの少なくとも一つの要因を指定する。コンピュータはこの要因の指定を受付ける。
＜画像配置手順Ｓ１３＞
次にステップＳ１３にて、コンピュータはこの指定に応じて、３次元以下の仮想空間にその製品の画像データを配置する。画像特徴およびテキスト特徴を含むそれぞれの要因を表す数値文字データは一般に高次元のベクトルであり、そのままでは３次元以下の仮想空間に配置することが出来ない。そこで、たとえば３次元の仮想空間内の画像の配置を決定するためには、各製品の数値文字データから３つの数値文字を選択し、それを空間内に設定した直交する３本の座標軸に割り当てる方法がある。また、画像特徴、テキスト特徴、数値文字データを主成分分析、多次元尺度分析などの統計的な手法を用いて３次元に圧縮する方法もある（上記非特許文献７参照）。さらに、ニューラルネットワークの１種である自己組織化マップ（Ｓｅｌｆ Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ、ＳＯＭ）を用いることもできる（上記非特許文献８参照）。
＜仮想空間表示手順Ｓ１４＞
次にステップＳ１４にて、画像が配置された仮想空間を実際に表示装置に表示する。画像の表示は、コンピュータグラフィックスの技術を利用することにより、ユーザが仮想空間内における自分の視点を変更したり、空間内を自由に歩き回ったり（ウォークスルー）、飛び回ったり（フライスルー）することにより実行できる。これによって、多くの画像を一覧したり、一部の画像だけに絞ってみたり、あるいは特定の画像にズームして詳細を調べたりする作業を支援する。
また、ネットワークを介して別の装置に仮想空間の表示を行なうこともできる。この場合、画像をクライアントーサーバ間のネットワーク経由で転送することになる。
さらに、ユーザは仮想空間内を移動している途中で画像配置手順を利用することができる。具体的には、新たな種類の特徴を抽出したり、座標軸への数値文字の割り当て方を変更したり、画像を配置するための特徴の種別を切り替えたりすることができる。これによって、ユーザがさまざまな観点で画像データを比較しながら、各要因と画像データのパターンとの間の関係を発見する作業を支援することが可能になる。
ユーザは仮想空間内を移動している途中で、表示された画像中の隣接画像間に類似性があるとユーザが判定するまで指定受付手順、配置手順および表示手順を繰り返す。
＜類似画像検索手順Ｓ１５＞
次にステップＳ１５にて、仮想空間内に表示されている画像から、ユーザはマウスやキーボードにより類似画像を選択したり隣接する類似画像の範囲を指定したりする。また、特定の画像をマウスやキーボードにより選択し、その画像の着目する特徴や数値文字データを指定することにより、類似した画像をリストアップして表示することもできる。これにより、ユーザがさまざまな観点で画像データを比較しながら、各要因と画像データのパターンとの間の関係を発見する作業を支援することが可能になる。
＜共通要因抽出手順Ｓ１６＞
また、ステップＳ１６にて、仮想空間内で複数の画像をマウスやキーボードにより選択し、さらに着目する特徴の種別や数値／文字データを指定することにより、それらの画像に対応する製品に共通する画像特徴，単語，要因を抽出することができる。これにより、配置に用いた要因や特徴と、抽出した画像特徴、単語、要因との間の関係を発見する作業を支援することが可能になる。
＜関係検証手順Ｓ１７＞
最後にステップＳ１７にて、上述の手順でユーザ（工程解析者）が発見した「要因と品質特性との関係」を検証する。たとえば、関係として、「ある要因が特定の範囲にある場合は、品質特性がある範囲に収まる傾向がある」というルールを発見した場合には、そのルールが成り立っているかどうかを多くのデータについてチェックし、ルールの妥当性を定量的に検証することができる。また、「ある要因と品質特性とが相関関係を持つ」という関係を発見した場合には、その関係がどの程度成り立っているかを多くのデータについてチェックし、発見した関係の妥当性を定量的に検証することができる。
本発明によれば、上記方法をコンピュータに実行させるプログラム、プログラムプロダクトおよびそのプログラムを格納した記録媒体も提供される。
なお、本明細書におけるプログラムおよびプログラムプロダクトは、ネットワークを介して配信中のプログラムおよびプログラムプロダクトや記録媒体に格納されたプログラムおよびプログラムプロダクトを含む。
図２は図１に示した工程データ内に画像特徴およびテキスト特徴を要因として追加する手順を説明するフローチャートである。同図において、ステップＳ２１にて工程データ内の全製品データについて、画像特徴およびテキスト特徴の抽出処理が完了したかを判定し、完了していなければステップＳ２２にて一つの製品の画像データから画像特徴を抽出し、要因として工程データに追加する。
次いでステップＳ２３にて、その製品のテキストデータからテキスト特徴を抽出し、要因として工程データに追加する。
次いでステップＳ２４にて、工程データ内のその製品の数値文字データを抽出し、要因として工程データに追加する。
次いでステップＳ２１に戻り、工程データ内の全製品データについて、画像特徴およびテキスト特徴の抽出処理が完了したかを判定し、完了していなければステップＳ２２からＳ２４を繰り返し、完了していれば工程データへの要因の追加手順を終了する。
なお、図２に示した処理は本発明で必須の処理ではない。
図３は本発明の実施例による製造工程解析支援方法の詳細を説明するフローチャートである。
同図において、ステップＳ３０１にて、コンピュータはユーザから工程データ中の要因のマウスやキーボードによる指定を受付ける。
次にステップＳ３０２にて、要因指定が完了したかを判定する。ユーザからの更なる要因指定がなければ、処理を終了する。
要因指定があれば、ステップＳ３０３に進み、指定された要因に基づいてコンピュータ内の仮想空間における配置データを作成する。
次いでステップＳ３０４にて、ステップＳ３０３で作成された配置データに基づいて、各製品データ内の画像を表示装置の仮想空間に表示し、ステップＳ３０５にてユーザから要因の指定の受付け状態になり、ステップＳ３０２に戻り、隣接した画像間に類似性があるとユーザが判定するまでステップＳ３０３からＳ３０５を繰り返す。以上の動作が図１におけるステップＳ１１からＳ１４の動作の詳細である。
次にステップＳ３０６にて、ユーザのマウス操作又はキーボード操作による複数の画像の指定を受付ける。
次にステップＳ３０７にて、ユーザからの画像指定があるかを判定し、なければ処理を終了する。
画像指定があれば、ステップＳ３０８にてコンピュータは自動的に指定画像に類似した複数の画像だけを取り出して表示する。
次いでステップＳ３０９にてコンピュータは、ユーザが指定した要因の中から、取り出し表示された画像に共通する要因のサブセットを自動的に抽出する。
次いでステップＳ３１０にてコンピュータはユーザの指定した要因と製品の品質との間の関係に関するユーザ作成の仮説を受付ける。
次いでステップＳ３１１にて、コンピュータは受付けた関係仮説を、関係する画像を表示して比較することによりユーザが検証する。
次いで、ステップＳ３１２にて、再びユーザによる少なくとも一つの画像の指定を受付け、ステップＳ３０７にてユーザからの画像指定があるかの判定をし、指定ありであればステップＳ３０８からＳ３１１を繰り返す。
図４は本発明の実施例による製造工程解析支援方法の具体例を説明するフローチャートである。
同図において、図１と同一の手順には同一の参照符号を付してある。
本具体例では、建物の基礎部分や壁部分に箱形の構造物を作り、その間にコンクリートを流し込み、コンクリートの持つ特性を利用して固まらせる「コンクリート打設」の工程を解析対象とした製造工程解析支援方法について説明する。ここでは、打設後の外観を美しくし、かつ誤差要因によるばらつきを減らすことを目的とする。
本具体例例の処理の流れは以下の通りである。
（１）データ取得
制御因子としては以下の５つを取り上げる。
要因１：スランプ（まだ固まらないコンクリートの軟らかさの程度の指標）：単位はｃｍ
要因２：打設速度：単位はｍ３／ｈ（時間）
要因３：打ち止め圧力：単位はｋｇ／ｃｍ２
要因４：最大骨材寸法：単位はｍｍ
要因５：細骨材率：単位は％
また、打設現場の環境条件が完成品に影響することがわかっているので、それを誤差因子とする。
要因６：気温：単位は°Ｃ
要因７：湿度：単位は％
画像データは以下の通りである。
画像１：打設後の外観画像（図示の簡略化のために、画像中の斜線の数が多いほど、画像は暗い色であるとする。実際には打設中の泥水の影響や、コンクリートの流し込み速度の影響や、雨の影響などが画像に反映される。）
テキストデータは以下の通りである。
コメント１：打設中の観察結果を記載した文章
図５は各製品番号に対応するコメントＴ１、Ｔ２、…ＴＮの例の一部を示す図である。同図において、製品番号Ｐ１のコメントＴ１は「泥を掃除してもらったが、一部泥水が残っている。雑巾でふき取るように指示を出した。」というものである。また、製品番号Ｐ２のコメントＴ２は「型枠にコンクリートを一気に流し込んでしまうと、側圧が大きくなり、型枠がたえられなくなる。」というものである。さらに、製品番号ＰＮのコメントＴＮは「打設開始後３０分。ポツポツと雨が落ちてきた。打設が完了した部分にブルーシートを掛け…」というものである。
図４におけるステップＳ１１の画像データから特徴量を数値文字化して抽出する画像特徴抽出手順は次の通り行われる。
（Ａ）色分布特徴の抽出（前述の非特許文献５参照）
１）画像データの各画素値をＲＧＢ色空間での表現（ｒ，ｇ，ｂ）からＨＳＩ色空間での表現（ｈ，ｓ，ｉ）に変換する。
２）ＨＳＩ空間を＝Ｎ＿ｈ（Ｈ軸の分割数）×Ｎ＿ｓ（Ｓ軸の分割数）×Ｎ＿ｉ（Ｉ軸の分割数）＝Ｎ個のブロックに分割して、各ブロックに含まれる画素の数をカウントした結果を列挙し、Ｎ次元のベクトルに変換し、それを特徴量とする。
（Ｂ）ウェーブレット特徴の抽出（前述の非特許文献２参照）
１）画像データをウェーブレット変換する。
２）その結果として得られるウェーブレット変換係数を、画像の大まかな形状成分や細かな模様成分、輪郭成分などに分離する。
３）それぞれを組み合わせベクトルに変換し、それを特徴量とする。
ウェーブレット変換は、画像の位置情報を保存したまま空間周波数変換を行なう変換であり、画像の形状をコンパクトに記述でき、大きさが異なる画像間を同じスケールで比較できる。
（Ｃ）エッジ方向ヒストグラム特徴の抽出（前述の非特許文献４参照）
１）画像データからＳｏｂｅｌフィルタ等でエッジを抽出する。
２）抽出したエッジの方向を離散化し、それぞれの方向ごとに頻度をカウントする。
３）それを画像全体のエッジ数で割った数値を並べ、ベクトルとし、それを特徴量とする。
これ以外にも、フーリエ特徴、ＤＣＴ特徴、テクスチャ特徴などさまざまな画像特徴を画像データから抽出し、ベクトルの形で利用することができる（前述の非特許文献９参照）。
図４のステップＳ１２のテキストデータから特徴量を数値文字化するテキスト特徴抽出手順は以下に挙げるような方法によって行われる（前述の非特許文献６参照）。
１）まずテキストデータから単語を抽出する。
２）ｔｆ−ｉｄｆ法（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ−ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）を用いて、各単語の相対的重要度を測り、それを列挙することで、各テキストから単語のｔｆ−ｉｄｆ値を要素として持つベクトルとし、それを特徴量とする。
図４のステップＳ１３およびＳ１４の画像配置＆３次元仮想空間表示手順は以下の方法によって行われる。
図６は図４の具体例において、要因１〜７、画像１〜Ｍおよびコメント１〜Ｚの数値文字データのうち３つの数値文字を選択し、それを仮想空間内に設定した直交する３本の座標軸に割り当てた場合に表示装置に表示される仮想空間を示す図である。画像およびコメントを含む要因の数値文字データのうち３つの数値文字を選択し、それを仮想空間内に設定した直交する３本の座標軸に割り当てる。たとえば、要因１（スランプ）と要因５（細骨材率）と要因６（温度）を選び、各軸に割り当てる。仮想空間表示手段を用いることで、各製品の画像データを仮想空間内に配置し、コンピュータに接続された表示装置に表示する。
図７は図４の具体例において、４次元以上の要因から自己組織化マップを用いて三次元仮想空間に画像を表示した画面の例を示す図である。
テキスト特徴や画像特徴の場合には、自己組織化マップ（Ｓｅｌｆ Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ、ＳＯＭ）（上記非特許文献８参照）により画像を平面上に配置し、それらの画像の特徴が類似した画像が近くに集まるように配置することができる。自己組織化マップは、教師なし競合学習モデルに基づくニューラルネットワークの一種であり、高次元空間内のデータを低次元空間に写像する。その際、高次元空間において距離が近いデータ同士を低次元空間でもなるべく近くに配置することができる。ＳＯＭの処理は、学習フェーズと配置フェーズの二つに分かれている。学習フェーズでは、セルを平面上に規則的に配置した後、入力に基づいて各セルに割り当てたベクトル値を更新することによって行なう。この学習の結果、近い位置にあるセル同士は類似したベクトル値を持つことになる。配置フェーズは、学習結果をもとに配置対象のベクトル値に最も近いベクトル値を持つセルの位置に配置することによって行なう。ＭＩＲＡＣＬＥＳでは情報セットを配置対象として特徴の種別毎にＳＯＭの処理を行ない、その配置結果を保持する。
仮想空間表示手順により、各製品の画像データを仮想空間内に配置し、コンピュータに接続された表示装置に表示する。
画像データから、色相、再度、明度等を表す色分布特徴（ＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色空間をセルに分割し各セルに含まれる画素数を画像全体の画素数で割り、それを並べたベクトル）、きめの細かさを表すテクスチャ特徴（Ｗａｖｅｌｅｔ変換係数を重み付けして列挙したベクトル）、規則性を表す周波数特徴（フーリエ特徴やＤＣＴ特徴）、亀裂等を表す形状特徴（画像からエッジを抽出し、その方向を離散化して頻度をカウントし、それを画像全体のエッジ数で割り、それを並べたベクトル）を抽出する（前述の非特許文献４および５を参照）。
図６又は図７に示した仮想空間において、図４にステップＳ４１で示すように、３次元仮想空間内ウォークルーを行うことが可能である。即ち、ユーザは、表示された３次元の仮想空間内において、マウス操作で視点を変更し、所望の画像を探すことで情報を探索することができる。画像をクリックすることで、その画像に対応する製品の詳細情報にアクセスすることも可能である。
また、図６又は図７に示した仮想空間において、図４にステップＳ４２で示すように、画像の配置方法を変更することもできる。即ち、各軸に割り当てる要因を切り替えて表示することで、さまざまな観点から分類配置を行なうことができる。たとえば、テキスト特徴を配置用の特徴として選び、配置を行なって表示することもできる。また、何らかのキーワードを入力し、製品のコメントに含まれるテキスト属性がそのキーワードと合致するもの程、ユーザの視点に近くに来るように、該当する画像の配置を変更して表示することもできる。隣接画像間に類似性があるとユーザが判定するまで、この操作を繰り返す。
図８は図４に示した具体例において、ユーザが選択した一つの画像に類似する画像をリストアップして表示した画面を示す図である。同図において、仮想空間内で特定の画像８１を選択し、さらに着目する特徴量や数値文字データを指定することにより、類似した画像８２〜８９をリストアップして表示することができる。これにより、ユーザがさまざまな観点で画像データを比較しながら、各要因と画像データのパターンとの間の関係を発見する作業を支援することが可能になる。
図９は図４に示した具体例において、ユーザが選択した共通要因を持つ画像を表示した画面を示す図である。同図において、隣接画像間に類似性があるようになった仮想空間内で、複数の画像を選択し、さらに着目する特徴量や数値文字データを指定することにより、それらの画像に対応する製品に共通する要因、単語、画像特徴を抽出することができる。これにより、配置に用いた要因や特徴量と、抽出した要因、単語、画像特徴との間の関係を発見する作業を支援することが可能になる。例えば図９に示すように、要因１〜７、画像１、コメント１を使って配置すると、以下の手順で共通要因を抽出することができる。
・要因１〜７、画像１およびコメント１を並べ９次元のベクトルとし、二次元自己組織化マップ（三次元空間内の平面）を構成する。
・学習後の自己組織化マップを使い画像を仮想３次元空間に配置する。
・ユーザが仮想３次元空間を眺め、ある共通性を持った画像が集まっている場所、規則性を持って並んでいる場所を見出す。
たとえば、図９では色むらがある画像９１〜９９が集まっており、それらの画像を所望の色の枠で囲んで選択する。
・画像全体での要因の分布と比較して、選択した画像の要因の分布が偏っているかどうかを装置が計算し、偏っているものを共通要因として抽出する。図９では、要因１と要因３とが共通要因の候補として抽出されている。
・このようにして、ルールとして、たとえば、「要因１のスランプが１６±１ｃｍであれば色むらが出やすい」というものが発見できる。
図１０は図４に示した具体例において、共通テキスト用いてユーザが抽出した画面を示す図である。
テキスト特徴を使って配置すると、たとえば以下のように共通要因を抽出することができる。
・テキスト特徴で、自己組織化マップを構成する。
・学習後の自己組織化マップを使い画像を仮想３次元空間に配置する。
・ユーザが仮想３次元空間を眺め、ある共通性を持った画像が集まっている場所、規則性を持って並んでいる場所を見出す。たとえば、図１０では青みのある画像が集まっており、それらの画像を黄色い枠で囲んで選択する。図１０では、「雨」、「シート」、「泥」などコメント中の複数の単語が共通単語の候補として抽出されている。
・そこでルールとして、「雨によってシートをかけたり、土が泥になったりすると青みが出やすい」というものが発見できる。
図１１は図４に示した具体例において、共通画像特徴をユーザが抽出した画面を示す図である。
画像特徴を使って配置すると、たとえば以下のように共通要因を抽出することができる。
・画像特徴としてテクスチャ特徴で、自己組織化マップを構成する。
・学習後の自己組織化マップを使い画像を仮想３次元空間に配置する。
・ユーザが仮想３次元空間を眺め、ある共通性を持った画像が集まっている場所、規則性を持って並んでいる場所を見出す。たとえば、図１１ではオレンジ色の画像が集まっており、それらの画像を黄色い枠で囲んで選択する。共通特徴としては、テクスチャ特徴のうち「方向性」に対応する成分がある一定の範囲内にあることが共通画像特徴の候補として抽出されている。
・ルールとして、「テクスチャの方向成分がある範囲内であればオレンジ色を帯びやすい」というものが発見できる。
次に図４のステップＳ１７による関係検証手順を以下の通り実行する。
上述の手順でユーザが発見した「要因と品質特性との関係」を検証する。たとえば、関係として、「ある要因が特定の範囲にある場合は、品質特性がある範囲に収まる傾向がある」というルールを発見した場合には、そのルールが成り立っているかどうかを多くの製品番号のデータについて要因と画像やコメントに現われている品質特性とを照合することによりチェックし、ルールの妥当性を定量的に検証することができる。また、「ある要因と品質特性とが相関関係を持つ」という関係を発見した場合には、その関係がどの程度成り立っているかを多くの製品番号のデータについて要因と画像やコメントに現われている品質特性とを照合することによりチェックし、発見した関係の妥当性を定量的に検証することができる。
なお、要因の中に画像データを数値文字化したものやテキストデータを数値文字化したものを含まなくても、本発明の効果は得られる。
図示例においては、製品番号Ｐ１の要因１〜Ｌの数値文字データはＸ１１〜Ｘ１Ｌであり、画像はＩ１１からＩ１Ｍであり、コメントはＴ１１からＴ１Ｚである。製品番号Ｐ２の要因１〜Ｌの数値文字データはＸ２１〜Ｘ２Ｌであり、画像はＩ２１からＩ２Ｍであり、コメントはＴ２１からＴ２Ｚである。製品番号ＰＮの要因１〜Ｌの数値文字データはＸＮ１〜ＸＮＬであり、画像はＩＮ１からＩＮＭであり、コメントはＴＮ１からＴＮＺである。
製品の各画像は画像データとしてコンピュータ内の記憶装置に格納されており、各コメントはテキストデータとしてコンピュータ内の記憶装置に格納されている。
＜画像特徴抽出手順Ｓ１１＞
ステップＳ１１で各画像の画像データから本発明により特徴が抽出されて数値文字化される。以下の記載において数値文字化とは、数値および文字の少なくとも一方からなる記号の集合をいう。抽出される画像特徴としては、色特徴、テクスチャ特徴、周波数特徴（フーリエ特徴やＤＣＴ特徴）、形状特徴がある（上記非特許文献４および５参照）。また、画像を複数の領域に自動的に分割（セグメンテーション）して、個々の領域に対応する画像特徴を抽出したり、特定の領域をユーザが指定してその領域に対応する画像特徴を抽出したりすることもできる。
＜テキスト特徴抽出手順Ｓ１２＞
同様にステップＳ１２で各コメントのテキストデータから本発明により特徴が抽出されて数値文字化される。テキスト特徴は以下のように抽出する。まず、あらかじめテキストを特徴づけるのに有効だと思われる単語セットを選んでおき、ｔｆ−ｉｄｆ法（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ―ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）を用いて、各単語の相対的重要度を測り、それを列挙することで、各テキストデータから単語のｔｆ−ｉｄｆ値を要素として持つベクトルをテキスト特徴として抽出する（上記非特許文献６参照）。
画像データの数値文字化されたものおよびテキストデータの数値文字化されたものは、要因１〜Ｌ以外の要因として工程データに追加される。
工程データはコンピュータに接続された表示装置に表示される。ユーザは、表示された工程データ中の少なくとも一つの要因をマウスでクリックすることにより指定する。即ち、ユーザは、各製品について、その製品の画像特徴、テキスト特徴、要因１〜Ｌの少なくとも一つの要因を指定する。コンピュータはこの要因の指定を受付ける。
＜画像配置手順Ｓ１３＞
次にステップＳ１３にて、コンピュータはこの指定に応じて、３次元以下の仮想空間にその製品の画像データを配置する。画像特徴およびテキスト特徴を含むそれぞれの要因を表す数値文字データは一般に高次元のベクトルであり、そのままでは３次元以下の仮想空間に配置することが出来ない。そこで、たとえば３次元の仮想空間内の画像の配置を決定するためには、各製品の数値文字データから３つの数値文字を選択し、それを空間内に設定した直交する３本の座標軸に割り当てる方法がある。また、画像特徴、テキスト特徴、数値文字データを主成分分析、多次元尺度分析などの統計的な手法を用いて３次元に圧縮する方法もある（上記非特許文献７参照）。さらに、ニューラルネットワークの１種である自己組織化マップ（Ｓｅｌｆ Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ、ＳＯＭ）を用いることもできる（上記非特許文献８参照）。
＜仮想空間表示手順Ｓ１４＞
次にステップＳ１４にて、画像が配置された仮想空間を実際に表示装置に表示する。画像の表示は、コンピュータグラフィックスの技術を利用することにより、ユーザが仮想空間内における自分の視点を変更したり、空間内を自由に歩き回ったり（ウォークスルー）、飛び回ったり（フライスルー）することにより実行できる。これによって、多くの画像を一覧したり、一部の画像だけに絞ってみたり、あるいは特定の画像にズームして詳細を調べたりする作業を支援する。
また、ネットワークを介して別の装置に仮想空間の表示を行なうこともできる。この場合、画像をクライアントーサーバ間のネットワーク経由で転送することになる。
さらに、ユーザは仮想空間内を移動している途中で画像配置手順を利用することができる。具体的には、新たな種類の特徴を抽出したり、座標軸への数値文字の割り当て方を変更したり、画像を配置するための特徴の種別を切り替えたりすることができる。これによって、ユーザがさまざまな観点で画像データを比較しながら、各要因と画像データのパターンとの間の関係を発見する作業を支援することが可能になる。
ユーザは仮想空間内を移動している途中で、表示された画像中の隣接画像間に類似性があるとユーザが判定するまで指定受付手順、配置手順および表示手順を繰り返す。
＜類似画像検索手順Ｓ１５＞
次にステップＳ１５にて、仮想空間内に表示されている画像から、ユーザはマウスやキーボードにより類似画像を選択したり隣接する類似画像の範囲を指定したりする。また、特定の画像をマウスやキーボードにより選択し、その画像の着目する特徴や数値文字データを指定することにより、類似した画像をリストアップして表示することもできる。これにより、ユーザがさまざまな観点で画像データを比較しながら、各要因と画像データのパターンとの間の関係を発見する作業を支援することが可能になる。
＜共通要因抽出手順Ｓ１６＞
また、ステップＳ１６にて、仮想空間内で複数の画像をマウスやキーボードにより選択し、さらに着目する特徴の種別や数値／文字データを指定することにより、それらの画像に対応する製品に共通する画像特徴，単語，要因を抽出することができる。これにより、配置に用いた要因や特徴と、抽出した画像特徴、単語、要因との間の関係を発見する作業を支援することが可能になる。
＜関係検証手順Ｓ１７＞
最後にステップＳ１７にて、上述の手順でユーザ（工程解析者）が発見した「要因と品質特性との関係」を検証する。たとえば、関係として、「ある要因が特定の範囲にある場合は、品質特性がある範囲に収まる傾向がある」というルールを発見した場合には、そのルールが成り立っているかどうかを多くのデータについてチェックし、ルールの妥当性を定量的に検証することができる。また、「ある要因と品質特性とが相関関係を持つ」という関係を発見した場合には、その関係がどの程度成り立っているかを多くのデータについてチェックし、発見した関係の妥当性を定量的に検証することができる。
本発明によれば、上記方法をコンピュータに実行させるプログラム、プログラムプロダクトおよびそのプログラムを格納した記録媒体も提供される。
なお、本明細書におけるプログラムおよびプログラムプロダクトは、ネットワークを介して配信中のプログラムおよびプログラムプロダクトや記録媒体に格納されたプログラムおよびプログラムプロダクトを含む。
図２は図１に示した工程データ内に画像特徴およびテキスト特徴を要因として追加する手順を説明するフローチャートである。同図において、ステップＳ２１にて工程データ内の全製品データについて、画像特徴およびテキスト特徴の抽出処理が完了したかを判定し、完了していなければステップＳ２２にて一つの製品の画像データから画像特徴を抽出し、要因として工程データに追加する。
次いでステップＳ２３にて、その製品のテキストデータからテキスト特徴を抽出し、要因として工程データに追加する。
次いでステップＳ２４にて、工程データ内のその製品の数値文字データを抽出し、要因として工程データに追加する。
次いでステップＳ２１に戻り、工程データ内の全製品データについて、画像特徴およびテキスト特徴の抽出処理が完了したかを判定し、完了していなければステップＳ２２からＳ２４を繰り返し、完了していれば工程データへの要因の追加手順を終了する。
なお、図２に示した処理は本発明で必須の処理ではない。
図３は本発明の実施例による製造工程解析支援方法の詳細を説明するフローチャートである。
同図において、ステップＳ３０１にて、コンピュータはユーザから工程データ中の要因のマウスやキーボードによる指定を受付ける。
次にステップＳ３０２にて、要因指定が完了したかを判定する。ユーザからの更なる要因指定がなければ、処理を終了する。
要因指定があれば、ステップＳ３０３に進み、指定された要因に基づいてコンピュータ内の仮想空間における配置データを作成する。
次いでステップＳ３０４にて、ステップＳ３０３で作成された配置データに基づいて、各製品データ内の画像を表示装置の仮想空間に表示し、ステップＳ３０５にてユーザから要因の指定の受付け状態になり、ステップＳ３０２に戻り、隣接した画像間に類似性があるとユーザが判定するまでステップＳ３０３からＳ３０５を繰り返す。以上の動作が図１におけるステップＳ１１からＳ１４の動作の詳細である。
次にステップＳ３０６にて、ユーザのマウス操作又はキーボード操作による複数の画像の指定を受付ける。
次にステップＳ３０７にて、ユーザからの画像指定があるかを判定し、なければ処理を終了する。
画像指定があれば、ステップＳ３０８にてコンピュータは自動的に指定画像に類似した複数の画像だけを取り出して表示する。
次いでステップＳ３０９にてコンピュータは、ユーザが指定した要因の中から、取り出し表示された画像に共通する要因のサブセットを自動的に抽出する。
次いでステップＳ３１０にてコンピュータはユーザの指定した要因と製品の品質との間の関係に関するユーザ作成の仮説を受付ける。
次いでステップＳ３１１にて、コンピュータは受付けた関係仮説を、関係する画像を表示して比較することによりユーザが検証する。
次いで、ステップＳ３１２にて、再びユーザによる少なくとも一つの画像の指定を受付け、ステップＳ３０７にてユーザからの画像指定があるかの判定をし、指定ありであればステップＳ３０８からＳ３１１を繰り返す。
図４は本発明の実施例による製造工程解析支援方法の具体例を説明するフローチャートである。
同図において、図１と同一の手順には同一の参照符号を付してある。
本具体例では、建物の基礎部分や壁部分に箱形の構造物を作り、その間にコンクリートを流し込み、コンクリートの持つ特性を利用して固まらせる「コンクリート打設」の工程を解析対象とした製造工程解析支援方法について説明する。ここでは、打設後の外観を美しくし、かつ誤差要因によるばらつきを減らすことを目的とする。
本具体例例の処理の流れは以下の通りである。
（１）データ取得
制御因子としては以下の５つを取り上げる。
要因１：スランプ（まだ固まらないコンクリートの軟らかさの程度の指標）：単位はｃｍ
要因２：打設速度：単位はｍ３／ｈ（時間）
要因３：打ち止め圧力：単位はｋｇ／ｃｍ２
要因４：最大骨材寸法：単位はｍｍ
要因５：細骨材率：単位は％
また、打設現場の環境条件が完成品に影響することがわかっているので、それを誤差因子とする。
要因６：気温：単位は°Ｃ
要因７：湿度：単位は％
画像データは以下の通りである。
画像１：打設後の外観画像（図示の簡略化のために、画像中の斜線の数が多いほど、画像は暗い色であるとする。実際には打設中の泥水の影響や、コンクリートの流し込み速度の影響や、雨の影響などが画像に反映される。）
テキストデータは以下の通りである。
コメント１：打設中の観察結果を記載した文章
図５は各製品番号に対応するコメントＴ１、Ｔ２、…ＴＮの例の一部を示す図である。同図において、製品番号Ｐ１のコメントＴ１は「泥を掃除してもらったが、一部泥水が残っている。雑巾でふき取るように指示を出した。」というものである。また、製品番号Ｐ２のコメントＴ２は「型枠にコンクリートを一気に流し込んでしまうと、側圧が大きくなり、型枠がたえられなくなる。」というものである。さらに、製品番号ＰＮのコメントＴＮは「打設開始後３０分。ポツポツと雨が落ちてきた。打設が完了した部分にブルーシートを掛け…」というものである。
図４におけるステップＳ１１の画像データから特徴量を数値文字化して抽出する画像特徴抽出手順は次の通り行われる。
（Ａ）色分布特徴の抽出（前述の非特許文献５参照）
１）画像データの各画素値をＲＧＢ色空間での表現（ｒ，ｇ，ｂ）からＨＳＩ色空間での表現（ｈ，ｓ，ｉ）に変換する。
２）ＨＳＩ空間を＝Ｎ＿ｈ（Ｈ軸の分割数）×Ｎ＿ｓ（Ｓ軸の分割数）×Ｎ＿ｉ（Ｉ軸の分割数）＝Ｎ個のブロックに分割して、各ブロックに含まれる画素の数をカウントした結果を列挙し、Ｎ次元のベクトルに変換し、それを特徴量とする。
（Ｂ）ウェーブレット特徴の抽出（前述の非特許文献２参照）
１）画像データをウェーブレット変換する。
２）その結果として得られるウェーブレット変換係数を、画像の大まかな形状成分や細かな模様成分、輪郭成分などに分離する。
３）それぞれを組み合わせベクトルに変換し、それを特徴量とする。
ウェーブレット変換は、画像の位置情報を保存したまま空間周波数変換を行なう変換であり、画像の形状をコンパクトに記述でき、大きさが異なる画像間を同じスケールで比較できる。
（Ｃ）エッジ方向ヒストグラム特徴の抽出（前述の非特許文献４参照）
１）画像データからＳｏｂｅｌフィルタ等でエッジを抽出する。
２）抽出したエッジの方向を離散化し、それぞれの方向ごとに頻度をカウントする。
３）それを画像全体のエッジ数で割った数値を並べ、ベクトルとし、それを特徴量とする。
これ以外にも、フーリエ特徴、ＤＣＴ特徴、テクスチャ特徴などさまざまな画像特徴を画像データから抽出し、ベクトルの形で利用することができる（前述の非特許文献９参照）。
図４のステップＳ１２のテキストデータから特徴量を数値文字化するテキスト特徴抽出手順は以下に挙げるような方法によって行われる（前述の非特許文献６参照）。
１）まずテキストデータから単語を抽出する。
２）ｔｆ−ｉｄｆ法（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ−ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）を用いて、各単語の相対的重要度を測り、それを列挙することで、各テキストから単語のｔｆ−ｉｄｆ値を要素として持つベクトルとし、それを特徴量とする。
図４のステップＳ１３およびＳ１４の画像配置＆３次元仮想空間表示手順は以下の方法によって行われる。
図６は図４の具体例において、要因１〜７、画像１〜Ｍおよびコメント１〜Ｚの数値文字データのうち３つの数値文字を選択し、それを仮想空間内に設定した直交する３本の座標軸に割り当てた場合に表示装置に表示される仮想空間を示す図である。画像およびコメントを含む要因の数値文字データのうち３つの数値文字を選択し、それを仮想空間内に設定した直交する３本の座標軸に割り当てる。たとえば、要因１（スランプ）と要因５（細骨材率）と要因６（温度）を選び、各軸に割り当てる。仮想空間表示手段を用いることで、各製品の画像データを仮想空間内に配置し、コンピュータに接続された表示装置に表示する。
図７は図４の具体例において、４次元以上の要因から自己組織化マップを用いて三次元仮想空間に画像を表示した画面の例を示す図である。
テキスト特徴や画像特徴の場合には、自己組織化マップ（Ｓｅｌｆ Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ、ＳＯＭ）（上記非特許文献８参照）により画像を平面上に配置し、それらの画像の特徴が類似した画像が近くに集まるように配置することができる。自己組織化マップは、教師なし競合学習モデルに基づくニューラルネットワークの一種であり、高次元空間内のデータを低次元空間に写像する。その際、高次元空間において距離が近いデータ同士を低次元空間でもなるべく近くに配置することができる。ＳＯＭの処理は、学習フェーズと配置フェーズの二つに分かれている。学習フェーズでは、セルを平面上に規則的に配置した後、入力に基づいて各セルに割り当てたベクトル値を更新することによって行なう。この学習の結果、近い位置にあるセル同士は類似したベクトル値を持つことになる。配置フェーズは、学習結果をもとに配置対象のベクトル値に最も近いベクトル値を持つセルの位置に配置することによって行なう。ＭＩＲＡＣＬＥＳでは情報セットを配置対象として特徴の種別毎にＳＯＭの処理を行ない、その配置結果を保持する。
仮想空間表示手順により、各製品の画像データを仮想空間内に配置し、コンピュータに接続された表示装置に表示する。
画像データから、色相、再度、明度等を表す色分布特徴（ＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色空間をセルに分割し各セルに含まれる画素数を画像全体の画素数で割り、それを並べたベクトル）、きめの細かさを表すテクスチャ特徴（Ｗａｖｅｌｅｔ変換係数を重み付けして列挙したベクトル）、規則性を表す周波数特徴（フーリエ特徴やＤＣＴ特徴）、亀裂等を表す形状特徴（画像からエッジを抽出し、その方向を離散化して頻度をカウントし、それを画像全体のエッジ数で割り、それを並べたベクトル）を抽出する（前述の非特許文献４および５を参照）。
図６又は図７に示した仮想空間において、図４にステップＳ４１で示すように、３次元仮想空間内ウォークルーを行うことが可能である。即ち、ユーザは、表示された３次元の仮想空間内において、マウス操作で視点を変更し、所望の画像を探すことで情報を探索することができる。画像をクリックすることで、その画像に対応する製品の詳細情報にアクセスすることも可能である。
また、図６又は図７に示した仮想空間において、図４にステップＳ４２で示すように、画像の配置方法を変更することもできる。即ち、各軸に割り当てる要因を切り替えて表示することで、さまざまな観点から分類配置を行なうことができる。たとえば、テキスト特徴を配置用の特徴として選び、配置を行なって表示することもできる。また、何らかのキーワードを入力し、製品のコメントに含まれるテキスト属性がそのキーワードと合致するもの程、ユーザの視点に近くに来るように、該当する画像の配置を変更して表示することもできる。隣接画像間に類似性があるとユーザが判定するまで、この操作を繰り返す。
図８は図４に示した具体例において、ユーザが選択した一つの画像に類似する画像をリストアップして表示した画面を示す図である。同図において、仮想空間内で特定の画像８１を選択し、さらに着目する特徴量や数値文字データを指定することにより、類似した画像８２〜８９をリストアップして表示することができる。これにより、ユーザがさまざまな観点で画像データを比較しながら、各要因と画像データのパターンとの間の関係を発見する作業を支援することが可能になる。
図９は図４に示した具体例において、ユーザが選択した共通要因を持つ画像を表示した画面を示す図である。同図において、隣接画像間に類似性があるようになった仮想空間内で、複数の画像を選択し、さらに着目する特徴量や数値文字データを指定することにより、それらの画像に対応する製品に共通する要因、単語、画像特徴を抽出することができる。これにより、配置に用いた要因や特徴量と、抽出した要因、単語、画像特徴との間の関係を発見する作業を支援することが可能になる。例えば図９に示すように、要因１〜７、画像１、コメント１を使って配置すると、以下の手順で共通要因を抽出することができる。
・要因１〜７、画像１およびコメント１を並べ９次元のベクトルとし、二次元自己組織化マップ（三次元空間内の平面）を構成する。
・学習後の自己組織化マップを使い画像を仮想３次元空間に配置する。
・ユーザが仮想３次元空間を眺め、ある共通性を持った画像が集まっている場所、規則性を持って並んでいる場所を見出す。
たとえば、図９では色むらがある画像９１〜９９が集まっており、それらの画像を所望の色の枠で囲んで選択する。
・画像全体での要因の分布と比較して、選択した画像の要因の分布が偏っているかどうかを装置が計算し、偏っているものを共通要因として抽出する。図９では、要因１と要因３とが共通要因の候補として抽出されている。
・このようにして、ルールとして、たとえば、「要因１のスランプが１６±１ｃｍであれば色むらが出やすい」というものが発見できる。
図１０は図４に示した具体例において、共通テキスト用いてユーザが抽出した画面を示す図である。
テキスト特徴を使って配置すると、たとえば以下のように共通要因を抽出することができる。
・テキスト特徴で、自己組織化マップを構成する。
・学習後の自己組織化マップを使い画像を仮想３次元空間に配置する。
・ユーザが仮想３次元空間を眺め、ある共通性を持った画像が集まっている場所、規則性を持って並んでいる場所を見出す。たとえば、図１０では青みのある画像が集まっており、それらの画像を黄色い枠で囲んで選択する。図１０では、「雨」、「シート」、「泥」などコメント中の複数の単語が共通単語の候補として抽出されている。
・そこでルールとして、「雨によってシートをかけたり、土が泥になったりすると青みが出やすい」というものが発見できる。
図１１は図４に示した具体例において、共通画像特徴をユーザが抽出した画面を示す図である。
画像特徴を使って配置すると、たとえば以下のように共通要因を抽出することができる。
・画像特徴としてテクスチャ特徴で、自己組織化マップを構成する。
・学習後の自己組織化マップを使い画像を仮想３次元空間に配置する。
・ユーザが仮想３次元空間を眺め、ある共通性を持った画像が集まっている場所、規則性を持って並んでいる場所を見出す。たとえば、図１１ではオレンジ色の画像が集まっており、それらの画像を黄色い枠で囲んで選択する。共通特徴としては、テクスチャ特徴のうち「方向性」に対応する成分がある一定の範囲内にあることが共通画像特徴の候補として抽出されている。
・ルールとして、「テクスチャの方向成分がある範囲内であればオレンジ色を帯びやすい」というものが発見できる。
次に図４のステップＳ１７による関係検証手順を以下の通り実行する。
上述の手順でユーザが発見した「要因と品質特性との関係」を検証する。たとえば、関係として、「ある要因が特定の範囲にある場合は、品質特性がある範囲に収まる傾向がある」というルールを発見した場合には、そのルールが成り立っているかどうかを多くの製品番号のデータについて要因と画像やコメントに現われている品質特性とを照合することによりチェックし、ルールの妥当性を定量的に検証することができる。また、「ある要因と品質特性とが相関関係を持つ」という関係を発見した場合には、その関係がどの程度成り立っているかを多くの製品番号のデータについて要因と画像やコメントに現われている品質特性とを照合することによりチェックし、発見した関係の妥当性を定量的に検証することができる。
なお、要因の中に画像データを数値文字化したものやテキストデータを数値文字化したものを含まなくても、本発明の効果は得られる。
以上の説明から明らかなように、本発明の工程解析支援方法、その方法をコンピュータに実行させるプログラム又はそのプログラムを格納した記録媒体を用いると、製造工程で得られるデータのレコード数（製品数に対応）が少ない場合にも、解析者の知識や経験を加味して仮説の立案、検証を繰り返すことができ、それによって「要因と特性との間の関係」に関する分析を行なうことができる。また、製造工程で得られる，完成品の特性あるいは中間生成物の特性を表す画像データや製造作業者のコメント等の工程に関するテキストデータを工程解析で直接利用することができる。
Claims (9)
- コンピュータが、
記憶部に格納された製品の画像の内、製品毎に品質に影響を与える可能性のある複数の要因と前記記憶手段に格納された画像を割り当てた工程データの中からユーザに指定された要因に関係する複数の画像を仮想空間上に配置してコンピュータグラフィックスの技術を利用して表示手段に表示する手順と、
前記表示手段に表示した画像のうち、ユーザに指定された画像に共通する要因を抽出する共通要因抽出手順と、
前記表示手段に表示した複数の画像の要因の分析と比較して、分布に偏りのある、該複数の画像の中からユーザに範囲選択された複数の画像の要因を、該範囲選択された複数の画像に共通な要因として抽出する手順と、
を実行することを特徴とする製造工程解析支援方法。 - 前記画像から特徴量を数値文字化して抽出し前記工程データの要因の一つに加える手順と、
前記記憶手段に更に記憶された、工程に関する製造作業者のコメントのテキストデータから特徴量を数値文字化して抽出し前記工程データの要因の一つに加える手順とを更に備え、
前記共通要因抽出手順は、前記指定された画像に共通する画像特徴、単語、および要因の少なくとも一つを抽出する、請求項１記載の製造工程解析支援方法。 - 前記コンピュータは、前記表示手段に表示した複数の画像のうち、ユーザに指定された画像と、画像の特徴量、数値および文字データの少なくともいずれかが類似した画像をリストアップして前記表示手段に表示させる手順を更に実行する、請求項２記載の製造工程解析支援方法。
- 前記表示手順は、自己組織化マップを利用して前記複数の画像を仮想空間上に配置する、請求項１記載の製造工程解析支援方法。
- 前記表示手順は、前記ユーザの指定に基づき、前記表示手段に表示した複数の画像に対する視点を変更させて該複数の画像を再表示する、請求項１記載の製造工程解析支援方法。
- コンピュータに、
記憶部に格納された製品の画像の内、製品毎に品質に影響を与える可能性のある複数の要因と前記記憶手段に格納された画像を割り当てた工程データの中からユーザに指定された要因に関係する複数の画像を仮想空間上に配置してコンピュータグラフィックスの技術を利用して表示手段に表示する手順と、
前記表示手段に表示した画像のうち、ユーザに指定された画像に共通する要因を抽出する共通要因抽出手順と、
前記表示手段に表示した複数の画像の要因の分析と比較して、分布に偏りのある、該複数の画像の中からユーザに範囲選択された複数の画像の要因を、該範囲選択された複数の画像に共通な要因として抽出する手順と、
を実行させる製造工程解析支援プログラム。 - 前記コンピュータに、
前記画像から特徴量を数値文字化して抽出し前記工程データの要因の一つに加える手順と、
前記記憶手段に更に記憶された、工程に関する製造作業者のコメントのテキストデータから特徴量を数値文字化して抽出し前記工程データの要因の一つに加える手順を更に実行させ、
前記共通要因抽出手順は、前記指定された画像に共通する画像特徴、単語、および要因の少なくとも一つを抽出する、請求項６記載の製造工程解析支援プログラム。 - 前記コンピュータに、前記表示手段に表示した複数の画像のうち、ユーザに指定された画像と、画像の特徴量、数値および文字データの少なくともいずれかが類似した画像をリストアップして前記表示手段に表示させる手順を更に実行させる、請求項７ 記載の製造工程解析支援プログラム。
- 製品の画像を格納した記憶部と、
製品毎に、品質に影響を与える可能性のある複数の要因と、前記記憶部に格納された画像を割り当てた工程データと、
前記記憶部に格納された画像のうち、前記工程データの中からユーザに指定された要因に関係する複数の画像を仮想空間上に配置して表示する手段と、
前記表示した画像のうち、ユーザに指定された画像に共通する要因を抽出する手段と、
前記表示した複数の画像の要因の分布と比較して、分布に偏りのある、該複数の画像の中からユーザに範囲選択された複数の画像の要因を、該範囲選択された複数の画像に共通な要因として抽出する手段と
を備える製造工程解析支援装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2003/005635 WO2004097703A1 (ja) | 2003-05-02 | 2003-05-02 | 製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2004097703A1 JPWO2004097703A1 (ja) | 2006-07-13 |
| JP4266930B2 true JP4266930B2 (ja) | 2009-05-27 |
Family
ID=33398165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004571333A Expired - Fee Related JP4266930B2 (ja) | 2003-05-02 | 2003-05-02 | 製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6973363B2 (ja) |
| JP (1) | JP4266930B2 (ja) |
| CN (2) | CN1714361A (ja) |
| WO (1) | WO2004097703A1 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9104358B2 (en) * | 2004-12-01 | 2015-08-11 | Xerox Corporation | System and method for document production visualization |
| JP5104291B2 (ja) * | 2007-12-26 | 2012-12-19 | 富士通株式会社 | 画像解析プログラム、画像解析装置、および画像解析方法 |
| US8517738B2 (en) * | 2008-01-31 | 2013-08-27 | Educational Testing Service | Reading level assessment method, system, and computer program product for high-stakes testing applications |
| JP2010054762A (ja) * | 2008-08-28 | 2010-03-11 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| CN102947843B (zh) * | 2010-06-08 | 2016-03-16 | 株式会社日立制作所 | 维护作业事例收集装置、维护作业事例收集方法 |
| US8902220B2 (en) | 2010-12-27 | 2014-12-02 | Xerox Corporation | System architecture for virtual rendering of a print production piece |
| US20120198388A1 (en) * | 2011-01-27 | 2012-08-02 | Fernando Santesteban | Three dimensional system for managing information in electronic devices and methods thereof |
| US8773428B2 (en) | 2011-06-08 | 2014-07-08 | Robert John Rolleston | Systems and methods for visually previewing variable information 3-D structural documents or packages |
| US9105116B2 (en) | 2011-09-22 | 2015-08-11 | Xerox Corporation | System and method employing variable size binding elements in virtual rendering of a print production piece |
| US9836868B2 (en) | 2011-09-22 | 2017-12-05 | Xerox Corporation | System and method employing segmented models of binding elements in virtual rendering of a print production piece |
| US8949243B1 (en) * | 2011-12-28 | 2015-02-03 | Symantec Corporation | Systems and methods for determining a rating for an item from user reviews |
| JP6116445B2 (ja) * | 2013-02-18 | 2017-04-19 | 株式会社神戸製鋼所 | 品質異常の原因推定支援システム |
| JP6347384B2 (ja) * | 2013-11-13 | 2018-06-27 | 国立大学法人北海道大学 | 変状評価支援システム |
| CN104484553B (zh) * | 2014-11-25 | 2017-07-28 | 上汽大众汽车有限公司 | 一种提升拧紧工具机器能力指数值的方法 |
| US10726464B2 (en) | 2014-12-18 | 2020-07-28 | Ebay Inc. | Expressions of user interest |
| JP6562534B2 (ja) * | 2015-01-29 | 2019-08-21 | 前田建設工業株式会社 | 施工性評価プログラム、施工性評価方法及び施工性評価装置 |
| JP6829117B2 (ja) * | 2017-03-15 | 2021-02-10 | 株式会社Ｓｃｒｅｅｎホールディングス | テキストマイニング支援方法および装置 |
| JP7133775B2 (ja) * | 2017-07-14 | 2022-09-09 | パナソニックＩｐマネジメント株式会社 | 表示装置、製造システム及び表示方法 |
| JP6999514B2 (ja) * | 2018-07-04 | 2022-02-10 | 株式会社エクサ | アイデア支援システム |
| CN110363374B (zh) * | 2019-05-16 | 2022-08-12 | 南京理工大学 | 一种不合格产品影响因素的定量分析方法 |
| CN110403582B (zh) * | 2019-07-23 | 2021-12-03 | 宏人仁医医疗器械设备(东莞)有限公司 | 一种用于分析脉波波形品质的方法 |
| TWI749925B (zh) * | 2020-12-01 | 2021-12-11 | 英業達股份有限公司 | 製造設備製造參數調整控制系統及其方法 |
| WO2023188406A1 (ja) * | 2022-03-31 | 2023-10-05 | 富士通株式会社 | 情報処理プログラム、情報処理装置および情報処理方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5790690A (en) * | 1995-04-25 | 1998-08-04 | Arch Development Corporation | Computer-aided method for automated image feature analysis and diagnosis of medical images |
| US5768333A (en) * | 1996-12-02 | 1998-06-16 | Philips Electronics N.A. Corporation | Mass detection in digital radiologic images using a two stage classifier |
| US6092059A (en) * | 1996-12-27 | 2000-07-18 | Cognex Corporation | Automatic classifier for real time inspection and classification |
| JPH1131149A (ja) * | 1997-07-09 | 1999-02-02 | Just Syst Corp | インテリジェント・インターフェイス・システムおよびそれを用いた文書検索方法 |
| JPH1167853A (ja) * | 1997-08-26 | 1999-03-09 | Mitsubishi Electric Corp | ウェーハマップ解析補助システムおよびウェーハマップ解析方法 |
| JP3725996B2 (ja) * | 1999-06-10 | 2005-12-14 | シャープ株式会社 | 画像処理装置 |
| JP2001306999A (ja) * | 2000-02-18 | 2001-11-02 | Fujitsu Ltd | データ解析装置およびデータ解析方法 |
| JP2002323924A (ja) * | 2001-02-21 | 2002-11-08 | Toshiba Corp | 不良装置検出方法、不良装置検出装置、プログラム及び製品の製造方法 |
-
2003
- 2003-05-02 JP JP2004571333A patent/JP4266930B2/ja not_active Expired - Fee Related
- 2003-05-02 CN CNA038256819A patent/CN1714361A/zh active Granted
- 2003-05-02 CN CN03825681.9A patent/CN1714361B/zh not_active Expired - Fee Related
- 2003-05-02 WO PCT/JP2003/005635 patent/WO2004097703A1/ja active Application Filing
-
2005
- 2005-05-24 US US11/135,514 patent/US6973363B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| CN1714361B (zh) | 2015-04-15 |
| US20050222791A1 (en) | 2005-10-06 |
| US6973363B2 (en) | 2005-12-06 |
| CN1714361A (zh) | 2005-12-28 |
| JPWO2004097703A1 (ja) | 2006-07-13 |
| WO2004097703A1 (ja) | 2004-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4266930B2 (ja) | 製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体 | |
| US20170103539A1 (en) | Segmentation of an image based on color and color differences | |
| Roodposhti et al. | Towards automatic calibration of neighbourhood influence in cellular automata land-use models | |
| Fard et al. | Application of visualization techniques for construction progress monitoring | |
| EP3635619A1 (en) | System and method for construction 3d modeling and analysis | |
| JP2013541715A (ja) | 製造されたウェブ製品のデジタルサンプルに対する評価のコンピュータ支援割り当て | |
| CN108830837A (zh) | 一种用于检测钢包溶蚀缺陷的方法和装置 | |
| CN116129366B (zh) | 基于数字孪生的园区监测方法及相关装置 | |
| CA2480954A1 (en) | Viewing multi-dimensional data through hierarchical visualization | |
| US8855427B2 (en) | Systems and methods for efficiently and accurately detecting changes in spatial feature data | |
| CN111524224B (zh) | 一种电力变压器表面温度分布的全景成像方法 | |
| CN114169248B (zh) | 产品缺陷数据分析方法、系统、电子设备及可读存储介质 | |
| Jasiewicz et al. | Multi-scale segmentation algorithm for pattern-based partitioning of large categorical rasters | |
| US20060095411A1 (en) | Rule discovery program, rule discovery process, and rule discovery apparatus | |
| CN116994117A (zh) | 目标光谱分析模型的训练方法、装置、设备及存储介质 | |
| CN114461741B (zh) | 一种监测样点布设方法及装置 | |
| CN115272826A (zh) | 一种基于卷积神经网络的图像识别方法、装置及系统 | |
| CN113326472B (zh) | 一种基于时序多变量数据的模式提取与演化可视分析方法 | |
| Hess et al. | Interactive classification of construction materials: Feedback driven framework for annotation and analysis of 3D point clouds | |
| CN113343900A (zh) | 基于cnn与超像素结合的组合核遥感影像目标检测方法 | |
| Kurath et al. | OSMDeepOD-Object Detection on Orthophotos with and for VGI | |
| Terry et al. | Widespread analytical pitfalls in empirical coexistence studies and a checklist for improving their statistical robustness | |
| TWI802294B (zh) | 實驗點推薦裝置、實驗點推薦方法及半導體裝置製造系統 | |
| JP2004185259A (ja) | 蓄積画像管理装置及びプログラム | |
| CN117015812A (zh) | 用于对数据点进行聚类的系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080825 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090120 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090217 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |