JP6622581B2 - 情報提示方法及び装置 - Google Patents

Description

本発明は、監視対象において発生した事象に対応するための情報を提示する情報提示装置および情報提示方法に関する。

監視対象における異常発生等の事象に対応するための方法として様々な方法が提案されている。例えば、特許文献１では、半導体装置の製造プロセスにおいて、イベントに起因した異常を早期に検知することができる生産管理システムが開示されている。この生産システムでは、設定変更、メンテナンス、検査工程での異常値発生、環境の変動等のイベントをキーとし、そのイベントの前後における工程の結果を比較することにより、早期に異常を検知して、通知、及び、プロセス制御を行う。これにより、発生した問題による影響を最小限に抑え、また、早期の原因究明、問題への対処を行うことが可能になる。

また、特許文献２では、生産装置においてトラブルが発生した場合に、生産装置の使用者からの要求に応じ、過去の対応処理の履歴から、対応情報を抽出する生産動作支援システムが開示されている。この生産動作支援システムでは、様々な拠点において発生した生産装置に関する対応情報を装置情報と関連付けたデータベースを構築しておく。そして、生産動作支援システムにおいては、使用者からの要求に基づき、使用者の持つ装置情報と要求の種別とに応じてデータベースを検索することにより、対応情報が抽出される。

特開２００９−２８３５８０号公報 特開２００３−１９５９２５号公報 特開２００３−３４４３００号公報 （実施形態で参照される）

J. Jeon, V. Lavrenko and R.Manmatha, "Automatic Image Annotation and Retrieval using Cross-Media RelevanceModels", SIGIR ‘03, pp.119-126, 2003 （実施形態で参照される） S. L. Feng, R. Manmatha and V.Lavrenko, "MultipleBernoulli Relevance Models for Image and Video Annotation",CVPR ‘04, pp. 1002-1009,Vol. 2, 2004 （実施形態で参照される） Hirotaka Hachiya and MasakazuMatsugu, "NSH: Normality Sensitive Hashing for Anomaly Detection", ICCVW ‘13,pp. 795-802, 2013 （実施形態で参照される）

しかしながら、特許文献１の生産管理システムでは、問題の発生と、その原因である可能性が高いイベントが何であるかを通知することはできるが、発生した問題への具体的な対処方法を提示することはできなかった。また、特許文献２の生産動作支援システムでは、過去に同様の事例があった場合、その時に行った対応方法が提示されるが、使用者が明示的に要求を行う必要があった。つまり、例えば、装置に何らかの不具合等の事象が発生した場合に、使用者がその事象を発見し、内容を特定して要求をする必要があった。

本発明は、上記の課題に鑑みてなされたものであり、監視対象において異常等の事象が発生した場合に、その事象に対応できる可能性の高い情報を自動的に提示可能にすることを目的とする。

本発明の一態様による情報提示装置は以下の構成を有する。すなわち、
監視対象の状態を示す監視情報を取得し、記憶手段に蓄積する取得手段と、
前記記憶手段に蓄積された監視情報に基づいて、情報提示のトリガーとなる事象の発生を検出する検出手段と、
前記検出手段により検出された事象に対応した画像と文字列データを含む複数の関連情報を用いて、画像から少なくとも１つの単語を生成する検索ワード生成器を学習し、前記関連情報を検索するための検索データを、前記記憶手段に蓄積された、前記トリガーとなる事象が検出された監視情報から、学習された前記検索ワード生成器を用いて少なくとも１つの単語を生成することにより生成する第１の生成手段と、
前記第１の生成手段により生成された検索データを用いて関連情報を検索する検索手段と、
前記検索手段により検索された関連情報を提示するための提示情報を生成する第２の生成手段と、を有する。

本発明によれば、監視対象において異常等の事象が発生した場合に、監視情報に基づいて検索のための検索データを生成するため、未知の事象であっても、発生した事象に対応できる可能性の高い関連情報を検索し提示することが可能になる。

第１実施形態における情報提示方法を実現する機能ブロック図。 第１実施形態における情報提示方法を示すフローチャート。 第１実施形態における提示情報の例を示す図。 第２実施形態における情報提示方法の処理ブロック図。 第２実施形態における情報提示方法を実演する機能ブロック図。 第２実施形態における提示情報の例を示す図。 第３実施形態における情報提示方法の処理ブロック図。 第３実施形態における情報提示方法のフローチャート。 第３実施形態における提示情報の例を示す図。 第３実施形態における検索ワード生成処理のフローチャート。 情報提示装置のハードウエア構成例を示すブロック図。

以下、添付図面を参照しながら、本発明の実施形態を説明する。

＜第１実施形態＞
第１実施形態では、
・監視情報として、監視対象である製造装置により製造された製造品に対する欠陥判定結果の履歴を記憶部に蓄積し、
・記憶部に蓄積された監視情報（欠陥判定結果の履歴）に基づいて、情報提示のトリガーとなる事象の発生（製造状況の変化）を検出し、
・その事象に対応する関連情報を提示する、情報提示装置および方法を説明する。

図１に、第１実施形態の情報提示方法の処理ブロック図を示す。図１において、情報提示装置１０は、製造装置１１が製造した部品を撮像装置１２により撮像して得られた画像に基づいて、情報提示を行うべき事象の発生を検出し、検出された事象に関する問題を解消するための方法などの情報を提示する。また、情報提示装置１０は、ネットワーク１０１に接続され、ネットワーク１０１上の情報処理装置１０２やサーバ１０３から対応情報（後述）を取得して、対応情報データベース１０４を構築する。

製造装置１１は、製品やパーツを製造する装置であり、例えば、電子機器の組立や、パーツの成形等を行う装置である。製造装置１１としては、どのようなものを製造するものでも構わないが、本実施形態では、プラスチック射出成形によるプラスチックモールド部品の製造装置を例として説明する。プラスチック射出成形では、プラスチックペレットを加熱筒内で溶融し、溶融したプラスチックを、金型内に射出して、冷却後に金型から取り出すという工程により成形を行う。成形後のプラスチックモールド部品は、パーツフィーダ等により整列され、１つずつ、撮像装置１２により外観が撮影される。撮影された部品の外観の画像は、情報提示装置１０に送信される。

図１１は、図１に示した情報提示装置１０のハードウエア構成例を示すブロック図である。図１１において、ＣＰＵ１はＲＯＭ２またはＲＡＭ３に格納されたプログラムを実行することにより、図１に示した各機能部による各処理を実現する。ＲＯＭ２は読出し専用メモリであり、ＲＡＭ３は随時読み書きが可能なメモリである。ＲＯＭ２には、情報提示装置１０の起動時にＣＰＵ１が実行するブートプログラムなどが格納される。ＲＡＭ３はメインメモリとして機能し、外部記憶装置８に格納されている種々のプログラムが必要に応じてＲＡＭ３にロードされ、ＣＰＵ１により実行される。ネットワークインターフェース４は、ネットワーク１０１に接続して、ネットワーク１０１上の装置と通信を行う。カメラインターフェース５は、撮像装置１２に接続される。情報提示装置１０はカメラインターフェース５を介して、撮像装置１２が撮影した画像を入力する。ディスプレイ６は、液晶などの表示器であり、ＣＰＵ１の制御下で各種表示を行う。操作入力部７は、キーボード、ポインティングデバイス、タッチパネルなどを含み、ユーザ操作に応じた信号をＣＰＵ１に提供する。外部記憶装置８はたとえばハードディスクを用いた大容量記憶装置であり、後述する対応情報データベース１０４等を格納することができる。バス９は上述した各部を通信可能に接続する。

図２は第１実施形態の情報提示装置１０による情報提示方法の処理を示すフローチャートである。以下、図１および図２を用いて、第１実施形態による情報提示方法の例について説明する。なお、図１に示される情報提示装置１０の各機能部は、ＣＰＵ１がＲＯＭ２またはＲＡＭ３に格納されたプログラムを実行することで実現されるが、図１に示される機能部の全てまたはその一部が専用おハードウエアで構成されてもよい。

まず、ステップ２０において、対応情報登録部１００は、ネットワーク１０１を介し、複数の情報処理装置１０２や、複数のサーバ１０３から、多数の対応情報を受信、収集し、対応情報データベース１０４に登録する。複数の情報処理装置１０２は、例えば、生産技術に関するソリューションを提供する複数の第三者が所有するＰＣ等の情報処理装置であり、保有しているソリューション情報を、対応情報として、ネットワーク１０１を介して対応情報登録部１００に送信する。対応情報とは、解決すべき現象に対応するマルチメディアデータ（画像等）と、その解決方法をセットにした情報である。具体的には、例えば、ある不良が発生している製品の画像（マルチメディアデータ）と、その発生原因や、問題を解決するための情報（解決方法）がセットとなっている情報である。より具体的な一例としては、例えば、
・解決すべき現象：ニッケルメッキにおける部分的な曇り欠陥の画像、
・解決するための情報：欠陥の原因としてめっき槽の攪拌不足の可能性があるという情報（発生原因）と、攪拌不足を解消するための効率的な攪拌機に関する情報（解決方法）、
をセットにしたような情報である。

対応情報に含まれるマルチメディアデータは、上記のように、何らかの現象を示すデータであるが、現象そのものに関するデータだけでなく、当該現象が発生していない場合のデータ（リファレンスデータ）とペアにしても良い。例えば、上記ニッケルメッキの例であれば、リファレンスデータとして、欠陥の無い場合の画像と、欠陥が発生している画像をペアとする。この場合、いずれの画像がリファレンスデータであるのかのタグを付けておくようにする。このようにすることで、リファレンスとの比較により対象としている現象を明確化することが可能になる。

対応情報登録部１００は、このような、解決すべき現象と解決するための情報がセットとなった多数の対応情報を１つまたは複数の情報処理装置１０２から受信し、対応情報データベース１０４に登録する。また、対応情報登録部１００では、情報処理装置１０２から受信した対応情報だけでなく、複数のサーバ１０３に存在する、Ｗｅｂページ等として公開されている情報を対応情報として収集してもよい。具体的には、例えば、一般のＷｅｂ検索エンジンを利用し、“欠陥”、“生産プロセス改善”といった関連キーワードでＷｅｂページの検索を行って、得られた検索結果に基づき、サーバ１０３から情報を収集して対応情報データベース１０４に登録する。この検索に用いる関連キーワードは、予め定めたものでもよいし、情報処理装置１０２から受信した対応情報内にある単語を関連キーワードとして用いるようにしても構わない。このような処理により、対応情報データベース１０４に、複数の対応情報が登録される。なお、対応情報データベース１０４は、たとえば、外部記憶装置８に構成される。

尚、本実施形態では、対応情報のマルチメディアデータとして画像を用いるが、本発明の対応情報のマルチメディアデータはこれに限るものではなく、例えば、音声や動画、振動計等のセンサの時系列データなどでも構わない。具体的には、例えば、装置稼働時の異音の音声データといったものが挙げられる。このように、何らかの事象と関連のあるデータであれば、どのような種類のデータであっても構わない。また、対応情報登録部１００による、対応情報の収集と対応情報データベース１０４への登録は、ステップ２０の実行時に限られるものではなく、適当なタイミングで随時に、或いは定期的に実行されるものとする。

次に、ステップ２１において、欠陥判定部１３は、撮像装置１２が撮影した、製造装置１１が製造した部品（本実施形態ではプラスチックモールド部品）の外観の画像を部品の外観の画像を検査画像データとして入力する。

ステップ２２において、欠陥判定部１３は、ステップ２１で入力された検査画像データ（撮像装置１２により撮影された部品の外観の画像）について欠陥判定処理を行う。欠陥判定処理において、欠陥判定部１３は、検査画像データからその部品に欠陥が存在するか否かを判定し、もし欠陥が存在した場合には、予め定義した欠陥種類の内のどの種類の欠陥が存在するかを判定する。本実施形態の欠陥判定処理においては、欠陥判定部１３は、まず、受信した外観画像から、画素値の平均値や分散、高周波成分の最大値等、様々な特徴を抽出する。そして、欠陥判定部１３は、抽出した複数の特徴量を用いて、欠陥が存在するか否かを、２クラス識別器を用いて判定する。この２クラス識別器は、欠陥が存在しない複数のデータと欠陥が存在する複数のデータを分離できるように予め学習されている。２クラス識別器としては、ロジスティック回帰、ＡｄａＢｏｏｓｔ等、様々な識別器を適用することが可能だが、本実施形態では、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）を用いる。

その後、欠陥判定部１３は、欠陥が存在すると判定された画像に関して、先に抽出した特徴を用いて、どのような種類の欠陥が存在するかをマルチクラス識別器を用いて判定する。マルチクラス識別器は、欠陥が存在する複数のデータと、それぞれのデータに対してその欠陥が予め定義した欠陥種類の内のいずれの欠陥であるかを付与したデータとを用いて、予め学習されている。そのようなマルチクラス識別器としては、決定木、ｋ近傍法等、様々な識別器を適用することが可能である。本実施形態では、複数のｏｎｅ−ｖｓ．−ｒｅｓｔ型のＳＶＭを用い、各欠陥種類に対応するＳＶＭの出力が、所定の閾値を超えた場合に、その欠陥種類が存在すると判定する。ｏｎｅ−ｖｓ．−ｒｅｓｔ型とは、１つのクラスと、それ以外のクラスを識別する識別器である。なお、欠陥判定処理は、欠陥であるか否かの判定、及び、欠陥種別の判定ができれば、どのような処理でも構わず、上記の処理に限られるものではない。例えば、特許文献３に開示の表面欠陥判別方法等を適用してもよい。

欠陥判定処理により得られた判定結果は、入力された検査画像データと共に判定履歴保持部１４に送信され、判定履歴として保持される。判定履歴保持部１４は、監視情報としての判定履歴（欠陥の判定結果と検査画像データ）を蓄積するための記憶部である。また、一般的な外観検査システムと同様に、欠陥が存在しないと判定された部品は、製造工程の下流に搬送され、欠陥が存在すると判定された部品は、欠陥品ストッカ等にストックされる。

次に、ステップ２３において、履歴分析部１５は、蓄積された履歴情報を分析し、監視対象において非定常状態が発生したと判断した場合に、トリガーとなる事象が発生したと判断する。例えば、本実施形態では、履歴分析部１５は、判定履歴保持部１４に記録されている判定履歴を分析することにより、（ある種類の）欠陥の発生頻度が従来と比較して高まっているといった、情報提示のトリガーとなる事象（非定常状態）の発生を検出する。本実施形態では、直近１００回分の検査結果履歴（直近履歴）と、それ以前の検査結果履歴（従来履歴）を比較することにより、トリガーとなる事象の検出を行う。具体的には、本実施形態では、まず、従来履歴に基づいて、生産品における欠陥の発生確率ｐ_ｎ、及び、欠陥種類ごとの発生確率ｐ_ｎ１、ｐ_ｎ２、・・・、ｐ_ｎｋを求める。そして、直近履歴における欠陥の発生回数ｍ_ｎ、欠陥種類ごとの発生回数ｍ_ｎ１、ｍ_ｎ２、・・・、ｍ_ｎｋをカウントし、欠陥の発生および各欠陥の発生に関する二項分布の上側累積確率Ｐ_ｕｎ、および、Ｐ_ｕｎ１、Ｐ_ｕｎ２、・・・、Ｐ_ｕｎｋを求める。二項分布の上側累積確率Ｐ_ｕは、発生確率をｐ、試行数をＮ（本実施形態ではＮ＝１００）、発生回数をｍとした場合、以下の式により求められる。

本実施形態では、求めた上側累積確率Ｐ_ｕが予め定めた所定の閾値（例えば５％）以下であった場合に、情報提示のトリガーとなる事象（非定常事象）が発生していると判定する。例えば、従来履歴に基づいて得られた欠陥の発生確率ｐ_ｎが５％であるとすると、直近履歴１００回中、欠陥が９回発生した場合、上側累積確率は６．３％、１０回発生した場合は２．８％である。したがって閾値が５％の場合、履歴分析部１５は、直近１００回において１０回以上欠陥が発生した場合に、従来と比較して欠陥の発生数が増えていると判定し、これを情報提示のトリガーとなる事象として検出する。以上のように、本実施形態では、生産費品の欠陥の判定履歴に基づいて、情報提示のトリガーとなる事象を検出するが、本発明はこれに限るものではない。例えば、画像から抽出した特徴量の従来の分布と直近の分布の差に基づいて事象を検出する等、その他の手法を用いても構わない。

ステップ２３における判定履歴の分析により情報提示のトリガーとなる事象が検出されなかった場合、処理はステップ２４からステップ２１に戻り、次に入力された検査画像データについて上述した処理が繰り返される。一方、情報提示のトリガーとなる事象が検出された場合、処理はステップ２４からステップ２５に進む。

ステップ２５において、事象情報生成部１６は、ステップＳ２３で検出されたトリガーとなる事象がどのような事象であるのかの情報（事象情報）を生成する。履歴分析部１５の処理に関して上述したように、本実施形態では、大別して以下の２通りの事象が存在する。すなわち、欠陥の発生頻度が高まったという事象（上記Ｐ_ｕｎが所定閾値以下）と、ある種類の欠陥の発生頻度が高まったという事象（上記Ｐ_ｕｎ１、Ｐ_ｕｎ２、・・・、Ｐ_ｕｎｋのいずれかが所定閾値以下）である。本実施形態における事象情報は、検出された事象が、全体として欠陥の発生頻度が高まったのか、若しくは、特定の欠陥の発生頻度が高まったかのいずれであるかを示す情報である。まず、事象情報生成部１６は、各欠陥の種類に対応する上側累積確率の中から、最も低い上側累積確率を選択し、それが上記所定の閾値以下であるかどうかを判定する。ここで、最も低い上側累積確率が閾値以下であった場合、事象情報生成部１６は、その上側累積確率に対応する欠陥の発生頻度が高まったという事象情報を生成する。一方、最も低い上側累積確率が閾値以上であった場合、事象情報生成部１６は、全体の欠陥の発生頻度が高まったという事象情報を生成する。生成された事象情報は、検索データ生成部１７に送信される。

ステップ２６において、検索データ生成部１７は、事象情報生成部１６から受信した事象情報に基づき、その事象に関連するデータから検索データを生成する。本実施形態では、検索データ生成部１７は、事象情報に応じて、判定履歴保持部１４に保持された画像データを選択し、各画像から複数の特徴量を抽出することにより、検索データを生成する。具体的には、受信した事象情報が全体の欠陥の発生頻度が高まったという事象情報の場合には、直近履歴１００回の中で、欠陥が存在したと判定された部品を撮影した画像がその事象と関連するデータとして用いられる。また、ある種類の欠陥の発生頻度が高まったという事象情報の場合には、直近履歴１００回の中でその種類の欠陥が存在したと判定された部品を撮影した画像がその事象と関連するデータとして用いられる。このように、事象情報に基づいて、検索データを生成する元となるデータを選択することで、より、発生した事象に対応した検索データを生成できる可能性が高くなる。本実施形態では、検索データ生成部１７は、事象と関連する各データ、つまり、欠陥が存在すると判定された画像に基づき、各画像から以下の３つのタイプの検索データを生成する。

［第１のタイプ］欠陥が存在すると判定された画像から、複数の所定の特徴量を抽出したものを並べたベクトルデータを検索データとするもの。ここで抽出する特徴量として、本実施形態では、欠陥判定部１３で抽出した複数の特徴量と同じものが用いられる。つまり、欠陥が存在するか否かを判定するのに用いた特徴量と同様のものを用いることになる。本実施形態では、このように、欠陥判定部１３で用いられた特徴量と同じものが用いられるが、その一部を用いる、または、他の特徴量を追加するようにしても構わない。また、画像中の欠陥位置を画像から切り出し、その切り出した画像から特徴量を抽出するようにしてもよい。

［第２のタイプ］従来履歴（直近１００回以前）における、欠陥が存在しないと判定された複数の画像それぞれから、第１のタイプと同様の特徴量を抽出して求めた平均ベクトルと第１のタイプのベクトルとの差分を検索データとするもの。本実施形態においては、従来履歴における、欠陥が存在すると判定されなかった複数の画像から、所定個数（１００個程度）の画像をサンプリングして、それぞれから抽出した特徴量の平均ベクトルが用いられる。勿論、従来履歴における、欠陥が存在すると判定されなかった全画像から特徴量を抽出して平均ベクトルを求めても構わない。

［第３のタイプ］欠陥が存在すると判定された画像と、それ以前で欠陥が存在すると判定されなかった直近の画像との差分画像を生成し、その差分画像から、複数の所定の特徴量を抽出して並べたベクトルデータを検索データとするもの。ここでも、第１のタイプと同様、抽出する特徴量は、欠陥判定部１３で用いた特徴量と同様のものが用いられる。

このように、検索データ生成部１７は、受信した事象情報に関連するデータから複数の検索データを生成する。そして、検索データ生成部１７は、生成した検索データをデータベース検索部１８に送信する。本実施形態では、事象と関連するとして選択された１つの画像につき、３タイプの検索データを生成するので、例えば判定履歴保持部１４から５個の画像が選択された場合、５個×３タイプの検索データが生成されることになる。

次に、ステップ２７において、データベース検索部１８では、検索データ生成部１７から送信された検索データを受信し、受信した検索データを用いて、対応情報データベース１０４内の対応情報を検索する。対応情報データベース１０４には、前述の通り、解決すべき事象に対応するマルチメディアデータ（画像等）と、その解決方法をセットにした複数の対応情報が記録されている。データベース検索部１８は、複数の対応情報が持つマルチメディアデータ（本実施形態では、画像データ）から、検索データ生成部１７で抽出したのと同様の特徴量を抽出してベクトルデータを生成する。そして、データベース検索部１８は、生成したベクトルデータと、受信した検索データとのマッチングを行うことで対応情報の検索を行う。本実施形態では、単純に、検索データ（ベクトルデータ）と、各対応情報から抽出したベクトルデータのユークリッド距離を求めることによりマッチングを行う。

マッチングを行う対応情報がリファレンスデータを持っていない、つまり、現象が発生していない場合のデータを持っていない場合は、第１のタイプの検索データとのマッチングのみを行う。一方、対応情報がリファレンスデータを持つ場合は、リファレンスデータからも特徴量を抽出し、先に抽出したベクトルデータとの差分データを求め、そのデータと第２のタイプの検索データとのマッチングを行う。また、同様に、リファレンスデータと、対応情報が持つ、現象が発生している画像との差分画像を生成し、その差分画像から特徴量を抽出して、それと第３のタイプの検索データとのマッチングも行う。

以上の処理により、１つの対応情報について、複数のマッチング結果が得られる（たとえば、上述のように５個×３タイプ＝１５個の検索データが生成され、１つの検索データに対して、平均５個程度の対応情報が検索されたとすると、１５×５＝７５個程度のマッチング結果が得られることになる）。本実施形態では、各対応情報に対する複数のマッチング結果の内、マッチング度合いが高い、つまり、ユークリッド距離が短い上位所定個数（例えば５個程度）のユークリッド距離の平均値を求め、これを、各対応情報に対するマッチング結果とする。データベース検索部１８では、上記のように、各対応情報に対するマッチング結果を求め、その結果を提示情報生成部１９に送信する。尚、データベース検索部１８において行う、対応情報の持つマルチメディアデータからの特徴量の抽出は、予め実行しておき、抽出済みのものを参照するようにしても構わない。

次に、ステップ２８において、提示情報生成部１９は、受信した対応情報データベース１０４の各対応情報に対するマッチング結果に基づいて、提示情報を生成する。具体的には、本実施形態では、マッチング結果が得られた対応情報の内、マッチング度合いの高い順に、所定個数（例えば１０個程度）の対応情報を並べた、図３に示すような提示情報３０を生成する。

図３の領域３１１は、最もマッチング度合いが高かった対応情報が持つマルチメディアデータ（本実施形態では、現象を示す画像）を表示するための領域である。また、領域３２１は、この対応情報に対するマッチング度合いが最も高かった検索データを生成する元となった画像を表示するための領域である。本実施形態では、履歴分析部１５で検出された事象に関連する欠陥が存在すると判定された画像の内の１つが表示される。図３に示した例では、プラスチックモールド部品の一部に、ひび割れのような欠陥が存在し、領域３２１にその画像が表示され、領域３１１に、その欠陥と外観が類似した例に対応する対応情報が持つ画像が表示されている。

前述の通り、例えば、履歴分析部１５において、ある種類の欠陥の発生頻度が高まったという事象が検出された場合、まず、直近履歴の中で、その種類の欠陥が存在すると判定された部品の画像が複数選択される。そして、検索データ生成部１７において、それら複数の画像それぞれから検索データが生成される。次に、データベース検索部１８が、生成された検索データを用いて各対応情報とのマッチング度合いを求めるが、その際、この対応情報とのマッチング度合いが最も高かった検索データに対応する画像が領域３２１に表示されることになる。

領域３３１は、最もマッチング度合いが高かった順に対応情報に関するサマリーを表示するための領域であり、例えば、発生している可能性がある現象、その原因や対応策、対応策に関する詳細な情報が記載された情報へのリンク等が表示される。以上で説明した、領域３１１、領域３２１、領域３３１が、１つのセットとなり、最もマッチング度合いが高かった対応情報に関する情報が表示される領域となる。以下、同様に、領域３１２、領域３２２、領域３３２が、２番目にマッチング度合いが高かった対応情報に関する情報、・・・というように、マッチング度合いの高さの順に情報を配置した提示情報３０が生成される。また、領域３４に表示する情報のように、履歴分析部１５において検出された事象に関する事象情報を提示情報に含ませても構わない。

次に、ステップ２９において、情報表示部１１０は、ＬＣＤ等のディスプレイ６に、提示情報生成部１９で生成された提示情報を表示する。以上が、本実施形態による情報提示方法の処理である。

以上の処理により、監視対象である製造装置により製造された製造品に対する欠陥判定結果の履歴に基づいて情報提示のトリガーとなる事象を検出し、その事象に対応する情報を提示することができる。これにより製造装置の管理者は、当該製造装置において発生している可能性のある事象に気付くことができると共に、表示された情報を参照することにより、事象の原因の確認や、対策を早期に実施することが可能になる。即ち、従来は、管理者が何らかの事象の発生に気付いた場合、その原因を調査し、それに基づいて、対策を調査して実施する必要があった。これに対し、本実施形態の情報提示方法によれば、事象を自動的に検出し、その事象と関連する情報を自動的に示すことで、管理者が原因や対策を調査する手間を省くことができる。この際、現在発生している事象に関する情報（本実施形態では画像）と、検索された対応情報に関する情報（本実施形態では、画像、及び、サマリー）を同時に表示することで、管理者は、検索された情報が妥当なものかどうかを判断することができる。そして、表示された内容を確認して、詳細な情報を閲覧することにより、具体的な対策方法を確認したり、改善提案を行っている業者にアクセスしたりすることが可能になる。

ここで、管理者が詳細な情報を閲覧したかどうかの情報を集計し、それに基づいて、データベース検索部１８におけるマッチングの方法を更新してもよい。具体的には、例えば、閲覧された情報のマルチメディアデータから抽出した特徴ベクトルと、これと最もマッチした検索データの距離が短く計算されるように、計量基準を更新する（各特徴量の重みを変更する等）というようにしてもよい。これにより、データベース検索部１８での対応情報の検索において、より適した情報を検索できるようになる可能性が高まる。また、検索の精度を上げるため、検索データを用いた検索の対象となる対応情報を、検索データ以外の情報に基づいて絞り込むようにしてもよい。例えば、「射出成形」、「プレス加工」等、予め定められた複数の生産工程のタグを対応情報に付与しておき、管理者が、製造装置における生産工程の種類を指定しておくことで、関連する情報のみがデータベース検索部１８の検索対象となるようにしてもよい。また、対応情報に、例えば、その対応情報提供者の所在地等、地理的条件を付与しておき、製造装置が設置されている地理的条件に基づいて、対応情報の検索対象を限定したり、表示する対応情報の優先度を変更したりする等してもよい。

尚、本実施形態では、製品の外観に基づく検査結果、及び、その時の画像に基づいて情報を提示する例を示したが、本発明はこれに限るものではない。例えば、装置内の温度等の時系列的な情報、製造時の音声を計測し、そのデータから特徴量を抽出する等して検索データを生成して、その検索データを用いて情報を検索して提示するようにしてもよい。この場合、対応情報のマルチメディアデータに、対応する情報が存在するものが検索対象となり、例えば、音声データに基づく検索の場合、対応情報のマルチメディアデータとして、音声が存在する情報が検索対象となる。また、音声データの情報提示としては、音声をスピーカ等により出力することが挙げられる。また、情報の検索については、特徴量に基づくものだけでなく、例えば、非特許文献１に記載の、画像アノテーション付与技術を用いて、検索語を生成し、全文検索等により対応情報を検索してもよい。

以上説明した方法により、監視対象において異常等の事象が発生した場合に、その事象に対応できる可能性の高い情報を提示することが可能になる。

＜第２実施形態＞
第１実施形態では、製造品の検査の履歴（たとえば、欠陥判定の履歴）に基づいて、発生した事象に対する関連情報（たとえば、欠陥に対応する画像データや、欠陥の原因や解決方法を含む対応情報）を提示する例を示した。第２実施形態では、監視対象である製造装置の製造履歴に基づいて、情報提示のトリガーとなる事象として、当該装置による生産量の減少を検出し、その事象に対応する関連情報を提示する方法の例を示す。第２実施形態では、そのような関連情報の提示の例として、製造装置での生産量の減少を検知して、その余力を利用して生産可能な第三者からの製造オファーを提示する構成を説明する。

図４に、第２実施形態の情報提示方法の処理ブロック図を示す。また、図５に、第２実施形態の情報提示方法の処理フロー図を示す。以下、図４、及び、図５を用いて、本実施形態の情報提示方法の例について説明する。なお、情報提示装置４０のハードウエア構成は第１実施形態（図１１）と同様である。

ステップ５０において、オファー情報登録部４００は、ネットワーク４０１を介して１つまたは複数の情報処理装置４０２からオファー情報を受信し、オファー情報データベース４０３に登録する。複数の情報処理装置４０２は、例えば、様々な部品を調達して組立を行う複数のセットメーカー等の第三者が所有するコンピュータ（以下、ＰＣ）等である。情報処理装置４０２は、製造を依頼したい製品に関する情報を、オファー情報として、ネットワーク４０１を介してオファー情報登録部４００に送信する。オファー情報とは、セットメーカー等の第三者が調達したい製品に関するマルチメディアデータ（部品の外観の画像等）と、素材や製法、概略サイズ、調達したい個数、発注金額、納期といった情報をセットにした情報である。オファー情報登録部４００では、情報処理装置４０２から送信された、このようなオファー情報を受信し、オファー情報データベース４０３に登録する処理を行う。

次に、ステップ５１において、生産可能品登録部４０４は、製造装置４１において生産可能な製品に関する情報を登録する。本実施形態では、製造装置の管理者が、テキスト入力により生産可能な製品を入力（例えば、“プラスチックモールド部品”等を入力）すると共に、生産可能な製品のサイズ等、予め定められた複数の項目に関する入力を行う。ここで入力された情報は、後述の、データベース検索部４８において用いられる。以上のステップ５０、５１の処理は、ステップ５２以降に示される処理とは別に、随時にまたは定期的に実行されてもよい。また、ステップ５２の生産可能品の登録は、一度登録した後は、製造装置４１に変更が無い限り実行されなくてもよい。

次に、ステップ５２において、製造履歴管理部４３は、撮像装置４２で撮影された、製造装置４１で製造された製品の外観の画像（画像データ）を入力する。製造装置４１は、第１実施形態（製造装置１１）と同様、製品やパーツを製造する装置である。製造装置４１において製造された製品は、第１実施形態と同様に、整列され、撮像装置４２により外観が撮影される。撮像装置４２により撮影された外観の画像は、製造履歴管理部４３に送信される。

ステップ５３において、製造履歴管理部４３は、製造された製品の外観の画像と、製造時刻を、製造履歴として製造履歴保持部４４に記録する。本実施形態では、簡単のため、送信された画像が撮影された時刻を当該製品が製造された時刻とし、画像と共に製造履歴保持部４４に記録される。

次に、ステップ５４において、履歴分析部４５は、製造履歴保持部４４に記録された製造履歴を分析することにより、当該装置による生産数の減少を情報提示のトリガーとなる事象として検出する。たとえば、履歴分析部４５は、直近の所定日数（例えば３日間等）における生産数（直近の生産数）と、それ以前の同じ日数での最大の生産数とを比較する。そして、履歴分析部４５は、直近の生産数が最大の生産数の所定割合以下（例えば７０％以下）になった場合に、生産数が減少していると判定し、それを情報提示のトリガーとなる事象として検出する。

ステップ５４において、情報提示のトリガーとなる事象（生産数の減少）が検出されなかった場合、処理はステップ５５からステップ５２に戻り、上述の処理（ステップ５３、５４）が繰り返し実行される。一方、情報提示のトリガーとなる事象が検出された場合、処理はステップ５５からステップ５６に進む。

次に、ステップ５６において、事象情報生成部４６では、検出された事象に、定常の状態とどの程度の差異があるのかの情報（事象情報）を生成する処理を行う。本実施形態では、上述した「直近の生産数」と「最大の生産数」に基づいて、生産数がどの程度減少しているかという情報（事象情報）を生成する。ここで生成された事象情報は、検索データ生成部４７に提供される。

ステップ５７において、検索データ生成部４７は、事象情報生成部４６から受信した事象情報と、製造履歴保持部４４に記録されている現在生産中の製品の画像に基づき、追加生産可能な製品に関するオファー情報を検索するための検索データを生成する。本実施形態では、事象情報に基づいて１日に生産可能な概数を得るとともに、製造履歴保持部４４に記録されている製品の画像から、複数の画像（例えば１００個程度）をサンプリングし、各画像から、複数の所定の特徴量を抽出して特徴ベクトルを生成する。なお、「１日に生産可能な概数」に代えて、「新たな製品の製造に割くことのできる１日当たりの時間」を用いてもよい。そして、複数の画像から抽出した「複数の特徴ベクトル」、及び、「１日に生産可能な概数」を、検索データとして、データベース検索部４８に送信する。抽出する特徴量としては、画像の平均値や分散といった一般的な画像特徴量を用いることができるが、製品の色や、表面の均一度、形状の複雑さ等を数値化した特徴量を用いても構わない。

ステップ５８において、データベース検索部４８は、検索データ生成部４７から送信された検索データ、及び、生産可能品登録部４０４で登録された、生産可能な製品に関する情報を用いて、オファー情報データベース４０３内のオファー情報を検索する。オファー情報データベース４０３には、前述の通り、第三者が調達したい製品に関する画像等と、素材や製法、調達したい個数等の情報をセットにした複数のオファー情報が記録されている。データベース検索部４８は、まず、生産可能品登録部４０４で登録された生産可能な製品に関する情報を用いてオファー情報の絞り込みを行う。たとえば、テキストで入力された生産可能な製品の情報とその同義語によるオファー情報に対する全文検索や、生産登録された生産可能なサイズ等と各オファー情報との一致性（例えば、サイズが近いかどうか等）の判定に基づき、オファー情報が絞り込まれる。このような絞り込により、製造装置４１では明らかに製造できないオファー情報を、候補から除外することができる。

検索データ生成部４７は、絞り込まれたオファー情報の持つ製品に関する画像から、現在生産中の製品の画像から抽出したのと同様の特徴量を抽出して特徴ベクトルを生成する。そして、検索データ生成部４７から送信された検索データの持つ複数の特徴ベクトルとのマッチングを行い、各オファー情報の製品と、現在生産中の製品の、外観上の類似度を算出する。本実施形態では、単純に、各オファー情報の画像から生成した特徴ベクトルと、検索データの持つ複数の特徴ベクトルそれぞれとのユークリッド距離の平均により類似度を算出する。この処理により、絞り込まれたオファー情報それぞれについて、類似度が算出されることになる。

次いで、データベース検索部４８は、絞り込まれたオファー情報それぞれについて求めた類似度に基づいて、現在生産中の製品から、そのオファー情報に対応する製品を生産するように切り替えるための、段取り変更の概略時間の推定を行う。段取り変更に要する時間は正確に推定されることが望ましいが、正確な時間の推定は難しいので、本実施形態では段取り変更にかかる概略の時間を推定する。例えば、求めた類似度に応じて、０〜４０分、４０分〜１時間半、１時間半以上のいずれであるかを推定するというようにする。本実施形態では、求めた類似度と、予め定めた所定の閾値を比較することにより、概略の時間を推定する。ここで比較する閾値や、それにより決定する概略時間は、製造装置により行われている製造工程に応じて変更するようにしてもよい。製造装置により行われている製造工程は、例えば生産可能品登録部４０４にて入力された生産可能な製品の情報に基づいて推定するなどすればよい。

最後に、データベース検索部４８は、検索データ生成部４７から送信された「１日に生産可能な概数」、各オファー情報に対応して求めた「段取り変更の概略時間」、及び、各オファー情報が持つ「調達したい個数」、「納期」、等の情報に基づいて、それぞれのオファー情報について生産の可否を判定する。そして、データベース検索部４８は、生産可と判定されたオファー情報について、発注金額でのソーティングを行う。以上の処理により、複数のオファー情報の中から、生産可能性等に基づいて検索されオファー情報が、発注金額でソーティングされた結果（検索結果）を得ることができる。ここで得られた検索結果は、提示情報生成部４９に送信される。

このように、本実施形態では、オファーへの対応可能性に基づきオファー情報の絞り込みを行い、発注金額に基づいて情報のソーティングを行うが、これに限るものではない。例えば、算出が可能であれば、利益額に基づいて情報をソーティングする等、その他の方法を適用しても構わない。また、本実施形態では、形状等の情報に基づき、オファーへの対応可能性を判定したが、地理的条件等を考慮するようにしてもよい。

次に、ステップ５９において、提示情報生成部４９は、データベース検索部４８から提供された検索結果に基づいて、提示情報を生成する。具体的には、本実施形態では、検索結果における、発注金額でソートされた順に、所定個数のオファー情報を並べた、図６に示すような提示情報６０を生成する。

図６の領域６１１は、絞り込まれたオファー情報の中で、最も発注金額の高かったオファー情報に関連するマルチメディアデータ（本実施形態では、部品の外観の画像等）を表示するための領域である。また、領域６２１は、そのオファー情報のサマリーを表示する領域であり、希望数量や発注金額と、加工の情報等が表示され、更に、詳細な情報へのリンクや、このオファーを受注する処理に進むためのリンク等が表示される。この領域６１１、領域６１２が、１つのセットとなり、最も発注金額が高かったオファー情報に関する情報が表示される領域となる。以下、同様に、領域６１２、領域６２２が、２番目に発注金額が高かったオファー情報に関する情報、・・・というように、発注金額の高さの順に、絞り込まれたオファー情報が配置された提示情報６０が生成される。

ステップ５１０において、情報表示部４１０は、第１の実施形態と同様、提示情報生成部５９で生成された提示情報をディスプレイ６に表示する。以上が、第２実施形態による情報提示方法の処理である。

以上の処理により、監視対象である製造装置における生産量の減少を、情報提示のトリガーとなる事象として検出し、その事象に対応するため、製造装置の余力により生産可能な第三者からの製造オファーを提示することができる。このような処理により製造装置の管理者は、表示された情報を参照することで、製造装置の余力を活かして生産可能な製造オファーが存在するかどうかを簡単に確認することができるようになる。このように、本発明の情報提示方法は、生産のオファーといった情報の提示に関しても適用可能である。

＜第３実施形態＞
第１、第２実施形態では、静止画を含む履歴情報を用いた例を説明した。第３実施形態では、情報提示のトリガーとなる事象として、監視情報の時系列的な変化（動画における変化）に基づいて正常な状態とは異なる事象の発生を検出する例を示す。より具体的には、第３実施形態では、監視対象である生産ラインを撮影した監視カメラ映像に基づいて、通常の状態とは異なる事象を情報提示のトリガーとなる事象として検出し、その事象に対応する情報を提示する方法の例を示す。

図７に、本実施形態の情報提示方法の処理ブロック図を示す。また、図８に、本実施形態の情報提示方法の処理フロー図を示す。以下、図７、及び、図８を用いて、本実施形態の情報提示方法の例について説明する。なお、情報提示装置７０のハードウエア構成は第１実施形態（図１１）と同様である。

ステップ８０において、対応情報登録部７００は、ネットワーク７０１を介して１つまたは複数の情報処理装置７０２から複数の対応情報を受信し、対応情報データベース７０３に登録する。本実施形態では、第１実施形態と同様、複数の情報処理装置７０２は、生産に関するソリューションを提供する複数の第三者が所有するＰＣ等であり、情報処理装置７０２は、保有しているソリューション情報を対応情報として対応情報登録部７００に送信する。なお、第１実施形態では、対応情報のマルチメディアデータとしてある現象に関する画像データ（静止画）を用いたが、本実施形態では対応情報のマルチメディアデータとしてある現象に関する動画データが用いられる。なお、各対応情報における、ある現象に対応するための情報に関しては、第１実施形態と同様である。対応情報登録部７００により、送信された多数の対応情報が対応情報データベース７０３に登録される。なお、ステップ８０の処理は、ステップ８３以降に示される処理とは別に、随時にまたは定期的に実行されてもよい。

次に、ステップ８１において、生成器学習部７０４は、検索ワードとして用いる単語を、動画データから生成するための検索ワード生成器を、対応情報データベース７０３に記録された複数の対応情報に基づいて学習する。ここでは、各対応情報が持つ動画データを学習用の入力動画データとし、それに対応するための対応情報内に存在する単語データを学習用の出力単語データとして、動画データから複数の単語を生成する検索ワード生成器が学習される。なお、検索ワードの生成に関しては、動画データを入力として、その動画データと関連性の高い複数の単語を生成できる方法であればどのような方法でも構わないが、本実施形態では、非特許文献２に記載の、動画アノテーション付与技術を用いる。以上のステップ８１の処理により学習された検索ワード生成器は、後述のステップ８７における処理において用いるため、検索ワード生成部７５に送信される。尚、本実施形態では、この段階（ステップ８１）で検索ワード生成器を学習する場合の例を示すが、対応情報が追加で登録された場合等、一定期間ごとに、検索ワード生成器の学習をやり直しても構わない。

次に、ステップ８２において、識別器学習部７２は、監視カメラ７１で撮影された生産ラインの動画データに基づいて、正常な状態であるか否かを判定するための正常モデル識別器を生成する。ここでは、何も問題が発生していない状況を監視カメラ７１で撮影した動画データ（すなわち正常時の監視情報）を学習用の動画データとして、その状態をモデル化した正常モデル識別器を学習する。学習に利用する動画データが、何も問題が発生していない状態であるかどうかは、例えば、生産ラインの管理者が、実際に監視カメラの動画データを目視することによって確認する等すればよい。ここでも、入力された動画データが、正常から逸脱した状態であるか否か検出できるような方法であれば、どのような方法でも構わず、本実施形態では、非特許文献３に記載の異常行動検出技術を用いる。ステップ８２で学習された正常モデル識別器は、後述のステップ８４における異常検出処理において用いるため、異常検出部７３に送信される。この正常モデル識別器の学習の実行も、検索ワード生成器の学習と同様に、ステップ８２に示されるタイミングに限らず、たとえば一定期間ごとに学習をやり直しても構わない。

次に、ステップ８３において、異常検出部７３は、監視カメラ７１から監視カメラ画像（動画データ）を入力する。監視カメラ７１は、前述の通り、監視対象である生産ラインの動画データを撮影する撮像装置であり、撮影された動画データは、一定時間間隔（例えば、１分程度）ごとに、異常検出部７３に送信される。

ステップ８４において、異常検出部７３は、監視カメラ７１から送信された動画データに基づいて、正常な状態から逸脱した状態を、情報提示のトリガーとなる事象として検出する。ここでは、識別器学習部７２から送信された正常モデル識別器を用いて、監視カメラ７１から送信された動画データに対して処理を行うことで、正常から逸脱した状態が発生しているか否かを検出する。ステップ８４において、情報提示のトリガーとなる事象、つまり、正常から逸脱するような状況が検出されなかった場合、処理はステップ８５からステップ８３に戻る。一方、ステップ８４において情報提示のトリガーとなる事象が検出された場合、処理はステップ８５からステップ８６に進む。

ステップ８６において、事象情報生成部７４は、ステップ８４で検出された事象が、定常の状態と比べて、どのような差異があるのかの情報（事象情報）を生成する。本実施形態では、事象が検出された動画データの画像上において、どの画像領域が、定常の状態と異なるのかを示す情報を事象情報として生成する。具体的には、たとえば、事象が検出された動画データの各位置（ｘ，ｙ）の画素値の平均μ'_ｘ,ｙ、及び、標準偏差σ'_ｘ,ｙを求める。次に、同様に、定常の状態の動画データの各位置（ｘ，ｙ）の画素値の平均μ_ｘ、ｙ、及び、標準偏差σ_ｘ,ｙを求める。そして、以下の式を用いて、各位置（ｘ，ｙ）の差異ｄ（ｘ，ｙ）を求める。

［数２］により算出された差異ｄ（ｘ，ｙ）の値を、各位置（ｘ，ｙ）の値としたマップが、本実施形態における事象情報となる。事象情報生成部７４は、以上のようにして生成した事象情報（マップ）を、事象が検出された動画データと共に、検索ワード生成部７５に提供する。

ステップ８７において、検索ワード生成部７５は、事象情報生成部７４から受信した事象情報（マップ）と、事象が検出された動画データに基づいて、複数の検索ワードを生成する。ここでは、受信した事象情報に基づき、動画データの内、定常状態と差異があった画像領域を抽出して、生成器学習部７０４から送信された検索ワード生成器に入力することで、複数の単語が生成される。

本実施形態における、ステップ８７（検索ワード生成部７５）の処理の詳細を、図１０に示した、検索ワード生成処理のフローチャートを用いて説明する。本実施形態では、動画データから単語を生成する手法として、上述の動画アノテーション付与技術を用いる。この手法では、動画データを複数の矩形領域に分割して、各矩形領域から特徴ベクトルを生成し、それらの特徴ベクトルに基づいて、単語の生成確率を求める。検索ワード生成部７５は、事象情報生成部７４から受信した事象情報（差異ｄ（ｘ，ｙ）のマップ）を用いて、差異のある領域から特徴ベクトルを抽出して、その特徴ベクトルを用いて単語を生成する。

まず、ステップ１０００において、検索ワード生成部７５は、事象情報として受信した差異を示すマップを、複数の矩形領域に分割する。ここで、矩形領域のサイズには、前述の、生成器学習部７０４において検索ワード生成器を生成した時と同じ領域サイズが用いられる。次に、ステップ１００１において、検索ワード生成部７５は、分割により得られた各矩形領域内の、差異を示すマップの平均値を算出する。続いて、ステップ１００２において、検索ワード生成部７５は、各矩形領域について求めた差異の平均値が所定閾値以上（例えば０．７以上等）の領域を、特徴ベクトルを抽出する領域として設定する。ここで、差異の平均値が所定閾値以上の領域が存在しなかった場合は、最も差異の平均値が大きかった１つの領域を、特徴ベクトルを抽出する領域として設定する。このように、本実施形態では、少なくとも１つの矩形領域が、特徴ベクトルを抽出する領域として設定される。なお、特徴ベクトルを抽出する矩形領域の設定方法は、上記に限られるものではない。たとえば、差異の平均値が大きい順に、所定数（例えば３つ等）の矩形領域を選択し、これらが特徴ベクトルを抽出する領域として設定されるようにしてもよい。

次に、ステップ１００３において、検索ワード生成部７５は、ステップ１００２にて設定された矩形領域のそれぞれから、特徴ベクトルを抽出する。ここで抽出される特徴ベクトルは、生成器学習部７０４において検索ワード生成器を生成した際に抽出したものと同様の特徴ベクトルである。具体的には、例えば、画素の平均値や分散等の特徴量を抽出し、それを並べたものを、特徴ベクトルとして抽出する。

最後に、ステップ１００４において、検索ワード生成部７５は、ステップ１００３で抽出した少なくとも１つの特徴ベクトルを、生成器学習部７０４により生成された検索ワード生成器に入力することで複数の単語を生成する。このように、正常の状態と比べて差異の大きい部分から単語を生成するようにしたので、検出された事象に関連がある単語を生成することができる可能性が高くなる。検索ワード生成部７５は、生成された複数の単語を、検索ワードとしてデータベース検索部７６に提供する。

図８に戻り、ステップ８８において、データベース検索部７６は、検索ワード生成部７５から提供された複数の単語からなる検索ワードを用いて、対応情報データベース７０３内の対応情報を検索する。本実施形態では、対応情報データベース７０３内の対応情報が持つ、各現象に対応するための情報内に存在する文字列データに対して、送信された検索ワードによる全文検索を行うことにより、対応情報の検索を行う。全文検索の方法としては、検索結果のランク付けを行えるような方法であれば、どのような方法でも構わない。本実施形態では、周知の日本語全文検索システム（たとえば、Ｎａｍａｚｕ）を用いた全文検索を行う。データベース検索部７６は、検索ワードを用いた全文検索処理により、各対応情報に対するランク付けの結果を求め、その結果を提示情報生成部７７に提供する。

続いて、ステップ８９において、提示情報生成部７７は、データベース検索部７６から送信された結果に基づき、提示情報を生成する。具体的には、本実施形態では、各対応情報に対するランク付け結果の順に、所定個数の対応情報を並べた、図９に示すような表示を行うための提示情報９０を生成する。

図９の領域９２は、異常検出部７３（ステップ８４）により正常から逸脱するような状況が検出された際の動画データを表示する領域である。また、領域９１１は、データベース検索部７６（ステップ８８）の検索処理の結果において、最もランクの高かった対応情報が持つマルチメディアデータ（本実施形態では動画データ）を表示するための領域である。領域９３１は、この対応情報に関するサマリーを表示する領域であり、対応情報の概要や、詳細な情報へのリンク等が表示される。この領域９１１、及び、領域９３１が、１つのセットとなり、検索結果において最もランクが高かった対応情報に関する情報が表示される領域となる。以下、他の実施形態と同様、領域９１２、領域９３２が、２番目にランクが高かった対応情報に関する情報、・・・というように、ランクの高さの順に情報を配置した提示情報９０が生成される。また、何件の対応情報が検索されたか、といった情報を、領域９４に示すようにしてもよい。

ステップ８１０において、情報表示部７８は、提示情報生成部７７（ステップ８９）で生成した提示情報９０をディスプレイ６に表示する。以上が、第３実施形態による情報提示方法の処理である。

以上の処理により、監視対象である生産ラインを撮影した監視カメラ映像に基づいて、通常の状態とは異なる事象を情報提示のトリガーとなる事象として検出し、その事象に対応する情報を提示することができる。これにより、生産ラインの管理者は、表示された情報を参照し、どのような事象が発生したのか、また、その事象に対応できる可能性のある情報を確認することができる。例えば図９に示した例のように、生産ラインにおいて、仕掛品が増加している状況を正常から逸脱した事象として検出し、これに関連する情報として、生産工程の改善提案に関する情報や、部品をストックするシステムに関する情報を提示することが可能になる。また、例えば、いわゆるヒヤリ・ハットと呼ばれるような事象を検出し、それに対する対応情報も提示できる可能性がある。このように、第３実施形態の情報提示方法は、監視カメラの画像に基づいて、予め明確な定義がされていない、正常と異なる事象を検出し、その事象に対応できる可能性のある情報を提示するような場合にも適用可能である。

尚、上記説明した実施形態では、全て、検索データを生成し、それを用いて、関連情報をデータベースから検索する例を示したが、本発明はこれに限るものではない。例えば、監視データから生成したデータを、物理シミュレータや、統計推論システム等のバックエンドシステムに入力し、関連情報を生成するような場合にも適用可能である。

情報提示装置１０，４０、７０は複数の情報処理装置（コンピュータ）により構成されてもかまわない。たとえば、図１において、情報提示装置４０は、対応情報データベース１０４を構築する装置（対応情報登録部１００と対応情報データベース１０４を含む）と、欠陥判定から情報提示までを行う装置とに分けて構成されてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：情報提示装置、１１：製造装置、１２：撮像装置、１３：欠陥判定部、１４：履歴判定保持部、１５：履歴分析部、１６：事象情報生成部、１７：検索データ生成部、１８：データベース検索部、１９：提示情報生成部、１１０：情報表示部、１００：対応情報登録部、１０１：ネットワーク、１０２：ＰＣ、１０３：サーバ

Claims (12)

1. 監視対象の状態を示す監視情報を取得し、記憶手段に蓄積する取得手段と、
   前記記憶手段に蓄積された監視情報に基づいて、情報提示のトリガーとなる事象の発生を検出する検出手段と、
   前記検出手段により検出された事象に対応した画像と文字列データを含む複数の関連情報を用いて、画像から少なくとも１つの単語を生成する検索ワード生成器を学習し、前記関連情報を検索するための検索データを、前記記憶手段に蓄積された、前記トリガーとなる事象が検出された監視情報から、学習された前記検索ワード生成器を用いて少なくとも１つの単語を生成することにより生成する第１の生成手段と、
   前記第１の生成手段により生成された検索データを用いて関連情報を検索する検索手段と、
   前記検索手段により検索された関連情報を提示するための提示情報を生成する第２の生成手段と、を有することを特徴とする情報提示装置。
2. 前記検出手段は、前記情報提示のトリガーとなる事象として、前記監視情報の時系列的な変化に基づいて正常な状態とは異なる事象の発生を検出することを特徴とする請求項１に記載の情報提示装置。
3. 正常時の監視情報に基づいて正常な状態か否かを判定する正常モデル識別器を生成する第３の生成手段を有し、
   前記検出手段は、前記正常モデル識別器を用いて、前記監視情報に正常な状態とは異なる事象の発生を検出することを特徴とする請求項２に記載の情報提示装置。
4. 外部の装置から前記関連情報を受信して登録する登録手段をさらに備え、
   前記検索手段は、前記登録手段により登録された関連情報を検索することを特徴とする請求項１乃至３のいずれか１項に記載の情報提示装置。
5. 前記登録手段は、前記トリガーを示す事象に関連するキーワードで前記外部の装置から関連情報を収集することを特徴とする請求項４に記載の情報提示装置。
6. 前記第１の生成手段は、前記取得手段により得られた監視情報から、所定の特徴量を抽出することにより検索データを生成し、
   前記検索手段は、前記検索データと、関連情報から抽出された所定の特徴量とのマッチングに基づいて関連情報を検索することを特徴とする請求項１乃至５のいずれか１項に記載の情報提示装置。
7. 前記検索手段は、前記関連情報が持つ文字列データに対し、前記検索データを用いた全文検索により検索を行うことを特徴とする請求項１に記載の情報提示装置。
8. 前記第２の生成手段は、前記検索データとのマッチング度合いが高い順に関連情報を提示するように提示情報を生成することを特徴とする請求項１乃至７のいずれか１項に記載の情報提示装置。
9. 前記第２の生成手段は、前記関連情報の概要と、前記関連情報の詳細に関するリンクを提示するように前記提示情報を生成することを特徴とする請求項１乃至８のいずれか１項に記載の情報提示装置。
10. 前記第２の生成手段は、前記検出手段により検出されたトリガーとなる事象を提示するように前記提示情報を生成することを特徴とする請求項１乃至９のいずれか１項に記載の情報提示装置。
11. 情報提示装置による情報提示方法であって、
    前記情報提示装置の取得手段が、監視対象の状態を示す監視情報を取得し、記憶手段に蓄積する取得工程と、
    前記情報提示装置の検出手段が、前記記憶手段に蓄積された監視情報に基づいて、情報提示のトリガーとなる事象の発生を検出する検出工程と、
    前記情報提示装置の第１の生成手段が、前記検出工程で検出された事象に対応した画像と文字列データを含む複数の関連情報を用いて、画像から少なくとも１つの単語を生成する検索ワード生成器を学習し、前記関連情報を検索するための検索データを、前記記憶手段に蓄積された、前記トリガーとなる事象が検出された監視情報から、学習された前記検索ワード生成器を用いて少なくとも１つの単語を生成することにより生成する第１の生成工程と、
    前記情報提示装置の検索手段が、前記第１の生成工程で生成された検索データを用いて関連情報を検索する検索工程と、
    前記情報提示装置の第２の生成手段が、前記検索工程で検索された関連情報を提示するための提示情報を生成する第２の生成工程と、を有することを特徴とする情報提示方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載された情報提示装置の各手段として機能させるためのプログラム。

Images