JP5229161B2 - 情報提供装置、情報提供方法および情報提供プログラム - Google Patents

Description

本発明は、情報提供装置、情報提供方法および情報提供プログラムに関する。

近年、商品の多品種少量化が進み、企業においては、類似する商品の開発プロジェクトが並行して進行することが多くなっている。このような開発体制下では、ある商品の開発において得られたノウハウを、他の商品の開発においても有効に活用することが開発効率を向上させるために非常に重要である。

ノウハウを蓄積し共有するための仕組みとして、ナレッジマネージメントシステムと呼ばれる情報提供システムが知られている。ナレッジマネージメントシステムは、各種ノウハウを記述した知識情報をデータベースに蓄積する。具体的には、ナレッジマネージメントシステムは、図４７に示すように、３Ｄ（３ｄｉｍｅｎｓｉｏｎｓ）モデルで表現された部品と、障害情報などが記載された文書の情報とを関連付けてデータベースに保存する。

また、ナレッジマネージメントシステムは、利用者によって指定された部品に関する知識情報をデータベースから検索することができる。例えば、ナレッジマネージメントシステムでは、３Ｄモデルで部品を設計している場合に、設計中の部品に類似する部品をデータベース内の３Ｄモデルから検索し、検索された３Ｄモデルに関連付けられて記憶する文書を出力する。

特開２００８−２６２５４０号公報

しかしながら、上記した従来のナレッジマネージメントシステムの技術では、部品と文書を関連付けて記憶しているので、３Ｄモデルで表現された部品の一部分を選択し、選択された部分に関する文書情報を参照することができないという課題があった。

例えば、図４８に示すように、利用者は、設計中の部品の部分に類似している過去の部品の部分について記載された障害情報などの文書を参照したいと考える場合がある。しかし、従来のナレッジマネージメントシステムの技術では、設計中の部品全体と類似する部品をデータベース内の３Ｄモデルから検索し、検索された３Ｄモデルに関連付けられて記憶する文書を検索する。

このため、利用者が参照したい部分に関する文書以外にも関係ない文書を検索してしまう。この結果、利用者が参照したい部品の部分に関する文書を検索できず、知識情報を有効活用できないという課題があった。

この発明は、上述した従来技術の課題を解決するためになされたものであり、３Ｄモデルの部分と文書とを関連付けて記憶し、利用者が参照したい部品の部分に関する文書を検索できるようして、知識情報の有効活用を効果的に実現することを目的とする。

この発明では、３Ｄモデルに関連付けられている文書に、その３Ｄモデルの画像（部品の写真等）が含まれており、故障箇所などの注目すべき範囲を示す楕円や矢印等が画像に付与されているということを前提として、上述した課題を解決し、目的を達成するため、まず部品の３Ｄモデルを部分に分割する。同時に、３Ｄモデルに関連付けられて保存されている文書に付加された部品の画像に対し、画像中に写っている部品の部分を特定する記号（部分を囲む楕円や部分を指す矢印など）を抽出する。そして、記号が抽出された場合には、記号が特定する画像中に写っている部品の部分に対応する３Ｄモデルの部分を選択し、選択された３Ｄモデルの部分と部品の画像に関連付けられた文書とを対応付けて記憶部に格納する。

本願の開示する情報提供装置の一つの態様によれば、３Ｄモデルの部分と文書とを関連付けて記憶するので、利用者が参照したい部品の部分に関する文書の検索を実行できる結果、知識情報の有効活用を効果的に実現できる。

図１は、実施例１に係る情報提供装置の構成を示すブロック図である。 図２は、実施例２に係る情報提供装置の構成を示すブロック図である。 図３は、３Ｄモデルの一例を示す図である。 図４は、文書情報の一例を示す図である。 図５は、部品テーブルの一例を示す図である。 図６は、部品・文書関連付けテーブルの一例を示す図である。 図７は、点情報テーブルの一例を示す図である。 図８は、面情報テーブルの一例を示す図である。 図９は、セグメント情報テーブルの一例を示す図である。 図１０は、テキスト情報テーブルの一例を示す図である。 図１１は、画像情報テーブルの一例を示す図である。 図１２は、図形情報テーブルの一例を示す図である。 図１３は、画素情報テーブルの一例を示す図である。 図１４は、画像特徴量テーブルの一例を示す図である。 図１５は、視点位置情報テーブルの一例を示す図である。 図１６は、類似度計算テーブルの一例を示す図である。 図１７は、文書参照情報テーブルの一例を示す図である。 図１８は、クエリ点情報テーブルの一例を示す図である。 図１９は、クエリ・面情報テーブルの一例を示す図である。 図２０は、クエリ・セグメント情報テーブルの一例を示す図である。 図２１は、クエリ・セグメント類似度計算テーブルの一例を示す図である。 図２２は、クエリ・セグメント評価値計算テーブルの一例を示す図である。 図２３は、部分・文書関連付けテーブルの一例を示す図である。 図２４は、セグメンテーション手法の一例を説明する図である。 図２５は、ＨＴＭＬファイル形式の文書の例を示す図である。 図２６は、指示マークの一例を示す図である。 図２７は、指示マーク情報の一例を示す図である。 図２８は、指示マークつきの画像情報の一例を示す図である。 図２９は、カラー画像の画素の配列形式を示す図である。 図３０は、モノクロ画像の画素の配列形式を示す図である。 図３１は、文書情報における画像と３Ｄモデルとの位置合わせを行う処理を説明する図である。 図３２は、エッジ抽出結果を説明するための図である。 図３３は、面番号情報の一例を示す図である。 図３４は、指示マークの位置に対応する３Ｄモデルの部分を選択する処理を説明する図である。 図３５は、指示マーク範囲画素情報の一例を示す図である。 図３６は、画素ヒストグラム情報の一例を示す図である。 図３７は、文書中の画像と３Ｄモデルの部分とをマッチングする処理を説明する図である。 図３８は、検索処理を説明する図である。 図３９は、検索結果の画面表示例を示す図である。 図４０は、参照情報が増加する処理を説明する図である。 図４１は、実施例２に係る情報提供装置の処理動作を示すフローチャートである。 図４２は、実施例２に係る情報提供装置の処理動作を示すフローチャートである。 図４３は、実施例２に係る情報提供装置の処理動作を示すフローチャートである。 図４４は、実施例２に係る情報提供装置の処理動作を示すフローチャートである。 図４５は、実施例２に係る情報提供装置の処理動作を示すフローチャートである。 図４６は、情報提供プログラムを実行するコンピュータを示す図である。 図４７は、従来技術を説明するための図である。 図４８は、従来技術を説明するための図である。

以下に添付図面を参照して、この発明に係る情報提供装置、情報提供方法および情報提供プログラムの実施例を詳細に説明する。

以下の実施例では、実施例１に係る情報提供装置の構成および処理について図１を用いて説明する。図１は、実施例１に係る情報提供装置の構成示すブロック図である。実施例１に係る情報提供装置１は、図１に示すように、３Ｄモデル記憶部２、文書情報記憶部３、部分文書情報記憶部４、分割部５、画像抽出部６、特定記号抽出部７、部分選択部８、部分文書格納部９を有する。

３Ｄモデル記憶部２は、部品の３Ｄモデルを記憶する。文書情報記憶部３は、部品の画像が付加された部品に関する文書を記憶する。部分文書情報記憶部４は、３Ｄモデルの部分と部品の画像に関連付けられた文書とを対応付けて記憶する。

分割部５は、３Ｄモデル記憶部２に記憶された部品の３Ｄモデルを部分に分割する。画像抽出部６は、文書情報記憶部３に記憶された文書から文書に付加された部品の画像を抽出する。特定記号抽出部７は、画像抽出部６によって抽出された画像中に写っている部品の部分を特定する記号（部分を囲む楕円や部分を指す矢印など）を抽出する。

部分選択部８は、特定記号抽出部７によって記号が抽出された場合には、記号が特定する画像の部分に対応する３Ｄモデルの部分を選択する。部分文書格納部９は、部分選択部８によって選択された３Ｄモデルの部分と部品の画像に関連付けられた文書とを対応付けて部分文書情報記憶部４に格納する。

このように、情報提供装置１は、３Ｄモデル記憶部２に記憶された部品の３Ｄモデルを部分に分割し、文書情報記憶部３に記憶された文書から文書に付加された部品の画像を抽出し、抽出された画像中に画像の一部分を特定する記号を抽出する。そして、情報提供装置１は、記号が抽出された場合には、記号が特定する画像の部分に対応する３Ｄモデルの部分を選択し、選択された３Ｄモデルの部分と部品の画像に関連付けられた文書とを対応付けて部分文書情報記憶部４に格納する。

このため、情報提供装置１は、３Ｄモデルの部分と文書とを関連付けて記憶し、利用者が参照したい部品の部分に関する文書を検索できるようして、知識情報の有効活用を効果的に実現することが可能である。

以下の実施例では、実施例２に係る情報提供装置の構成および処理の流れを順に説明し、最後に実施例２による効果を説明する。

［情報提供装置の構成］
まず最初に、図２を用いて、情報提供装置１０の構成を説明する。図２は、実施例２に係る情報提供装置１０の構成を示すブロック図である。図２に示すように、この情報提供装置１０は、入力部１１、出力部１２、制御部１３、記憶部１４を有する。以下にこれらの各部の処理を説明する。

入力部１１は、３Ｄモデルを設計するための操作指示や利用者が設計中に必要な情報を選択して表示させる指示などを入力するものであり、キーボードやマウス、マイクなどである。また、出力部１２は、設計中の部品の３Ｄモデル、部品に関する知識情報である文書情報、利用者が設計中に必要な情報などを表示するものであり、モニタ（若しくはディスプレイ、タッチパネル）やスピーカである。

記憶部１４は、制御部１３による各種処理に必要なデータおよびプログラムを格納するが、特に、３Ｄモデル情報記憶領域１４ａ、文書情報記憶領域１４ｂ、テーブル記憶領域１４ｃ、部分文書情報記憶領域１４ｄを有する。

３Ｄモデル情報記憶領域１４ａは、部品の３Ｄモデルを記憶する。具体的には、図３に示すように、３Ｄモデル情報記憶領域１４ａは、３Ｄモデルとともに、部品番号、設計者、設計日付を記憶している。図３は、３Ｄモデルの一例を示す図である。

文書情報記憶領域１４ｂは、部品の画像が付加された部品に関する文書を記憶する。例えば、図４に示すように、文書情報記憶領域１４ｂは、設計された部品に関する情報として、部品の一部分に障害が発生しやすい旨を部品の画像とともに記憶する。図４は、文書情報の一例を示す図である。

テーブル記憶領域１４ｃは、制御部１３による各種処理に必要な各種テーブルを記憶する。具体的には、テーブル記憶領域１４ｃは、部品テーブル、部品・文書関連付けテーブル、点情報テーブル、面情報テーブル、セグメント情報テーブル、テキスト情報テーブル、画像情報テーブル、図形情報テーブル、画素情報テーブル、画像特徴量テーブルを有する。

また、テーブル記憶領域１４ｃは、視点位置情報テーブル、類似度計算テーブル、文書参照情報テーブル、クエリ点情報テーブル、クエリ・面情報テーブル、クエリ・セグメント情報テーブルを有する。

また、テーブル記憶領域１４ｃは、クエリ・セグメント類似度計算テーブル、クエリ・セグメント評価値計算テーブルを有する。なお、以下に各テーブルについて説明するが、各テーブルがどのような処理に利用されるかについては、後述する制御部１３の説明で述べる。また、各テーブルにについて、テーブルの形式を取らなくてもよく、テーブルの構成以外のデータベースを用いてもよい。

部品テーブルは、３Ｄモデルで表現された部品の部品種別を記憶する。具体的には、部品テーブルは、図５に示すように、部品を一意に識別する部品番号と、部品の種別を示す部品種別とを対応付けて記憶する。図５は、部品テーブルの一例を示す図である。

部品・文書関連付けテーブルは、３Ｄモデルの部品と文書情報との関連付けを記憶する。部品・文書関連付けテーブルは、図６に示すように、文書情報を一意に識別する文書番号と、文書情報のタイトルを示す文書タイトルと、文書情報のＵＲＬを示す文書ＵＲＬと、部品番号とを対応付けて記憶する。図６は、部品・文書関連付けテーブルの一例を示す図である。

点情報テーブルは、３Ｄモデルのポリゴンデータの点の座標位置を示す座標情報を記憶する。具体的には、点情報テーブルは、図７に示すように、部品番号と、ポリゴンデータの点を一意に識別する点番号と、点のＸ座標を示すＸ座標と、点のＹ座標を示すＹ座標と、点のＺ座標を示すＺ座標とを対応付けて記憶する。図７は、点情報テーブルの一例を示す図である。

面情報テーブルは、３Ｄモデルのポリゴンデータの面に関する情報を記憶する。具体的には、面情報テーブルは、図８に示すように、部品番号と、ポリゴンデータの面を一意に識別する面番号と、面が有する点の点番号を示す点番号１〜３とを対応付けて記憶する。図８は、面情報テーブルの一例を示す図である。

セグメント情報テーブルは、セグメント（部分）に関する情報を記憶する。具体的には、セグメント情報テーブルは、図９に示すように、セグメンテーションが行われた部品番号と、セグメンテーションが行われた部品を一意に識別するセグメント番号と、セグメンテーション後の面番号と、セグメンテーション前の面番号と、セグメント（部分）の特徴量とを対応付けて記憶する。図９は、セグメント情報テーブルの一例を示す図である。

テキスト情報テーブルは、文書情報におけるテキスト情報に関する情報を記憶する。具体的には、テキスト情報テーブルは、図１０に示すように、文書番号と、文書情報における文字列のＸ座標およびＹ座標と、文字列の幅および高さと、文字列の内容とを対応付けて記憶する。図１０は、テキスト情報テーブルの一例を示す図である。

画像情報テーブルは、文書情報における画像に関する情報を記憶する。具体的には、画像情報テーブルは、図１１に示すように、文書番号と、文書情報における画像の位置であるＸ座標およびＹ座標と、画像の幅および高さと、画像ファイル名とを対応付けて記憶する。図１１は、画像情報テーブルの一例を示す図である。

図形情報テーブルは、画像の一部分を特定する図形に関する情報を記憶する。具体的には、図形情報テーブルは、図１２に示すように、文書番号と、画像の一部分を特定する図名のＸ座標およびＹ座標と、画像の一部分を特定する図形の幅および高さと、図形の形状とを対応付けて記憶する。図１２は、図形情報テーブルの一例を示す図である。

画素情報テーブルは、文書情報における画像の画素に関する情報を記憶する。具体的には、画素情報テーブルは、図１３に示すように、画像番号と画素情報とを対応付けて記憶する。図１３は、画素情報テーブルの一例を示す図である。画像特徴量テーブルは、文書情報における画像の特徴量を記憶する。具体的には、画像特徴量テーブルは、図１４に示すように、画像番号と特徴量とを対応付けて記憶する。図１４は、画像特徴量テーブルの一例を示す図である。

視点位置情報テーブルは、３Ｄモデルをレンダリングするための視点位置を設定するための情報を記憶する。具体的には、視点位置情報テーブルは、図１５に示すように、部品番号と、セグメント番号と、３Ｄモデルの回転角度である回転角θおよび回転角γと、画像情報と、面番号情報と、特徴量情報とを対応付けて記憶する。図１５は、視点位置情報テーブルの一例を示す図である。

類似度計算テーブルは、各視点位置での３Ｄモデルと文書情報の画像との類似度を記憶する。具体的には、類似度計算テーブルは、図１６に示すように、画像番号と、部品番号と、セグメント番号と、回転角θおよび回転角γと、３Ｄモデルと文書情報の画像との類似度を示す類似度とを対応付けて記憶する。図１６は、類似度計算テーブルの一例を示す図である。

文書参照情報テーブルは、各文書情報が参照された回数を記憶する。具体的には、文書参照情報テーブルは、図１７に示すように、文書番号と、文書情報が参照された回数を示す参照回数とを対応付けて記憶する。図１７は、文書参照情報テーブルの一例を示す図である。

クエリ点情報テーブルは、検索のキーとなる部品の３Ｄモデルの点情報を記憶する。具体的には、クエリ点情報テーブルは、図１８に示すように、３Ｄモデルの点を一意に識別する点番号と、点のＸ座標と、点のＹ座標と、点のＺ座標とを対応付けて記憶する。図１８は、クエリ点情報テーブルの一例を示す図である。

クエリ・面情報テーブルは、検索のキーとなる部品の３Ｄモデルの面情報を記憶する。具体的には、クエリ・面情報テーブルは、図１９に示すように、３Ｄモデルの面を一意に識別する面番号と、面が有する点の点番号を示す点番号１〜３とを対応付けて記憶する。図１９は、クエリ・面情報テーブルの一例を示す図である。

クエリ・セグメント情報テーブルは、検索のキーとなる部品の３Ｄモデルのセグメントに関する情報を記憶する。具体的には、クエリ・セグメント情報テーブルは、図２０に示すように、検索のキーとなる各部分のクエリ・セグメント番号と、セグメンテーション後の面番号と、セグメンテーション前の面番号と、セグメント（部分）の特徴量とを対応付けて記憶する。図２０は、クエリ・セグメント情報テーブルの一例を示す図である。

クエリ・セグメント類似度計算テーブルは、検索のキーとなる部品の３Ｄモデルの各部分と、検索の対象となる各部分との類似度を記憶する。具体的には、クエリ・セグメント類似度計算テーブルは、図２１に示すように、クエリ・セグメント番号と、検索の対象となる各部品の部品番号と、検索の対象となる各セグメントのセグメント番号と、類似度を対応付けて記憶する。図２１は、クエリ・セグメント類似度計算テーブルの一例を示す図である。

クエリ・セグメント評価値計算テーブルは、検索のキーとなる部品の３Ｄモデルの各部分と検索の対象となる各部分との類似度などを重み付けとして、ランキングを行うための評価値を記憶する。具体的には、クエリ・セグメント評価値計算テーブルは、図２２に示すように、クエリ・セグメント番号と、検索の対象となる各部品の部品番号と、検索の対象となる各セグメントのセグメント番号と、評価値とを対応付けて記憶する。図２２は、クエリ・セグメント評価値計算テーブルの一例を示す図である。

部分文書情報記憶領域１４ｄは、３Ｄモデルの部品の部分と文書情報とが関連付けられた部分・文書関連付けテーブルを記憶する。具体的には、部分文書情報記憶領域１４ｄは、図２３に示すように、文書番号と、部品番号と、セグメント番号とが対応付けられた部分・文書関連付けテーブルを記憶する。図２３は、部分・文書関連付けテーブルの一例を示す図である。

図２に戻って、制御部１３は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１３は、３Ｄモデル分割部１３ａ、３Ｄモデル特徴抽出部１３ｂ、文書画像抽出部１３ｃ、指示マーク抽出部１３ｄを有する。また、制御部１３は、エッジ抽出部１３ｅ、レンダリング部１３ｆ、形状特徴抽出部１３ｇ、画像対応抽出部１３ｈ、指示マーク部分対応抽出部１３ｉ、部分文書格納部１３ｊ、クエリ取得部１３ｋ、検索部１３ｌを有する。

３Ｄモデル分割部１３ａは、部品の３Ｄモデルを部分に分割する。具体的には、３Ｄモデル分割部１３ａは、部品の３Ｄモデルを表現するポリゴンデータを既存のセグメンテーション方式で部分ごとに分割する。ポリゴンデータとは、点情報および面情報の組で表現されるものである。ポリゴンデータの点情報および面情報については、点情報テーブルおよび面情報テーブルに記憶されている（図７、図８参照）。

ここで、セグメンテーション方式について図２４を用いて具体的に説明する。図２４は、セグメンテーション手法の一例を説明する図である。図２４に示すように、３Ｄモデル分割部１３ａは、３Ｄモデルの平面部分を検出し、３Ｄモデルの輪郭を抽出する。そして、３Ｄモデル分割部１３ａは、３Ｄモデルを分割可能な平面があれば、その平面で３Ｄモデルを分割し、各部分ごとにポリゴン化する。

その後、３Ｄモデル分割部１３ａは、分割された部分ごとにセグメント番号を割り当て、セグメンテーション後の面番号とセグメンテーション前の面番号をセグメント情報テーブルに記憶させる。

３Ｄモデル特徴抽出部１３ｂは、各部品のポリゴンデータから３次元の形状に関する特徴量を抽出する。例えば、３Ｄモデル特徴抽出部１３ｂは、３次元の形状に関する特徴量として、３次元の形状の特徴量であるベクトル情報を抽出する。その後、３Ｄモデル特徴抽出部１３ｂは、抽出された特徴量をセグメント情報テーブルに記憶させる。

文書画像抽出部１３ｃは、文書に関連付けられた部品の画像を抽出する。具体的には、文書画像抽出部１３ｃは、文書情報を解析して、部品に関連付けられた文書情報から画像を抽出する。例えば、図２５の例を用いて説明すると、指示マーク抽出部１３ｄは、文書情報から画像情報を示す「ｉｍａｇｅ」を抽出する。図２５は、ＨＴＭＬファイル形式の文書の例を示す図である。

そして、文書画像抽出部１３ｃは、画像情報を示す「ｉｍａｇｅ」を抽出すると、画像情報が位置するＸ座標「０」およびＹ座標「４０」、画像サイズ（画像の幅および画像の高さ）、画像ファイル名を取得して、画像情報テーブルに記憶させる。なお、画像サイズは、画像ファイルのヘッダから取得できる。また、上述した例では、ＨＴＭＬファイル形式の例で説明したが、他の形式の文書（ＰＤＦ、ＰｏｗｅｒＰｏｉｎｔ、Ｗｏｒｄ等）でも同様の処理を行う。

指示マーク抽出部１３ｄは、抽出された画像の中から画像の一部分を特定する指示マークを抽出する。具体的には、指示マーク抽出部１３ｄは、文書情報を解析して、部品に関連付けられた文書情報から指示マークを抽出する。例えば、図２５の例を用いて説明すると、指示マーク抽出部１３ｄは、図形を示す「ｏｖａｌ」および「ｌｉｎｅ」を抽出する。

そして、指示マーク抽出部１３ｄは、図形を示す「ｏｖａｌ」および「ｌｉｎｅ」を抽出すると、図形が位置するＸ座標およびＹ座標、図形のサイズ（図形の幅および図形の高さ）、図形形状を取得して、図形情報テーブルに記憶させる。

続いて、指示マーク抽出部１３ｄは、図形情報テーブルを参照して、ドキュメント自体に図形情報が含まれていれば、そのうち、楕円や矢印の図形情報をすべて指示マーク候補とする。なお、ドキュメント自体に図形情報が含まれていない形式の場合でも、図形中に図形の一部として記述されていれば、ハフ（Ｈｏｕｇｈ）変換などの手法で抽出することができる。

ここで、指示マーク抽出部１３ｄは、指示マークの形状と位置に基づいて、指示マーク候補が正しい指示マークかどうか判定する。具体的には、指示マーク抽出部１３ｄは、指示マーク候補の図形形状が楕円の場合には、図２６に示すように、画像の位置に重なる位置に指示マークの図形の位置があるか判定する。図２６は、指示マークの一例を示す図である。

この判定では、図形情報テーブルと画像情報テーブルの座標位置から容易に行うことができる。以下の説明では、指示マーク候補の位置と幅、高さが「shape_x,shape_y,shape_width,shape_height」、画像の位置と幅、高さが「image_x,image_y,image_width,image_height」で表される場合に、以下の（１）〜（４）式が真の場合を指示マークと判定する。

ここでは、図形が画像位置を多少はみ出ることを想定したｏｆｆｓｅｔ値（ｏｆｆｓｅｔ＿ｘ、ｏｆｆｓｅｔ＿ｙ）を指定している。この値は固定でもよいし、画像サイズに対する相対値でもよい。また、指示マーク候補の図形形状が矢印の場合は、図２６に示すように、矢印の先端が画像に重なっていることを判定する。以下の（５）〜（８）式が真の場合を指示マークとする。ここでは、矢印の先端（終端）を「ｓｈａｐｅ＿ｘ，ｓｈａｐｅ＿ｙ」とする。（図形情報テーブルから求める場合は、「ｓｈａｐｅ＿ｘ」＝[ｘ座標]＋［幅］,「ｓｈａｐｅ＿ｙ」＝[ｙ座標]＋[高さ]となる。ここでは、楕円の場合と同じｏｆｆｓｅｔ値（ｏｆｆｓｅｔ＿ｘ、ｏｆｆｓｅｔ＿ｙ）を指定している。

その後、指示マーク抽出部１３ｄは、図２７に示すように、抽出された指示マークの情報を記憶する。図２７は、指示マーク情報の一例を示す図である。そして、指示マーク抽出部１３ｄは、図２８に示すように、指示マークと画像を関連付けて保存する。図２８は、指示マークつきの画像情報の一例を示す図である。指示マークには、重複しない番号である指示マーク番号が割り振られる。また、指示マークつきの画像情報に関しても、重複しない番号である画像番号が割り振られる。

図２の説明に戻って、エッジ抽出部１３ｅ、レンダリング部１３ｆ、形状特徴抽出部１３ｇ、画像対応抽出部１３ｈは、文書情報における画像と３Ｄモデルとの位置合わせを行うために各種処理を行う。ここでいう画像とは、指示マーク付きの画像情報に保存されているものであり、画像と部品の３Ｄモデルの対応は、部品テーブルおよび部品・文書関連付けテーブルから取得することができる。

画像形式は、Ｗｉｄｔｈ×Ｈｅｉｇｈｔの二次元配列になる。配列の各要素は、図２９に示すように、通常Ｒ，Ｇ，Ｂの３つの要素を持つが、エッジ等の場合には、モノクロを対象とすることが多いため、図３０に示すように、輝度値（Ｉ）の値ひとつを持つ場合でもかまわない。これらの画素情報は、画素情報テーブルにおいて画像番号と関連付けられて記憶されている。図２９は、カラー画像の画素の配列形式を示す図である。図３０は、モノクロ画像の画素の配列形式を示す図である。

また、エッジ抽出部１３ｅは、レンダリング画像と画像の大きさをそろえて精度を向上させるため、あらかじめ画像から既存手法である背景除去などの手法を用いて物体部分を抽出する。そして、レンダリング部１３ｆは、物体部分の大きさを求め、それに合わせてトリミングを行い、３Ｄモデルをそれに合わせてレンダリングする方法を行ってもよい。

画像の背景除去は、画像が淡色の背景などの場合に、画像の端に接する画素からその周りの画素の色を調べ、同一色部分である（または多少の誤差を許容して類似した色部分）場合のみ、そこを背景として判定し、背景として判定された範囲からさらにその周りの同一色部分を判定する動作を繰り返すことで行うことができる。

これにより、画像に映っている物体の周りの同一色部分が抽出できるため、それ以外の範囲を囲む最小の四角形を抽出することで、画像に映っている物体の外接の四角形を抽出でき、その範囲だけの画像情報を生成する。後述する３Ｄモデルのレンダリング画像に関しても、レンダリング後に同様に物体の外接の四角形を抽出する。この二つの画像間で特徴量を抽出し、類似度計算を行うことで、精度が向上できる。

上記したように、エッジ抽出部１３ｅ、レンダリング部１３ｆ、形状特徴抽出部１３ｇ、画像対応抽出部１３ｈは、文書情報における画像と３Ｄモデルとの位置合わせを行うために各種処理を行う。ここで、エッジ抽出部１３ｅ、レンダリング部１３ｆ、形状特徴抽出部１３ｇ、画像対応抽出部１３ｈについて、文書情報における画像と３Ｄモデルとの位置合わせ処理の全体の流れを図３１を用いて説明する。図３１は、文書情報における画像と３Ｄモデルとの位置合わせを行う処理を説明する図である。

図３１に示すように、エッジ抽出部１３ｅは、文書中の画像からエッジを抽出し、文書中の画像の形状特徴量を抽出する。また、レンダリング部１３ｆは、３Ｄモデルの視点位置の設定を行い、設定した各視点位置から見たエッジレンダリング画像を生成する。そして、形状特徴抽出部１３ｇは、各エッジレンダリング画像の形状特徴量をそれぞれ抽出する。

そして、画像対応抽出部１３ｈは、文書中の画像の形状特徴量と各エッジレンダリング画像の形状特徴量の類似度をそれぞれ算出し、一番類似度が高い視点位置を選択する。以下では、エッジ抽出部１３ｅ、レンダリング部１３ｆ、形状特徴抽出部１３ｇ、画像対応抽出部１３ｈの各処理について詳しく説明する。

エッジ抽出部１３ｅは、文書中の画像からエッジを抽出し、文書中の画像の形状特徴量を抽出する。具体的には、エッジ抽出部１３ｅは、エッジ特徴抽出方法として、エッジ抽出オペレータを利用して、エッジ用の形状特徴量抽出手法用いる方法、または、ウェーブレット変換などのように、直接形状特徴量を抽出する方法などを利用する。ウェーブレット変換を利用する方法では、画像をウェーブレット変換することで、画像の各位置での周波数的な変化量を抽出し、それを特徴量とする。

エッジ抽出オペレータを利用する方法では、エッジの抽出方法としてラプラシアン行列を用いられる。この手法では、ラプラシアン行列と呼ばれる３ｘ３の行列を各画素に畳み込み演算することで、各画素におけるエッジ量を抽出する。エッジ量は画像サイズと同じ縦横サイズの整数または実数の２次元配列として表現することができる。

画素列が並んでいる様子を２次元行列としてみた場合に、その値ｐ（ｘ，ｙ）があり、畳み込み行列がｑ（ｘ，ｙ ）とした場合に、変換後の行列ｐ‘（ｘ， ｙ）が以下の（９）式で表される。また、ラプラシアン行列としては、以下の（１０）式の行列が用いられる。エッジ抽出結果は、図３２に示すように画像と同じサイズの二次元配列となる。図３２は、エッジ抽出結果を説明するための図である。

エッジ抽出部１３ｅは、エッジ抽出結果に対する特徴抽出手法として、Ｇｒｉｄ Ｆｏｕｒｉｅｒなどの手法を利用して、エッジ特徴量を抽出する。この手法では、画像を格子状に区切ったグリッドごとにエッジ量のヒストグラムを抽出し、この２次元フーリエ変換を行った結果を特徴量とする方法である。これにより二次元的な回転に不変な特徴量とすることができる。抽出された特徴量の結果は、一次元の固定長のベクトル値となる。

エッジ抽出部１３ｅは、特徴量の結果として、一次元の固定長のベクトル値を抽出する。そして、エッジ抽出部１３ｅは、抽出された特徴量の結果について、指示マーク付きの画像情報に保存されている画像毎に抽出し、画像特徴量テーブルに保存する。

レンダリング部１３ｆは、３Ｄモデルをレンダリングするための視点位置の設定を行う。例えば、エッジ抽出部１３ｅは、視点位置として、３Ｄモデルをまわりから見るためのカメラの位置と向きを設定する。

ここで、上記のカメラ位置と向きの決定は以下の方法で行うことができる。ここで、３Ｄモデルの中心位置を（０，０，０）とし、カメラがその周りを回る場合には、カメラの位置ｃ、向きｆ、上方ベクトルｕは、回転角をθとγとし、距離をｄとした場合に、以下の（１１）式および（１２）式で表される。

ここで、レンダリング部１３ｆは、回転角θとγを適当な間隔で設定し、等間隔の２重ループで指定して視点位置情報テーブルに設定する。図１５の例では、３０度間隔で指定している。この各角度において、画像情報や特徴量情報を視点位置情報テーブルに記憶させる。

そして、レンダリング部１３ｆは、設定した視点位置から見たレンダリング画像を生成する。ここで、レンダリング画像の生成処理手法の例について説明する。３Ｄモデル上の各点が画面上に投影されるとき、カメラの位置をｃとし、カメラの向きをｆとし、カメラの上方ベクトルをｕとした場合に、３Ｄモデル上の点ｐは、以下の（１３）式、（１４）式で表される画面上の点ｐ２に投影される。

レンダリング部１３ｆは、ポリゴン上の各面をポリゴンの点を線形補間した位置に描画する。これにより、各ポリゴンを２次元の平面にマッピングした画像を生成することができる。また、レンダリング部１３ｆは、ｐ２の位置が重なる場合は、ｚの値が小さいもの（手前にあるもの）を優先して描画する。また、レンダリング部１３ｆは、エッジのみをレンダリングするには、鋭角、または輪郭のエッジのみをレンダリングするようにすればよい。

ここで、二つの面のなす角度は、法線ベクトルの内積を求めることで得ることができる。（ａ・ｂ＝│ａ││ｂ│ｃｏｓθ）輪郭であるというのは、片方の面がカメラ方向を向き、片方の面がカメラ方向を向いていないことから求められる。カメラ方向を向いている面の法線ベクトルをａ、向いていない法線ベクトルをｂとした場合に、「ｆ・ａ＜０」、「ｆ・ａ＞０」の条件が満たされる線が輪郭に相当する。

レンダリング部１３ｆは、各ピクセルが、３Ｄモデルのどの位置に相当するかという情報を保持する。例えば、レンダリング部１３ｆは、画像の画素数分だけある二次元配列を用意し、上記計算で行った画素に対応するポリゴンの面番号（セグメンテーション前の面番号）を面番号情報として、視点位置情報テーブルに保存しておく。

図３３の例では、面番号０に対応するピクセルと、面番号１に対応するピクセル、どの面にも対応しないピクセル（−１のピクセル）に設定されている。図３３は、面番号情報の一例を示す図である。この配列は、各要素を最初にどの面にも対応しないピクセル（−１）として初期化し、描画時の計算で、面を次元座標に変換したときの座標位置を対応する面番号に置き換えることで作成する。ここでは面番号を設定したが、セグメント情報テーブルを用いてセグメント番号を設定してもよい。

形状特徴抽出部１３ｇは、各エッジレンダリング画像の形状特徴量をそれぞれ抽出する。具体的には、形状特徴抽出部１３ｇは、上述した処理と同様に、エッジ抽出結果に対する特徴抽出手法として、Ｇｒｉｄ Ｆｏｕｒｉｅｒなどの手法を利用して、エッジ特徴量を抽出することができる。通常のレンダリング画像として生成した場合は、ウェーブレット変換特徴量などが使用できる。エッジのみをレンダリングした場合は、Ｇｒｉｄ Ｆｏｕｒｉｅｒなどのエッジ特徴量などが使用できる。抽出結果はベクトルになるので、その結果を視点位置情報テーブルに保存する。

画像対応抽出部１３ｈは、文書中の画像の形状特徴量と各エッジレンダリング画像の形状特徴量の類似度をそれぞれ算出し、一番類似度が高い視点位置を選択する。具体的には、画像対応抽出部１３ｈは、文書中の画像の形状特徴量のベクトルと各エッジレンダリング画像の形状特徴量のベクトルとの間のユークリッド距離を計算する。つまり、形状特徴量は、ベクトルとして表現でき、同じ次元数のベクトル間の距離の距離はユークリッド距離で計算することができる。特徴量ベクトルｆ（ｉ）とｇ（ｉ）として、その次元数をｍとしたとき、そのユークリッド距離は、以下の（１５）式で計算できる。

つまり、画像対応抽出部１３ｈは、特徴間の距離が小さいほど、類似度が大きいと判定する。視点位置情報テーブルの情報をもとに、形状特徴抽出部１３ｇによって抽出されたた各回転角に相当する画像特徴量と、エッジ抽出部１３ｅで抽出された画像特徴量の類似度を（１５）式で計算し、値が一番小さいものの視点位置情報テーブルのフィールドを一つ抽出する。これにより、画像対応抽出部１３ｈは、対応する画像情報と面番号情報を取得できる。例えば、画像対応抽出部１３ｈは、図１６に例示する類似度計算テーブルの例では、最も類似度の値が小さい回転角θ＝０、回転角γ＝６０のフィールドを選択する。

指示マーク部分対応抽出部１３ｉは、記号が特定する画像の部分に対応する３Ｄモデルの部分を選択する。具体的には、指示マーク部分対応抽出部１３ｉは、図３４に示すように、セグメンテーション済みの３Ｄモデルについて、各部分における指示マーク範囲内の面積を抽出し、部品面積中の範囲内の面積の割合を算出する。そして、指示マーク部分対応抽出部１３ｉは、一番割合の高い部分を選択する。図３４は、指示マークの位置に対応する３Ｄモデルの部分を選択する処理を説明する図である。

例えば、指示マーク部分対応抽出部１３ｉは、図３４の例では、各部分を示す場所１〜５のうち、指示マーク範囲内に全面積「９」が含まれており、部品面積中の範囲内の面積の割合が「１００％」で最も高い場所「１」の部分を選択する。

ここで、記号が特定する画像の部分に対応する３Ｄモデルの部分を選択する処理について詳しく説明する。指示マーク部分対応抽出部１３ｉは、指示マーク抽出部１３ｄによって記憶された指示マーク情報から指示マークの種別と位置座標を取得し、画像対応抽出部１３ｈによって選択された視点（回転角）の画像に対し、指示マークの範囲内かどうかの判定を行う。

ここで、指示マークの種別が楕円の場合には、指示マークに対応する画像範囲が楕円の範囲内であると判定することができる。例えば、楕円の中心が（ｃｘ，ｃｙ）、ｘ軸方向の半径、ｙ軸方向の半径がａ，ｂである場合には、（ｘ，ｙ）座標が範囲かどうかの判定は以下の（１６）式で行うことができる。

また、指示マークの種別が矢印の場合には、矢印の先の空間を指示マークに対応する画像範囲とすることができる。空間としては円形として、その半径が固定でもよいし、矢印の長さによって変えてもよい。例えば、矢印の先端を（ｘ１，ｙ１）根元を（ｘ２，ｙ２）とした場合には、円の中心座標（ｃｘ，ｃｙ）、円の半径（ｒ）は以下の（１７）〜（１９）式で行うことができる。そして、この場合の（ｘ，ｙ）座標が範囲かどうかの判定は以下の（２０）式で行うことができる。

上述した判定の結果、指示マーク部分対応抽出部１３ｉは、図３５に示すように、指示マークの範囲内の画素に関する情報である指示マーク範囲画素情報を記憶する。図３５に示すように、指示マーク部分対応抽出部１３ｉは、指示マーク範囲画素情報として、指示マーク番号、指示マークに含まれる画素のＸ座標およびＹ座標、面番号、部品番号、セグメント番号をそれぞれ記憶する。図３５は、指示マーク範囲画素情報の一例を示す図である。

ここで、指示マーク部分対応抽出部１３ｉは、レンダリング部１３ｆによって各画素に対応する面番号の配列（図３３に例示する面番号情報）が取得されているので、面番号情報を参照して、画素に対応する面番号を取得できる。面番号情報では、対応する面番号が無い場合に−１をセットしているので、値をチェックし、面番号が−１以外の場合には、セグメント情報テーブル（図９参照）で面番号に対応するセグメント番号を取得する。なお、レンダリング部１３ｆが各画素に対応するセグメント番号を設定する場合には、指示マーク部分対応抽出部１３ｉは、直接セグメント番号を取得することができる。

続いて、指示マーク部分対応抽出部１３ｉは、画素に対応する部分の面積を加算する。ここでいう面積とは、各セグメント番号の部分における指示マークに対応する画像範囲に対応する画素数である。また、指示マーク部分対応抽出部１３ｉは、各画素に対応するセグメント番号がわかるため、各セグメント番号に対応する指示マークに対応する画素の個数を取得することができる。また、指示マーク部分対応抽出部１３ｉは、全画素数に関しては、画素情報（図２９、図３０参照）を参照して、各セグメントに関する画素数を換算することで求める。

そして、指示マーク部分対応抽出部１３ｉは、図３６に示すように、指示マークに含まれる部分（セグメント）ごとに、指示マークに含まれる画素数、部分の全画素数、全画素数に対する指示マークに含まれる画素数の割合を記憶する。図３６は、画素ヒストグラム情報の一例を示す図である。具体的には、指示マーク部分対応抽出部１３ｉは、指示マーク番号、部品番号、指示マークに含まれる部分のセグメント番号、指示マークに含まれる画素数、部分の全画素数、全画素数に対する指示マークに含まれる画素数の割合をそれぞれ対応付けて記憶する。

そして、指示マーク部分対応抽出部１３ｉは、全画素数に対する指示マークに含まれる画素数の割合が最も高いセグメント番号の部分を選択する。なお、画素数が最も高いセグメント番号の部分を選択してもよい。

部分文書格納部１３ｊは、選択された３Ｄモデルの部分と部品の画像に関連付けられた文書とを対応付けて部分文書情報記憶領域１４ｄに格納する。具体的には、部分文書格納部１３ｊは、指示マーク番号に対応する文書番号と、文書番号に対応する部分番号と、指示マーク部分対応抽出部１３ｉによって選択された３Ｄモデルの部分とを対応付けて部分・文書関連付けテーブル（図２３参照）に記憶する。

このように、情報提供装置１０は、図３７に示すように、障害情報などの文書情報中の画像に赤丸などで一部分が指定されている場合には、指定されている部分と３Ｄモデルのマッチングを行い、向きや位置を推定する。そして、情報提供装置１０は、対応する部分だけを文書情報に紐付けてテーブルに記憶する。このため、利用者が明示的にデータベースに登録することなく、部品の部分と関連する文書情報を自動的に検索することができる。図３７は、文書中の画像と３Ｄモデルの部分とをマッチングする処理を説明する図である。

図２の説明に戻って、クエリ取得部１３ｋは、設計中の部品から部分を抽出して部分の特徴量を算出する。具体的には、クエリ取得部１３ｋは、ＣＡＤを用いて部品の設計中に、検索のキーとなる部品の３Ｄモデルを取得する。なお、クエリ取得部１３ｋは、ＣＡＤで部品を一つだけ編集している場合には、その部品の３Ｄモデルを取得し、複数の部品を編集している場合には、現在選択している部品の３Ｄモデルを取得する。

クエリ取得部１３ｋは、この部品について、クエリ点情報テーブル（図１８参照）およびクエリ・面情報テーブル（図１９参照）から点情報および面情報を取得する。そして、クエリ取得部１３ｋは、設計中の部品から部分を抽出し、その部分特徴量を抽出する。ここで、設計中の部品から部分を抽出するには、前述したセグメンテーション手法が利用できる。また、同様に、部分特徴量の抽出では、前述した特徴抽出手法が利用できる。ここでは、各部分に対して重複しない番号であるクエリ・セグメント番号を付加し、クエリのすべてのセグメントに対して特徴量を抽出してクエリ・セグメント情報テーブル（図２０参照）に記憶させる。

検索部１３ｌは、３Ｄモデルの部品の部分の特徴量を取得して設計中の３Ｄモデルとの類似度を算出し、ランキングの評価値を算出し、設計中の３Ｄモデルの部分に関連する文書情報を検索して表示する。

具体的には、検索部１３ｌは、検索対象となるセグメントと、設計中の３Ｄモデルの全セグメントとの間で類似度計算を行ってクエリ・セグメント類似度計算テーブルに類似度を記憶させる。検索部１３ｌは、対象となるセグメントが前述のようにすべてのセグメントでもよく、ユーザが意図している部分のみに限定することも可能である。類似度の計算は、上述したベクトル間の距離を計算する手法を利用できる。計算された類似度（距離）の値が小さい方がより類似しているものとする。

そして、検索部１３ｌは、類似度計算した結果について、あらかじめ与えられた閾値以上の類似度（閾値以下の距離）の特徴量を持つ部分を検索する。例えば、検索部１３ｌは、類似度が０．２以下の特徴量を持つ部分を検索する。例えば、検索部１３ｌは、図３８に示すように、設計中の３Ｄモデルの各部分に類似する３Ｄモデルおよび関連文書を検索し、検索された３Ｄモデルおよび関連文書のリンク数および参照数を取得する。図３８は、検索処理を説明する図である。

なお、検索部１３ｌは、すべてのセグメントに対して処理を行うことも可能だが、ユーザが意図している部分のみに限定してもよい。例えば、現在視点位置から見えている部分のみを対象として検索を行う、または、マウスカーソルの下にある部分のみを対象として検索を行うなどが考えられる。

そして、検索部１３ｌは、検索した結果の部分について、ランキングを行うための評価値を算出する。（２１）式に示すように、重み付きの評価値を用いて、評価値を計算し、クエリ・セグメント評価値計算テーブル（図２２参照）に記憶させる。ここで、最大距離は、上で言う距離の閾値を利用してもよい。文書数は、同一文書に紐付けられた文書数であり、上の検索でヒットした文書数となる。参照回数は、文書タイトルをクリックして文書が表示された回数であり、文書情報テーブルから取得することができる。なお、ランキング用の評価値としては、距離をそのまま利用してもよい。

その後、検索部１３ｌは、クエリ・セグメント評価値計算テーブルについて、評価値で降順にソートすることで、ランキングを行うことができる。検索部１３ｌは、図３９に示すように、ランキングで上位にランクされた文書から順番に、文書タイトルをタスクバー等に表示する。図３９は、検索結果の画面表示例を示す図である。

その後、ユーザがその内容に興味を持ち、もっと詳しく知りたいと思った場合は、文書のタイトル部分をクリックすることができる。情報提供装置１０、図４０に示すように、ユーザの操作を監視し、ユーザがクリックした場合に、元の文書を表示し、同時に文書参照情報テーブルの参照回数を１つ増加させる。ユーザがクリックしなかった場合は、上のランキングの次のデータを表示するようにする。図４０は、参照情報が増加する処理を説明する図である。

［情報提供装置による処理］
次に、図４１〜図４５を用いて、実施例２に係る情報提供装置１０による処理を説明する。図４１〜図４５は、実施例２に係る情報提供装置１０の処理動作を示すフローチャートである。

同図に示すように、情報提供装置１０は、部品を部分に分割し（ステップＳ１０１）、部分から３次元の形状に関する特徴量を抽出する（ステップＳ１０２）。そして、情報提供装置１０は、画像と指示マークの対応付け処理（後に図４２を用いて詳述）を行い（ステップＳ１０３）、画像と３Ｄモデルの位置合わせ処理（後に図４３を用いて詳述）を行う（ステップＳ１０４）。

そして、情報提供装置１０は、指示マークに対応する部分を検出する処理（後に図４４を用いて詳述）を行い（ステップＳ１０５）、文書と部分を関連付けて保存する（ステップＳ１０６）。

ここで、図４２を用いて画像と指示マークの対応付け処理について説明する。図４２に示すように、情報提供装置１０は、部品に関連付けられた文書から画像を抽出し（ステップＳ２０１）、指示マーク候補の図形を検出し（ステップＳ２０２）、画像と指示マーク候補の位置の判定を行う（ステップＳ２０３）。そして、情報提供装置１０は、画像に対応する指示マークがある場合には（ステップＳ２０４肯定）、指示マークを画像に関連付けて保存する（ステップＳ２０５）。

また、情報提供装置１０は、画像に対応する指示マークがない場合には（ステップＳ２０４否定）、指示マークを画像に関連付けて保存せずに、ステップＳ２０６に進む。そして、情報提供装置１０は、全ての指示マーク候補を処理したか判定し（ステップＳ２０６）、全ての指示マーク候補を処理した場合には（ステップＳ２０６肯定）、全ての画像を処理したか判定する（ステップＳ２０７）。この結果、情報提供装置１０は、全ての画像を処理した場合には（ステップＳ２０７肯定）、処理を終了する。

また、情報提供装置１０は、全ての指示マーク候補を処理していない場合には（ステップＳ２０６否定）、全ての画像を処理していない場合には（ステップＳ２０７否定）、Ｓ２０１に戻って処理を繰り返す。

ここで、図４３を用いて画像と３Ｄモデルの位置合わせ処理について説明する。図４３に示すように、図４３に示すように、情報処理装置１０は、画像からエッジを抽出し（ステップＳ３０１）、エッジ特徴量を抽出する（ステップＳ３０２）。そして、情報処理装置１０は、３Ｄモデルの視点位置を設定し（ステップＳ３０３）、３Ｄモデルをエッジレンダリングし（ステップＳ３０４）、３Ｄモデルの面、セグメンテーションと画素を関連付けて保存する（ステップＳ３０５）。

情報処理装置１０は、エッジ特徴量を抽出し（ステップＳ３０６）、二つのエッジ抽出結果の類似度を計算して保存し（ステップＳ３０７）、全ての視点でレンダリングしたか判定する（ステップＳ３０８）。この結果、情報処理装置１０は、全ての視点でレンダリングした場合には（ステップＳ３０８肯定）、一番類似度が高い視点を抽出して（ステップＳ３０９）。処理を終了する。また、情報処理装置１０は、全ての視点でレンダリングしていない場合には（ステップＳ３０８否定）、ステップＳ３０３に戻ってステップＳ３０３〜Ｓ３０８の処理を繰り返す。

ここで、図４４を用いて指示マークに対応する部分を検出する処理について説明する。図４４に示すように、情報処理装置１０は、指示マークに対応する画像範囲を抽出し（ステップＳ４０１）、指示マークに対応する画素の対応するセグメンテーション番号を取得する（ステップＳ４０２）。

そして、情報処理装置１０は、対応する面があるか判定し（ステップＳ４０３）、対応する面がある場合には（ステップＳ４０３肯定）、画素に対応する部分の面積を加算する（ステップＳ４０４）。続いて、情報処理装置１０は、すべての画素をチェックしたか判定し（ステップＳ４０５）、すべての画素をチェックした場合に（ステップＳ４０５肯定）、一番割合が大きい部分を選択して（ステップＳ４０６）、処理を終了する。また、情報処理装置１０は、すべての画素をチェックしていない場合に（ステップＳ４０５否定）、ステップＳ４０２に戻って、処理を繰り返す。

次に、図４５を用いて、情報提供装置の検索処理について説明する。図４５に示すように、情報提供装置１０は、設計中の部品を抽出し（ステップＳ５０１）、設計中の部品から部分を抽出し、その部分特徴量を抽出する（ステップＳ５０２）。そして、情報提供装置１０は、全ての部分を抽出したか判定し（ステップＳ５０３）、全ての部分を抽出していない場合には（ステップＳ５０３否定）、ステップＳ５０１に戻る。

また、情報提供装置１０は、全ての部分を抽出した場合には（ステップＳ５０３肯定）、データベースから部品の部分特徴量を取得し、類似度を計算する（ステップＳ５０４）。そして、情報提供装置１０は、類似度が閾値以上であるか判定し（ステップＳ５０５）、類似度が閾値以上である場合には（ステップＳ５０５肯定）、ランキングの評価値を算出する（ステップＳ５０６）。

そして、情報提供装置１０は、全ての部品をチェックしたかを判定し（ステップＳ５０７）、全ての部品をチェックしていない場合には（ステップＳ５０７否定）、ステップＳ５０４に戻る。また、情報提供装置１０は、全ての部品をチェックした場合には（ステップＳ５０７肯定）、ランキングを行い、ランクが高い部分を抽出する（ステップＳ５０８）。

そして、情報提供装置１０は、文書のタイトルを提示し（ステップＳ５０９）、ユーザの入力チェックを行い（ステップＳ５１０）、ユーザが文書のタイトルをクリックしたか判定する（ステップＳ５１１）。この結果、情報提供装置１０は、ユーザが文書のタイトルをクリックしたと判定した場合には（ステップＳ５１１肯定）、クリックされたタイトルに対応する文書を提示し（ステップＳ５１２）、参照回数を１つ増加する（ステップＳ５１３）。

[実施例２の効果]
上述してきたように、情報提供装置１０は、３Ｄモデル情報記憶領域１４ａに記憶された部品の３Ｄモデルを部分に分割し、文書情報記憶領域１４ｂに記憶された文書から文書に付加された部品の画像を抽出し、抽出された画像の中から画像の一部分を特定する記号を抽出する。そして、情報提供装置１０は、記号が抽出された場合には、記号が特定する画像の部分に対応する３Ｄモデルの部分を選択し、選択された３Ｄモデルの部分と部品の画像に関連付けられた文書とを対応付けて部分文書情報記憶領域１４ｄに格納する。このため、情報提供装置１０は、３Ｄモデルの部分と文書とを関連付けて記憶し、利用者が参照したい部品の部分に関する文書を検索できるようして、知識情報の有効活用を効果的に実現することが可能である。

また、実施例２によれば、抽出された指示マークが抽出された場合には、指示マークが特定する画像の部分とモデルの部分との類似度を算出し、類似度に応じて、指示マークが特定する画像の部分に対応する３Ｄモデルの部分を選択する。このため、指示マークが特定する画像の部分に対応する３Ｄモデルの部分を適切に選択することが可能である。

また、実施例２によれば、所定の部分に類似する部分を３Ｄモデル記憶部１４ａから取得し、取得された部分に関連付けられた文書を部分文書情報記憶部１４ｄから検索するので、部品の部分と関連する文書を適切に検索することが可能である。

また、実施例２によれば、部分文書情報記憶部１４ｄから検索された文書が複数ある場合には、各文書の表示する順番を決めるための評価値を算出し、評価値が高い順に文書を表示する。このため、部品の部分と関連する文書を重要なものから順に表示することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例３として本発明に含まれる他の実施例を説明する。

（１）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、３Ｄモデル分割部１３ａと３Ｄモデル特徴抽出部１３ｂを統合してもよい。

（２）プログラム
また、上記の実施例１、２で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、図４６を用いて、上記の実施例１、２と同様の機能を有する情報提供プログラムを実行するコンピュータの一例を説明する。図４６は、情報提供プログラムを実行するコンピュータを示す図である。

図４６に示すように、情報提供装置としてのコンピュータ６００は、ＲＡＭ６１０、ＣＰＵ６２０、ＨＤＤ６３０および入出力インターフェース６４０をバスなどで接続して構成される。

ＨＤＤ６３０は、ＣＰＵ６２０による各種処理の実行に必要な情報を記憶する。ＲＡＭ６１０は、各種情報を一時的に記憶する。ＣＰＵ６２０は、各種演算処理を実行する。

そして、ＨＤＤ６３０には、図４６に示すように、上記の実施例１、２に示した、割込みコントローラの各処理部と同様の機能を発揮する情報提供プログラム６１１があらかじめ記憶されている。なお、この情報提供プログラム６１１を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。

そして、ＣＰＵ６２０が、この情報提供プログラム６１１をＨＤＤ６３０から読み出してＲＡＭ６１０に展開する。そして、情報提供プログラム６１１は、各種データをＨＤＤ６３０から読み出して、ＲＡＭ６１０において自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種処理を実行する。

なお、上記した情報提供プログラム６１１については、必ずしも最初からＨＤＤ６３０に記憶させておく必要はなく、例えば、コンピュータ６００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ６００に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ６００がこれらから各プログラムを読み出して実行するようにしてもよい。

以上の実施例１〜３を含む実施形態に関し、更に以下の付記を開示する。

（付記１）部品の３Ｄモデルを記憶する３Ｄモデル記憶部と、
前記部品の画像が付加された該部品に関する文書を記憶する文書情報記憶部と、
前記３Ｄモデル記憶部に記憶された部品の３Ｄモデルを部分に分割する分割部と、
前記文書情報記憶部に記憶された文書から該文書に付加された部品の画像を抽出する画像抽出部と、
前記画像抽出部によって抽出された画像の中から、該画像の一部分を特定する記号を抽出する特定記号抽出部と、
前記特定記号抽出部によって記号が抽出された場合には、該記号が特定する画像の部分に対応する３Ｄモデルの部分を選択する部分選択部と、
前記部分選択部によって選択された３Ｄモデルの部分と前記部品の画像に関連付けられた文書とを対応付けて部分文書情報記憶部に格納する部分文書格納部と、
を備えることを特徴とする情報提供装置。

（付記２）前記部分選択部は、前記特定記号抽出部によって記号が抽出された場合には、該記号が特定する画像の部分と３Ｄモデルの部分との類似度を算出し、該類似度に応じて、該記号が特定する画像の部分に対応する３Ｄモデルの部分を選択することを特徴とする付記１に記載の情報提供装置。

（付記３）所定の部分に類似する部分を前記３Ｄモデル記憶部から取得し、該取得された部分に関連付けられた文書を前記部分文書情報記憶部から検索する検索部をさらに備えることを特徴とする付記１または２に記載の情報提供装置。

（付記４）前記検索部は、前記部分文書情報記憶部から検索された文書が複数ある場合には、各文書の表示する順番を決めるための評価値を算出し、該評価値が高い順に前記文書を表示することを特徴とする付記１〜３のいずれか一つに記載の情報提供装置。

（付記５）部品の３Ｄモデルを記憶する３Ｄモデル記憶部に記憶された部品の３Ｄモデルを部分に分割する分割ステップと、
前記部品の画像が付加された該部品に関する文書を記憶する文書情報記憶部に記憶された文書から該文書に付加された部品の画像を抽出する画像抽出ステップと、
前記画像抽出ステップによって抽出された画像の中から、該画像の一部分を特定する記号を抽出する特定記号抽出ステップと、
前記特定記号抽出ステップによって記号が抽出された場合には、該記号が特定する画像の部分に対応する３Ｄモデルの部分を選択する部分選択ステップと、
前記部分選択ステップによって選択された３Ｄモデルの部分と前記部品の画像に関連付けられた文書とを対応付けて部分文書情報記憶部に格納する部分文書格納ステップと、
を含んだことを特徴とする情報提供方法。

（付記６）前記部分選択ステップは、前記特定記号抽出ステップによって記号が抽出された場合には、該記号が特定する画像の部分と３Ｄモデルの部分との類似度を算出し、該類似度に応じて、該記号が特定する画像の部分に対応する３Ｄモデルの部分を選択することを特徴とする付記５に記載の情報提供方法。

（付記７）所定の部分に類似する部分を前記３Ｄモデル記憶部から取得し、該取得された部分に関連付けられた文書を前記部分文書情報記憶部から検索する検索ステップをさらに含んだことを特徴とする付記５または６に記載の情報提供方法。

（付記８）前記検索ステップは、前記部分文書情報記憶ステップから検索された文書が複数ある場合には、各文書の表示する順番を決めるための評価値を算出し、該評価値が高い順に前記文書を表示することを特徴とする付記５〜７のいずれか一つに記載の情報提供方法。

（付記９）部品の３Ｄモデルを記憶する３Ｄモデル記憶部に記憶された部品の３Ｄモデルを部分に分割する分割手順と、
前記部品の画像が付加された該部品に関する文書を記憶する文書情報記憶部に記憶された文書から該文書に付加された部品の画像を抽出する画像抽出手順と、
前記画像抽出手順によって抽出された画像の中から、該画像の一部分を特定する記号を抽出する特定記号抽出手順と、
前記特定記号抽出手順によって記号が抽出された場合には、該記号が特定する画像の部分に対応する３Ｄモデルの部分を選択する部分選択手順と、
前記部分選択手順によって選択された３Ｄモデルの部分と前記部品の画像に関連付けられた文書とを対応付けて部分文書情報記憶部に格納する部分文書格納手順と、
をコンピュータに実行させることを特徴とする情報提供プログラム。

（付記１０）前記部分選択手順は、前記特定記号抽出手順によって記号が抽出された場合には、該記号が特定する画像の部分と３Ｄモデルの部分との類似度を算出し、該類似度に応じて、該記号が特定する画像の部分に対応する３Ｄモデルの部分を選択することを特徴とする付記９に記載の情報提供プログラム。

（付記１１）所定の部分に類似する部分を前記３Ｄモデル記憶手順から取得し、該取得された部分に関連付けられた文書を前記部分文書情報記憶部から検索する検索手順をさらにコンピュータに実行させることを特徴とする付記９または１０に記載の情報提供プログラム。

（付記１２）前記検索手順は、前記部分文書情報記憶手順から検索された文書が複数ある場合には、各文書の表示する順番を決めるための評価値を算出し、該評価値が高い順に前記文書を表示することを特徴とする付記９〜１１のいずれか一つに記載の情報提供プログラム。

１、１０ 情報提供装置
１１ 入力部
１２ 出力部
１３ 制御部
１３ａ ３Ｄモデル分割部
１３ｂ ３Ｄモデル特徴抽出部
１３ｃ 文書画像抽出部
１３ｄ 指示マーク抽出部
１３ｅ エッジ抽出部
１３ｆ レンダリング部
１３ｇ 形状特徴抽出部
１３ｈ 画像対応抽出部
１３ｉ 指示マーク部分対応抽出部
１３ｊ 部分文書格納部
１３ｋ クエリ取得部
１３ｌ 検索部
１４ 記憶部
１４ａ ３Ｄモデル情報記憶領域
１４ｂ 文書情報記憶領域
１４ｃ テーブル記憶領域
１４ｄ 部分文書情報記憶領域

Claims (6)

1. 部品の３Ｄモデルを記憶する３Ｄモデル記憶部と、
   前記部品の画像が付加された該部品に関する文書を記憶する文書情報記憶部と、
   前記３Ｄモデル記憶部に記憶された部品の３Ｄモデルを部分に分割する分割部と、
   前記文書情報記憶部に記憶された文書から該文書に付加された部品の画像を抽出する画像抽出部と、
   前記画像抽出部によって抽出された画像の中から、該画像の一部分を特定する記号を抽出する特定記号抽出部と、
   前記特定記号抽出部によって記号が抽出された場合には、該記号が特定する画像の部分に対応する３Ｄモデルの部分を選択する部分選択部と、
   前記部分選択部によって選択された３Ｄモデルの部分と前記部品の画像に関連付けられた文書とを対応付けて部分文書情報記憶部に格納する部分文書格納部と、
   を備えることを特徴とする情報提供装置。
2. 前記部分選択部は、前記特定記号抽出部によって記号が抽出された場合には、該記号が特定する画像の部分と３Ｄモデルの部分との類似度を算出し、該類似度に応じて、該記号が特定する画像の部分に対応する３Ｄモデルの部分を選択することを特徴とする請求項１に記載の情報提供装置。
3. 所定の部分に類似する部分を前記３Ｄモデル記憶部から取得し、該取得された部分に関連付けられた文書を前記部分文書情報記憶部から検索する検索部をさらに備えることを特徴とする請求項１または２に記載の情報提供装置。
4. 前記検索部は、前記部分文書情報記憶部から検索された文書が複数ある場合には、各文書の表示する順番を決めるための評価値を算出し、該評価値が高い順に前記文書を表示することを特徴とする請求項１〜３のいずれか一つに記載の情報提供装置。
5. 部品の３Ｄモデルを記憶する３Ｄモデル記憶部に記憶された部品の３Ｄモデルを部分に分割する分割ステップと、
   前記部品の画像が付加された該部品に関する文書を記憶する文書情報記憶部に記憶された文書から該文書に付加された部品の画像を抽出する画像抽出ステップと、
   前記画像抽出ステップによって抽出された画像の中から、該画像の一部分を特定する記号を抽出する特定記号抽出ステップと、
   前記特定記号抽出ステップによって記号が抽出された場合には、該記号が特定する画像の部分に対応する３Ｄモデルの部分を選択する部分選択ステップと、
   前記部分選択ステップによって選択された３Ｄモデルの部分と前記部品の画像に関連付けられた文書とを対応付けて部分文書情報記憶部に格納する部分文書格納ステップと、
   を含んだことを特徴とする情報提供方法。
6. 部品の３Ｄモデルを記憶する３Ｄモデル記憶部に記憶された部品の３Ｄモデルを部分に分割する分割手順と、
   前記部品の画像が付加された該部品に関する文書を記憶する文書情報記憶部に記憶された文書から該文書に付加された部品の画像を抽出する画像抽出手順と、
   前記画像抽出手順によって抽出された画像の中から、該画像の一部分を特定する記号を抽出する特定記号抽出手順と、
   前記特定記号抽出手順によって記号が抽出された場合には、該記号が特定する画像の部分に対応する３Ｄモデルの部分を選択する部分選択手順と、
   前記部分選択手順によって選択された３Ｄモデルの部分と前記部品の画像に関連付けられた文書とを対応付けて部分文書情報記憶部に格納する部分文書格納手順と、
   をコンピュータに実行させることを特徴とする情報提供プログラム。

Images