JP7476201B2 - テキスト生成方法およびテキスト生成システム - Google Patents

Description

本発明の一態様は、オブジェクトをテキストに変換させるテキスト生成方法に関する。また、本発明の一態様は、オブジェクトをグラフ情報に変換し、当該グラフ情報をテキストに変換するテキスト生成方法に関する。また、本発明の一態様は、コンピュータ装置を利用したオブジェクトをテキストに変換させるテキスト生成システムに関する。また、本発明の一態様は、オブジェクトで構成される図面などの内容をテキスト化するためのテキスト生成システムに関する。

近年、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた画像認識の開発が進められている。例えば、画像に被写体として何が写っているかの認識率は向上し続けている。ただし、ＡＩは、学習済の内容については対応できるが学習したことのない画像から画像に含まれる構成要素などを認識するまたは説明するのが難しい。例えば、製品仕様書、組図、または特許の公報などの書類には、複数の図面が含まれる。それぞれの図面には、複数の構成要素が含まれる。当該書類に用いられる図面をわかりやすく説明するには、熟練した技術者の知識、ノウハウ、または経験などが必要である。

例えば、情報処理の分野では、複数の構成要素をグラフと呼ばれるデータ構造によって説明する方法が提案されている。グラフは頂点（ノード）と辺（エッジ）の集合からなり、例えば、物の構成要素間の関係だけでなく、コミュニティにおける人と人との繋がりや、交通網など、多様な関係の表現手段に用いられる（特許文献１）。

特開２０１６－１１９０８２号公報

ここでは、製品模式図、組図、または特許出願に含まれる図面などは、ぞれぞれの図面の特徴を捉えて文書（テキスト）化する必要がある。例えば特許の明細書に含まれる図面の説明は、図面に含まれる複数のオブジェクトの位置関係などが重要な意味を有する。ただし、オブジェクト間の位置関係を定義（説明）する範囲については、ばらつきが生じやすい課題がある。また、図形作成プログラムを使用して描画もしくは作図する場合、人間の目には表示された二つのオブジェクトが重なっているように見えても、図形作成プログラム上では、二つのオブジェクトが重なっている場合、または二つのオブジェクトが接していない場合、などの状態が発生する課題がある。

上記課題に鑑み、本発明の一態様は、オブジェクトをテキストに変換させるテキスト生成方法を提供することを課題の一とする。また、本発明の一態様は、オブジェクトをグラフ情報に変換し、当該グラフ情報をテキストに変換するテキスト生成方法を提供することを課題の一とする。また、本発明の一態様は、コンピュータ装置を利用したオブジェクトをテキストに変換させるテキスト生成システムを提供することを課題の一とする。また、本発明の一態様は、複数のオブジェクトで構成される図面などの内容をテキスト化するためのテキスト生成システムを提供することを課題の一とする。

なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。

本発明の一態様は、第１のオブジェクトからテキストを生成するテキスト生成方法である。第１のオブジェクトは、第２のオブジェクトと第３のオブジェクトとを有する。第２のオブジェクトの座標情報を抽出するステップを有する。第３のオブジェクトの座標情報を抽出するステップを有する。第２のオブジェクトと第３のオブジェクトの座標情報から位置関係を抽出するステップを有する。第２のオブジェクトと第３のオブジェクトの位置関係をグラフ情報に変換するステップを有する。グラフ情報から第２のオブジェクトと第３のオブジェクトとの位置関係をテキストとして生成するステップを有するテキスト生成方法である。

本発明の一態様は、画像処理部、特徴抽出部、グラフ生成部、テキスト生成部、およびＧＵＩを有するテキスト生成システムである。画像処理部が、ＧＵＩを介して入力する情報によって形成する第２のオブジェクトと第３のオブジェクトとを用いて第１のオブジェクトを生成するステップを有し、第２のオブジェクトの座標情報を抽出するステップを有し、第３のオブジェクトの座標情報を抽出するステップを有する。特徴抽出部が、第２のオブジェクトと第３のオブジェクトの座標情報から位置関係を抽出するステップを有する。グラフ生成部が、特徴抽出部によって抽出された第２のオブジェクトと第３のオブジェクトとの位置関係をグラフ情報に変換するステップを有し、グラフ情報をＧＵＩに表示するステップを有する。テキスト生成部が、グラフから第２のオブジェクトと第３のオブジェクトとの位置関係をテキストとして生成するステップを有する。テキストをＧＵＩに表示するステップを有するテキスト生成システムである。

本発明の一態様は、画像処理部、特徴抽出部、グラフ生成部、テキスト生成部、およびＧＵＩを有するテキスト生成システムである。画像処理部が、ＧＵＩを介して入力する情報によって形成する第２のオブジェクトと第３のオブジェクトとを用いて第１のオブジェクトを生成するステップを有し、ＧＵＩが表示する第１のオブジェクトの指定した範囲を抽出するステップを有し、指定した範囲内の第２のオブジェクトの座標情報を抽出するステップを有し、指定した範囲内の第３のオブジェクトの座標情報を抽出するステップを有する。特徴抽出部が、第２のオブジェクトと第３のオブジェクトの座標情報から位置関係を抽出するステップを有する。グラフ生成部が、特徴抽出部によって抽出された第２のオブジェクトと第３のオブジェクトの位置関係をグラフ情報に変換するステップを有し、グラフ情報をＧＵＩに表示するステップを有する。テキスト生成部が、グラフ情報から第２のオブジェクトと第３のオブジェクトとの位置関係をテキストとして生成するステップを有し、テキストをＧＵＩに表示するステップを有するテキスト生成システムである。

上記各構成において、テキスト生成システムは、さらに、複数のオブジェクトが登録されたデータベースを有する。また、ＧＵＩを介し、データベースに登録された複数のオブジェクトからいずれか一を選択するステップを有する。また、選択されたオブジェクトを、第１のオブジェクトとしてＧＵＩに表示し、且つ画像処理部に与えるステップを有することが好ましい。

上記各構成において、特徴抽出部が、第２のオブジェクトの座標情報から垂直方向の最小の第１の座標を検出するステップを有し、第３のオブジェクトの座標情報から垂直方向の最小の第２の座標を検出するステップを有し、第１の座標を第２の座標と比較することで第２のオブジェクトが第３のオブジェクトに対する位置関係を抽出するステップを有することが好ましい。

上記各構成において、第１のオブジェクトがラスタ画像の場合、ベクタ画像に変換するステップを有する。第１のオブジェクトがベクタ画像の場合、第１のオブジェクトをラスタ画像に変換した後、ベクタ画像に変換するステップを有することが好ましい。

上記問題に鑑み、本発明の一態様は、オブジェクトをテキストに変換させるテキスト生成方法を提供することができる。また、本発明の一態様は、オブジェクトをグラフ情報に変換し、当該グラフ情報をテキストに変換するテキスト生成方法を提供することができる。また、本発明の一態様は、コンピュータ装置を利用したオブジェクトをテキストに変換させるテキスト生成システムを提供することができる。また、本発明の一態様は、複数のオブジェクトで構成される図面などの内容をテキスト化するためのテキスト生成システムを提供することができる。

なお本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば明細書又は図面などの記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、及び／又は他の効果のうち、少なくとも一つの効果を有するものである。したがって本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。

図１は、テキスト生成システムを説明する図である。
図２は、テキスト生成方法を説明するフローチャートである。
図３は、テキスト生成方法を説明するフローチャートである。
図４は、イメージ図に含まれるオブジェクトを説明する図である。
図５は、オブジェクトを展開して説明する図である。
図６Ａは、オブジェクトの位置情報を抽出する方法を説明する図である。図６Ｂは、オブジェクトの位置情報を抽出する方法を説明する図である。
図７は、グラフ情報を説明する図である。
図８は、テキスト情報を説明する図である。
図９は、テキスト生成システムを説明する図である。
図１０は、テキスト生成方法を説明するフローチャートである。
図１１Ａは、オブジェクトを説明する図である。図１１Ｂは、テキスト情報を説明する図である。
図１２は、テキスト生成システムを説明する図である。

実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。

なお、以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、同様の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。

また、図面において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面に開示された位置、大きさ、範囲などに限定されない。

また、本明細書にて用いる「第１」、「第２」、「第３」という序数詞は、構成要素の混同を避けるために付したものであり、数的に限定するものではないことを付記する。

なお、本明細書では、製品模式図、組図、または特許出願に含まれる図面などに着目して説明する。ただし、当該図面だけに限定されない。複数の構成要素を有する建築物、複数の部品、材料、製品などを収納する倉庫などの在庫管理システムにも適用することができる。

（実施の形態）
本発明の一態様は、オブジェクトからテキストを生成する方法である。まず、本発明の一態様で扱うオブジェクトについて説明する。当該オブジェクトは、コンピュータシステムが有する表示装置に表示される画像の一部を構成する図形、線、テキストなどである。

オブジェクトは、図形作成プログラムなどを用いて作成したデータを用いることができる。また、オブジェクトは、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）、またはＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などのフォーマットを用いてデータを圧縮して保存されるデータを用いることができる。

オブジェクトは、ベクタ画像と、ラスタ画像とに分類することができる。例えば、ベクタ画像はパスで記述されていることを特徴としている。当該パスは、直線、方形、ベジエ曲線などで構成される。よって、ベクタ画像は、オブジェクトの詳細な座標情報を有すると言い換えてもよい。なお、当該パスには、図形を記述するだけでなく、ハッチング（もしくは、塗りつぶし）などのプロパティを含むことができる。よって、当該パスを用いて記述されるオブジェクトは、ユーザがオブジェクトに対してハッチングなどの情報を付与することで様々な状態、組成、材質などの情報をオブジェクトに対して付与することができる。

ラスタ画像は、画像データが格子状（グリッド）に並んだピクセル（画素）の集合体であらわされる。なお、ＪＰＥＧなどを用いてオブジェクトを保存する場合、オブジェクトなどが重なっている状態でラスタ画像として保存すると表示されている情報のみが保存される。言い換えると、複数のオブジェクトが重ね合わさって配置された場合、表示面に表示されているオブジェクトの情報は記憶され、重ね合わさることで非表示になっている部分のオブジェクトのデータは失われる。本発明の一態様では、最初に、オブジェクトがベクタ画像の場合について説明する。なお、ラスタ画像を用いる例については、図３を用いて詳細に説明する。

本実施の形態では、図形作成プログラムなどを用いて作成した第１のオブジェクトの位置関係の情報を説明するテキストを生成する方法について説明する。なお、図形作成プログラムは、コンピュータシステムが有するコンピュータ装置、表示装置、入力装置を用いてユーザが図形を描画し、ベクタ画像を作成することができる。したがって、第１のオブジェクトから、第１のオブジェクトの位置関係の情報を説明するテキストを生成する方法を、テキスト生成システムと言い換えてもよい。

なお、図形作成プログラムは、コンピュータ装置が有する記憶装置に記憶される。図形作成プログラムは、コンピュータ装置が有するプロセッサを利用して、第１のオブジェクトの位置関係の情報を説明するテキストの生成およびユーザが入力装置を介して指示したオブジェクトの描画または記憶を実施することができる。なお、以降において、説明を簡便にするためにコンピュータ装置または図形作成プログラムについての説明は省略する場合がある。

本発明の一態様の処理手順について説明する。第１のオブジェクトは、図形作成プログラムなどによって生成される。したがって、第１のオブジェクトはベクタ画像であることが好ましい。また、第１のオブジェクトは、第２のオブジェクトと第３のオブジェクトとによって構成される。

次に、第２のオブジェクトと第３のオブジェクトの座標位置の情報を抽出するステップを有する。第２のオブジェクトと第３のオブジェクトの座標位置の情報から位置関係を抽出するステップを有する。第２のオブジェクトと第３のオブジェクトの位置関係は、上下左右、内包する、内包しない、接する、または接しないなど、詳細に区別できることが好ましい。

次に、第２のオブジェクトと第３のオブジェクトの位置関係をグラフ情報に変換するステップを有する。グラフ情報には、第２のオブジェクトと第３のオブジェクトの位置関係を詳細に区別する情報が含まれる。当該グラフ情報から第２のオブジェクトと第３のオブジェクトとの位置関係をテキストとして生成するステップを有する。図形作成プログラムは、上述する手順を備えることで第１のオブジェクトから第１のオブジェクトを説明するテキストを生成することができる。なお、第１のオブジェクトから第１のオブジェクトを説明するテキストを生成するプログラムは、図形作成プログラムとは異なるプログラムによって処理されてもよい。または第１のオブジェクトから第１のオブジェクトを説明するテキストを生成するプログラムは、図形作成プログラムに含まれてもよい。

続いて、第１のオブジェクトから第１のオブジェクトを説明するテキストを生成する方法およびシステムについて図１乃至図１２を用いて説明する。

図１で説明するオブジェクトからテキストを生成するテキスト生成システム１００は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）１１０、画像処理部１２０、特徴抽出部１３０、グラフ生成部１４０、テキスト生成部１５０、およびデータベース１６０を有する。なお、ＧＵＩ１１０は、表示装置にオブジェクトを表示する機能、図形作成のための描画ツール、オブジェクトの保存または読み出しなどの機能などを提供するプログラムである。ＧＵＩ１１０は、図形作成プログラムに含まれることが好ましい。

ユーザは、ＧＵＩ１１０を介して第１のオブジェクトを生成することができる。もしくは、ユーザは、データベース１６０に記憶されている複数のオブジェクトからいずれか一のオブジェクトを選択し、第１のオブジェクトとすることができる。

画像処理部１２０には、ＧＵＩ１１０を介して第１のオブジェクトのオブジェクト情報が与えられる。なお、第１のオブジェクトは、複数のオブジェクトによって構成される。画像処理部１２０は、当該オブジェクト情報から座標情報の抽出、ラスタ画像からベクタ画像への変換、ベクタ画像からラスタ画像への変換、ノイズ除去、または第１のオブジェクトの選択範囲の指定などの機能を有する。当該ノイズ除去は、複数のオブジェクトが重なる領域を除去する。なお、当該選択範囲が指定された場合、当該選択範囲内に含まれるオブジェクトのみをテキスト情報に変換する機能を有する。なお、画像処理部１２０は、ベクタ画像のオブジェクト情報を出力する。

特徴抽出部１３０には、画像処理部１２０から当該オブジェクト情報が与えられる。当該特徴抽出部１３０は、各オブジェクトの位置関係を抽出する。各オブジェクトが有するオブジェクト情報には座標位置の情報が含まれるため、各座標位置の情報を比較することでオブジェクトの位置関係を抽出する。なお、位置関係の情報には、上下左右、内包する、内包しない、接する、または接しないなどのいずれか一もしくは複数が選択される。なお、各オブジェクトの位置関係を抽出する方法は、図６で詳細に説明する。

グラフ生成部１４０には、それぞれのオブジェクト情報と、位置関係の情報とが与えられる。グラフ生成部１４０は、それぞれ各オブジェクトの位置関係の情報をもとに第１のオブジェクトを説明するためのグラフ情報１４１を生成する。なお、グラフ生成部１４０は、ＧＵＩ１１０にグラフ情報１４１を表示することができる。なお、グラフ情報１４１の生成例については、図７で詳細に説明する。

テキスト生成部１５０は、グラフ情報１４１からテキスト情報１５１を生成する。テキスト生成部１５０は、ＧＵＩ１１０にテキスト情報１５１を表示することができる。よって、ユーザが生成した第１のオブジェクトが意図した関係で構成されているかを、グラフ情報１４１、またはテキスト情報１５１を用いて確認することができる。また、それぞれのオブジェクトが接しているか確認することができる。さらに、複数のオブジェクトが重なる領域を有していないかを確認することができる。なお、グラフ情報１４１から生成したテキスト情報１５１については、図８で詳細に説明する。

図２は、図１で説明したオブジェクトからテキストを生成するテキスト生成システム１００の動作を説明するフローチャートである。なお、画像は、第１のオブジェクトとして扱うことが出来る。以降では、当該第１のオブジェクトが第２のオブジェクトおよび第３のオブジェクトによって構成される場合について説明する。または、第２のオブジェクトと第３のオブジェクトとを用いて第１のオブジェクトを生成すると言い換えてもよい。

ステップＳ０１は、ＧＵＩ１１０を介してユーザが画像を第１のオブジェクトとして入力するステップである。または、ＧＵＩ１１０を介してデータベース１６０に記憶されている複数の画像のいずれか一を選択し、選択された画像を第１のオブジェクトとすることができる。

ステップＳ０２は、第１のオブジェクトに含まれる第２および第３のオブジェクトを抽出するステップである。抽出される第２および第３のオブジェクトには、それぞれ異なるオブジェクト情報が含まれる。

ステップＳ０３は、当該オブジェクト情報に含まれる座標情報を抽出するステップである。なお、各オブジェクトはベクタ画像であることが好ましい。ベクタ画像を用いることで容易に座標情報を抽出することができる。

ステップＳ０４は、各オブジェクト間の位置関係の情報を取得するステップである。各オブジェクト情報には座標情報が含まれるため、例えば、第２のオブジェクトの最小ｙ座標と、第３のオブジェクトの最小ｙ座標を比較することで第２のオブジェクトに対する第３のオブジェクトの位置関係の情報を抽出する。また、第２のオブジェクトの最小ｙ座標と、第３のオブジェクトの最大ｙ座標を比較することで第２のオブジェクトに対する第３のオブジェクトの位置関係の情報を抽出する。位置関係の情報は、上述したようにオブジェクトが有する様々な座標を比較することで、上下左右、内包する、内包しない、接する、または接しないなどを抽出することができる。なお、位置関係の情報は、上下左右、内包する、内包しない、接する、または接しないなどのいずれか一もしくは複数を抽出結果として与えることができる。

ステップＳ０５は、ステップＳ０４で抽出した第２のオブジェクトに対する第３のオブジェクトの位置関係をグラフ構造に変換し、グラフ情報１４１を生成する。なお、生成したグラフ情報１４１は、ＧＵＩ１１０に表示することができる。

ステップＳ０６は、ステップＳ０５で生成したグラフ情報１４１からテキスト情報１５１を生成する。なお、生成したテキスト情報１５１は、ＧＵＩ１１０に表示することができる。

図３は、図２とは異なるオブジェクトからテキストを生成するテキスト生成システム１００の動作を説明するフローチャートである。なお、以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。

図３は、第２のオブジェクトと第３のオブジェクトとが重なる領域を有する第１のオブジェクトについて説明する。例えば表示装置に当該第１のオブジェクトを表示させた場合、第２のオブジェクトと第３のオブジェクトとに与えられるそれぞれの表示のプロパティ（例えばオブジェクトの重ね合わせの順番）にしたがって表示装置に表示される。しかし、オブジェクトの位置関係をテキスト情報に変換して出力する場合、コンピュータ装置は第２のオブジェクトまたは第３のオブジェクトのいずれが有効な状態なのか判断がつきにくい。

よって、ステップＳ０１は、第２のオブジェクトと第３のオブジェクトとが重なる領域を有する場合の対策として、さらに複数のステップを有する。

ステップＳＦ０１は、ＧＵＩ１１０を介して画像が入力されるステップである。または、ＧＵＩ１１０を介してデータベース１６０に記憶されている複数の画像のいずれか一を選択し、選択された画像を第１のオブジェクトとすることができる。よって、図２のステップＳ０１と同じ機能を有する。

ステップＳＦ０２は、第１のオブジェクトがラスタ画像であるかを判断するステップである。第１のオブジェクトがラスタ画像の場合は、第２のオブジェクトと第３のオブジェクトとが重なる領域は有さない。したがって、ステップＳＦ０３に移行する。

ただし、第１のオブジェクトがベクタ画像の場合は、第２のオブジェクトと第３のオブジェクトとが重なる領域を有する場合がある。したがって、ステップＳＦ０４に移行し、当該第１のオブジェクトをベクタ画像からラスタ画像に変換する。当該第１のオブジェクトをラスタ画像に変換することで表示のプロパティに従って重なり合う領域の下層に位置するオブジェクト情報は除去される。次にステップＳＦ０３に移行する。

ステップＳＦ０３は、ラスタ画像である第１のオブジェクトをベクタ画像に変換するステップである。第１のオブジェクト画像の中で重なり合う領域の情報は、ベクタ画像からラスタ画像へ変換する過程で除去される。次にステップＳ０２に移行する。以降は、図２のフローチャートと処理が同じなため説明を省略する。

図３に示すようにラスタ画像およびベクタ画像が有する特徴を有効に用いることで、異なる複数のオブジェクトが重なり合う領域の情報を除去することができる。したがって、図３で示すようなステップを追加することで、第１のオブジェクトが有するオブジェクトの重なる領域（ノイズ成分）を除去することができる。

図４は、一例として用いるイメージ図１０である。イメージ図１０は、第１のオブジェクトを含む。当該第１のオブジェクトは、複数のオブジェクトによって構成されるトランジスタの断面模式図である。トランジスタは、複数の絶縁層、複数の導電層、及び複数の半導体層を有する。なお、絶縁層は複数の異なる組成を有し、導電層は異なる組成または積層構造を有し、半導体層は異なる組成または異なる添加物を有する場合がある。

図４で示すオブジェクト４００、オブジェクト４０１、オブジェクト３０１ａ、オブジェクト３０１ｂ、オブジェクト３０２、オブジェクト３０３、オブジェクト４０２、オブジェクト４１０ａ、オブジェクト４１０ｂ、オブジェクト４０８、およびオブジェクト４１２は絶縁層である。

また、オブジェクト３１０、オブジェクト４１６ａ１、オブジェクト４１６ａ２、オブジェクト４０４、オブジェクト４２９、オブジェクト４３０、オブジェクト４３１、およびオブジェクト４３２は、導電層である。

また、オブジェクト４０６ａ、オブジェクト４０６ｂ、およびオブジェクト４０６ｃは、半導体層である。

なお、絶縁層、導電層、及び半導体層をコンピュータ装置が識別するために、それぞれのオブジェクトには、ハッチング情報を与えることができる。なお、図４では、一例として、同じ組成を有する絶縁層、導電層、及び半導体層は、同じハッチング情報を与えている。

図５は、図４で説明した第１のオブジェクトを、複数のオブジェクトに展開した図である。オブジェクト４１０ａおよびオブジェクト４０８は、オブジェクト４３１と重なる領域を有するが、ラスタ画像に変換するステップＳＦ０４を実行することで重なり合う領域の下層に位置するオブジェクト情報は除去される。オブジェクト４１０ｂおよびオブジェクト４０８は、オブジェクト４２９と重なる領域を有するが、ラスタ画像に変換するステップＳＦ０４を実行することで重なり合う領域の下層に位置するオブジェクト情報は除去される。なお、オブジェクト４１０ａおよびオブジェクト４１０ｂは、同じ工程で形成される絶縁層であるが、イメージ図１０に示すように、ユーザが異なる名称をオブジェクトに与える場合がある。なお、オブジェクトから、当該オブジェクトを説明するためのテキストを生成する場合は、それぞれのオブジェクトに名称を付与することが好ましい。

図６Ａ、図６Ｂは、オブジェクトの位置情報を抽出する方法を説明する図である。図６Ａは、オブジェクトＯＡおよびオブジェクトＯＢが接する形で配置された例である。オブジェクトＯＡおよびオブジェクトＯＢは、ベクタ画像である。ベクタ画像のオブジェクトは、多角形であれば各頂点を、円であれば円の中心と半径を、座標情報として有する。例えば、オブジェクトＯＡは、頂点座標Ａ０乃至頂点座標Ａ４を有し、オブジェクトＯＢは、頂点座標Ｂ０乃至頂点座標Ｂ５を有する。

まず、図６Ａを用いて、多角形のオブジェクトＯＡおよび多角形のオブジェクトＯＢの位置関係を判断する方法について説明する。例えば、オブジェクトＯＡが有する頂点座標Ａ０乃至頂点座標Ａ４の中からｙ座標が最も小さな頂点を抽出する。次に、オブジェクトＯＢが有する頂点座標Ｂ０乃至頂点座標Ｂ５の中からｙ座標が最も小さな頂点を抽出する。頂点座標Ａ０乃至頂点座標Ａ４の中からｙ座標が最も小さな頂点のｙ座標が、頂点座標Ｂ０乃至頂点座標Ｂ５の中からｙ座標が最も小さな頂点のｙ座標よりも小さければ、少なくともオブジェクトＯＡは、オブジェクトＯＢよりも下に位置する領域を有すると判断することができる。同様に、それぞれのオブジェクトの頂点を比較することで、オブジェクトＯＡおよびオブジェクトＯＢの位置関係を判断することができる。

次に、オブジェクトＯＡおよびオブジェクトＯＢが接しているかを判断する方法について説明する。例えば、オブジェクトＯＡが有する頂点座標Ａ０乃至頂点座標Ａ４の隣り合う頂点を通る直線の一次式ｆ（ｘ）を決定する。当該一次式ｆ（ｘ）に対してオブジェクトＯＢが有する頂点座標Ｂ０乃至頂点座標Ｂ５のいずれか一の頂点との距離が“０”であり、当該いずれか一の頂点と隣り合う頂点が、当該一次式ｆ（ｘ）との距離が“０”であれば、オブジェクトＯＡは、オブジェクトＯＢと接していると判断することができる。

上述したように、それぞれのオブジェクトが有する頂点に対してすべての条件を用いて判断することで、より正確な位置関係に関する情報を得ることができる。なお、すべての頂点に関する比較をする場合、ニューラルネットワークを用いてもよい。

図６Ｂで示す多角形のオブジェクトＯＡ、オブジェクトＯＢ、およびオブジェクトＯＣの位置関係を判断する方法について説明する。例えば、オブジェクトＯＡ、オブジェクトＯＢ、およびオブジェクトＯＣのそれぞれの頂点から、ｙ座標が最大、且つｘ座標が最大または最小な頂点と、ｙ座標が最小、且つｘ座標が最大または最小な頂点を抽出する。

例えば、オブジェクトＯＡから抽出した頂点座標は、頂点座標Ａ０乃至頂点座標Ａ３である。頂点座標Ａ３は、ｙ座標が最大、且つｘ座標が最小な頂点であり、頂点座標Ａ２は、ｙ座標が最大、且つｘ座標が最大な頂点である。また、頂点座標Ａ０は、ｙ座標が最小、且つｘ座標が最小な頂点であり、頂点座標Ａ１は、ｙ座標が最小、且つｘ座標が最大な頂点である。

また、オブジェクトＯＢから抽出した頂点座標は、頂点座標Ｂ０乃至頂点座標Ｂ３であり、オブジェクトＯＡと同様に特徴のある頂点を抽出することが出来る。また、オブジェクトＯＣから抽出した頂点座標は、頂点座標Ｃ０乃至頂点座標Ｃ３であり、オブジェクトＯＡと同様に特徴のある頂点を抽出することが出来る。

例えば、頂点座標Ａ２および頂点座標Ａ３のｙ座標が、頂点座標Ｂ２および頂点座標Ｂ３のｙ座標よりも小さい場合は、少なくともオブジェクトＯＢはオブジェクトＯＡよりも上に位置する領域を有する。また、頂点座標Ａ０および頂点座標Ａ１のｙ座標が、頂点座標Ｂ０および頂点座標Ｂ１のｙ座標よりも大きい場合は、少なくともオブジェクトＯＢはオブジェクトＯＡよりも下に位置する領域を有する。

ここで図６Ａで説明したように、オブジェクトＯＡ、オブジェクトＯＢ、およびオブジェクトＯＣの各頂点座標に対してそれぞれのオブジェクトが接するかの判断を行う。詳細は省略するが、オブジェクトＯＡの頂点座標Ａ２及び頂点座標Ａ３を直線で結ぶ一次式とオブジェクトＯＢが有する頂点座標Ｂのいずれかとの距離が“０”であることがわかる。したがって、オブジェクトＯＢは、オブジェクトＯＡの上方に位置し接していると判断することができる。

また、オブジェクトＯＡの頂点座標Ａ０及び頂点座標Ａ３を直線で結ぶ一次式とオブジェクトＯＢが有する頂点座標Ｂとの距離が“０”であることがわかる。したがって、オブジェクトＯＢは、オブジェクトＯＡの左側面に位置し接していると判断することができる。同様に、オブジェクトＯＡの頂点座標Ａ１及び頂点座標Ａ２を直線で結ぶ一次式とオブジェクトＯＢが有する頂点座標Ｂのいずれかとの距離が“０”であることがわかる。したがって、オブジェクトＯＢは、オブジェクトＯＡの右側面に位置し接していると判断することができる。したがって、オブジェクトＯＢは、オブジェクトＯＡを覆うように接していると判断することができる。

なお、位置関係を表す表現は、複数登録されていることが好ましい。それぞれ判断の条件が異なる。

例えば、「オブジェクトＯＢがオブジェクトＯＡの上に位置する。」と判断することができる。

例えば、「オブジェクトＯＢがオブジェクトＯＡの上方に位置する。」と判断することができる。

例えば、「オブジェクトＯＢがオブジェクトＯＡの上に接する。」と判断することができる。

例えば、「オブジェクトＯＢがオブジェクトＯＡの上に覆うように接する。」と判断することができる。

図７は、グラフ情報を説明する図である。図７は、図４で説明したそれぞれのオブジェクトの位置関係の情報をグラフ構造に変換し、グラフ情報１０Ａとして出力した結果である。例えば、オブジェクト４００は、“１ｓｔ＿ｉｎｓｕｌａｔｉｎｇ＿Ｌａｙｅｒ”として表示している。なお、図７では、説明を簡便にするために、一例として、対象のオブジェクトと比較対象のオブジェクトのどちらが上（ｏｖｅｒと表記）なのかについて位置関係の情報を抽出している。

図８は、テキスト情報１０Ｂを説明する図である。図８は、図７でグラフ情報１０Ａとして抽出したそれぞれのオブジェクトの位置関係の情報をテキスト情報１０Ｂとして表示した場合の一例である。なお、オブジェクトの位置関係の情報をテキスト情報として出力するための記述のルールを以下に示す。

対象のオブジェクト－＞比較対象のオブジェクト［ｌａｂｅｌ＝検出位置］

左辺には対象のオブジェクトを記述し、右辺には比較対象のオブジェクトと、比較対象のオブジェクトに対する検出位置を位置関係ｌａｂｅｌとして示している。

一例として、１行目について説明する。“２ｎｄ＿ｉｎｓｕｌａｔｏｒ［４０１］”－＞“１ｓｔ＿ｉｎｓｕｌａｔｏｒ［４００］”［ｌａｂｅｌ＝“ｏｖｅｒ”］とは、“絶縁層［４００］上に絶縁層［４０１］を有する。”と言い換えることができる。

図９は、コンピュータシステム２００を説明する図である。コンピュータシステム２００は、表示装置２０１、コンピュータ装置２０２、入力装置２０３を有する。表示装置２０１は、表示領域２０１Ａを有する。表示領域２０１Ａには、ＧＵＩ２１０が表示される。ＧＵＩ２１０は、入力装置２０３を用いて、オブジェクトの描画、データベースからのオブジェクトの検索などができる。なお、図９では表示していないが、ＧＵＩ２１０は、図７で示したグラフ情報１０Ａ、図８で示したテキスト情報１０Ｂなどを表示することができる。

なお、本発明の一態様では、ＧＵＩ２１０に表示されているイメージ図１０が含むオブジェクトの一部の範囲２０に着目してテキスト化することができる。なお、範囲２０は、入力装置２０３によって操作されるカーソル２０３ａを用いると容易に選択することができる。当該選択範囲が指定されたオブジェクトは、選択範囲内に含まれるオブジェクトの領域のみがテキスト情報へ変換する対象範囲になる。したがって、オブジェクト情報に含まれる座標情報は、当該選択範囲内に収まるように更新される。

図１０は、図３とは異なるオブジェクトからテキストを生成するテキスト生成システム１００の動作を説明するフローチャートである。図１０は、図９で範囲２０によって選択されたオブジェクトの位置関係の情報からテキストを生成する。なお、以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。

図１０は、ステップＳＦ０５と、ステップＳＦ０６を有する点が、図３とは異なっている。ステップＳＦ０５は、ＧＵＩ２１０に表示されたオブジェクトから、選択範囲として範囲２０を指定するステップである。

ユーザが設定する範囲２０に含まれるオブジェクトは、範囲２０の外側にはみ出ている領域のオブジェクト情報を除去し、当該オブジェクト情報の座標情報を更新する。したがって、ユーザは、範囲２０に含まれるオブジェクトの位置関係の情報をテキストとして確認することができる。例えば、オブジェクトの構成要素が多い場合、当該オブジェクトから範囲２０によって設定された範囲内にあるオブジェクトをテキスト情報に変換することでオブジェクトの内容を確認することができる。異なる例として、特許の請求項を作成する場合、特許図面の一部の範囲に着目することでオブジェクトの位置関係を漏れなく定義するための支援情報として活用することができる。

ステップＳＦ０６は、グラフ情報またはテキスト情報を生成するときの基準位置として基準オブジェクトを指定することができる。

一例として、特許の請求項を作成する場合、オブジェクトの一部を基準オブジェクトとして指定することで、当該基準オブジェクトを中心に位置関係の情報からグラフ構造を有するグラフ情報またはテキスト情報を生成することができる。

次にステップＳ０２に移行する。以降は、図２のフローチャートと処理が同じなため説明を省略する。

図１０のフローチャートに示すように範囲２０を指定することで、ユーザが着目する範囲についての詳細な位置関係の情報を容易に得ることができる。また基準オブジェクトを指定することで、基準オブジェクトを中心とした上下左右、接する、または接しないなどの位置関係の情報を容易に得ることができる。

図１１Ａは、一例として、図１０で範囲２０によって選択されたオブジェクトを説明する図である。例えば、オブジェクト４００は、範囲２０で選択されることで、座標位置の情報が更新される。オブジェクト４０１、オブジェクト３０１ｂ、オブジェクト３０２、オブジェクト３０３、オブジェクト４０２、オブジェクト４０６ａ、オブジェクト４０６ｂ、オブジェクト４１６ａ２、オブジェクト４１０ｂ、オブジェクト４０８、オブジェクト４２９、オブジェクト４３０も同様に座標位置の情報が更新される。

図１１Ｂは、図１１Ａで範囲２０によって選択されたオブジェクトを説明するテキスト情報２０Ａである。範囲２０によって選択される範囲のみがブラフ構造を有するグラフ情報（非表示）およびテキスト情報２０Ａとして生成される。

図１２は、オブジェクトからテキストを生成するシステムを説明する図である。オブジェクトからテキストを生成するシステムは、コンピュータ装置を利用する。コンピュータ装置２０２は、ネットワークを介してデータベース２２１、リモートコンピュータ２２２、またはリモートコンピュータ２２３に接続される。コンピュータ装置２０２は、演算装置２１１、メモリ２１２、入出力インターフェース２１３、通信デバイス２１４、およびストレージ２１５を有する。コンピュータ装置２０２は、入出力インターフェース２１３を介して、表示装置２０１、およびキーボード２１６と電気的に接続される。また、コンピュータ装置２０２は、通信デバイス２１４を介してネットワークインターフェース２１７と電気的に接続され、ネットワークインターフェース２１７はネットワークを介してデータベース２２１、リモートコンピュータ２２２、リモートコンピュータ２２３と電気的に接続される。

ここで、ネットワークには、ローカルエリアネットワーク（ＬＡＮ）や、インターネットが含まれる。また、上記ネットワークは、有線、および無線のいずれか一方、または両方による通信を用いることができる。また、上記ネットワークにおいて無線通信を用いる場合、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離通信手段の他に、第３世代移動通信システム（３Ｇ）に準拠した通信手段、ＬＴＥ（３．９Ｇと呼ぶ場合もある）に準拠した通信手段、第４世代移動通信システム（４Ｇ）に準拠した通信手段、または第５世代移動通信システム（５Ｇ）に準拠した通信手段などの様々な通信手段を用いることができる。

本発明の一態様であるオブジェクトからテキストを生成するにはプログラムによって実行される。当該プログラムは、コンピュータ装置２０２が有するメモリ２１２またはストレージ２１５に保存されている。プログラムは、演算装置２１１を用いて、オブジェクトからテキストを生成する。プログラムは、入出力インターフェース２１３を介して表示装置に表示することができる。ユーザは、表示装置２０１に表示されたＧＵＩに対して、キーボードまたはマウスなどによる指示をすることで、製品仕様書、組図、または特許の公報などに記載の図面の画像（オブジェクト）をプログラムに与えることができる。表示装置２０１は、オブジェクトから生成したグラフ情報またはテキスト情報を表示することができる。

なお、オブジェクトからテキストを生成する方法を実行するプログラムは、ネットワークを介してリモートコンピュータ２２２、またはリモートコンピュータ２２３でも利用することができる。または、データベース２２１、リモートコンピュータ２２２、またはリモートコンピュータ２２３が有するメモリまたはストレージに保存された当該プログラムを利用して、コンピュータ装置２０２で動作させることができる。リモートコンピュータ２２２は、スマートフォン、タブレットコンピュータ、ノート型コンピュータなどの携帯情報端末でもよい。携帯情報端末などの場合は、無線通信を用いて通信することができる。

よって、本発明の一態様は、オブジェクトをテキストに変換させるテキスト生成方法を提供することができる。また、本発明の一態様は、オブジェクトをグラフ情報に変換し、当該グラフ情報をテキストに変換するテキスト生成方法を提供することができる。また、本発明の一態様は、コンピュータ装置を利用したオブジェクトをテキストに変換させるテキスト生成システムの提供することができる。また、本発明の一態様は、複数のオブジェクトで構成される図面などの内容をテキスト化するためのテキスト生成システムの提供することができる。

本実施の形態は、その一部を適宜組み合わせて実施することができる。

Ａ０：頂点座標、Ａ１：頂点座標、Ａ２：頂点座標、Ａ３：頂点座標、Ａ４：頂点座標、Ｂ０：頂点座標、Ｂ１：頂点座標、Ｂ２：頂点座標、Ｂ３：頂点座標、Ｂ４：頂点座標、Ｂ５：頂点座標、Ｃ０：頂点座標、Ｃ１：頂点座標、Ｃ２：頂点座標、Ｃ３：頂点座標、１０：イメージ図、１０Ａ：グラフ情報、１０Ｂ：テキスト情報、２０：範囲、２０Ａ：テキスト情報、１００：テキスト生成システム、１１０：ＧＵＩ、１２０：画像処理部、１３０：特徴抽出部、１４０：グラフ生成部、１４１：グラフ情報、１５０：テキスト生成部、１５１：テキスト情報、１６０：データベース、２００：コンピュータシステム、２０１：表示装置、２０１Ａ：表示領域、２０２：コンピュータ装置、２０３：入力装置、２０３ａ：カーソル、２１０：ＧＵＩ、２１１：演算装置、２１２：メモリ、２１３：入出力インターフェース、２１４：通信デバイス、２１５：ストレージ、２１６：キーボード、２１７：ネットワークインターフェース、２２１：データベース、２２２：リモートコンピュータ、２２３：リモートコンピュータ、３０１ａ：オブジェクト、３０１ｂ：オブジェクト、３０２：オブジェクト、３０３：オブジェクト、３１０：オブジェクト、４００：オブジェクト、４０１：オブジェクト、４０２：オブジェクト、４０４：オブジェクト、４０６ａ：オブジェクト、４０６ｂ：オブジェクト、４０６ｃ：オブジェクト、４０８：オブジェクト、４１０ａ：オブジェクト、４１０ｂ：オブジェクト、４１２：オブジェクト、４１６ａ１：オブジェクト、４１６ａ２：オブジェクト、４２９：オブジェクト、４３０：オブジェクト、４３１：オブジェクト、４３２：オブジェクト

Claims (6)

1. 第１のオブジェクトからテキストを生成するテキスト生成方法であって、
   前記テキスト生成方法は、コンピュータ装置が有するプロセッサを用いて行われ、
   前記第１のオブジェクトは、第２のオブジェクトと第３のオブジェクトとを有し、
   前記第２のオブジェクトの座標情報を抽出するステップを有し、
   前記第３のオブジェクトの座標情報を抽出するステップを有し、
   前記第２のオブジェクトと前記第３のオブジェクトの座標情報から位置関係を抽出するステップを有し、
   前記第２のオブジェクトと前記第３のオブジェクトの位置関係をグラフ情報に変換するステップを有し、
   前記グラフ情報から前記第２のオブジェクトと前記第３のオブジェクトとの位置関係をテキストとして生成するステップを有するテキスト生成方法。
2. 画像処理部、特徴抽出部、グラフ生成部、テキスト生成部、およびＧＵＩを有するテキスト生成システムであって、
   前記画像処理部が、
   前記ＧＵＩを介して入力する情報によって形成する第２のオブジェクトと第３のオブジェクトとを用いて第１のオブジェクトを生成する機能を有し、
   前記第２のオブジェクトの座標情報を抽出する機能を有し、
   前記第３のオブジェクトの座標情報を抽出する機能を有し、
   前記特徴抽出部が、
   前記第２のオブジェクトと前記第３のオブジェクトの座標情報から位置関係を抽出する機能を有し、
   前記グラフ生成部が、
   前記特徴抽出部によって抽出された前記第２のオブジェクトと前記第３のオブジェクトの位置関係をグラフ情報に変換する機能を有し、
   前記グラフ情報を前記ＧＵＩに表示する機能を有し、
   前記テキスト生成部が、
   前記グラフ情報から前記第２のオブジェクトと前記第３のオブジェクトとの位置関係をテキストとして生成する機能を有し、
   前記テキストを前記ＧＵＩに表示する機能を有するテキスト生成システム。
3. 画像処理部、特徴抽出部、グラフ生成部、テキスト生成部、およびＧＵＩを有するテキスト生成システムであって、
   前記画像処理部が、
   前記ＧＵＩを介して入力する情報によって形成する第２のオブジェクトと第３のオブジェクトとを用いて第１のオブジェクトを生成する機能を有し、
   前記ＧＵＩが表示する前記第１のオブジェクトの指定した範囲を抽出する機能を有し、
   前記指定した範囲内の前記第２のオブジェクトの座標情報を抽出する機能を有し、
   前記指定した範囲内の前記第３のオブジェクトの座標情報を抽出する機能を有し、
   前記特徴抽出部が、
   前記第２のオブジェクトと前記第３のオブジェクトの座標情報から位置関係を抽出する機能を有し、
   前記グラフ生成部が、
   前記特徴抽出部によって抽出された前記第２のオブジェクトと前記第３のオブジェクトの位置関係をグラフ情報に変換する機能を有し、
   前記グラフ情報を前記ＧＵＩに表示する機能を有し、
   前記テキスト生成部が、
   前記グラフ情報から前記第２のオブジェクトと前記第３のオブジェクトとの位置関係をテキストとして生成する機能を有し、
   前記テキストを前記ＧＵＩに表示する機能を有するテキスト生成システム。
4. 請求項２または請求項３において、
   さらに、複数のオブジェクトが登録されたデータベースを有し、
   前記ＧＵＩを介し、前記データベースに登録された前記複数のオブジェクトからいずれかーを選択する機能を有し、
   前記選択されたオブジェクトを、前記第１のオブジェクトとして前記ＧＵＩに表示し、且つ前記画像処理部に与える機能を有するテキスト生成システム。
5. 請求項２または請求項３において、
   前記特徴抽出部が、
   前記第２のオブジェクトの座標情報から垂直方向の最小の第１の座標を検出する機能を有し、
   前記第３のオブジェクトの座標情報から垂直方向の最小の第２の座標を検出する機能を有し、
   前記第１の座標を前記第２の座標と比較することで前記第２のオブジェクトが前記第３のオブジェクトに対する位置関係を抽出する機能を有するテキスト生成システム。
6. 請求項２乃至請求項４において、
   前記第１のオブジェクトがラスタ画像の場合、ベクタ画像に変換する機能を有し、
   前記第１のオブジェクトがベクタ画像の場合、前記第１のオブジェクトをラスタ画像に変換した後、ベクタ画像に変換する機能を有するテキスト生成システム。

Images