JP7381242B2 - アノテーション方法 - Google Patents

Description

本発明の一態様は、情報処理方法、および情報処理システムに関する。

なお、本発明の一態様は、上記の技術分野に限定されない。本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、発光装置、蓄電装置、記憶装置、電子機器、照明装置、入力装置、入出力装置、それらの駆動方法、またはそれらの製造方法、を一例として挙げることができる。なお、本明細書等において、半導体装置は、半導体特性を利用することで機能し得る装置全般を指す。

近年、深層学習を用いて、画像の説明文を機械が自動的に生成するキャプション生成という技術が注目されている。

キャプション生成の教師データとして種々のデータセットが提案されている。例えば、ＭＳＣＯＣＯというデータセットがある（非特許文献１参照）

Ｔｓｕｎｇ－Ｙｉ Ｌｉｎ ｅｔ ａｌ．，"Ｍｉｃｒｏｓｏｆｔ ＣＯＣＯ：Ｃｏｍｍｏｎ Ｏｂｊｅｃｔｓ ｉｎ Ｃｏｎｔｅｘｔ"、ＥＣＣＶ２０１４、ｐ．７４０－７５５

非特許文献１に示すように、キャプション生成の教師データとして種々のデータセットが提案されているが、具体的な利用方法については、鋭意開発が進められている。

本発明の一態様は、新規なデータセットの収集方法を提供することを目的の一つとする。または、本発明の一態様は、新規なアノテーション方法を提供することを目的の一つとする。または、本発明の一態様は、新規なアノテーションシステムを提供することを目的の一つとする。なお、本明細書等において、所定のデータと、当該所定のデータと異なるデータと、を互いに紐づける作業のことをアノテーション、またはアノテーション方法と呼ぶ。

なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、特許請求の範囲などの記載から、自ずと明らかとなるものであり、明細書、図面、特許請求の範囲などの記載から、これら以外の課題を抽出することが可能である。

本発明の一態様は、アノテーションのうち、特に特許図面と請求項の構成要素を紐づける作業に関してである。

例えば、キャプション生成技術を用いて、特許図面から請求項を自動的に生成することを考える。そのためには、教師データとして、請求項のテキストデータと、当該請求項をサポートする特許図面のデータセットが必要である。また、図１に示すように、上述の特許図面は、請求項の構成要素を含み、それら構成要素ごとに塗分けされている必要がある。つまり、図面のデータと、構成要素のデータが、互いに紐づけされている必要がある。上記データセットの作成には人手による作業が必要であるため、当該データセットの収集を効率よく収集することは重要となる。より具体的には、以下の通りである。

本発明の一態様は、特許ＩＤ、および請求項番号を入力することで、請求項番号に記載されている文章、および請求項番号に記載されている構成要素をデータベースから抽出する第１のステップと、請求項番号に対応する図番号を入力することで、請求項番号に対応する第１の図を表示する第２のステップと、第１の図の符号、引き出し線およびハッチングを消去することで、第１の図の符号、引き出し線およびハッチングが消去された、第２の図を表示する第３のステップと、構成要素に対応する符号を入力する第４のステップと、符号に対応する第２の図中の構成要素の座標を入力する第５のステップと、構成要素の領域を着色する第６のステップと、を有し、第６のステップは、構成要素の領域の画素の連結成分を見つけて、連結成分ごとに番号（ラベル）を割りあてる処理を行う、アノテーションシステムである。

また、上記において、第３のステップは、第１のフィルター乃至第４のフィルターによる畳み込みによって、第１の図の引き出し線およびハッチングを消去し、第１のフィルターと第２のフィルターは、互いに転置行列の関係にあり、第３のフィルターは対角行列であり、第４のフィルターは反対角行列であることが好ましい。

また、上記において、第１のフィルターは、ｍ次の正方行列（ｍは３以上の奇数）であり、（ｍ＋１）／２行目以外の成分は全て０であり、（ｍ＋１）／２行目の成分においては、（ｍ＋１）／２列目の成分が０であり、それ以外の列の成分が全て１であり、第３のフィルターは、ｎ次の対角行列（ｎは３以上の奇数）であり、対角成分において、（ｎ＋１）／２行目の成分のみを０とし、それ以外の対角成分は全て１であり、第４のフィルターは、ｎ次の反対角行列であり、反対角成分において、（ｎ＋１）／２行目の成分のみを０とし、それ以外の反対角成分は全て１である、ことが好ましい。

また、本発明の一態様は、特許ＩＤ、および請求項番号を入力することで、請求項番号に記載されている文章、および請求項番号に記載されている構成要素をデータベースから抽出する第１のステップと、請求項番号に対応する図番号を入力することで、請求項番号に対応する第１の図を表示する第２のステップと、第１の図の符号、引き出し線およびハッチングを消去することで、第１の図の符号、引き出し線およびハッチングが消去された、第２の図を表示する第３のステップと、構成要素に対応する符号を入力する第４のステップと、符号に対応する第２の図中の構成要素の座標を入力する第５のステップと、構成要素の領域を着色する第６のステップと、を有し、第７のステップは、構成要素の領域の画素の連結成分を見つけて、連結成分ごとに番号（ラベル）を割りあてる処理を行う、アノテーション方法である。

また、上記のアノテーション方法において、第３のステップは、第１のフィルター乃至第４のフィルターによる畳み込みによって、第１の図の引き出し線およびハッチングを消去し、第１のフィルターと第２のフィルターは、互いに転置行列の関係にあり、第３のフィルターは対角行列であり、第４のフィルターは反対角行列である。

また、上記のアノテーション方法において、第１のフィルターは、ｍ次の正方行列（ｍは３以上の奇数）であり、（ｍ＋１）／２行目以外の成分は全て０であり、（ｍ＋１）／２行目の成分においては、（ｍ＋１）／２列目の成分が０であり、それ以外の列の成分が全て１であり、第３のフィルターは、ｎ次の対角行列（ｎは３以上の奇数）であり、対角成分において、（ｎ＋１）／２行目の成分のみを０とし、それ以外の対角成分は全て１であり、第４のフィルターは、ｎ次の反対角行列であり、反対角成分において、（ｎ＋１）／２行目の成分のみを０とし、それ以外の反対角成分は全て１である。

本発明の一態様により、新規なデータセットの収集方法を提供することができる。または、本発明の一態様により、新規なアノテーション方法を提供することができる。または、本発明の一態様により、新規なアノテーションシステムを提供することができる。

なお、これらの効果の記載は、他の効果の存在を妨げるものではない。なお、本発明の一態様は、これらの効果の全てを有する必要はない。なお、これら以外の効果は、明細書、図面、特許請求の範囲などの記載から、自ずと明らかとなるものであり、明細書、図面、特許請求の範囲などの記載から、これら以外の効果を抽出することが可能である。

図１は本発明の一態様であるシステム１０を説明する図である。 図２は本発明の一態様であるシステム１０のイメージ図である。 図３は本発明の一態様であるシステム１０を説明する図である。 図４は本発明の一態様であるシステム１０を説明する図である。 図５は本発明の一態様であるシステム１０を説明する図である。 図６は本発明の一態様であるシステム１０を説明する図である。 図７は本発明の一態様であるシステム１０を説明する図である。 図８は本発明の一態様であるシステム１０の処理の流れを説明するフローチャートである。 図９（Ａ）（Ｂ）は本発明の一態様である畳み込みの具体例について説明する図である。 図１０（Ａ）（Ｂ）は本発明の一態様である畳み込みの具体例について説明する図である。 図１１は本発明の一態様である畳み込みの具体例について説明する図である。 図１１（Ａ）（Ｂ）（Ｃ）は本発明の一態様であるフィルターを説明する図である。

以下、実施の形態について図面を参照しながら説明する。ただし、実施の形態は多くの異なる態様で実施することが可能であり、趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは、当業者であれば容易に理解される。したがって、本発明は、以下の実施の形態の記載内容に限定して解釈されるものではない。

また、図面において、大きさ、層の厚さ、または領域は、明瞭化のために誇張されている場合がある。よって、必ずしもそのスケールに限定されない。なお、図面は、理想的な例を模式的に示したものであり、図面に示す形状または値などに限定されない。例えば、実際の製造工程において、エッチングなどの処理により層やレジストマスクなどが意図せずに目減りすることがあるが、理解を容易とするため、図に反映しないことがある。また、図面において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する場合がある。また、同様の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。

また、特に上面図（「平面図」ともいう。）や斜視図などにおいて、発明の理解を容易とするため、一部の構成要素の記載を省略する場合がある。また、一部の隠れ線などの記載を省略する場合がある。

また、本明細書等において、第１、第２等として付される序数詞は便宜上用いるものであり、工程順または積層順を示すものではない。そのため、例えば、「第１の」を「第２の」または「第３の」などと適宜置き換えて説明することができる。また、本明細書等に記載されている序数詞と、本発明の一態様を特定するために用いられる序数詞は一致しない場合がある。

また、本明細書等において、「上に」、「下に」などの配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている。また、構成同士の位置関係は、各構成を描写する方向に応じて適宜変化するものである。したがって、明細書で説明した語句に限定されず、状況に応じて適切に言い換えることができる。

（実施の形態１）
本実施の形態では、図１乃至図７を用いて、本発明の一態様に係る効率的なアノテーションシステムについて説明する。また、本実施の形態では、特許明細書、特許請求の範囲、および特許図面のデータベースを有する、システム１０を用いてアノテーションが行われるものとする。図２にシステム１０のイメージ図を示す。

＜ステップ１＞
まず、アノテーションのステップ１として作業者は、システム１０へ特許ＩＤ（例えば特許番号、特許整理番号など）、およびその特許ＩＤが有する請求項の番号を入力する。システム１０は、入力された、特許ＩＤ、および請求項の番号に対応する請求項に記載されている本文、およびその請求項に記載されている構成要素をデータベースから抽出する。本実施の形態では、一例として、特許ＩＤ２０２０－０００１、および請求項１をシステムに入力する。図３に、システム１０の表示例を示す。図３に示すように、請求項１の本文、および請求項１に記載されている構成要素が表示される。

＜ステップ２＞
次に、アノテーションのステップ２として請求項１に対応する特許図面の番号を入力する。本実施の形態では、特許図面Ｙを入力する。システム１０は、データベースから特許図面Ｙを抽出し表示する（図４参照）。

＜ステップ３＞
また、アノテーションのステップ３として特許図面Ｙに記載されている、符号、引き出し線、およびハッチングを消去した図（特許図面Ｚと呼ぶ）も表示する（図４参照）。なお、符号、引き出し線、およびハッチングを消去する方法については、後述する。

＜ステップ４＞
次に、アノテーションのステップ４として構成要素に対応する符号をシステム１０に入力する。本実施の形態では、酸化物半導体に対応する符号である２０６ｂを、第１の導電体に対応する符号である２４６を、第２の導電体の対応する符号である２６０を、第３の導電体に対応する符号である２４３を、第１の絶縁体に対応する符号である２５０を、第２の絶縁体に対応する符号である２８０を、それぞれシステム１０に入力する（図５参照）。

＜ステップ５＞
次に、アノテーションのステップ５として特許図面Ｚの各構成要素の座標を入力する。システム１０では、特許図面Ｚの構成要素にマウスなどを用いてカーソルを合わせると、その構成要素の特許図面Ｚ中の座標が表示される。例えば、酸化物半導体の領域にカーソルを合わせるとそのカーソル位置の座標（３６０、４９２）が表示され、次にクリックなどの動作を行うことで、自動的にその座標がシステム１０に入力されるようにすればよい（図６参照）。なお、構成要素が複数の領域にまたがる場合は、構成要素に複数の座標を入力してもよい。これを、特許図面Ｚ中のすべての構成要素に対して行えばよい（図７参照）。

＜ステップ６＞
次に、アノテーションのステップ６として、ステップ４にて、各構成要素に座標が与えられた領域を塗分ける。本実施の形態では、色分けして着色する（図１参照）。例えば、酸化物半導体２３０ｂの領域は青色に、第１の導電体２４６の領域は水色に、第２の導電体２６０の領域は赤色に、第３の導電体２４３の領域は黄色に、第１の絶縁体２５０の領域は白色に、第２の絶縁体２８０の領域は緑色に、それぞれ着色される。各構成要素の領域を色分けして着色する方法としては、画像のラベリング処理を用いればよい。上記画像のラベリング処理とは、画素の連結成分を見つけて、連結成分ごとに番号（ラベル）を割りあてる処理である。画像のラベリング処理を行うプログラムとして、例えば、ＯｐｅｎＣＶのｃｏｎｎｅｃｔｅｄＣｏｍｐｏｎｅｎｔｓ関数などが挙げられる。なお、本実施の形態では、色分けによるラベリング処理を用いたが、これに限定されない。例えば、模様などをラベリングしてもよい。

以上のようにステップ１乃至ステップ６を行うことで、特許ＩＤ２０２０－０００１の請求項１と対応する特許図面Ｙについて、特許図面Ｙから構成要素ごとに色分けされている特許図面Ｚを作成し、請求項に記載されている構成要素の対応箇所と、のアノテーションを行い、アノテーションされたデータセットを作成することができる。また、ステップ１乃至ステップ６を複数の特許ＩＤに対して行うことで、アノテーションされたデータセットを効率よく収集することができる。

＜符号、ハッチングおよび引き出し線の除去方法＞
次に、ステップ２で行う、特許図面に記載されている符号、ハッチングおよび引き出し線の除去方法について説明する。

特許図面は、各構成要素を表す符号、各構成要素の領域を指し示す引き出し線、および構成要素の断面を表すハッチングを有している。

また、特許図面に記載されている構成要素などの外形線の太さは約０．４ｍｍであり、ハッチング、および引き出し線の太さは、約０．２ｍｍである。従って、特許図面に記載されている構成要素などの外形線を残し、ハッチング、および引き出し線を消去するには、約０．４ｍｍの線を残して、約０．２ｍｍの線を消去すればよい。

以下、システム１０が、特許図面から、外形線は消去せずにハッチングおよび引き出し線のみを消去する方法について、図８乃至図１１を用いて説明を行う。

図８は、システム１０の処理の流れを説明するためのフローチャートである。図８のフローチャートはステップＳ１乃至Ｓ１１で構成されている。

まず、システム１０に特許図面が入力される（ステップＳ１）。次に、システム１０がフィルターを選択し（ステップＳ２）、選択したフィルターを用いて特許図面に対して畳み込みを行う。

図９（Ａ）、（Ｂ）および図１０（Ａ）（Ｂ）は上述の畳み込みの具体例について説明した図である。図９（Ａ）はシステム１０に入力された特許図面Ｙを示し、図９（Ｂ）は特許図面Ｙにおける一部分２０を画素単位まで拡大したものである。図９（Ｂ）は、２０×１５ピクセルの画素群を表している。本実施の形態では、特許図面Ｙをラスタ画像とし、それぞれの画素の輝度は、白または黒の２階調とする。図９（Ｂ）では、白を“０”で表し、黒を“１”で表している。なお、特許図面Ｙが、グレースケール（２５６階調）など、２より大きい階調で表現されている場合は、しきい値処理により輝度を２階調に変換することが好ましい。

図９（Ｂ）に示されている「太い線」は特許図面Ｙの外形線を表し、「細い線」は特許図面Ｙのハッチング（または引き出し線）を表している。

まず、特許画像Ｙの注目画素を１つ定める（ステップＳ３）。例えば、図９（Ｂ）における６行目および１０列目の画素を注目画素と定める。

次に、この注目画素を中心とした７×７の行列と、フィルターとの積和演算を行う（ステップＳ４、図１０（Ａ））。ここで積和演算とは、２つの行列のアダマール積を計算し、それによって得られた行列の成分を足し合わせたものである。例えば、以下の式１で表される３次の正方行列ＡとＢの積和演算は、式２で表される。

上記フィルターはｎ次の正方行列（ｎは３以上の奇数）であることが好ましい。本実施の形態では例として、７×７のフィルターＦ１を用いる。

また、上記フィルターをｎ次の正方行列とした場合、（ｎ＋１）／２行目以外の成分は全て“０”とする。また、（ｎ＋１）／２行目の成分においては、（ｎ＋１）／２列目の成分のみを“０”とし、それ以外の列の成分を全て“１”とする。

図１０（Ａ）に示すフィルターＦ１は、４行目以外の成分を全て“０”としている。また、４行目の成分においては、４列目のみを“０”とし、それ以外の列は全て“１”としている。

次に、積和演算の結果に従って、注目画素の輝度を決定する（図１０（Ｂ））。

注目画素が“０”の場合、積和演算の結果に関わらず、注目画素の輝度は変更せず、そのまま“０”を与える（ステップＳ５→ステップＳ８）。

注目画素が“１”で、かつ積和演算の結果が３以上の場合、注目画素の輝度は変更せず、そのまま“１”を与える（ステップＳ５→ステップＳ６→ステップＳ８）。

注目画素が“１”で、かつ積和演算の結果が２以下の場合、注目画素の輝度は“０”に変更する（ステップＳ５→ステップＳ６→ステップＳ７）。

図１０（Ａ）の例では、注目画素が“１”であり、積和演算の結果が２であるので、注目画素は“１”から“０”に変更される。

以上、上述の処理を特許図面Ｙに含まれる全ての画素について行うことで、図１１に示すように、太い線が残されたまま、細い線が消去される（ステップＳ９）。

以上は、縦線を消去する場合であるが、横線の場合は、図１２（Ａ）に示すフィルターＦ２を用いて同様の処理を行えばよい。フィルターＦ１と同様に、フィルターＦ２もｎ次の正方行列（ｎは３以上の奇数）であることが好ましい。また、フィルターＦ２は、（ｎ＋１）／２列目以外の成分は全て“０”とする。また、（ｎ＋１）／２列目の成分においては、（ｎ＋１）／２行目の成分のみを“０”とし、それ以外の行の成分を全て“１”とする。フィルターＦ１とフィルターＦ２は、互いに転置行列の関係にある。

右上がりの斜め線を消去する場合は、図１２（Ｂ）に示すフィルターＦ３を用いて同様の処理を行えばよい。フィルターＦ３はｎ次の対角行列（ｎは３以上の奇数）であることが好ましい。また、フィルターＦ３の対角成分において、（ｎ＋１）／２行目（または（ｎ＋１）／２列目）の成分のみを“０”とし、それ以外の対角成分は全て“１”とする。

右下がりの斜め線を消去する場合は、図１２（Ｃ）に示すフィルターＦ４を用いて同様の処理を行えばよい。フィルターＦ３はｎ次の反対角行列（ｎは３以上の奇数）であることが好ましい。また、フィルターＦ３の反対角成分において、（ｎ＋１）／２行目（または（ｎ＋１）／２列目）の成分のみを“０”とし、それ以外の反対角成分は全て“１”とする。

フィルターＦ１乃至Ｆ４による畳み込み処理を特許図面Ｙに対して行うことで、特許図面Ｙから外形線を残し、ハッチングおよび引き出し線を消去することができる（ステップＳ１０）。

本実施の形態は、フィルターＦ１乃至Ｆ４の行列成分の値を“０”または“１”としているが、これに限定されず、“０”または“０以外の値”をとればよい。例えば“０”または“２５５”などでもよい。

フィルターＦ１乃至Ｆ４の次数は、特許図面に含まれる線の太さに応じて、柔軟に変更することができる。また、フィルターＦ１乃至Ｆ４の次数は全て同じである必要はないが、フィルターＦ１とフィルターＦ２は同じ次数に揃えることが好ましく、同様に、フィルターＦ３とフィルターＦ４は同じ次数に揃えることが好ましい。例えば、フィルターＦ１およびＦ２を７次の正方行列とし、フィルターＦ３およびＦ４を５次の正方行列としてもよい。

最後に、特許図面Ｙに含まれる符号を消去する（ステップＳ１１）。符号を消去する方法としては、連結成分からなる画素集合を抽出し、含まれる画素の数がある特定値以下の集合を消去すればよい。具体期には、先述の画素のラベリング処理を用いればよい。また、符号の消去に、ＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ－ｂａｓｅｄ ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｎｏｉｓｅ）など、クラスタリングの手法を用いてもよい。

以上、本実施の形態に示す方法を用いることで、特許図面からハッチング、引き出し線および符号を消去することができる。

Ｆ１ フィルター
Ｆ２ フィルター
Ｆ３ フィルター
Ｆ４ フィルター
１０ システム
２０ 一部分

Claims (3)

1. 情報を表示する機能を有するアノテーションシステムを用いたアノテーション方法であって、
   作業者が、前記アノテーションシステムに、特許ＩＤ、及び請求項番号を入力することで、前記アノテーションシステムが、前記請求項番号に紐づいて登録されている文章、及び前記請求項番号に紐づいて登録されている構成要素をデータベースから抽出し、前記文章及び前記構成要素を表示する第１のステップと、
   作業者が、前記アノテーションシステムに、前記請求項番号に対応する図番号を入力することで、前記図番号に対応する第１の図を表示する第２のステップと、
   前記アノテーションシステムが、前記第１の図の符号、引き出し線及びハッチングを消去することで、前記第１の図の符号、引き出し線及びハッチングが消去された第２の図を表示する第３のステップと、
   作業者が、前記アノテーションシステムに、前記構成要素に対応する、前記第１の図に示された前記符号を入力する第４のステップと、
   作業者が、前記アノテーションシステムに、前記符号に対応する前記第２の図中の前記構成要素の座標を入力する第５のステップと、
   前記アノテーションシステムが、前記座標を基に前記第２の図中の前記構成要素の領域を着色する第６のステップと、を有し、
   前記第６のステップは、前記アノテーションシステムが、前記構成要素の領域の画素の連結成分を見つけて、連結成分ごとに番号（ラベル）を割りあてる処理を行い、前記番号（ラベル）をもとに前記着色を行う、アノテーション方法。
2. 請求項１において、
   前記第３のステップは、第１のフィルター乃至第４のフィルターによる畳み込みによって、前記第１の図の引き出し線及びハッチングを消去し、
   前記第１のフィルターと前記第２のフィルターは、互いに転置行列の関係にあり、
   前記第３のフィルターは対角行列であり、
   前記第４のフィルターは反対角行列である、アノテーション方法。
3. 請求項２において、
   前記第１のフィルターは、ｍ次の正方行列（ｍは３以上の奇数）であり、（ｍ＋１）／２行目以外の成分は全て０であり、（ｍ＋１）／２行目の成分においては、（ｍ＋１）／２列目の成分が０であり、それ以外の列の成分が全て１であり、
   前記第３のフィルターは、ｎ次の対角行列（ｎは３以上の奇数）であり、対角成分において、（ｎ＋１）／２行目の成分のみを０とし、それ以外の対角成分は全て１であり、
   前記第４のフィルターは、ｎ次の反対角行列であり、反対角成分において、（ｎ＋１）／２行目の成分のみを０とし、それ以外の反対角成分は全て１である、アノテーション方法。

Images