JP4677750B2 - Document attribute acquisition method and apparatus, and recording medium recording program - Google Patents
Document attribute acquisition method and apparatus, and recording medium recording program Download PDFInfo
- Publication number
- JP4677750B2 JP4677750B2 JP2004276374A JP2004276374A JP4677750B2 JP 4677750 B2 JP4677750 B2 JP 4677750B2 JP 2004276374 A JP2004276374 A JP 2004276374A JP 2004276374 A JP2004276374 A JP 2004276374A JP 4677750 B2 JP4677750 B2 JP 4677750B2
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- type
- entity
- dictionary
- dictionaries
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Discrimination (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、文書画像からその文書の属性を取得する文書属性取得方法および装置並びに文書属性取得のためのプログラムを記録した記録媒体に関するものである。 The present invention relates to a document attribute acquisition method and apparatus for acquiring an attribute of a document from a document image, and a recording medium on which a program for acquiring the document attribute is recorded.
電子ファイリングシステムなどの文書保存システムは、文書画像をスキャナにより読み取り、これをデータベース化して保存するものであるが、この保存した文書を有効に利用するためには、データベースから所望の文書を迅速かつ正確に呼び出すことができることが必要である。このため当初、この種のシステムでは、操作者がキーボードから文書毎に適当な検索用のキーワードを入力し、文書の検索時にこのキーワードに基づいて検索を行っていた。しかしながら、文書格納時に操作者がキーワードを文書毎に入力することはわずらわしいだけでなく、キーワードの入力ミスも生じるおそれがあった。そこで、キーワードの作成を自動化する技術が提案された。 A document storage system such as an electronic filing system reads a document image with a scanner and stores it in a database. In order to effectively use the stored document, a desired document is quickly and quickly stored in the database. It must be able to be called accurately. For this reason, initially, in this type of system, an operator inputs an appropriate search keyword for each document from the keyboard, and searches are performed based on this keyword when searching for a document. However, it is not only troublesome for an operator to input a keyword for each document when storing the document, but there is also a possibility that a keyword input error may occur. Therefore, a technique for automating keyword creation has been proposed.
例えば、特開平1−106263号公報には、文書の格納検索装置についての技術が開示されている。この装置は、文書を読取り文書イメージに光電変換するイメージ読取装置と、文書イメージ中の文字を切り出して認識し文字コード列に変換する文字認識装置と、分類項目用の単語や熟語が予め登録されている単語辞書と、文字コード列と単語や熟語とを照合して文書に関するキーワードデータを抽出するとともに文書イメージに付してデータベースに格納するキーワード群抽出装置を備える。これにより、操作者がイメージ読取装置を使って文書を入力すると、上述のキーワード群抽出装置により文書イメージは自動的にキーワード群が付され、データベースに格納される。そして検索時には、文書の属する分野の一般的なキーワード群を入力するだけで目的の文書を取り出すことができるというものである。 For example, Japanese Patent Application Laid-Open No. 1-106263 discloses a technique relating to a document storage / retrieval apparatus. In this device, an image reading device that reads a document and photoelectrically converts it into a document image, a character recognition device that extracts and recognizes characters in the document image and converts them into a character code string, and words and phrases for classification items are registered in advance. And a keyword group extracting device that extracts keyword data relating to a document by collating a character code string with a word or phrase and attaching it to a document image and storing it in a database. Thus, when the operator inputs a document using the image reading apparatus, the keyword group is automatically assigned a keyword group by the keyword group extracting apparatus described above and stored in the database. At the time of retrieval, the target document can be extracted simply by inputting a general keyword group in the field to which the document belongs.
また、特開平11−184894号公報には、デジタル文書画像または電子文書の論理構造を検出する論理要素抽出方法についての技術が開示されている。この技術は、論理構造を認識する際に、文字認識結果を用いずにそのレイアウト情報のみを用いて書誌事項を的確に抽出すると共に、自動的に文書タイプを識別して論理構造を認識するものである。具体的には、文書をデジタル画像として入力し、該文書画像を所定の要素に分割すると共に、前記文書のレイアウト特徴を検出し、複数の文書種類毎に予め作成された論理構造モデルの内の一つのモデルを用いて前記文書画像から第1の単位で所定の論理要素を抽出し、次いで第2の単位で所定の論理要素を抽出し、前記一つのモデルのレイアウト特徴と前記抽出された論理要素に対応する、前記文書のレイアウト特徴との類似度を算出し、該類似度に所定値を掛けた値が所定の閾値以上のとき前記抽出された論理要素を出力するものである。
上述のように従来は、予めキーワード辞書を準備しておき、これに登録されている言葉が原稿中で使われていれば、この言葉を当該原稿のキーワードとして登録し、あるいはまた、原稿のレイアウト解析と論理要素の抽出を行い、抽出された要素に対応するレイアウト特徴とモデル文書のそれとの類似度を調べることで、属性(書誌事項)を抽出している。しかしながら、前者は「キーワード」という一属性の内容を抽出しているのにすぎず、また後者は「タイトル」や「大見出し」、「小見出し」といった予め定められた属性の内容を抽出するに留まるものである。このような属性設定は柔軟性に欠けるものであり、それは「原稿において何を属性とすれば良いか」という基準が明確でないことに起因する。このため、従来においては、スキャン画像に対する文書構造化において、画像上特定領域の意味や関連付けを行うことが出来ず、文書の構造化や再利用ができないという問題があった。 Conventionally, as described above, a keyword dictionary is prepared in advance, and if a word registered in the keyword dictionary is used in a document, the word is registered as a keyword of the document, or the layout of the document is used. The attributes (bibliographic items) are extracted by analyzing and extracting logical elements and examining the similarity between the layout features corresponding to the extracted elements and that of the model document. However, the former only extracts the contents of one attribute “keyword”, and the latter only extracts the contents of predetermined attributes such as “title”, “large headline”, and “small headline”. Is. Such attribute setting is inflexible, and this is because the criteria for “what should be attributed in a document” are not clear. For this reason, conventionally, there has been a problem that in structuring a document for a scanned image, the meaning and association of a specific region on the image cannot be performed, and the document cannot be structured or reused.
従って本発明の目的は、上記問題点を解決し、高品質な文書構造化を可能とする文書属性取得装置並びに文書属性取得のためのプログラムおよびそれを記録した記録媒体を提供することにある。 Accordingly, an object of the present invention is to provide a program and a recording medium storing the for said to solve the problems, possible a document attribute preparative TokuSo location and document attribute acquisition of a high-quality document structuring is there.
上記目的は、属性の種類を複数格納した属性種類部と属性実体の種類を複数格納した属性実体種類部とを有する、属性ごとに生成された属性辞書を複数記憶する属性辞書記憶手段と、入力画像から文字認識により得られた文字情報を含む複数のテキスト領域を取得する取得手段と、前記取得手段が取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性種類部の属性の種類と、を照合する属性照合手段と、前記取得手段が取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性実体種類部の属性実体の種類と、を照合する属性実体照合手段と、前記属性照合手段の照合で合致した属性の種類と、前記属性実体照合手段の照合で合致した属性実体の種類と、を含む属性辞書を、前記複数の属性辞書から選出する選出手段と、前記選出手段が選出した属性辞書を参照して、前記属性辞書のうち、一の属性辞書に記憶されている属性の種類と属性実体の種類について、前記属性の種類に合致する文字情報を含むテキスト領域と、前記属性実体の種類に合致する文字情報を含むテキスト領域とを抽出する抽出手段と、前記一の属性辞書の属性と、前記抽出手段が抽出したテキスト領域のうち前記一の属性辞書に記憶された属性実体の種類に対応するテキスト領域の文字情報とを、それぞれ属性および属性実体として出力する出力手段と、を備えたことを特徴とする文書属性取得装置により、達成される。 An object of the present invention is to provide an attribute dictionary storage means for storing a plurality of attribute dictionaries generated for each attribute , having an attribute type section storing a plurality of attribute types and an attribute entity type section storing a plurality of attribute entity types, and an input Acquisition means for acquiring a plurality of text areas including character information obtained by character recognition from an image, character information of each text area acquired by the acquisition means, and attribute types of attribute type sections of the plurality of attribute dictionaries An attribute entity matching unit that matches the character information of each text area acquired by the acquiring unit and the attribute entity type of the attribute entity type part of the plurality of attribute dictionaries, A selection means for selecting from the plurality of attribute dictionaries an attribute dictionary including the attribute type matched by the attribute matching means and the attribute entity type matched by the attribute entity matching means; Refers to the attribute dictionary where the selection means is selected, said one of the attribute dictionary, the types of types and attributes entity attributes stored in one attribute dictionary, a text including character information that matches the type of the attribute and region extraction means for extracting a text region containing the character information that matches the type of the attribute entities, and attributes of the one attribute dictionary, the one attribute dictionary of the text area extracted by the extracting unit This is achieved by a document attribute acquisition apparatus comprising output means for outputting character information of a text area corresponding to a stored attribute entity type as an attribute and an attribute entity, respectively.
ここで、前記属性辞書は前記属性実体種類部と照合される属性実体の群名を格納した属性実体内容部をさらに有することができる。前記属性実体内容部は前記複数の属性辞書間で共有することができる。 Here, before Symbol attribute dictionary may further comprise an attribute entity content portion that contains the group name attribute entities are matched to the attribute entity type unit. The attribute entity content part can be shared among the plurality of attribute dictionaries .
また、前記属性種類部の属性の種類および前記属性実体種類部の属性実体の種類の少なくとも一方が照合のための順位を有するようにすることができる。In addition, at least one of the attribute type of the attribute type part and the attribute entity type of the attribute entity type part may have a rank for collation.
本発明に係る記録媒体は、コンピュータを、属性の種類を複数格納した属性種類部と属性実体の種類を複数格納した属性実体種類部とを有する、属性ごとに生成された属性辞書を複数記憶する属性辞書記憶手段、入力画像から文字認識により得られた文字情報を含む複数のテキスト領域を取得する取得手段、前記取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性種類部の属性の種類と、を照合する属性照合手段、前記取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性実体種類部の属性実体の種類と、を照合する属性実体照合手段、前記属性種類部の照合で合致した属性の種類と、前記属性実体種類部の照合で合致した属性実体の種類と、を含む属性辞書を、前記複数の属性辞書から選出する選出手段、前記選出した属性辞書を参照して、前記属性辞書のうち、一の属性辞書に記憶されている属性の種類と属性実体の種類について、前記属性の種類に合致する文字情報を含むテキスト領域と、前記属性実体の種類に合致する文字情報を含むテキスト領域とを抽出する抽出手段、前記一の属性辞書の属性と、前記抽出したテキスト領域のうち前記一の属性辞書に記憶された属性実体の種類に対応するテキスト領域の文字情報とを、それぞれ属性および属性実体として出力する出力手段、として機能させるためのプログラムを記録したコンピュータ読み取り可能なものである。 A recording medium according to the present invention stores a plurality of attribute dictionaries generated for each attribute, the computer having an attribute type section storing a plurality of attribute types and an attribute entity type section storing a plurality of attribute entity types. Attribute dictionary storage means, acquisition means for acquiring a plurality of text areas including character information obtained by character recognition from an input image, the acquired character information of each text area, and attributes of the attribute type section of the plurality of attribute dictionaries Attribute collating means for collating, the attribute entity collating means for collating the acquired character information of each text area and the attribute entity type of the attribute entity type section of the plurality of attribute dictionaries, the attribute type Selection means for selecting from the plurality of attribute dictionaries an attribute dictionary that includes a type of attribute matched by collation of a part and a type of attribute entity matched by collation of the attribute entity type part, Referring to out attribute dictionary, the one attribute dictionary, the types of types and attributes entity attributes stored in one attribute dictionary, and a text area including the text information that matches the type of the attribute, the extracting means for extracting a text region containing the character information that matches the type of the attribute entities, and attributes of the one attribute dictionary, the type of the stored attribute entity to the one attribute dictionary of the extracted text region A computer-readable recording medium storing a program for causing the character information of the corresponding text area to function as an output means for outputting the information as an attribute and an attribute entity, respectively.
また、本発明に係るプログラムは、コンピュータを、属性の種類を複数格納した属性種類部と属性実体の種類を複数格納した属性実体種類部とを有する、属性ごとに生成された属性辞書を複数記憶する属性辞書記憶手段、入力画像から文字認識により得られた文字情報を含む複数のテキスト領域を取得する取得手段、前記取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性種類部の属性の種類と、を照合する属性照合手段、前記取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性実体種類部の属性実体の種類と、を照合する属性実体照合手段、前記属性種類部の照合で合致した属性の種類と、前記属性実体種類部の照合で合致した属性実体の種類と、を含む属性辞書を、前記複数の属性辞書から選出する選出手段、前記選出した属性辞書を参照して、前記属性辞書のうち、一の属性辞書に記憶されている属性の種類と属性実体の種類について、前記属性の種類に合致する文字情報を含むテキスト領域と、前記属性実体の種類に合致する文字情報を含むテキスト領域とを抽出する抽出手段、前記一の属性辞書の属性と、前記抽出したテキスト領域のうち前記一の属性辞書に記憶された属性実体の種類に対応するテキスト領域の文字情報とを、それぞれ属性および属性実体として出力する出力手段、として機能させるためのものである。
The program according to the present invention stores a plurality of attribute dictionaries generated for each attribute, the computer having an attribute type section storing a plurality of attribute types and an attribute entity type section storing a plurality of attribute entity types. Attribute dictionary storage means, acquisition means for acquiring a plurality of text areas including character information obtained by character recognition from an input image, character information of each acquired text area, and attribute type section of the plurality of attribute dictionaries Attribute matching means for matching the attribute type, attribute entity matching means for matching the acquired character information of each text region and the attribute entity type of the attribute entity type section of the plurality of attribute dictionaries, the attribute Selector that selects from the plurality of attribute dictionaries an attribute dictionary that includes the type of attribute matched by matching the type part and the type of attribute entity matched by matching the attribute entity type part , By referring to the selected attribute dictionary, among the attribute dictionary, the types of types and attributes entity attributes stored in one attribute dictionary, and a text area including the text information that matches the type of the attribute extraction means for extracting a text region containing the character information that matches the type of the attribute entities, and attributes of the one attribute dictionary, attributive entity stored in said one of the attribute dictionary of the extracted text region This is to cause the character information of the text area corresponding to the type to function as output means for outputting the attribute and attribute entity respectively.
本発明によれば、高品質な文書構造化を可能とする文書属性取得方法および装置並びにプログラムを記録した記録媒体を得ることができる。本発明では、スキャン画像に対する文書構造認識処理において、高精度の属性と属性実体の関係にある仲間(領域)を抽出することにより、高品質な文書構造化を可能とする。原稿が定型または非定型、表または罫線の有無に関係なくこの効果を得ることができる。これにより再利用時、例えば属性実体抽出やソーティングを高精度に行うことができる。 According to the present invention, it is possible to obtain a document attribute acquisition method and apparatus that enable high-quality document structuring and a recording medium on which a program is recorded. In the present invention, in a document structure recognition process for a scanned image, high-quality document structuring is enabled by extracting a friend (region) having a high-precision attribute-attribute entity relationship. This effect can be obtained regardless of whether the original is fixed or non-standard, and whether or not a table or ruled line is present. Thereby, at the time of reuse, for example, attribute entity extraction and sorting can be performed with high accuracy.
図1(a)、(b)は本発明に係る文書属性取得方法の一実施例を示す図である。本実施例では、図示のように、属性の種類を格納した属性種類部と属性実体の種類を格納した属性実体種類部とを有する複数の属性辞書1〜4を用意する。例えば、図示の属性辞書1は社員番号に関する辞書であり、属性種類部には属性の種類として社員番号、社員No.、No.などが格納され、また属性実体種類部には属性の実体として算用数字、漢数字、ローマ数字などが格納されている。属性実体種類部は複数設けることができるが、これについては後述する。他の属性辞書2〜4には別の属性、例えば書類の作成者、保管場所などが格納されている。
FIGS. 1A and 1B are diagrams showing an embodiment of a document attribute acquisition method according to the present invention. In the present embodiment, as shown in the figure, a plurality of
属性を取得すべき文書5には、例えば、その文書に係る社員番号、作成者、保管場所が記載されている。文書5がワープロ等で入力された電子文書情報の場合はそこに複数のテキスト領域が存在する。また、文書5が画像の場合は光学式文字読取り装置(OCR)により領域別に画像情報を読み取り、この読み取った入力画像から文字認識により複数のテキスト領域6を得る。
In the
この文書5の属性の取得は次のようにして行う。まず、各テキスト領域6の内容と複数の属性辞書1〜4の属性種類部の内容とを照合する。また、各テキスト領域の内容と前記複数の属性辞書の属性実体種類部の内容とを照合する。そして属性種類部の照合結果と属性実体種類部の照合結果が合致する属性辞書を選出し、この選出した属性辞書の属性種類部と属性実体種類部から当該テキスト領域の属性および属性実体を取得する。このように、各テキスト領域6について属性種類部と属性実体種類部のそれぞれに対してマッチングを行い、ペア(関連性)を判定選出する。
The attribute of the
図1(a)の例では、属性種類部の照合結果と前記属性実体種類部の照合結果が合致する属性辞書として、属性辞書1(社員番号)が選出される。この場合、テキスト領域6の「社員番号」と「012345」が社員番号属性ペア7であり、当該テキスト領域の属性および属性実体として取得される。
図1(b)の例では、属性種類部の照合結果と前記属性実体種類部の照合結果が合致する属性辞書として、属性辞書2(作成者)が選出される。この場合、テキスト領域6の「作成者」と「伊藤篤」が作成者属性ペア8であり、当該テキスト領域の属性および属性実体として取得される。
In the example of FIG. 1A, the attribute dictionary 1 (employee number) is selected as an attribute dictionary in which the matching result of the attribute type part matches the matching result of the attribute entity type part. In this case, “employee number” and “012345” in the
In the example of FIG. 1B, the attribute dictionary 2 (creator) is selected as an attribute dictionary in which the matching result of the attribute type part matches the matching result of the attribute entity type part. In this case, “creator” and “atsushi Ito” in the
このように本実施例では、文書構造認識処理において、各テキスト領域に対して属性辞書を選出し、その選出結果を参照して属性と属性実体の関係にあるペア若しくは関連性、すなわち属性と属性実体の関係にある仲間(領域)を判定抽出し、文書構造としての関連付けを行うものである。 As described above, in this embodiment, in the document structure recognition process, an attribute dictionary is selected for each text area, and a pair or relationship in which an attribute and an attribute entity are related with reference to the selection result, that is, an attribute and an attribute. A companion (region) having an entity relationship is determined and extracted, and association as a document structure is performed.
図2(a)、(b)は本発明に係る文書属性取得方法の他の実施例を示す図である。図2(a)の実施例が図1の実施例と異なる点は、属性辞書1〜4の属性種類部および属性実体種類部に各テキスト領域との照合のための順位1,2,3・・・を付けたものである。この順位は属性種類部および属性実体種類部の少なくとも一方に設けることができる。また、図2(b)の実施例が図1の実施例と異なる点は、図の矢印のような各テキスト領域6間における距離を算出し、この算出した距離を参照して当該テキスト領域の属性および属性実体を取得するものである。各テキスト領域間における距離だけでなく、各テキスト領域の配置位置を参照することもできるが、これについては後述する。これらの実施例はいずれも文書の属性の取得を迅速かつ正確に行う上で有効である。
2A and 2B are views showing another embodiment of the document attribute acquisition method according to the present invention. The embodiment of FIG. 2A differs from the embodiment of FIG. 1 in that the
図3は本発明に係る文書属性取得方法の他の実施例を示す図で、(a)は文書属性取得装置の例を示すブロック図、同図(b)は文書属性取得方法を説明するための図である。本装置は、図3(a)に示すように、画像入力部又は文書入力部31と、文字領域抽出部32と、文字認識部(OCR処理部)33と、属性辞書記憶部34と、属性照合部35と、属性情報出力部36とを備える。画像入力部31は例えばイメージスキャナであり、図3(b)に示すような文書14を入力する。文書入力部31の場合は属性付けされていない電子文書情報を入力する。文字領域抽出部32は、この入力スキャン画像または文書情報の文字領域を抽出する。文字認識部(OCR処理部)33は文字領域における文字認識を行い、複数のテキスト領域15に変換する。文書入力部31の場合は文字領域抽出部32や文字認識部(OCR処理部)33を省略することができる。
3A and 3B are diagrams showing another embodiment of the document attribute acquisition method according to the present invention. FIG. 3A is a block diagram showing an example of a document attribute acquisition apparatus, and FIG. 3B is a diagram for explaining the document attribute acquisition method. FIG. As shown in FIG. 3A, the apparatus includes an image input unit or document
属性辞書記憶部34は、図3(b)に示すように、複数の属性辞書11〜13からなる属性辞書群を記憶している。各属性辞書11〜13は、属性の種類を格納した属性種類部と、属性実体の種類を格納した複数の属性実体種類部21,22とを有する。例えば、属性辞書13(人情報)において、属性種類部には氏名、名前、者、おなまえ、Nameなどが格納されている。属性実体種類部21には、伊藤、鈴木、高橋、山本、柴田などが格納され、属性実体種類部22には、算用数字、漢数字、ローマ数字などが格納されている。属性照合部35は、文書情報より得られた複数のテキスト領域15または入力画像から文字認識により得られた複数のテキスト領域15を入力し、各テキスト領域の内容と複数の属性辞書の内容とを照合する。属性情報出力部36は、この照合結果に基づいてテキスト領域の属性および属性実体を取得し出力する。
As shown in FIG. 3B, the attribute
図4は図3の実施例を実行するためのフローチャートの一例を示すものであり、(a)は文書情報の入力の場合、(b)は画像入力の場合である。文書情報の入力の場合、図4(a)に示すように、ステップ41にて情報入力手段で文書情報を入力する。ステップ42にて各テキスト領域に対して複数の属性辞書の属性種類部の内容と照合する。ステップ43にて各テキスト領域に対して複数の属性辞書の属性実体種類部の内容と照合する。ステップ44にて属性種類部の照合結果と属性実体種類部の照合結果より、合致した属性辞書があれば、それに対応する属性をそれらテキスト領域の属性と属性実体とする。
FIG. 4 shows an example of a flowchart for executing the embodiment of FIG. 3. FIG. 4A shows the case of inputting document information, and FIG. 4B shows the case of inputting image. In the case of inputting document information, as shown in FIG. 4A, in
画像入力の場合は、図4(b)に示すように、ステップ45にて画像入力手段で画像を入力する。ステップ46にて入力画像に対しレイアウト解析を行い、各テキスト領域ごとにOCR処理を行う。ステップ47にて各テキスト領域に対して複数の属性辞書の属性種類部の内容と照合する。ステップ48にて各テキスト領域に対して複数の属性辞書の属性実体種類部の内容と照合する。ステップ49にて属性種類部の照合結果と属性実体種類部の照合結果より、合致した属性辞書があれば、対応する属性をそれらテキスト領域の属性と属性実体とする。
In the case of image input, as shown in FIG. 4B, the image is input by the image input means in
このように本実施例では、属性辞書は属性種類部と複数の属性実体種類部を持ち、各テキスト領域に対して属性辞書を選出し、その選出結果を参照して関連する仲間を判定選出し、文書構造としての関連付けを行うものである。 As described above, in this embodiment, the attribute dictionary has an attribute type part and a plurality of attribute entity type parts, selects an attribute dictionary for each text area, and refers to the selection result to determine and select related friends. The association as a document structure is performed.
図5は本発明に係る文書属性取得方法の他の実施例を示す図である。本実施例が図4の実施例と異なる点は、属性実体の群名を格納した属性実体内容部16をさらに設けたところにある。本実施例では、図示のように、各属性辞書11〜13は、属性の種類を格納した属性種類部と、属性実体の種類として群名を格納した複数の属性実体種類部21,22とを有する。例えば、属性辞書13(人情報)において、属性実体種類部21は群名として人物氏名群を有し、属性実体種類部22は群名としてコード群を有する。各テキスト領域15に対して、複数の属性辞書の属性実体内容部の内容と照合し、合致した場合には属性実体内容部の辞書の群名と属性辞書の属性辞書種類部の群名を照合する。属性種類部の照合結果と属性実体種類部の照合結果より、合致した属性辞書があれば、対応する属性をそれらテキスト領域の属性と属性実体とする。この属性実体内容部は、図中の点線矢印で示すように、複数の属性辞書12〜13間で共有することができる。
FIG. 5 is a diagram showing another embodiment of the document attribute acquisition method according to the present invention. This embodiment is different from the embodiment of FIG. 4 in that an attribute
図6は図5の実施例を実行するためのフローチャートの一例を示すものであり、(a)は文書情報の入力の場合、(b)は画像入力の場合である。文書情報の入力の場合、図6(a)に示すように、ステップ61にて情報入力手段で文書情報を入力する。ステップ62にて各テキスト領域に対して複数の属性辞書の属性種類部の内容と照合する。ステップ63にて各テキスト領域に対して複数の属性辞書の属性実体内容部の各辞書の内容と照合し、合致した場合には属性実体内容部の辞書の群名と属性辞書の属性辞書種類部の群名を照合する。ステップ64にて属性種類部の照合結果と属性実体種類部の照合結果より、合致した属性辞書があれば、対応する属性をそれらテキスト領域の属性と属性実体とする。
FIG. 6 shows an example of a flowchart for executing the embodiment of FIG. 5. FIG. 6A shows a case of inputting document information, and FIG. 6B shows a case of inputting an image. In the case of inputting the document information, as shown in FIG. 6A, the document information is input by the information input means in
画像入力の場合は、図6(b)に示すように、ステップ65にて画像入力手段で画像を入力する。ステップ66にて入力画像に対しレイアウト解析を行い、各テキスト領域ごとにOCR処理を行う。ステップ67にて各テキスト領域に対して複数の属性辞書の属性種類部の内容と照合する。ステップ68にて各テキスト領域に対して複数の属性辞書の属性実体内容部の各辞書の内容と照合し、合致した場合には属性実体内容部の辞書の群名と属性辞書の属性辞書種類部の群名を照合する。ステップ69にて属性種類部の照合結果と属性実体種類部の照合結果より、合致した属性辞書があれば、対応する属性をそれらテキスト領域の属性と属性実体とする。
In the case of image input, as shown in FIG. 6B, in
このように本実施例では、属性辞書は属性種類部と属性実体種類部と属性実体内容部を持ち、属性実体内容部は独立させて各属性辞書間で共有できるようにし、属性実体種類部に指定があれば属性実体内容部を参照可能としたものである。 In this way, in this embodiment, the attribute dictionary has an attribute type part, an attribute entity type part, and an attribute entity content part, and the attribute entity content part is made independent and can be shared among the attribute dictionaries. If specified, the attribute entity content part can be referred to.
図7は本発明に係る文書属性取得方法の他の実施例を示す図で、(a)は文書属性取得装置の例を示すブロック図、同図(b)は文書属性取得方法を説明するための図である。本実施例が図4の実施例と異なる点は、図7(a)に示すように、文字列配置判定部37をさらに設けたところにある。文字列配置判定部37は、文字領域抽出部32からの情報を入力し、文字列配置の判定を行い、これを属性照合部35に出力する。文字列配置判定部37は、例えば各テキスト領域15の配置の直線性を参照する。本実施例では、図7(b)の各テキスト領域15に示すように、その配置が図中の矢印方向に直線上に並んでいるテキスト領域を選定し、この選定したテキスト領域を参照して当該テキスト領域の属性および属性実体を取得する。
FIG. 7 is a diagram showing another embodiment of the document attribute acquisition method according to the present invention. FIG. 7A is a block diagram showing an example of a document attribute acquisition device, and FIG. 7B is a diagram for explaining the document attribute acquisition method. FIG. This embodiment differs from the embodiment of FIG. 4 in that a character string
図8は図7の実施例を実行するためのフローチャートの一例を示すものであり、(a)は文書情報の入力の場合、(b)は画像入力の場合である。文書情報の入力の場合、図8(a)に示すように、ステップ81にて情報入力手段で文書情報を入力する。ステップ82にて各テキスト領域に対して複数の属性辞書の属性種類部の属性と照合し、合致した属性の順位を決定する。ステップ83にて各テキスト領域に対して複数の属性辞書の属性実体種類部の属性実体と照合し、合致した属性実体の順位を決定する。ステップ84にて各テキスト領域に対して文書上における配置が直線上に並んでいるテキスト領域を選定する。ステップ85にて属性の順位結果と属性実体の順位結果と配置直線性における選定テキスト領域を参照して、高い順位且つ高い配置直線性に対応する属性をそれらテキスト領域の属性と属性実体とする。
FIG. 8 shows an example of a flowchart for executing the embodiment of FIG. 7. FIG. 8A shows a case of inputting document information, and FIG. 8B shows a case of inputting an image. In the case of inputting document information, as shown in FIG. 8A, in
画像入力の場合は、図8(b)に示すように、ステップ86にて画像入力手段で画像を入力する。ステップ87にて入力画像に対しレイアウト解析を行い、各テキスト領域ごとにOCR処理を行う。ステップ88にて各テキスト領域に対して複数の属性辞書の属性種類部の属性と照合し、合致した属性の順位を決定する。ステップ89にて各テキスト領域に対して複数の属性辞書の属性実体種類部の属性実体と照合し、合致した属性実体の順位を決定する。ステップ90にて各テキスト領域に対して文書上における配置が直線上に並んでいるテキスト領域を選定する。ステップ91にて属性の順位結果と属性実体の順位結果と配置直線性における選定テキスト領域を参照して、高い順位且つ高い配置直線性に対応する属性をそれらテキスト領域の属性と属性実体とする。
In the case of image input, as shown in FIG. 8B, an image is input by the image input means in
このように本実施例では、属性辞書は属性種類部と複数の属性実体種類部を持ち、各テキスト領域に対して属性辞書を選出し、この場合、各テキスト領域の配置直線性を参照し、この選出結果を用いて関連する仲間を判定選出し、文書構造としての関連付けを行うものである。 Thus, in this embodiment, the attribute dictionary has an attribute type part and a plurality of attribute entity type parts, and selects an attribute dictionary for each text area. In this case, referring to the arrangement linearity of each text area, This selection result is used to determine and select related friends and perform association as a document structure.
図9は本発明に係る文書属性取得方法の他の実施例を示す図である。本実施例が図7の実施例と異なる点は、各テキスト領域間における距離情報を参照するところにある。本実施例でも、図7(a)に示す文字列配置判定部37を用いる。本実施例では、文字列配置判定部37は、図9中の矢印で示すように、各テキスト領域15間における距離を算出し、この算出した距離を参照して当該テキスト領域の属性および属性実体を取得する。
FIG. 9 is a diagram showing another embodiment of the document attribute acquisition method according to the present invention. This embodiment is different from the embodiment of FIG. 7 in that distance information between text areas is referred to. Also in this embodiment, the character string
図10は図9の実施例を実行するためのフローチャートの一例を示すものであり、(a)は文書情報の入力の場合、(b)は画像入力の場合である。文書情報の入力の場合、図10(a)に示すように、ステップ101にて情報入力手段で文書情報を入力する。ステップ102にて各テキスト領域に対して複数の属性辞書の属性種類部の属性と照合し、合致した属性の順位を決定する。ステップ103にて各テキスト領域に対して複数の属性辞書の属性実体種類部の属性実体と照合し、合致した属性実体の順位を決定する。ステップ104にて各テキスト領域間に対して文書上における距離を算出する。ステップ105にて属性の順位結果と属性実体の順位結果と文書上距離を参照して、高い順位且つ短距離に対応する属性をそれらテキスト領域の属性と属性実体とする。
FIG. 10 shows an example of a flowchart for executing the embodiment of FIG. 9, where (a) is for inputting document information and (b) is for inputting image. In the case of inputting document information, as shown in FIG. 10A, in
画像入力の場合は、図10(b)に示すように、ステップ106にて画像入力手段で画像を入力する。ステップ107にて入力画像に対しレイアウト解析を行い、各テキスト領域ごとにOCR処理を行う。ステップ108にて各テキスト領域に対して複数の属性辞書の属性種類部の属性と照合し、合致した属性の順位を決定する。ステップ109にて各テキスト領域に対して複数の属性辞書の属性実体種類部の属性実体と照合し、合致した属性実体の順位を決定する。ステップ110にて各テキスト領域間に対して文書上における距離を算出する。ステップ111にて属性の順位結果と属性実体の順位結果と文書上距離を参照して、高い順位且つ短距離に対応する属性をそれらテキスト領域の属性と属性実体とする。
In the case of image input, as shown in FIG. 10B, in
このように本実施例では、属性辞書は属性種類部と複数の属性実体種類部を持ち、各テキスト領域に対して属性辞書を選出し、この場合、各テキスト領域同士の距離情報を参照し、この選出結果を用いて関連する仲間を判定選出し、文書構造としての関連付けを行うものである。 Thus, in this embodiment, the attribute dictionary has an attribute type part and a plurality of attribute entity type parts, and selects an attribute dictionary for each text area. In this case, referring to distance information between the text areas, This selection result is used to determine and select related friends and perform association as a document structure.
以上の文書属性取得方法はコンピュータプログラムにより実行することができる。すなわち、属性の種類を格納した属性種類部と属性実体の種類を格納した属性実体種類部とを有する複数の属性辞書を提供する機能、文書情報より得られた複数のテキスト領域または入力画像から文字認識により得られた複数のテキスト領域を入力する機能、前記各テキスト領域の内容と前記複数の属性辞書の属性種類部の内容とを照合する機能、前記各テキスト領域の内容と前記複数の属性辞書の属性実体種類部の内容とを照合する機能、前記属性種類部の照合結果と前記属性実体種類部の照合結果が合致する属性辞書を選出する機能、および、前記選出した属性辞書の属性種類部と属性実体種類部から前記テキスト領域の属性および属性実体を取得する機能を実現させるためのプログラムにより実行可能である。このプログラムはインターネット等の電気通信回線を介してアップロードし、またはダウンロードすることができ、また、このプログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。 The above document attribute acquisition method can be executed by a computer program. That is, a function for providing a plurality of attribute dictionaries having an attribute type section storing attribute types and an attribute entity type section storing attribute entity types, characters from a plurality of text areas or input images obtained from document information A function of inputting a plurality of text areas obtained by recognition, a function of collating the contents of each text area with the contents of the attribute type part of the plurality of attribute dictionaries, the contents of each text area and the plurality of attribute dictionaries A function for matching the contents of the attribute entity type part, a function for selecting an attribute dictionary in which the matching result of the attribute type part matches the matching result of the attribute entity type part, and an attribute type part of the selected attribute dictionary And a program for realizing the function of acquiring the attribute of the text area and the attribute entity from the attribute entity type part. This program can be uploaded or downloaded via a telecommunication line such as the Internet, and can be provided as a computer-readable recording medium on which the program is recorded.
これにより、高品質な文書構造化を可能とする文書属性取得方法、文書属性取得装置、そのためのコンピュータプログラム、およびそのプログラムを記録した記録媒体を提供することができる。 Thus, it is possible to provide a document attribute acquisition method, a document attribute acquisition device, a computer program therefor, and a recording medium recording the program that enable high-quality document structuring.
本発明は、文書画像からその文書の属性を取得する文書属性取得方法および装置並びに文書属性取得のためのプログラムを記録した記録媒体に関するものであり、産業上の利用可能性がある。 The present invention relates to a document attribute acquisition method and apparatus for acquiring an attribute of a document from a document image, and a recording medium on which a program for acquiring the document attribute is recorded, and has industrial applicability.
1〜4 属性辞書
5 文書
6 テキスト領域
7、8 属性ペア
1-4
Claims (6)
入力画像から文字認識により得られた文字情報を含む複数のテキスト領域を取得する取得手段と、
前記取得手段が取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性種類部の属性の種類と、を照合する属性照合手段と、
前記取得手段が取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性実体種類部の属性実体の種類と、を照合する属性実体照合手段と、
前記属性照合手段の照合で合致した属性の種類と、前記属性実体照合手段の照合で合致した属性実体の種類と、を含む属性辞書を、前記複数の属性辞書から選出する選出手段と、
前記選出手段が選出した属性辞書を参照して、前記属性辞書のうち、一の属性辞書に記憶されている属性の種類と属性実体の種類について、前記属性の種類に合致する文字情報を含むテキスト領域と、前記属性実体の種類に合致する文字情報を含むテキスト領域とを抽出する抽出手段と、
前記一の属性辞書の属性と、前記抽出手段が抽出したテキスト領域のうち前記一の属性辞書に記憶された属性実体の種類に対応するテキスト領域の文字情報とを、それぞれ属性および属性実体として出力する出力手段と、
を備えたことを特徴とする文書属性取得装置。 An attribute dictionary storage means for storing a plurality of attribute dictionaries generated for each attribute , having an attribute type part storing a plurality of attribute types and an attribute entity type part storing a plurality of attribute entity types;
Obtaining means for obtaining a plurality of text regions including character information obtained by character recognition from an input image;
Attribute collation means for collating the character information of each text area acquired by the acquisition means with the attribute type of the attribute type portion of the plurality of attribute dictionaries;
Attribute entity matching means for matching the character information of each text area acquired by the acquisition means with the attribute entity type of the attribute entity type portion of the plurality of attribute dictionaries;
A selection means for selecting, from the plurality of attribute dictionaries, an attribute dictionary including the attribute type matched by the attribute matching means and the attribute entity type matched by the attribute entity matching means;
Text including character information that matches the attribute type with respect to the attribute type and the attribute entity type stored in one attribute dictionary of the attribute dictionary with reference to the attribute dictionary selected by the selection means Extraction means for extracting a region and a text region including character information matching the type of the attribute entity ;
And attributes of the one attribute dictionary, outputs the character information of the text area corresponding to the type of the stored attribute entity to the one attribute dictionary of the text area extracted by the extracting unit, the attribute and attribute entity respectively Output means for
A document attribute acquisition apparatus comprising:
属性の種類を複数格納した属性種類部と属性実体の種類を複数格納した属性実体種類部とを有する、属性ごとに生成された属性辞書を複数記憶する属性辞書記憶手段、
入力画像から文字認識により得られた文字情報を含む複数のテキスト領域を取得する取得手段、
前記取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性種類部の属性の種類と、を照合する属性照合手段、
前記取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性実体種類部の属性実体の種類と、を照合する属性実体照合手段、
前記属性種類部の照合で合致した属性の種類と、前記属性実体種類部の照合で合致した属性実体の種類と、を含む属性辞書を、前記複数の属性辞書から選出する選出手段、
前記選出した属性辞書を参照して、前記属性辞書のうち、一の属性辞書に記憶されている属性の種類と属性実体の種類について、前記属性の種類に合致する文字情報を含むテキスト領域と、前記属性実体の種類に合致する文字情報を含むテキスト領域とを抽出する抽出手段、
前記一の属性辞書の属性と、前記抽出したテキスト領域のうち前記一の属性辞書に記憶された属性実体の種類に対応するテキスト領域の文字情報とを、それぞれ属性および属性実体として出力する出力手段、
として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 Computer
An attribute dictionary storage means for storing a plurality of attribute dictionaries generated for each attribute , having an attribute type part storing a plurality of attribute types and an attribute entity type part storing a plurality of attribute entity types;
Acquisition means for acquiring a plurality of text regions including character information obtained by character recognition from an input image;
Attribute collation means for collating the acquired character information of each text region and the attribute type of the attribute type portion of the plurality of attribute dictionaries;
Attribute entity collating means for collating the acquired character information of each text area with the attribute entity type of the attribute entity type section of the plurality of attribute dictionaries;
A selection means for selecting, from the plurality of attribute dictionaries, an attribute dictionary including the attribute type matched by the attribute type part matching and the attribute entity type matched by the attribute entity type part matching;
With reference to the selected attribute dictionary, for the attribute type and the attribute entity type stored in one attribute dictionary of the attribute dictionary, a text area including character information that matches the attribute type, extracting means for extracting a text region containing the character information that matches the type of the attribute entity,
And attributes of the one attribute dictionary, output means for outputting the character information of the text area corresponding to the type of attribute entities stored in the one attribute dictionary, as the attribute and attribute entity each of the extracted text region ,
A computer-readable recording medium in which a program for functioning as a computer is recorded.
属性の種類を複数格納した属性種類部と属性実体の種類を複数格納した属性実体種類部とを有する、属性ごとに生成された属性辞書を複数記憶する属性辞書記憶手段、
入力画像から文字認識により得られた文字情報を含む複数のテキスト領域を取得する取得手段、
前記取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性種類部の属性の種類と、を照合する属性照合手段、
前記取得した各テキスト領域の文字情報と、前記複数の属性辞書の属性実体種類部の属性実体の種類と、を照合する属性実体照合手段、
前記属性種類部の照合で合致した属性の種類と、前記属性実体種類部の照合で合致した属性実体の種類と、を含む属性辞書を、前記複数の属性辞書から選出する選出手段、
前記選出した属性辞書を参照して、前記属性辞書のうち、一の属性辞書に記憶されている属性の種類と属性実体の種類について、前記属性の種類に合致する文字情報を含むテキスト領域と、前記属性実体の種類に合致する文字情報を含むテキスト領域とを抽出する抽出手段、
前記一の属性辞書の属性と、前記抽出したテキスト領域のうち前記一の属性辞書に記憶された属性実体の種類に対応するテキスト領域の文字情報とを、それぞれ属性および属性実体として出力する出力手段、
として機能させるためのプログラム。 Computer
An attribute dictionary storage means for storing a plurality of attribute dictionaries generated for each attribute , having an attribute type part storing a plurality of attribute types and an attribute entity type part storing a plurality of attribute entity types;
Acquisition means for acquiring a plurality of text regions including character information obtained by character recognition from an input image;
Attribute collation means for collating the acquired character information of each text region and the attribute type of the attribute type portion of the plurality of attribute dictionaries;
Attribute entity collating means for collating the acquired character information of each text area with the attribute entity type of the attribute entity type section of the plurality of attribute dictionaries;
A selection means for selecting, from the plurality of attribute dictionaries, an attribute dictionary including the attribute type matched by the attribute type part matching and the attribute entity type matched by the attribute entity type part matching;
With reference to the selected attribute dictionary, for the attribute type and the attribute entity type stored in one attribute dictionary of the attribute dictionary, a text area including character information that matches the attribute type, extracting means for extracting a text region containing the character information that matches the type of the attribute entity,
And attributes of the one attribute dictionary, output means for outputting the character information of the text area corresponding to the type of attribute entities stored in the one attribute dictionary, as the attribute and attribute entity each of the extracted text region ,
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004276374A JP4677750B2 (en) | 2004-09-24 | 2004-09-24 | Document attribute acquisition method and apparatus, and recording medium recording program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004276374A JP4677750B2 (en) | 2004-09-24 | 2004-09-24 | Document attribute acquisition method and apparatus, and recording medium recording program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006092226A JP2006092226A (en) | 2006-04-06 |
JP4677750B2 true JP4677750B2 (en) | 2011-04-27 |
Family
ID=36233128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004276374A Expired - Fee Related JP4677750B2 (en) | 2004-09-24 | 2004-09-24 | Document attribute acquisition method and apparatus, and recording medium recording program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4677750B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4933833B2 (en) * | 2006-05-12 | 2012-05-16 | 株式会社リコー | Image forming system, groupware server, image forming method, database management program, and storage medium |
JP2008084186A (en) * | 2006-09-28 | 2008-04-10 | Fuji Xerox Co Ltd | Image processing system and image processing program |
US10592738B2 (en) * | 2017-12-01 | 2020-03-17 | International Business Machines Corporation | Cognitive document image digitalization |
CN110135264A (en) * | 2019-04-16 | 2019-08-16 | 深圳壹账通智能科技有限公司 | Data entry method, device, computer equipment and storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000090117A (en) * | 1998-07-16 | 2000-03-31 | Ricoh Co Ltd | Method and device for extracting logical element of document image, and recording medium therefor |
JP2001243423A (en) * | 2000-02-28 | 2001-09-07 | Toshiba Corp | Device and method for detecting character recording area of document, storage medium, and document format generating device |
JP2003030455A (en) * | 2001-07-10 | 2003-01-31 | Toshiba Corp | Method for identifying input business form in total transfer application entry system, total transfer application entry system and program |
-
2004
- 2004-09-24 JP JP2004276374A patent/JP4677750B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000090117A (en) * | 1998-07-16 | 2000-03-31 | Ricoh Co Ltd | Method and device for extracting logical element of document image, and recording medium therefor |
JP2001243423A (en) * | 2000-02-28 | 2001-09-07 | Toshiba Corp | Device and method for detecting character recording area of document, storage medium, and document format generating device |
JP2003030455A (en) * | 2001-07-10 | 2003-01-31 | Toshiba Corp | Method for identifying input business form in total transfer application entry system, total transfer application entry system and program |
Also Published As
Publication number | Publication date |
---|---|
JP2006092226A (en) | 2006-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3689455B2 (en) | Information processing method and apparatus | |
US6178417B1 (en) | Method and means of matching documents based on text genre | |
US7142728B2 (en) | Method and system for extracting information from a document | |
CN102053991B (en) | Method and system for multi-language document retrieval | |
EP1843276A1 (en) | Method for automated processing of hard copy text documents | |
US20070019864A1 (en) | Image search system, image search method, and storage medium | |
US20060045340A1 (en) | Character recognition apparatus and character recognition method | |
US9558234B1 (en) | Automatic metadata identification | |
JP2007172077A (en) | Image search system, method thereof, and program thereof | |
JP2000182064A (en) | Document processing system and index information acquirement method | |
JP2007122403A (en) | Device, method, and program for automatically extracting document title and relevant information | |
EP2806336A1 (en) | Text prediction in a text input associated with an image | |
JP2005151127A5 (en) | ||
JP4677750B2 (en) | Document attribute acquisition method and apparatus, and recording medium recording program | |
JP4811133B2 (en) | Image forming apparatus and image processing apparatus | |
Ul-Hasan et al. | OCR-free table of contents detection in Urdu books | |
JP3589007B2 (en) | Document filing system and document filing method | |
KR101800975B1 (en) | Sharing method and apparatus of the handwriting recognition is generated electronic documents | |
JP2002342343A (en) | Document managing system | |
JP2586372B2 (en) | Information retrieval apparatus and information retrieval method | |
JP7172343B2 (en) | Document retrieval program | |
Déjean et al. | Logical document conversion: combining functional and formal knowledge | |
JP2001094711A (en) | Document image processing unit and document image processing method | |
Lenc et al. | Tools for semi-automatic preparation of training data for ocr | |
JPH10198683A (en) | Method for sorting document picture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070816 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110117 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |