JP5205028B2 - Handwritten annotation management device and interface - Google Patents
Handwritten annotation management device and interface Download PDFInfo
- Publication number
- JP5205028B2 JP5205028B2 JP2007267345A JP2007267345A JP5205028B2 JP 5205028 B2 JP5205028 B2 JP 5205028B2 JP 2007267345 A JP2007267345 A JP 2007267345A JP 2007267345 A JP2007267345 A JP 2007267345A JP 5205028 B2 JP5205028 B2 JP 5205028B2
- Authority
- JP
- Japan
- Prior art keywords
- annotation
- information
- handwritten
- document
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は手書き注釈を含む文書管理装置における手書き注釈の重要度を計算する技術に関する。 The present invention relates to a technique for calculating the importance of handwritten annotations in a document management apparatus including handwritten annotations.
近年文書への手書きメモを電子化する技術が普及している。その一つとしてタブレットPCが挙げられる。これはペンデバイスを備えたパーソナルコンピュータであり、ペンデバイスでディスプレイ上に描いた内容を電子的に取り込むことができる。上記技術のもう一つ例としてデジタルペンが挙げられる。これは紙に印刷された細かなドットをペンに内蔵されたカメラで読み取ることで、紙への手書きメモを電子化することができる。 In recent years, techniques for digitizing handwritten memos on documents have become widespread. One of them is a tablet PC. This is a personal computer equipped with a pen device, and the contents drawn on the display by the pen device can be electronically captured. Another example of the above technique is a digital pen. By reading fine dots printed on paper with a camera built in the pen, handwritten memos on paper can be digitized.
またこれらのデバイスの普及に伴い、電子化された手書きメモを文書への注釈として文書情報と一緒に管理する技術も普及している。例えばMicrosoft社が開発したMicrosoft Office 2007では、タブレットを用いてワープロ文書やプレゼンテーション文書に手書きメモを追加して保存することができる。また特許文献1では、電子文書と紙上への手書きメモを一緒に管理する技術が開示されている。これらの技術によって、文書への手書き注釈を電子的に保存して管理することが可能になった。
With the spread of these devices, a technique for managing electronic handwritten memos as document annotations together with document information has also spread. For example, in Microsoft Office 2007 developed by Microsoft Corporation, a handwritten memo can be added to a word processor document or a presentation document and stored using a tablet.
これらの技術を背景に、近年文書への手書き注釈を解析して情報表示や検索に利用する技術が注目されている。官公庁や企業の業務では、下線や丸囲みなどを書き込むことによって、文書中の重要な部分を記録することが行われている。このような手書き注釈の記録は業務における重要な知識を含んでいることが多いので、それを電子的に管理して検索したり閲覧したりすることは有用である。これを実現する場合、管理される注釈の数は膨大になるので、検索において重要なものを優先的に提示することが重要となる。すなわち単語列からなる検索クエリーに対してそれぞれの注釈の重要度を計算する手段が重要である。 With these technologies as a background, in recent years, techniques that analyze handwritten annotations on documents and use them for information display and retrieval have attracted attention. In the work of public offices and companies, important parts of a document are recorded by writing underlines and circles. Since such handwritten annotation records often contain important knowledge in business, it is useful to search and browse them electronically. When this is realized, the number of annotations to be managed becomes enormous, so it is important to preferentially present what is important in the search. That is, a means for calculating the importance of each annotation for a search query consisting of a word string is important.
このような手書き注釈の検索を実現するものとして、記入内容や文書内容にもとづき手書き注釈情報に重要度をつけて検索する技術が提案されている。例えば非特許文献1では、検索キーワードと手書き注釈を記入した箇所付近のテキストとの類似度によって重要度を計算する手法が提案されている。また特許文献2では、手書き注釈を記入した部分の文書内容の語句の重要度によって手書き注釈の重要度を計算する手段が開示されている。また特許文献3では、特定の文書の範囲を指定してその範囲に記入された手書き注釈のみを検索する手段が開示されている。これらの手段によって、注釈をつけた文書のテキスト内容をもとに注釈情報を検索することが可能になる。
As a technique for realizing such a search for handwritten annotations, a technique has been proposed in which handwritten annotation information is searched for with importance based on the contents of entries and document contents. For example, Non-Patent
しかしながら、業務においては色々な箇所の似たような文章に下線などが記入される場合が多く、前記のような語句の類似度や重要度による注釈の重要度計算手段では、似たような文章につけられた注釈をうまく区別できない。また業務においては、ある文書の一部分と別の文書の一部分との対応関係や、その対応関係の強さの度合いなどを注釈によって明示的に記録することがある。このような記録は作業者の作業における過程や知識を表現するものであり、注釈情報を検索する場合に活用すれば従来のテキスト内容に基づく検索手法よりも一層効率のよい検索ができることが期待される。 However, underline is often entered in similar sentences in various places in business, and similar sentences are used in the importance calculation means for annotations based on word similarity and importance as described above. The annotations attached to cannot be distinguished well. In business, the correspondence between a part of one document and a part of another document, the degree of strength of the correspondence, and the like may be explicitly recorded by annotation. Such a record expresses the process and knowledge of the worker's work, and if it is used when searching for annotation information, it is expected that the search will be more efficient than the search method based on the conventional text contents. The
このような注釈による対応関係の情報を活用するものとして、特許文献4では文書中に着けられた手書きの追記マークを解釈し、マークの種類ごとに文書の内容を並べて表示する技術が開示されている。しかしながらそれはあくまで一文書内の手書き注釈の表示方法に関するものであり、注釈情報が大量に記録された中から検索によって効率的に情報を取り出すことに関する技術ではない。
そこで本発明では、手書き注釈情報を含む文書管理装置において、注釈情報を検索する際にユーザによる注釈間の対応付け情報を利用して検索結果を出力することで、テキスト内容には表れないユーザの作業過程の知識を活用して注釈情報を探すことが可能な注釈検索手段を提供する。 Therefore, in the present invention, in a document management apparatus including handwritten annotation information, when searching for annotation information, a search result is output using the association information between the annotations by the user. Provided is an annotation retrieval means capable of searching for annotation information by utilizing knowledge of a work process.
上記課題を解決するため、本発明は、以下のように文書管理システム、検索システム、検索方法を提供する。 In order to solve the above problems, the present invention provides a document management system, a search system, and a search method as follows.
文書管理システムであって、文書に対し手書きされた手書き情報を電子的に取得する手段と、取得された前記手書き情報から、対象の文章の範囲と当該文章へのマークを抽出し注釈情報データベースに登録する注釈情報解析手段と、前記手書き情報を取得したのと同じ業務フロー内で取得した、前記手書き情報とは異なる手書き情報であって、前記マークに対応するマークが手書きされている文書から対象の文章の範囲を抽出し、対比注釈として対比注釈情報データベースに登録する対比注釈登録部とを有することを特徴とする。 A document management system for electronically acquiring handwritten information handwritten on a document, and extracting a range of a target sentence and a mark on the sentence from the acquired handwritten information into an annotation information database Annotation information analyzing means to be registered and the handwritten information obtained in the same business flow as the handwritten information obtained from the handwritten information different from the handwritten information, and from the document in which the mark corresponding to the mark is handwritten A comparison annotation registration unit that extracts the range of the sentence and registers it in the comparison annotation information database as a comparison annotation.
さらに、前記対比注釈登録部は、前記手書き情報から、対比注釈に対する評価情報を取得して、前記対比注釈データベースに登録することを特徴とする
さらに、前記対比注釈に対する評価情報として、手書きされる評価記号とその評価値の組合せが登録された評価値データベースを有することを特徴とする。
Further, the comparison annotation registration unit acquires evaluation information for the comparison annotation from the handwritten information and registers it in the comparison annotation database. Furthermore, the evaluation that is handwritten as the evaluation information for the comparison annotation It has an evaluation value database in which combinations of symbols and their evaluation values are registered.
さらに、前記対比注釈登録部は、対応するマークが手書きされている文書中の対象の文章の範囲同士で、共通語及び差異語を抽出して対比注釈情報データベースに登録することを特徴とする。 Furthermore, the comparison annotation registration unit extracts a common word and a difference word between ranges of a target sentence in a document in which a corresponding mark is handwritten, and registers the extracted common word and difference word in a comparison annotation information database.
さらに、前記共通語及び差異語の抽出は、それぞれの文章における特徴語を抽出し、特徴語同士を比較することにより抽出することを特徴とする文書管理システム。 Furthermore, the common word and the difference word are extracted by extracting feature words in each sentence and comparing the feature words.
また、検索システムであって、電子的に取得された文書への手書き情報であって、対象の文章の範囲と当該文章へのマークが登録された注釈情報データベースと、前記手書き情報を取得したのと同じ業務フロー内で取得した、前記手書き情報とは異なる情報であって、前記マークに対応するマークが手書きされている文書から抽出された対象の文章の範囲が対比注釈として登録された対比注釈情報データベースと、キーワードの入力を受け付ける手段と、入力された前記キーワードを含む文章を前記注釈情報データベースから検索する注釈検索部と、前記検索部によって検索された文章とその文章に対応する対比注釈が登録されている文章とを前記対比注釈情報データベースから抽出し、前記対比注釈の重要度を計算する注釈評価部と、前記注釈評価部によって計算された重要度に基づいて、抽出された文章への手書き情報を表示する表示手段とを有する特徴とする。 In addition, the search system is handwritten information on the electronically acquired document, the annotation information database in which the range of the target sentence and the mark on the sentence are registered, and the handwritten information is acquired. A comparative annotation in which the range of the target sentence extracted from a document in which the mark corresponding to the mark is handwritten is registered as a comparative annotation, which is different from the handwritten information acquired in the same workflow An information database, a means for receiving input of a keyword, an annotation search unit that searches the annotation information database for a sentence including the input keyword, a sentence searched by the search part, and a contrast annotation corresponding to the sentence Annotation evaluator that extracts registered sentences from the contrast annotation information database and calculates the importance of the contrast annotation; and Interpretation based on the calculated importance by the evaluation unit, characterized and a display means for displaying the handwritten information to the extracted sentence.
さらに、前記対比注釈情報データベースは、前記手書き情報から取得された前記対比注釈に対する評価情報を有し、前記注釈評価部は、前記評価情報の重要度に基いて抽出された文章の組を並べ替え、前記表示手段に前記並べ替えの順で前記手書き情報を表示することを特徴とする。 Further, the contrast annotation information database has evaluation information for the contrast annotation acquired from the handwritten information, and the annotation evaluation unit rearranges the sentence sets extracted based on the importance of the evaluation information. The handwritten information is displayed on the display means in the order of the rearrangement.
また、検索キーワード入力手段、検索手段、表示手段、データベースを用いた検索方法であって、前記データベースは、電子的に取得された文書への手書き情報であって、対象の文章の範囲と当該文章へのマークが登録された注釈情報データベースと、前記手書き情報を取得したのと同じ業務フロー内で取得した、前記手書き情報とは異なる情報であって、前記マークに対応するマークが手書きされている文書から抽出された対象の文章の範囲が対比注釈として登録された対比注釈情報データベースとを有し、前記入力手段が検索キーワードの入力を受け付け、前記検索手段が、入力された前記キーワードを含む文章を前記注釈情報データベースから検索し、検索された文章とその文章に対応する対比注釈が登録されている文章とを前記対比注釈情報データベースから抽出し、前記対比注釈の重要度を計算し、前記表示部が、計算された重要度に基づいて、抽出された文章への手書き情報を表示することを特徴とする検索システム。 Also, a search method using a search keyword input means, search means, display means, and database, wherein the database is handwritten information on an electronically acquired document, and the range of the target sentence and the sentence Annotation information database in which a mark is registered and information different from the handwritten information acquired in the same business flow as the handwritten information is acquired, and the mark corresponding to the mark is handwritten A comparison annotation information database in which a range of a target sentence extracted from a document is registered as a comparison annotation, the input unit accepts an input of a search keyword, and the search unit includes a sentence including the input keyword Is retrieved from the annotation information database, and the contrast between the retrieved sentence and the sentence in which the contrast annotation corresponding to the sentence is registered. Extracted from the interpretation information database to calculate the importance of the contrast annotation, retrieval system the display unit, based on the calculated degree of importance, and displaying the handwritten information to the extracted sentence.
これにより、テキストの内容が似通った手書き注釈だけでなく、その注釈内容と関係性があると過去に作業者によって判断された部分の注釈に対しても適切に重要度を割り当てることができ、過去の作業知識を利用して重要な注釈を優先的に検索することが可能になる。 As a result, not only handwritten annotations with similar text content, but also importance can be assigned to annotations of parts that have been previously determined by the operator to be related to the annotation content. It is possible to search important annotations preferentially by using the working knowledge of.
また、本発明では、業務フローおよび該業務フローに含まれる文書の集合を管理し、同一業務フロー内の文書に記入された同一マークを持つ注釈の組を検出することで、記入者が意図した注釈の対応付けを抽出することができる。 Further, in the present invention, the writer intended by managing the business flow and a set of documents included in the business flow and detecting a set of annotations having the same mark written in the documents in the same business flow. An annotation correspondence can be extracted.
また本発明では、検索クエリーとテキストの整合性が高い注釈だけでなく、そのような注釈と対比関係によって結び付けられている注釈の重要度を高めることによって、テキスト内容だけでなく記入者の意図を反映して重要度を計算する手法を提案する。 In addition, the present invention increases the importance of not only the high-consistency of the search query and the text but also the annotation linked to the annotation by such a contrast, thereby not only the text content but also the intention of the writer. We propose a method to calculate importance by reflecting it.
また本発明では、検索結果として出力された注釈情報をリスト形式に表示するだけでなく、注釈の対比関係を重要度順にリスト形式に表示したり、注釈の対比関係をネットワーク状に表示したりすることによって、過去の記入者が記した注釈間の関係を可視化する手法を提案する。 In the present invention, not only the annotation information output as a search result is displayed in a list format, but also the comparison relationship of annotations is displayed in a list format in order of importance, or the comparison relationship of annotations is displayed in a network form. We propose a method for visualizing the relationship between annotations written by past writers.
本発明によれば、企業内で大量に蓄積された文書情報の中から、記入者が関係あると明示的に記した文書内容の組を抽出し、その関係性を用いてテキスト内容によらない尺度によって重要な文書情報を優先的に探し出せるようになる。 According to the present invention, a set of document contents that are explicitly described as having a relationship with a writer is extracted from a large amount of document information accumulated in a company, and the relationship is not used to depend on the text contents. The important document information can be preferentially searched by the scale.
本発明の実施形態にかかる情報管理装置の構成について図1に従い述べる。本発明の実施例としての情報管理装置は、情報管理サーバ101と情報管理クライアント102からなる。
The configuration of the information management apparatus according to the embodiment of the present invention will be described with reference to FIG. An information management apparatus as an embodiment of the present invention includes an
情報管理サーバ101は本装置を使用するユーザの情報を格納するユーザ情報DB103、文書の情報を格納する文書情報DB104、文書に書き加えられた手書きを格納するストローク情報DB105、ストロークと文書内容を解析して下線や丸囲みであるというストロークの形状やどの部分に下線が引かれているかという注釈内容を格納する注釈情報DB106、業務フローとその中で利用される文書の情報を格納する業務フロー情報DB107、記入者が意図したと考えられる注釈間の対応づけを格納する対比注釈情報DB108、注釈に対して記入者が明示的に評価をつける際の評価記号と評価値の対応付けを格納する評価値DB130、クライアントから記入データを受け取りストローク情報DBや注釈情報DBにデータを格納する記入データ登録部109、クライアントから検索クエリーを受け取り注釈情報のリストを返信する注釈情報検索処理部110から構成される。記入データ登録部109は、ストローク情報DBに情報を格納するストローク情報登録部120、下線や丸囲みなどの手書きの形状やその対象となる文章を解析して注釈情報DBに情報を格納する注釈解析・登録部121、追記マークなどをもとに注釈間の対応関係を抽出して対比注釈情報DBに情報を格納する対比注釈登録部122で構成される。注釈情報検索処理部110は、検索クエリーのテキストを内容として含む注釈情報を取得するキーワードによる注釈検索部123、注釈情報や対比注釈情報の内容をもとに検索クエリーに対する注釈情報の重要度を計算する注釈評価部124、重要度をもとに注釈情報を並び替えて検索結果としてクライアントに出力する検索結果生成部125で構成される。
The
情報管理クライアント102は、各ユーザがこれを用いて文書への手書き注釈を電子化したり注釈情報を検索して閲覧したりするための端末であり、ペンデバイスから記入データを読み取りサーバに送信する記入データ読み込み部111、ユーザから検索クエリーを受け取ってサーバに送信してサーバから返信される結果を画面にリスト形式で表示する注釈情報検索部112から構成される。クライアントにはペンデバイス113が接続され、文書への記入を電子化したものを読み取ることができる。
The
最初に、情報管理サーバにおける情報管理の形式を図2から図5に示す。 First, FIGS. 2 to 5 show information management formats in the information management server.
ユーザ情報DB103の管理形式を、図2を用いて説明する。ユーザ情報は、それぞれのユーザに固有に割り当てられるユーザID201、ユーザ名202から構成される。
The management format of the
文書情報DB104の管理形式を、図3を用いて説明する。文書情報は、それぞれの文書に固有に割り当てられる文書ID301、文書を作成したユーザを表す作成ユーザID302、作成日時303、更新日時304、文書の電子ファイルを格納する電子文書データ305、文書のページ数306、文書インスタンスIDリスト307から構成される。文書インスタンスIDは当該文書に記入を行う際の記入対象となる中間データで、同一文書に別々のユーザが書き込んだ場合に、それらを分割しつつ同一の文書に書き込んだということを管理するためのものである。例えば別々のユーザがそれぞれある文書に記入をしたい場合は、それぞれ別々の文書インスタンスを生成して書き込みを行う。
The management format of the
ストローク情報DB105の管理形式を、図4を用いて説明する。ストローク情報は、それぞれのストロークに固有に割り当てられるストロークID401、ストロークを記入した文書インスタンスのID402、ストロークを記入したページ番号403、ストロークを記入したユーザのID404、記入開始時刻405、サンプリング点数406から構成され、さらにストロークを構成するサンプリング点のリストへのポインタ407を持つ。サンプリング点はX座標408、Y座標409、差分時刻410から構成される。ストローク情報はサンプリング点のリストによりストロークの形状を保持するだけでなく、記入者や記入時刻などの情報も併せて保持する。
The management format of the
注釈情報DB106の管理形式を、図5を用いて説明する。注釈情報は、それぞれの注釈に固有に割り当てられる注釈ID501、注釈を記入したユーザのID502、注釈を構成するストロークのIDのリスト503、該注釈の一部であり記入者が該注釈に割り当てたとみなすマーク504、下線や丸囲みなどの注釈の形状505、下線が引かれた文章や丸囲みされた文章など注釈が記入された対象となる文章を格納する被注釈文字列506から構成される。510は注釈の例である。510は下線によって文書内容の範囲が選択されており、さらに左上に「1a」という記号が記入されている。本装置はこのようなストロークから下線と「1a」というマークを検出し、注釈情報として登録する。
The management format of the
業務フロー情報DB107の管理形式を、図6を用いて説明する。業務フロー情報は、それぞれの業務フローに固有に割り当てられる業務フローID601、業務フローの開始日時602と終了日時603、および業務フローに含まれる文書情報604の集合から構成される。業務フローに含まれる文書情報604は、該当する文書インスタンスID605、該当する業務フローID606、該業務フローにおいて該文書より先に作成もしくは利用される文書である親文書インスタンスのID606、該業務フローにおいて該文書より後に作成もしくは利用される文書である子文書インスタンスのID607から構成される。業務フロー内の文書情報の集合は、親子関係によって図6に示すようなネットワーク構造を持つ。
The management format of the business
対比注釈情報DB108の管理形式を、図7を用いて説明する。対比注釈情報は、検出されたそれぞれの対比注釈に固有に割り当てられる対比注釈ID701、対比注釈を構成する注釈のIDの組702、記入者が明示的に示した該対比注釈の評価値703、二つの注釈の被注釈文字列の間の共通語のリスト704、二つの注釈の被注釈文字列の間の差異語のリスト705、706から構成される。注釈710と注釈711の組は対比注釈の例である。注釈710は縦括弧によって範囲選択がされており、その左上に「1a」というマークが記入されている。注釈711は下線によって範囲選択がされており、その左上に「1a」というマークが記入されている。さらにこれらの注釈が記入された文書インスタンスは同一業務フローに属している。この時本装置は両注釈のマークが同一であることを検出し、その組を対比注釈として対比注釈DBに登録する。
The management format of the contrast
次に、ユーザがペンで文書に注釈を記入した時の情報登録処理を図8から図10を用いて説明する。まず情報登録処理の全体の流れを、図8を用いて説明する。ユーザ807がペンデバイス808を使って文書インスタンス809に記入した場合、クライアント801の記入データ読み込み部はペンデバイスからストロークの座標や時刻の情報を取得し、ストローク情報802を生成してサーバ803に送信する。この時ペンデバイスとしてペンタブレットやタブレットPCなどを用いてもよいし、Anotoデジタルペンのような紙に直接記入するペンデバイスを用いてもよい。サーバは送信されたストローク情報を受け取ると、ストローク情報登録部804においてストローク情報をストローク情報DBに登録し、次に注釈解析・登録部805においてストロークの形状を解析してその結果を注釈情報DBに登録する。最後に対比注釈登録部806において、同一業務フロー内の文書インスタンスに記入された注釈でマークが同じものを取得して対比注釈情報DBに登録する。これによってユーザが注釈を記入するたびに、どの部分に下線を引いたかなどという情報やユーザが明示的に示した注釈の対応関係が自動的にサーバに登録される。
Next, information registration processing when a user enters an annotation on a document with a pen will be described with reference to FIGS. First, the overall flow of the information registration process will be described with reference to FIG. When the
情報登録処理における注釈解析・登録部のフローチャートを図9に示す。注釈解析・登録部は、ステップ901においてクライアントから送信されたストローク情報を受け取り、ステップ902において線や丸囲みなどストロークの形状を認識する。ステップ902において、下線や丸囲みなどあらかじめ設定された注釈形状が認識されれば、ステップ903の条件分岐によってステップ904に進む。もし注釈形状が認識されなかった場合は注釈解析・登録部が終了になる。ステップ904においては、ストロークの形状と文書内容の位置情報を比べ合わせ、注釈が覆っている範囲を検出する。例えば下線の場合は、下線の座標と文書テキストの座標から、どの文章に下線が引かれているかを検出する。ステップ905では注釈の識別子として記入された記号をマークとして検出する。ステップ906では注釈形状や注釈範囲およびマークの情報を注釈情報として注釈情報DBに登録する。
A flowchart of the annotation analysis / registration unit in the information registration process is shown in FIG. The annotation analysis / registration unit receives the stroke information transmitted from the client in
情報登録処理における対比注釈登録部のフローチャートを図10に示す。対比注釈登録部は、ステップ1001において注釈解析・登録部で登録された注釈情報1を取得し、ステップ1002において注釈情報1が記入された文書インスタンスの情報を取得し、さらに該文書インスタンスが属する業務フローの情報を取得する。次にステップ1003において該業務フローに属する全ての文書インスタンスに記入された全ての注釈情報を取得し、ステップ1004でそれらの注釈情報の中からマークが注釈情報1と同一であるものを全て取得する。ステップ1005では注釈情報1とステップ1004で取得した注釈情報との組を対比注釈として対比注釈情報DBに登録する。ステップ1006ではユーザが記入した対比注釈に対する評価情報から、対比注釈の評価値を設定する。ここでの評価値記入方法は、例えば余白にマークの記号と評価記号を並べて記入することによって行うことができる。ここで、図21に示すように、評価記号が表す評価値については、評価記号と合わせて予め評価値DBに登録させておいてもよい。最後にステップ1007で対比注釈における二つの注釈の共通・差異語をテキスト処理によって抽出する。ここで共通・差異語抽出は、例えばまず注釈の被注釈文字列から一般的なテキスト処理によって特徴語を抽出し、それらが二つの注釈で共通に表れているか否かをみることによって実現できる。
FIG. 10 shows a flowchart of the contrast annotation registration unit in the information registration process. The contrast annotation registration unit acquires the
対比注釈登録部のステップ1006における評価記号記入方法の例を図11に示す。この例では文書インスタンス1101に注釈1103が、文書インスタンス1102に注釈1104が記入されており、これらはそれぞれ「1a」という同一のマークを持ち対比注釈として登録される。さらに文書インスタンス1102の余白には対比注釈の評価情報1105が記入されている。この時本装置はこのような記述を文字認識によって検出し、「1a」というマークに対して「x」という評価がされているとみなす。ここで評価記号xにあらかじめ割り当てた値を該対比注釈の評価値として設定する。また図11の例では「2b」というマークを持つ対比注釈に対しては評価記号yに対応する評価値を設定することになる。なお、ここでは文書の余白にマークの種類ごとにまとめて評価記号を記入したが、それぞれの注釈の側に個別に評価記号を書き込むような方式をとってもよい。この記入された記号に従って、評価値が登録される。登録される際に、評価値を図7にある通り数値で登録してもよい。このようにユーザの記入によって注釈の評価値を登録することで、注釈検索時に記入者の意図をより反映させて注釈の重要度を計算することができる。
An example of the evaluation symbol entry method in
上記の対比注釈に対する評価は、データベースに評価値が登録された後に変更することもできる。文書インスタンスへの追記による評価変更の例を図12に示す。この例では以前に余白に記入した評価記号に斜線を引き、その上に新たな評価記号を記入している。本装置はこの斜線および評価記号を文字認識により検出し、データベースの該当するマークに関する対比注釈の評価値を変更登録する。 また評価変更は文書インスタンスへの記入だけでなくPCの画面などからキーボード入力で行ってもよい。その例を図13に示す。本例では画面1301にある業務フローに属する文書インスタンスとそこに記入されたマークが表として表示されている。表の各欄には該当文書インスタンスに記入された該当マークに対する評価記号が表示されている。例えば文書D0032154には項目1aに対してXという評価記号が、項目2b、3c、4dに対してはYという評価記号が記入されていることを表している。またそれぞれの文書に対して全ての項目の評価記号が記入されるわけではなく、例えば文書D0032162には項目1aに関する評価記号が記入されていないため該当する欄が空白になっている。ユーザはPCの画面から各欄の値を変更することができ、その場合本装置は対比注釈情報DBに登録されている対応する対比注釈の評価値を修正する。図13の例では文書D0032154での項目1aに対する評価記号をXからYに修正しており、それに応じて対応する対比注釈情報の重要度が、評価記号Xに割り当てられた評価値2.0から評価記号Yに割り当てられた評価値1.0に変更されている。対比注釈登録ステップ1006における共通・差異語抽出部のフローチャートを図14に示す。共通・差異語抽出部は、ステップ1401において対象となる注釈情報1、2を取得し、ステップ1402においてそれぞれの注釈情報の被注釈文字列から特徴語を抽出する。この特徴語抽出は通常用いられるような辞書による方式やTF−IDFなどの単語出現頻度による方式などを用いて実現できる。次にステップ1403において抽出されたそれぞれの特徴語の中から両者の注釈に共通な語を共通語として対比注釈情報に登録する。またステップ1404においては注釈情報1の被注釈文字列における特徴語であり注釈情報2の被注釈文字列に出現しないものを差異語1として対比注釈情報に登録し、同様にステップ1405においては注釈情報2の被注釈文字列における特徴語であり注釈情報1の被注釈文字列に出現しないものを差異語2として対比注釈情報に登録する。これらの共通語や差異語はテキスト検索におけるキーとなるが、対比注釈における二つの注釈の関係を特徴づけるものとしても有用である。
The evaluation for the above comparison annotation can be changed after the evaluation value is registered in the database. FIG. 12 shows an example of evaluation change by adding to a document instance. In this example, the evaluation symbol previously entered in the margin is hatched, and a new evaluation symbol is entered thereon. The apparatus detects the oblique lines and the evaluation symbols by character recognition, and changes and registers the evaluation value of the contrast annotation for the corresponding mark in the database. The evaluation change may be performed not only by filling in the document instance but also by keyboard input from a PC screen or the like. An example is shown in FIG. In this example, the document instances belonging to the business flow on the
以上が手書き情報登録部の処理の流れである。手書き情報登録部の結果としてどのような文書に下線や丸囲みを記入したかを表す注釈情報や、記入者はどの部分が関係深いと考えているかを表す対比注釈情報が得られる。これらの情報によって、検索において単純なテキストの類似性を比べるだけでは得られない効果が得られることが期待できる。その例を図15で示す。
3つの文書の部分1501、1502、1503の内容を見ると、これらの内容はそれぞれ類似性が高いにもかかわらず、1501と1502は「特徴語」「抽出」という共通単語を含むので類似性が高いとみなされるが、1503は共通単語を含まないのでこれら二つの文書とは類似性が低いとみなされてしまう。よって例えば「特徴語」というキーワードで検索した場合1501、1502は取得できるが1503は取得できない。一方本発明のように手書き注釈から文書間の対応付けを見つけ出しておけば、もし1504、1505、1506に関連性があると誰かが注釈を記入していた場合には、テキスト内容の類似性に関係なくこれらの文書間の関係を取得することができる。そのような手書き注釈は記入者が判断して記入したものなので、それらが実際に関係深い可能性は高いといえる。このような状態では、例えば「特徴語」というキーワードで検索した場合1504、1505だけでなく1506の文書もこの対応関係をもとに取得することができる。このように、本発明による手法によって表記のゆれや語句の違いがあったとしても、作業者の過去の思考・知識を利用して検索を効率化できる効果が得られる。 次に、ユーザがサーバで管理されている注釈情報を検索する処理を図16から図20を用いて説明する。
The above is the process flow of the handwritten information registration unit. As a result of the handwritten information registration unit, annotation information indicating what kind of document is underlined or circled, and contrast annotation information indicating which part the writer considers to be relevant are obtained. It can be expected that such information provides an effect that cannot be obtained by simply comparing the similarity of simple texts in a search. An example is shown in FIG.
Looking at the contents of the three
まず検索処理の全体の流れを、図16を用いて説明する。ユーザがクライアントの注釈検索部に検索クエリー1601を入力すると、注釈検索部はその検索クエリーをサーバに送信する。検索クエリーはキーワードとなる単語列で構成される。サーバは検索クエリーを受け取ると、まずキーワードによる注釈検索部1602によって検索クエリーの単語列に含まれる単語を被注釈文字列に含むような注釈情報を全て取得する。次に注釈評価部1603において、それぞれの注釈の重要度およびこれらの注釈と対応関係にある注釈の重要度を計算する。最後に検索結果生成部1604において、キーワードによる注釈検索部1602によって得られた注釈情報を注釈評価部1603において得られた重要度の順に並べ直し、その上位N件のリスト1605を検索結果としてクライアントに送信する。クライアントは検索結果を受け取ると、注釈の形状や文書の内容を含めて注釈情報を画面にリスト表示する。ここで注釈評価部ではユーザの評価や時間の情報などテキストの情報以外を用いて重要度を計算しており、単なるキーワードによる類似性では得られなかった関連性に関する情報を取得することができる。
First, the overall flow of the search process will be described with reference to FIG. When the user inputs a
上記検索処理における注釈評価部のフローチャートを図17に示す。注釈評価部は、ステップ1701において重要度を計算する対象となる注釈情報を受け取り、ステップ1702において該注釈情報の重要度を計算する。ここで注釈情報の重要度は検索キーワードと被注釈文字列との類似度をもとに計算してもよいし、さらに対比注釈を優先的に検索したい場合は該注釈情報を含む対比注釈情報の数が多いものの重要度を高くするようにしてもよい。また検索者が人や日時の条件を指定して、それらの条件に近い記入者や記入日時を持つ注釈情報の重要度を高めるようにしてもよく、それによって関係の深い人や期間に記入されたものを優先的に検索するといったことも可能になる。具体的な重要度計算方法の例を示すと、検索キーワードと被注釈文字列との類似度をコサイン距離で計算した値をd、該注釈情報を含む対比注釈情報の数をn、該注釈情報の記入時刻をt1、検索条件として指定された日時をt2、該注釈情報の記入者のユーザIDをu1、検索条件として指定されたユーザのIDをu2として、該注釈情報の重要度を適当な係数a1〜a4を定めてa1×d+a2×n+a3×|t1―t2|+a4×eq(u1,u2)という式で計算することができる。ここで関数eqは二つの引数が等しい場合は1を、そうでない場合は0を返すとする。重要度計算では上記の方法以外に、検索キーワードと被注釈文字列との類似度をコサイン距離以外の方法で求めることもできるし、重要度の計算式を単純な足し合わせではなく2次関数や平方根などのより複雑な計算式を用いることもできる。次にステップ1703において該注釈情報を含む対比注釈情報を全て取得し、最後にステップ1704において、ステップ1703で取得した対比注釈情報に含まれる全ての注釈情報の重要度を計算する。ここでこれらの注釈情報の重要度はステップ1702で計算した重要度をもとに計算するが、さらに対比注釈の評価値などを加味してもよい。また対比注釈の共通語・差異語の性質を重要度計算に反映させてもよい。例えば検索者が指定した検索キーワードが対比注釈の共通語に含まない場合に重要度を高めてもよく、これによって検索者が指定した検索キーワードの内容と関係が深いと記入者が判断したにも関わらず検索キーワードを直接含んでいないためにステップ1702において重要度が低くなってしまうような部分の重要度を高めることができる。このような計算の具体的な方法の例を示すと、ステップ1702で計算した注釈情報の重要度をv、対比注釈の評価値をe、検索キーワードと対比注釈の共通語との間に共通の単語が含まれているかどうかを現す値をc(共通単語が含まれていればc=0、そうでなければc=1)として、該注釈情報の重要度を適当な係数b1〜b3を定めてb1×v+b2×e+b3×cという式で計算することができる。また対比注釈の差異語の量が多い場合に重要度を高くしてもよく、これによってもステップ1702における単純なテキスト検索では重要度が低くなってしまうような部分の重要度を高める効果が得られる。これによって、テキスト検索で引っかかった注釈だけでなく、記入者がそれらと関係があると判断した注釈も検索結果に含めることができる。
A flowchart of the annotation evaluation unit in the search process is shown in FIG. The annotation evaluation unit receives the annotation information for which importance is calculated in
最後に検索結果の出力形態の例を図18に示す。ここでは注釈の重要度の順番に、注釈付近の文書内容をリスト表示している。さらに対比注釈がある場合には対応付けられた注釈も並べて表示することで、どのような意図でその注釈が付けられたかを分かりやすくしている。この例では「アルミニウム」と「混合」という検索キーワードで検索を実行している。この検索キーワードを受け取ると、サーバの注釈検索部1602でキーワード検索によって注釈情報1804、1805、1806が抽出され、注釈評価部のステップ1702においてその重要度が計算される。さらに注釈評価部のステップ1703、1704によって対比注釈によってそれらと関係付けられた注釈情報1807、1808が抽出されてそれらの重要度も計算される。そして検索結果生成部1604において、対比注釈によって関係付けられた注釈情報があるならばそれらをペアにして、抽出された注釈情報の重要度の高い順に並び替えて出力する。検索結果を見ると、注釈情報1807には「アルミニウム」「混合」という単語は含まれていないにも関わらず、関係のある内容であると判断されて検索できている。
Finally, an example of the output form of the search result is shown in FIG. Here, the document contents near the annotation are displayed in a list in order of the importance of the annotation. Furthermore, when there are contrast annotations, the associated annotations are also displayed side by side, so that it is easy to understand the purpose of the annotation. In this example, the search is performed using the search keywords “aluminum” and “mixed”. When this search keyword is received,
本検索機能によって、表記のゆれに強い検索が実現できることを図19の例を用いて説明する。図19は「パーソナルコンピューター」という検索キーワードで注釈検索を実行した結果を表している。二つの検索結果はそれぞれ「パーソナルコンピューター」という単語を含む注釈であるが、それぞれに対比注釈によって関係づけられている注釈は「個人用計算機」、「ワードプロセッサー」と「パーソナルコンピューター」という単語が含まれていないものが表示されている。これらの単語は類義語であり関連性が高いのはもちろんであるが、従来のテキスト検索では検索結果として出力することはできなかった。本手法では過去にこれらの関連性に注目した人がいれば、これらの関係性を取得することができる。 The fact that a search resistant to the fluctuation of the notation can be realized by this search function will be described with reference to the example of FIG. FIG. 19 shows the result of executing an annotation search with the search keyword “personal computer”. The two search results are annotations that each contain the word “personal computer”, but the annotations that are related to each other by contrast annotations include the words “personal computer”, “word processor”, and “personal computer”. What is not displayed. Of course, these words are synonyms and highly related, but the conventional text search could not be output as a search result. In this method, if there is a person who has paid attention to these relationships in the past, these relationships can be acquired.
また検索結果をリスト表示ではなく、文書をノード、対比注釈関係をエッジとするグラフ構造で表示する検索結果出力例を図20に示す。ここでは、ユーザによって入力された評価値に基き、類似性が高い場合にはエッジを短くしてノード間の距離を短くして表示してもよい。図12,13で示したような注釈の訂正があった場合には、重要度に応じたリンク付けの表示を変えた表示にしなおしてもよい。このような表示方法によって、各注釈間の関係をより簡潔に概観することが可能になる。 FIG. 20 shows an example of a search result output in which the search result is displayed not in a list but in a graph structure in which a document is a node and a contrast annotation relation is an edge. Here, based on the evaluation value input by the user, when the similarity is high, the edge may be shortened and the distance between the nodes may be shortened. When the annotation is corrected as shown in FIGS. 12 and 13, the display of linking according to the importance may be changed to a different display. Such a display method allows a more concise overview of the relationship between annotations.
10…情報管理システム、101…情報管理サーバ、102…情報管理クライアント、103…ユーザ情報DB、104…文書情報DB、105…ストローク情報DB、106…注釈情報DB、107…注釈登録部、108…注釈検索処理部、109…注釈検索部、110…記入データ読み込み部、111…ペンデバイス。
DESCRIPTION OF
Claims (14)
取得された前記手書き情報から、対象の文章の範囲と当該文章へのマークを抽出し注釈情報データベースに登録する注釈情報解析手段と、
前記手書き情報を取得したのと同じ業務フロー内で取得した、前記手書き情報とは異なる手書き情報であって、前記マークに対応するマークが手書きされている文書から対象の文章の範囲を抽出し、対比注釈として対比注釈情報データベースに登録する対比注釈登録部とを有し、
前記対比注釈登録部は、対応するマークが手書きされている文書中の対象の文章の範囲同士で、共通語及び差異語を抽出して対比注釈情報データベースに登録することを特徴とする文書管理システム。 Means for electronically acquiring handwritten information handwritten on a document;
An annotation information analysis means for extracting a range of a target sentence and a mark to the sentence from the acquired handwritten information and registering it in an annotation information database;
It is handwritten information different from the handwritten information acquired in the same business flow as the handwritten information is acquired, and extracts a range of a target sentence from a document in which a mark corresponding to the mark is handwritten, A comparison annotation registration unit for registering in the comparison annotation information database as a comparison annotation;
The comparison annotation registration unit extracts a common word and a difference word from a range of target sentences in a document in which a corresponding mark is handwritten, and registers it in a comparison annotation information database. .
前記手書き情報を取得したのと同じ業務フロー内で取得した、前記手書き情報とは異なる情報であって、前記マークに対応するマークが手書きされている文書から抽出された対象の文章の範囲が対比注釈として登録された対比注釈情報データベースと、
キーワードの入力を受け付ける手段と、
入力された前記キーワードを含む文章を前記注釈情報データベースから検索する注釈検索部と、
前記検索部によって検索された文章とその文章に対応する対比注釈が登録されている文章とを前記対比注釈情報データベースから抽出し、前記対比注釈の重要度を計算する注釈評価部と、
前記注釈評価部によって計算された重要度に基づいて、抽出された文章への手書き情報を表示する表示手段と、を有し、
前記対比注釈情報データベースは、対比注釈として、対応するマークが手書きされている文書中の対象の文章の範囲同士で抽出された共通語及び差異語が登録されることを特徴とする検索システム。 Annotation information database that is handwritten information on an electronically acquired document, in which the range of the target sentence and the mark on the sentence are registered,
The range of the target sentence extracted from the document in which the mark corresponding to the mark is handwritten and is different from the handwritten information acquired in the same business flow from which the handwritten information is acquired is compared. A contrast annotation information database registered as an annotation;
Means for accepting keyword input;
An annotation search unit that searches the annotation information database for a sentence including the input keyword;
An annotation evaluation unit that extracts a sentence searched by the search unit and a sentence in which a comparison annotation corresponding to the sentence is registered from the comparison annotation information database, and calculates the importance of the comparison annotation;
Display means for displaying handwritten information on the extracted text based on the importance calculated by the annotation evaluation unit,
In the comparison annotation information database, a common word and a difference word extracted between ranges of a target sentence in a document in which a corresponding mark is handwritten are registered as a comparison annotation.
前記重要度は、前記キーワードが前記共通語に含まれるか否かの値又は差異語の多さであることを特徴とする検索システム。 The search system according to claim 7,
The importance is the value of whether or not the keyword is included in the common word or the number of different words.
前記データベースは、
電子的に取得された文書への手書き情報であって、対象の文章の範囲と当該文章へのマークが登録された注釈情報データベースと、
前記手書き情報を取得したのと同じ業務フロー内で取得した、前記手書き情報とは異なる情報であって、前記マークに対応するマークが手書きされている文書から抽出された対象の文章の範囲が対比注釈として登録された対比注釈情報データベースとを有し、
前記入力手段が検索キーワードの入力を受け付け、
前記検索手段が、
入力された前記キーワードを含む文章を前記注釈情報データベースから検索し、検索された文章とその文章に対応する対比注釈が登録されている文章とを前記対比注釈情報データベースから抽出し、前記対比注釈の重要度を計算し、
前記表示部が、計算された重要度に基づいて、抽出された文章への手書き情報を表示し、
前記対比注釈情報データベースは、対比注釈として、対応するマークが手書きされている文書中の対象の文章の範囲同士で抽出された共通語及び差異語が登録されることを特徴とする検索方法。 Search keyword input means, search means, display means, a search method using a database,
The database is
Annotation information database that is handwritten information on an electronically acquired document, in which the range of the target sentence and the mark on the sentence are registered,
The range of the target sentence extracted from the document in which the mark corresponding to the mark is handwritten and is different from the handwritten information acquired in the same business flow from which the handwritten information is acquired is compared. A comparative annotation information database registered as annotations,
The input means accepts input of a search keyword,
The search means
A sentence including the input keyword is searched from the annotation information database, and the searched sentence and a sentence in which a comparison annotation corresponding to the sentence is registered are extracted from the comparison annotation information database. Calculate importance,
The display unit displays handwritten information on the extracted sentence based on the calculated importance,
The search method according to claim 1, wherein the comparison annotation information database registers, as a comparison annotation, a common word and a difference word extracted between ranges of a target sentence in a document in which a corresponding mark is handwritten.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007267345A JP5205028B2 (en) | 2007-10-15 | 2007-10-15 | Handwritten annotation management device and interface |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007267345A JP5205028B2 (en) | 2007-10-15 | 2007-10-15 | Handwritten annotation management device and interface |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009098763A JP2009098763A (en) | 2009-05-07 |
JP5205028B2 true JP5205028B2 (en) | 2013-06-05 |
Family
ID=40701733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007267345A Expired - Fee Related JP5205028B2 (en) | 2007-10-15 | 2007-10-15 | Handwritten annotation management device and interface |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5205028B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5422268B2 (en) * | 2009-06-19 | 2014-02-19 | 株式会社日立製作所 | Document management system and document management method using digital pen |
JP5444946B2 (en) * | 2009-08-26 | 2014-03-19 | 富士ゼロックス株式会社 | WRITING INFORMATION PROCESSING DEVICE, WRITING INFORMATION PROCESSING SYSTEM, AND PROGRAM |
JP5683817B2 (en) * | 2010-01-07 | 2015-03-11 | レノボ・イノベーションズ・リミテッド(香港) | Portable transmission terminal, portable reception terminal, and portable transmission / reception system |
JP5353872B2 (en) * | 2010-12-21 | 2013-11-27 | カシオ計算機株式会社 | Information display device and information display program |
JP2014032632A (en) | 2012-08-06 | 2014-02-20 | Toshiba Corp | Electronic apparatus, method, and program |
JP6303669B2 (en) * | 2014-03-19 | 2018-04-04 | 大日本印刷株式会社 | Document retrieval device, document retrieval system, document retrieval method, and program |
WO2017149711A1 (en) * | 2016-03-02 | 2017-09-08 | 株式会社日立製作所 | Document management device and document management method |
JP6439738B2 (en) * | 2016-04-18 | 2018-12-19 | カシオ計算機株式会社 | Image processing apparatus and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4192729B2 (en) * | 2002-09-16 | 2008-12-10 | 富士ゼロックス株式会社 | Method for highlighting free-form annotation, annotation highlighting device, and program for highlighting free-form annotation |
JP2005182460A (en) * | 2003-12-19 | 2005-07-07 | Canon Inc | Information processor, annotation processing method, information processing program, and recording medium having information processing program stored therein |
JP2006301695A (en) * | 2005-04-15 | 2006-11-02 | Fuji Xerox Co Ltd | Document processing device and program |
-
2007
- 2007-10-15 JP JP2007267345A patent/JP5205028B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009098763A (en) | 2009-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109992645B (en) | Data management system and method based on text data | |
JP5205028B2 (en) | Handwritten annotation management device and interface | |
US9323731B1 (en) | Data extraction using templates | |
US7519900B2 (en) | System and method for processing digital annotations | |
US10423697B2 (en) | User interface with navigation controls for the display or concealment of adjacent content | |
JP4682284B2 (en) | Document difference detection device | |
US20070047816A1 (en) | User Interface for Mixed Media Reality | |
US20080195657A1 (en) | Context-based community-driven suggestions for media annotation | |
US20140245121A1 (en) | Creating and Switching a View of a Collection Including Image Data and Symbolic Data | |
JP2000222394A (en) | Document managing device and method and recording medium for recording its control program | |
Ugale et al. | Document management system: A notion towards paperless office | |
CN104123269A (en) | Semi-automatic publication generation method and system based on template | |
Stoffel et al. | Enhancing document structure analysis using visual analytics | |
US9558400B2 (en) | Search by stroke | |
CN114064851A (en) | Multi-machine retrieval method and system for government office documents | |
WO2008041367A1 (en) | Document searching device, document searching method, document searching program | |
CN114023414A (en) | Physical examination report multi-level structure input method, system and storage medium | |
KR20120058544A (en) | Image element searching | |
Bartoli et al. | Semisupervised wrapper choice and generation for print-oriented documents | |
JP7086424B1 (en) | Patent text generator, patent text generator, and patent text generator | |
JP5550959B2 (en) | Document processing system and program | |
JP2000020549A (en) | Device for assisting input to document database system | |
CN104516941A (en) | Related document search apparatus and method, and program | |
JP7377565B2 (en) | Drawing search device, drawing database construction device, drawing search system, drawing search method, and program | |
Mitocaru et al. | The Lib2Life Platform-Processing, Indexing and Semantic Search for Old Romanian Documents. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130218 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |