WO2018174603A1 - 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 방법 및 장치 - Google Patents

인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 방법 및 장치 Download PDF

Info

Publication number
WO2018174603A1
WO2018174603A1 PCT/KR2018/003371 KR2018003371W WO2018174603A1 WO 2018174603 A1 WO2018174603 A1 WO 2018174603A1 KR 2018003371 W KR2018003371 W KR 2018003371W WO 2018174603 A1 WO2018174603 A1 WO 2018174603A1
Authority
WO
WIPO (PCT)
Prior art keywords
description
reference numerals
character
reference numeral
reference number
Prior art date
Application number
PCT/KR2018/003371
Other languages
English (en)
French (fr)
Inventor
강민수
황재성
노석현
Original Assignee
(주)광개토연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)광개토연구소 filed Critical (주)광개토연구소
Priority to US16/496,165 priority Critical patent/US11080910B2/en
Publication of WO2018174603A1 publication Critical patent/WO2018174603A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/226—Validation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present invention relates to an apparatus and a method for processing a description of a reference number in a patent drawing image using machine learning based on artificial intelligence technology, and more particularly, cross-validation of character-corresponding image data by characters.
  • the learning model generated by learning the parameters of the learning model under optimized hyperparameter conditions, the drawing included in the patent drawing image is recognized.
  • Patent applications include patent specifications and drawings. Many patent drawings contain a plurality of marks for reference numerals. However, the drawings are provided in the form of images, and the reference numerals are often in the form of simple numbers or numbers + letters, and there is a problem in that it is difficult to accurately identify the object referred to by the reference numerals only.
  • 25 and 30 show reference numerals in the conventional drawings, but the description of the reference numerals is not added, and thus, examples of the conventional patent drawings referred to by reference numerals are difficult to grasp accurately and quickly.
  • the present invention is to eliminate the conventional inconvenience of not quickly and clearly grasp the object referred to by the reference numerals in the drawings.
  • the problem to be solved by the present invention is to solve the above problems, learning the parameters of the learning model under the hyperparameter (hyper parameter) conditions that have been optimized by the cross-validation of the character-adaptive image data for each character Recognizing the drawing-included reference numerals included in the patent drawing image using the learning model generated by using the model, and searching the layout space where the description of the reference numerals corresponding to the recognized drawing-included reference numerals can be placed,
  • the device to generate a batch information set including position information for processing so that the description of the reference is displayed on the drawing image and provide corresponding to the patent drawing image, the original around the reference number shown in the patent drawing Or to allow a description of translated reference numerals to be placed and included in the patent drawings. It is to provide an apparatus and method that can be clearly and quickly recognized by the reference numerals, to increase the readability of the drawings, and to support the promotion of the technical idea of the patent through the patent drawings.
  • a method of processing such that the description of the reference numerals can be displayed around the reference numerals of the patent drawings provided, (a) i) patented by the patented OCR apparatus After obtaining at least one patent drawing image file corresponding to a patent drawing identifier that may correspond to an identifier, at least one drawing containing reference number is recognized in the patent drawing image file, and the position information of the drawing containing reference number is obtained.
  • the learning model may be at least one selected from a discriminant deep learning model and a generative deep learning model, and the learning hyperparameter may include a number of layers and a hidden variable. It is preferably at least one selected from the group consisting of a number, a drop out ratio, a filter size, and an activation function.
  • Searching for the margin space in step (b) includes: (b1) predicting a batch size when a description of a reference number corresponding to the drawing reference number is placed with respect to the drawing reference number; (b2) searching for margin spaces greater than or equal to the description size of the reference numerals at the periphery of the reference numerals based on the description arrangement size of the reference numeral predicted in the step (b1); And (b3) generating a batch information set with respect to a description of a reference number in which the searched margin space exists. It is preferable that information about space is included.
  • the steps (b1) and (b2) are to be processed for each reference numeral including the drawing, and the step (b2) refers to the description layout space of the first reference numeral to the i (i> 1 natural number) reference numeral
  • the step (b2) refers to the description layout space of the first reference numeral to the i (i> 1 natural number) reference numeral
  • an explanation space of the i + 1 reference numeral is any one of the explanation space of the first reference numeral to the explanation space of the i (i> 1 natural number) reference numeral.
  • step (b2) is to search the description layout space of the reference numeral according to the priority for each reference numeral including the drawing, and according to the priority.
  • step (b2) is to search the description layout space of the reference numeral according to the priority for each reference numeral including the drawing, and according to the priority.
  • the reference-description combination information set essentially includes description-specific position information of a reference numeral, and optionally one or more of description-type font type information, font size information, color information, shadow, density, and orientation information of the reference numeral. It is preferable to include.
  • the specification-included reference-description mapping information set includes probabilistic mapping data for the description-included reference number and the description of the reference number.
  • the specification-included reference-description mapping information set includes a description of the reference number. It is preferable that the information on the importance and the sequence processing information is included.
  • a patent reference code-explanation combining server which processes a description of a reference number to be displayed around a reference number of a provided patent drawing, wherein the patent reference number is
  • the description combining server may include: i) at least one patent drawing image file corresponding to a patent drawing identifier that may correspond to a patent identifier by the patent drawing OCR device, and then, at least one drawing containing code in the patent drawing image file.
  • a first state in which a drawing containing reference number information set corresponding to the recognized drawing containing reference number including the position information of the drawing containing reference number is recognized is generated; And ii) a specification string including a reference number and a description of the reference number is parsed by a reference-description recognition device, and at least one specification-containing reference number and a description of the at least one reference number included in the specification string are recognized. And a specification corresponding to a patent identifier including a mapping relationship between a recognized reference including reference number and a description of the reference number.
  • Process for generating a batch information set comprising a; comprising a processor for performing, wherein the reference numerals and the reference numerals including the specification reference numerals, characterized in that the same character string or the character string recognized the same Present a combined server.
  • FIG. 2 is an embodiment of a patented OCR device of the present invention.
  • FIG. 3 is an exemplary embodiment of a symbol-description apparatus of the present invention.
  • FIG. 5 is an exemplary embodiment of a sign recognition learning apparatus of the present invention.
  • 9 is an exemplary process related to the processing of a recognition string containing a number in the patented OCR device of the present invention.
  • Fig. 10 is an exemplary process relating to the synthesis processing of the recognized character string of the patented figure OCR apparatus of the present invention.
  • FIG. 11 is an exemplary process for improving recognition accuracy by inquiring a recognized drawing containing reference number of a patented drawing OCR device in a specification containing reference number list.
  • Fig. 12 is an exemplary process related to the recognition processing of the specification including reference numerals and descriptions of the reference numerals of the reference numeral-description recognition apparatus of the present invention.
  • FIG. 13 is an exemplary process related to the mapping process between the specification-included reference numeral and the description of the reference numeral in the reference-description recognition apparatus of the present invention.
  • FIG. 14 is an exemplary process related to the mapping process of the reference numerals and descriptions of the reference numerals before generation of mapping data of the reference numerals and the description of the reference numerals of the reference numerals-description recognition apparatus of the present invention.
  • mapping data generation process for the description of the reference numerals and the reference numerals via the reference numerals of the reference numeral-description recognition apparatus of the present invention.
  • Figure 16 is one embodiment implementation of a description batch data generation process of a reference numeral of a patent reference-description combining server of the present invention.
  • 17 is another exemplary embodiment of a process for generating explanatory batch data of a reference numeral of a patent reference-description combining server of the present invention.
  • FIG. 19 is one embodiment implementation of a process in which a patent reference-description combining server of the present invention quantifies the density of a reference numeral including a reference figure and discovers and processes a cluster of adjacent figures including reference figures according to the density.
  • 20 is an exemplary process for preprocessing a composite view of a patented drawing OCR device of the present invention.
  • 21 is an exemplary configuration of a learning process of the code recognition learning apparatus of the present invention.
  • FIG. 22 is an exemplary method in which the patented figure OCR apparatus of the present invention uses the learning result of the code recognition learning apparatus.
  • FIG. 23 is an exemplary visualization of data generated after a patent processing OCR apparatus parses patches in a drawing file.
  • FIG. 24 is an exemplary embodiment of a final result in which an implementation result of the inventive concept for a specific drawing of a specific patent filed in the Republic of Korea is shown to a user in a user computer.
  • FIG. 26 is an illustration of a diagram that a user may experience after applying the inventive concept to a specific diagram of a specific patent filed in the United States.
  • FIG. 27 is an illustration of an explanatory layer of reference numerals to which the present inventive concept is applied for a specific drawing of a specific patent filed in the United States.
  • FIG. 28 is an example in which a description of a translated reference number is shown, not a description of an original reference number, in a description layer of a reference number to which a present invention idea for a specific drawing of a specific patent applied in the United States is applied.
  • FIG. 29 is an example of a diagram that may be experienced by a user to which a description of a translated reference number to which the present inventive concept is applied is applied to a specific drawing of a specific patent filed in the United States.
  • FIG. 31 is another example of a diagram that a user may experience after applying the inventive concept.
  • FIG. 31 is another example of a diagram that a user may experience after applying the inventive concept.
  • FIG. 34 is another example of a diagram in which a user to which a description of translated reference numerals is applied may experience.
  • machine learning based modeling such as deep learning, boosting, SVM, and the like may be included.
  • 'modeling' or 'model generation' refers to performing machine running according to a procedure, and is not intended to refer to a mental action such as human educational activity.
  • a mental action such as human educational activity.
  • the present invention encompasses all possible combinations of the embodiments indicated herein. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be embodied in other embodiments without departing from the spirit and scope of the invention with respect to one embodiment. In addition, it is to be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. The following detailed description, therefore, is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is defined only by the appended claims, along with the full range of equivalents to which such claims are entitled. Like reference numerals in the drawings refer to the same or similar functions throughout the several aspects.
  • patent is a broad concept and includes not only patents of a specific country, but also all patents of patents of each country, and bibliographic information contained in individual patents or published / registered patents worldwide. It should be understood to include processing bibliographic information, information contained in the specification, drawing information, or processing information of this information.
  • Apparatuses of the present invention typically include computer hardware (eg, client computers and server computers, which may include components of computer processors, memory, storage, input and output devices, and other conventional computer systems; electronic communication lines, routers, switches).
  • An electronic communication device such as an electronic information storage system such as network attached storage (NAS) and storage area network (SAN) and computer software (ie, instructions that cause computer hardware to function in a particular manner). To achieve the desired performance.
  • NAS network attached storage
  • SAN storage area network
  • computer software ie, instructions that cause computer hardware to function in a particular manner.
  • an implementation of the present invention includes a patent drawing OCR device 100, a reference sign-description recognition device 200, a patent reference sign-description combining server 300, a reference sign recognition learning device 400, The data storage device 500 or the like is used.
  • the patent reference-description combining server 300 may obtain or transmit data while communicating with at least one other device 900 through the wired / wireless network 800.
  • An example of the other device 900 is a user's computer (personal computer or server or other device 900) using the patent reference-description combining server 300 or the patent reference-description combining server 300.
  • the devices 500 may be mounted or connected to each other via a wired or wireless network 800.
  • the patent drawing OCR processor 1000 included in the patent drawing OCR device 100 the reference sign description description processor 2000 included in the reference sign-description recognition device 200, and the patent reference sign.
  • At least one of the patent reference-description combining processor 3000 included in the description combining server 300 and the reference recognition recognizing learning processor 4000 included in the reference recognition recognizing apparatus 400 may be physically present. You can share the same or a single processor.
  • FIG. 2 is an exemplary embodiment of a patented OCR device 100 of the present invention.
  • the patented drawing OCR device 100 includes a patented drawing OCR processor 1000 for performing optical character recognition (OCR) processing specialized in the patented drawing and a patented drawing OCR device 100 for supporting communication of the patented drawing OCR device. 100a).
  • OCR optical character recognition
  • the patented drawing OCR processor 1000 is a drawing file acquisition process 1100 that performs a function of obtaining at least one individual drawing image file, parsing a drawing file that decomposes at least one drawing image component from the drawing image. ) Process 1200 and a drawing string recognition process 1300 for recognizing a drawing string in the drawing image.
  • the drawing string recognition process 1300 includes a drawing text classification process 1310 for classifying individual characters (that can be treated as letters and other characters, such as numbers, alphabets, and the like) among parsed drawing image elements. Generate a string string synthesis process 1320 for synthesizing the individual characters in the form of reference numerals, a reference recognition process 1330 for recognizing the reference numerals including the drawings, and generating any information on the recognized reference numerals including the reference numerals; It may include storing reference information set generating process 1400.
  • the reference character recognition process 1330 may include a synthesized character noise remover 1331 for removing noise from the synthesized character, the synthesized character in a specification-containing reference symbol-description mapping information set including a specification-containing reference symbol or a specification-containing reference symbol. It can be recognized as a reference number using the synthesized character inquiry process 1332 to inquire, the reference size predictor 1333 and the reference size predictor 1333 to predict the size of a reference number in the unit of a drawing image or a patent identifier. However, it may further include a reference noise canceller 1334 that removes reference noise that is not substantially reference numeral.
  • the drawing file parsing process 1200 is a process of parsing candidate groups of patches that need to determine text from the drawing file.
  • the drawing file parsing process 1200 finds all contours that are closed among the non-white portions of the drawing file.
  • FIG. 23 shows a portion (a box surrounding each of numbers, letters, arrows, and the like) corresponding to a result of parsing patches in a drawing file.
  • the drawing character classification process 1310 is a process of classifying drawing characters among the patches of the drawing by using a model learned from the sign recognition learning apparatus 400.
  • the probability value for each character of each patch is shown. For example, the output of up to four letters per patch can be generated.
  • Tables 1 to 3 are examples of data generated by the drawing character classification process 1310 for drawing images corresponding to FIG. 10 of Korean Patent Application No. 1020167002395.
  • Each row in Table 1 is information about one patch.
  • x and y are coordinate values of the lower left corner of the patch, w is the size of the patch width, and h is the height of the patch.
  • x + w is the x coordinate of the left and right ends of the patch, and y + h is the y coordinate of the top left of the patch.
  • result is the character with the highest probability among the recognition values for the patch, and neighbor is the character with the low recognition value.
  • result_prob is the probability of the result recognition value for the patch
  • nb number_prob is the probability of the recognition value of the neighbors.
  • the drawing string synthesizing process 1320 is a process of synthesizing the drawing texts whose positions are close to each other among the drawing texts recognized from the patches of the drawings. For example, the method of determining whether the positions of the drawing characters are close to each other may be determined to be closer if the distance between the center positions of the drawing characters is smaller than the preset distance (eg, 350% or more of the average width of the characters). have.
  • the preset distance eg, 350% or more of the average width of the characters.
  • the synthesized character noise removing process 1331 determines whether the synthesized character is in the list of reference numerals including the specification for each patent identifier through the synthesized character inquiry process 1332 among the synthesized characters. And process. If there is no (No), the compound character is valid when it is determined from the candidate group set of compound characters that is in the list of reference inclusion reference numerals for each patent identifier, and the compound character is treated as noise.
  • one glyph may be up to four glyphs from the glyph classification process 1310. Therefore, if the compound character is two letters long, Can be a composite of dog combinations.
  • the synthesized character inquiry process 1332 operates by retrieving a list of specification containing reference numbers for the patent identifier, and then inquiring whether the synthesized character is in the list of specification containing reference numbers for each recognized synthesized character.
  • the reference sign size prediction process 1333 predicts the reference sign reference size using a composite character valid as the reference reference sign. If there is no valid compound character as a drawing-included reference number in one drawing, the prediction is made based on the previously learned reference size among other drawing images of the patent identifier.
  • An example of reference size prediction logic is as follows.
  • the reference noise removal process 1334 performs a function of determining whether the recognized reference characters are drawing reference codes or noise based on the reference size prediction process 1333.
  • An algorithm for determining noise is as follows.
  • the reference information set generation process 1400 is a process of generating and storing information of a reference numeral, such as position information and font size of the recognized reference numerals.
  • FIG 3 is an exemplary embodiment of a symbol-description apparatus 200 of the present invention.
  • the reference description-recognition processor 2000 of the reference description recognizing apparatus 200 obtains a specification for obtaining partial data of a specification including a reference number and a character string corresponding to the description of the reference number in the specification file or the specification.
  • a reference-description mapping that generates and stores mapping information between the processor 2100, a reference-containing reference number, and a description of the reference number, and a reference-description recognition process 2110, and a description between the description-containing reference number and the description of the reference number.
  • An information set generation process 2400 is included.
  • the reference-description recognition processor 2000 may optionally include an importance processing process 2200 for performing importance information processing of specification-containing reference numerals and / or description of reference numerals, and a specification in which a series relationship is established among the specification-containing reference numeral sets. It may include a sequence processing process 2300 for extracting and identifying an included reference number subset and performing a sequence process on the specification included reference number included in the specification included reference number subset.
  • the reference-description recognition process 2110 includes a description recognition process 2120 of reference numerals for recognizing descriptions of reference numerals, and a reference-description mapping process 2130 for mapping specification-containing reference numerals and descriptions of reference numerals. It is included.
  • the importance processing process 2200 includes a specification component part (name of the invention, abstract, claims (full, independent claim, dependent claim, specific part of dependent claim, citation depth of dependent claim, etc.), description of the invention (background, summary, In the detailed description of the invention, the brief description of the drawings, the embodiments, the problems, the effects, etc.)
  • a recognition frequency processing process 2220 may be included.
  • the sequence processing process 2300 is included in the sequence recognition process 2310 and the specification included reference code subset which extract and identify the specification included reference code subset in which the series relationship is established among the specification included reference code set. It may include a sequence categorization process 2320 that performs a sequence process on the specification included reference numeral.
  • Table 4 below is an exemplary form of data generated by reference numeral-description recognition process 2110 for Korean Patent Application No. 1020167002395 (Korean Patent Application corresponding to US Patent Application No. 14 / 249,716).
  • the probability of being recognized as a light emitting diode is 0.8, and the probability of being recognized as a diode is 0.2.
  • the reference-description mapping process 2130 recognizes the specification including reference numeral 26 as a light emitting diode.
  • the patent reference-description combining server 300 is a batch processing process 3100 for processing generation and storage of descriptive batch data of reference numerals for processing so that descriptions of the reference numerals are displayed around the drawings of the drawing image. From the reference-description combining information set processing process 3200 and at least one or more other devices 900, which perform the generation and storage of any data for the description arrangement of the reference numerals and the description display form / expression of the reference numerals. Explanation of Obtained Reference Numbers
  • the combining request processing includes a combining process 3300.
  • the batch processing process 3100 illustratively includes a batch searching process 3110 and a batch information set generating process 3120.
  • the batch search process 3110 includes a batch size prediction process 3111 for predicting the size of the description of the reference to be arranged, and a margin recognition process 3112 for recognizing the margin space around the drawing including the reference where the description of the reference is to be arranged. ), Including a diagram for arranging the description of the reference numerals, and a peripheral search process 3113 for searching the periphery of the reference numeral, and a placement policy reflection process 3114 for performing the layout search by reflecting the placement policy.
  • the periphery search process 3113 is followed by a reference boundary search process 3113-1 for searching whether the arrangement of the description of the reference is affected by the physical boundary of the figure and the description of the i th reference numeral, i.
  • the description of the reference numeral to be placed +1 is searched for whether overlap / collision occurs between the description of the first reference numeral and the description of the i-th reference numeral, and the i + 1 th reference numeral so as not to overlap / collision.
  • An explanation collision avoidance process 3113-2 is provided to process the description so that the description of FIG.
  • the batch information for the description of reference numerals is generated and stored by the batch information set generating process 3120.
  • the batch size prediction process 3111 determines a font size for the corresponding reference number using the size of the reference number, and determines a size (batch size) for margin recognition using the number of characters for description of the reference number. to be.
  • An example of logic for the batch size prediction process 3111 to predict the batch size when the description of the reference numerals is placed is as follows.
  • the margin recognition process 3112 is a process of calculating how much margin is equal to the batch size in the batch candidate region in the description of reference numerals.
  • the background color of the drawing image is white.
  • An example of logic in which the margin recognition process 3112 recognizes a margin is as follows, and the value of R ij is a reference value of whether the margin is a margin.
  • the drawing boundary search process 3113-1 is a process of processing a description of reference numerals so that they are not written outside the drawing.
  • the drawing boundary search process 3113-1 determines whether the placement candidate region in the description of the reference numerals is the boundary of the drawing, and then, if the boundary candidate region is the border region (Yes), the drawing candidate region is described as much as the description of the reference numerals is skipped. Pull / move inwards (left if right border) to determine placement candidate area. If it is not a boundary area (No), it is considered a proper placement candidate area.
  • the description of the reference collision avoidance process 3113-2 is a process of processing the description of the reference numeral already arranged and the description of the reference numeral to be arranged so as not to overlap.
  • the description collision avoidance process 3113-2 of the reference numeral determines whether the placement candidate region in the description of the reference numeral i overlaps with the description of the completed reference numeral. In case of overlapping (Yes), the surroundings are searched except in the placement candidate area. On the other hand, when the placement candidate regions all overlap with the description of the completed reference numerals, the drawing placement exception handling process is used.
  • Tables 5 to 6 below are one form of batch information set data generated by the batch information set generating process 3120 for a drawing image corresponding to FIG. 10 of Korean Patent Application No. 1020167002395.
  • symbol is a recognized reference sign
  • symbo_tag is a description of a reference sign
  • x_point and y_point are lower left x coordinate and y coordinate regarding the display position of description of the code
  • font_size is a font size in the description of reference numerals to be displayed.
  • rotate_angle is the angle to rotate when the drawing is presented.
  • figure_x_size and figure_y_size indicate the physical size of the drawing. Coordinates x_point ⁇ figure_x_size in which description of reference numeral is displayed are set, and y_point ⁇ figure_y_size.
  • FIG. 24 An example of the result of applying the data of Tables 5 to 6 to the actual figures is in FIG. 24.
  • reference numeral 302 is used twice in one drawing, and each position may be different.
  • reference numeral 302 may have a corresponding relationship such as 1: n (n is a natural number), such as thin film transistor structures, structures, dielectric layers, etc., independently of substrate defect issues.
  • the apparatus for recognizing the description of reference numeral 200 may map the final result of mapping the reference numeral including the description of the reference numeral to 1: 1, but may be mapped to 1: n and the final result as shown in FIG. 24. In this case, all n pieces may be displayed in a format provided to the user computer 910.
  • the patent reference-description combining server 300 controls the font size and the color of the description of the reference numerals in consideration of weights such as frequencies with respect to the description of the n reference numerals having the same specification including reference numerals.
  • Information processing to add a condition can be performed. If the placement process is to display a description of two or more reference numerals, the placement process must search for a placement space for display of the description of two reference numerals. In the present specification, for convenience of description, a description will be given mainly of a method of processing a description of one reference numeral around a reference numeral including one drawing, but the inventive concept is not necessarily limited to a 1: 1 relationship.
  • Coupling process 3300 is an I / O processing process 3310 which receives information requested from another device 900 and transmits a result, and includes a specification for each drawing identifier requested by the other device 900.
  • the combining processing process 3300 may optionally include a physical combining batch processing process 3331 to use the physical combining processing process 3330 to generate a batch of drawing images combined with descriptions of the reference numerals.
  • the batch processing process 3100 may obtain a plurality of drawings of a plurality of patents and generate a batch information set for description of reference numerals to be placed on each drawing of each patent in a batch manner.
  • a batch information set may be generated for the entire patent drawings of a specific country.
  • a batch information set using descriptions of reference numerals translated for each language may be generated and stored for each language for patent drawings of all countries.
  • the reference-description combining information set processing process 3200 obtains a plurality of drawings for a plurality of patents and batches a reference-description combining information set for description of reference numerals to be placed in each drawing of each patent. Can be created in the Through the batch processing method, a reference sign-description combined information set may be generated for the entire patent drawings of a specific country. In addition, a reference code-description combined information set using descriptions of reference numerals translated for each language may be generated and stored for each language, for patent drawings of all countries. On the other hand, the physically coupled batch processing process 3331 may be used in a batch manner to generate a large number of new drawing images including the description of reference numerals in the drawing images.
  • the patent reference-description combining server 300 performs information processing to regenerate batch information based on the translated description of the reference numeral. To this end, the patent reference-description combining server 300 obtains translation (machine translation, etc.) data for the description of the reference numeral, and treats the description of the translation reference numeral as if the description of the reference numeral of the present invention. Various data for the arrangement of the description of the codes are generated.
  • the multiple data can be generated by generating a description of a translation reference number for each language zone with respect to a description of a very large number of sample reference numbers, and comparing the number of characters (characters) in the same font.
  • the appropriate fonts for English-speaking languages are smaller than the appropriate fonts for Asian characters. That is, the description of the US-English reference numerals is longer, while readability is maintained even with smaller fonts.
  • the patent reference-description combining server 300 supports processing through translation interworking in a browser.
  • the patent reference-description combining server 300 obtains a translation request for each designated language from the user computer 910.
  • the patent reference-description combining server 300 processes the reference code-description mapping information set corresponding to the language in a preset manner to the user computer ( 910.
  • the reference sign-description mapping information set for each designated language may provide the processed image.
  • the patent reference-description combining server 300 if there is no reference-description mapping information set in a specified language, the description of the reference numeral corresponding to a specific drawing or an external translation service such as Google Translate or internal translation server After translating through, a reference numeral-description mapping information set using the translated description of the reference symbol is generated.
  • the patent reference-description combining server 300 processes the generated reference sign-description mapping information set in a predetermined manner and provides the same to the user computer 910.
  • the reference numeral-description mapping information set may be processed through the batch processing process 3100 using the description of the translated reference numeral, and the description of the translated reference numeral instead of the description of the reference numeral in the default language. May be replaced.
  • the script for implementing the function is included in the data transmitted to the browser.
  • the combining process 3300 may generate drawing data in which a description of reference numerals is physically or logically combined in the drawing image.
  • the logical combining process 3320 is a combination request for the description of the reference numerals for the drawing image from the other device 900, the description of the reference numerals along with the drawing image to the user of the other device (900) Data to be displayed may be generated and provided to another device 900.
  • the physical combination processing process 3330 performs a function of generating the processed drawing image data in which the description of the reference numeral is physically combined with the reference numeral including the drawing in the preset image data format.
  • the coupling process 3300 may provide a drawing image that is physically coupled to the other device 900.
  • FIG 5 is an exemplary configuration of a sign recognition learning apparatus 400 of the present invention.
  • the code recognition learning apparatus 400 includes a code recognition learning processor 4000, a training data storage device 4100, and a communication unit 400a of the code recognition learning apparatus 400.
  • the reference recognition learning processor 4000 includes a learning process 4100, which includes a hyperparameter optimization process 4110 and a learning model parameter learning process 4120.
  • the hyperparameter optimization process 4110 includes a training data object recognition modeling learning unit 4111 and a validation data object recognition modeling verification unit 4112.
  • the learning model parameter learning process 4120 includes an entire data object recognition modeling learner 4121.
  • the learning data storage device 4100 includes a learning image data unit 4110 for each character and a learning result storage unit 4100.
  • the letter-by-character learning image data unit 4110 stores dozens to thousands of character images for each character (number, alphabet, other characters, etc.) used in the patent drawings.
  • the text image is preferably cut out from the patent drawing, and may be cut out by numbers or alphabets from other image sources.
  • the character-based learning image may be used by directly tearing down each character from the written reference numerals in the patent drawings.
  • the learning model can use discriminant deep learning model (ex: deep convolutional neural network, deep neural network, etc.) and can create learning model using generative deep learning model (ex: variational autoencoder, generative adversarial network).
  • discriminant deep learning model ex: deep convolutional neural network, deep neural network, etc.
  • generative deep learning model ex: variational autoencoder, generative adversarial network
  • other machine learning models such as boosting or SVM can be used.
  • Boosting is a nonlinear model, an algorithm that creates a powerful classifier by ensemble several simple decision tree models.
  • hyper parameters such as the number of layers, the number of hidden variables, the drop out ratio, the filter size, and the type of activation function may be used.
  • the hyperparameters of the boosting include the depth of the crystal tree model, how many crystal tree models to use (number of trees), and the shrinkage parameter for how much to reduce the movement in the gradient direction when learning. have. These hyper parameters are optimized through the hyper parameter optimization process 4110.
  • the first method is grid search. Since Grid Search performs cross validation on all possible combinations of hyperparameters, it is most possible to optimize hyperparameters.
  • Grid search is an example of hyperparameter 5 ⁇ 20 layers, hidden variable 0.3 ⁇ 0.9 times input data size, drop out ratio 0 ⁇ 0.9, activation function relu, sigmoid, Leaky ReLU, PreLU, Cross validation can be performed by assigning it to RreLU, ELU, etc. That is, grid search is performed for each combination of the granular range and type of each hyperparameter (activation function only). At this time, the number of layers and hidden variables are changed one by one, the drop out ratio is changed by 0.05 or 0.1, and cross validation is performed using each activation function for each variation.
  • the second method is random search. Random search is equivalent to grid search in terms of method. The difference is that Grid Search performs cross validation using the assigned hyperparameters, while Random Search performs cross validation using random values randomly selected for each hyperparameter.
  • the third method is Bayesian optimization. This method assigns and optimizes a prior distribution of hyperparameters.
  • the hyper parameter may be optimized by mixing a random search and a grid search.
  • randomly assign hyperparameters randomly assign hyperparameters, optimize using cross validation, and find the range of primary values for each hyperparameter that performs the best in the validation set.
  • Hyperparameters can be finely subdivided within the primary range of each hyperparameter, and grid search can be optimized by subdividing hyperparameters.
  • the training data object recognition modeling learning unit 4111 performs modeling on the training data for each set hyperparameter. Meanwhile, validation model object recognition modeling verification unit optimizes hyperparameters by applying deep learning models modeled on training data to validation data.
  • the entire data object recognition modeling learning unit 4121 learns and processes the parameters of the actual machine learning model under the optimized hyperparameter condition.
  • 21 shows an exemplary embodiment of a learning process of the code recognition learning apparatus 400 of the present invention.
  • the learning model parameter learning process 4120 of the reference recognition apparatus 400 uses the collected character-corresponding image data for each character, and under the optimized hyperparameter condition, a deep learning model, a boosting model, or an SVM. Learning the parameters of the model (S164).
  • n is preferably 5 or 10.
  • the neural network model where X is the input data, moves from the bottom layer to the upper layer through “reLu (X% *% W + b)”, where W and b are parameters. You will learn this.
  • the boosting model on the other hand, when the depth of the decision tree and the number of decision trees to be used are determined, the decision tree suitable for the data is learned.
  • the learning result storage unit 4100 includes a processing statement for image recognition processing, which is a learning result.
  • the method of using the learning result by the patent drawing OCR apparatus 100 is illustrated by way of example in FIG. 22.
  • the patent drawing OCR device 100 executes a processing statement S171 for image recognition processing, which is a learning result generated by the reference sign recognition learning device 400. Subsequently, the drawing character classification process 1310 of the patent drawing OCR apparatus 100 inputs patch data generated from the drawing image into a processing statement (S172), and generates one or more recognition values for each patch (S173). Next, the patch character classification processing result for each patch is stored (S174).
  • the drawing character classification process 1310 of the drawing character classification process 1310 applies a processing statement for the image recognition processing to a patch generated by the drawing file parsing process 1200 from a drawing image.
  • a processing statement for the image recognition processing is in Tables 1 through 3 (particularly Table 2).
  • FIG. 6 is an exemplary embodiment of a data storage device 500 of the present invention.
  • the data storage device 500 of the present invention includes a file storage device and a DB device.
  • the file storage device may include a drawing file storage unit and a specification file storage unit, and the drawing file storage unit may include an original drawing file storage unit, and optionally, a processed drawing file storage unit.
  • Patent full text data typically includes a specification file in a markup language such as XML, and, if there is a drawing, is composed of one or more drawing files.
  • two conceptually separated drawings eg, fig1 and fig2
  • the processed drawing file is a drawing file processed according to the present invention.
  • the machining drawing file may include two machining drawings.
  • the DB apparatus includes a drawing-based data unit 5210, a specification-based data unit 5220, and a description batch data data unit 5230 with reference numerals, and optionally, a processing rule data unit 5240 or an aggregate data unit ( 5250) may be further included.
  • the drawing-based data unit 5210 includes data extracted from a drawing for each drawing file of each patent.
  • attribute information of a drawing including reference number and a drawing including reference number for each drawing including reference number is stored.
  • the specification-based data unit 5220 includes a specification including reference numerals, descriptions of reference numerals, explanatory attribute data of reference numerals, and the like.
  • the explanatory layout data portion of the reference numerals includes layout method data for arranging the description of the reference numerals corresponding to the reference numerals including the drawings.
  • the inventive concept of the present invention is a patent inputted by the reference numeral description-recognition apparatus 200, in which a reference numeral including a drawing is processed in a drawing input from the patent figure OCR apparatus 100.
  • the description including reference numerals and descriptions of the reference numerals are recognized (S12), and description batch data of the reference numerals are generated (S13) by the patent reference-explanation combining server 300, and the patent reference numerals- Description
  • the combined server 300 is implemented in such a manner that the processing drawing data is generated by the real-time request or batch processing method from another device 900, or the base information which can generate the processing drawing data is provided (S14).
  • the patent drawing OCR processor 1000 performs character recognition processing on individual patent drawings to generate character recognition information for each individual character (S21), and synthesizes the recognized individual characters.
  • the drawing-included reference number is determined by mapping the synthesized drawing-containing reference number candidate with the specification-containing reference number set (S22), and the attribute information of the drawing-containing reference number is generated for each determined drawing-containing reference number (S26). .
  • the patent drawing OCR processor 1000 optionally calculates a mapping ratio mapped to a specification including reference code set among drawing reference code candidates to inquire whether the mapping ratio is equal to or greater than a set reference value, and otherwise performs orientation processing on the drawing.
  • the process of S21 to 23 is performed on the oriented drawing.
  • the reason for the alignment process is necessary because most of the drawings are arranged in the horizontal direction, but the drawings arranged in the vertical direction can be considerable. This is because, in the case of the drawings arranged in the horizontal direction, the reference numerals including the drawings are mostly written in the horizontal direction, and in the case of the drawings arranged in the vertical direction, most of the drawings including the drawings are written in the vertical direction.
  • the orientation process determines the angle to be first oriented among the right turn 90 degrees, the right turn 180 degrees, and the right turn 270 degrees according to the drawing characteristics of each country.
  • Optical character recognition recognizes characters including numbers in image data.
  • Detailed techniques for the OCR itself are natural to those skilled in the art (a large amount of books, papers, published / commercial software, etc., for the OCR) are omitted from the description of the present invention.
  • the present invention when recognizing character strings included in patent drawings through conventional OCR, the following three problems occur.
  • the recognized character string may be a reference numeral including a drawing
  • a good example is the string content in a box in a process diagram. These are strings, but not reference numerals, including drawings. Therefore, it is a key problem to distinguish between the drawing reference numeral and the non-drawing reference numeral among the recognized character strings.
  • the various lines or shapes constituting the drawing are often looked like numbers or letters when separated in large or small block units.
  • OCR often takes the form of scanning an image to determine if the block being scanned is a letter or a number.
  • vertical lines are often recognized as lowercase letters of capital letter "I” or “L”
  • the vertical curved line is recognized as "J”
  • the left and right curved lines are recognized as "S”.
  • it is not a reference number, but a misrecognition of a character due to the shape of a part occurs not only in the image constituting the drawing but also in a line connecting the description of each part of the drawing with the reference number.
  • the present invention includes a technical idea that systematically solves this problem.
  • machine learning can be used to increase the recognition rate for numbers, letters and symbols that appear frequently in patent drawings.
  • first collect a large amount of data by numbers, letters and symbols e.g. partial images that can correspond to the number "2" which should be recognized as the number "2" (extract only the part corresponding to the number 2 in the drawing image).
  • the collected data can be divided into a training set and a test set (in some cases, a validation set can be prepared separately), and a dip such as a convolution neural network (CNN) can be used.
  • CNN convolution neural network
  • an image recognition algorithm (model) specialized in the recognition of reference numerals appearing in a patent drawing is then included in the optical character recognition routine.
  • an image recognition algorithm (model) specialized in the recognition of reference numerals may be used to determine whether a particular image block is a letter or a number and which character or number.
  • an image recognition algorithm (model) specialized in the recognition of reference numerals it is possible to recognize the reference numerals more accurately and purposefully than the conventional optical character recognition algorithm.
  • the present invention may use a KNN (K nearest neighborhood) algorithm.
  • KNN K nearest neighborhood
  • Image recognition algorithms such as the KNN algorithm, often do not recognize handwriting or characters using unusual fonts.
  • learning algorithms such as deep learning, boosting, and SVM.
  • handwriting or reference numerals in various fonts image recognition through machine learning is more effective.
  • FIG. 9 is an exemplary implementation of the string recognition process including numbers in the figure string recognition process 1300 of the present invention.
  • the drawing string recognition process 1300 searches for at least one second individual character to be synthesized with the recognized first individual character by using a combining process rule to generate a drawing-containing reference candidate ( S31), it is determined whether a number is included in the recognized character string (S32), and in case of Yes, the recognized character string is extracted (S33), and in the case of No, the recognized character string is discarded (S38).
  • the patent drawing OCR apparatus 100 may optionally perform the division (S34) process of the string including numbers after step S33.
  • the patent drawing OCR apparatus 100 determines whether the number-containing string divided after S33 or S34 belongs to the decision pattern rule of the drawing reference numeral (S35). Only the split string matching the pattern rule is extracted (S36), and when No, the string including the number is discarded (S37).
  • the character block and another block at a predetermined position are characters. If is, perform the process of connecting the two blocks. Characters of the character block within a predetermined distance in consideration of the size of the character recognized in the character block in the direction of the character recognized in the character block may be an example of the preset position. Size information may be generated for each recognized character. The size information may be determined by the size (coordinate value) of the recognized character block (square).
  • the center coordinate value can correspond to the character block.
  • the distance between characters is also character spacing, which is typically much smaller than the size of one character (for example, a space).
  • the recognized character is a character that writes horizontally, such as English or Korean
  • the patented figure OCR device 100 is within a preset position to the right if the direction of the character is a normal direction (eg, oriented in the horizontal direction).
  • the characters in the chapter 33-200%) can be connected to the process.
  • the character block at 33 to 200% of the longest value among the horizontal length or the vertical length of the character block may be synthesized based on the average value of the character block.
  • another character block that comes within 10 to 150% of the long value of the length or length of a specific character block may be synthesized.
  • the concatenation process is performed on the character in the block in the vertical direction.
  • a string block is generated.
  • the patent figure OCR apparatus 100 may recognize a character string when the connection between character blocks is completed.
  • the synthesis process can be performed for the longest within the limit to which the synthesis process rule is applied.
  • the binding direction may be a left-> right direction as a basic direction.
  • the preferred bundle direction may vary according to the orientation of each country or drawing (horizontal drawing, vertical drawing, etc.). Of course, the bundle direction may be left ⁇ -> right. If a specific character block is included in the bundle, the grouping process from the character block may be omitted. That is, when "5" is tied to "1", it will be desirable not to attempt a new bundle with "5" as the initial starting point. On the other hand, it will be obvious that the synthesis processing rule can be applied in the left-right direction based on "5".
  • the drawings contain a significant number of non-reference characters.
  • a typical example is a word or word that refers to a string or a specific object contained within a block diagram.
  • Reference numerals are usually composed of numbers only or numbers are main parts, but such strings do not contain numbers or numbers are not major parts. These strings need to be excluded from the mapping.
  • the drawing string recognition process 1300 searches for at least one second individual character to be synthesized with the recognized first individual character by using the combining processing rule to generate a drawing-containing reference candidate (S31) and includes the drawing.
  • a drawing-containing reference candidate S31
  • the process of splitting the string may be unnecessary (S34).
  • the single word expression is a string without spaces, and the string is a string consisting of only numbers, alphabets, or letters, or a string including a predetermined drawing-bearing symbol including "-" or "_".
  • the recognition processing of the character string may be performed in a single word representation unit.
  • the drawing string recognition process 1300 performs an inquiry process (S35) to determine whether the number-containing string or single word representation belongs to the decision pattern rule of the drawing-containing reference number. Only the split string corresponding to the extracted string is extracted (S36), and when No, the string including the number is discarded (S37).
  • the decision pattern rule of the drawing reference numeral may include at least one or more of the following rules.
  • the number of letters of the starting letter is less than or equal to the number of letters composing the number.
  • the number of characters of the ending character is less than or equal to the number of characters constituting the number.
  • the drawing-included reference sign may not be the beginning or the end of a character string.
  • the total length of the string is within a preset limit (eg, 6-8 characters).
  • the decision pattern rule of the reference numeral including the drawing may be stored in the processing rule data unit 5240.
  • candidates of more than one kind of drawing reference numerals may be generated according to a connection method or a policy. For example, there may be a string “25” very close to a string recognized as “A12” in a particular drawing. Ambiguity exists at a distance, such as when the distance between "A12” and “25” is longer than the flatness between "A", “1", and “2” that make up the interior of "A12". Frequently there are cases. In this case, the reference numerals including drawings may be two, such as “A12” and "25", respectively, or may be "A1225". If such ambiguity exists, it is a question of how far each string is concatenated.
  • the patented OCR apparatus 100 is a candidate for the character strings "A12" and “25” and "A1225". Create In this case, it is a matter of course that the attribute information of the drawing reference numerals such as the position or the font size is generated for each of the strings “A12” and “25” and "A1225".
  • the drawing string recognition process 1300 processes a string that passes the decision pattern rule of the drawing inclusion reference numeral as a candidate of the drawing reference numeral.
  • candidates of n reference numerals may be generated, and these constitute a candidate set of reference numerals.
  • the sentence type and syntax string in the drawing For example, many words including numbers among the words constituting the various sentences, phrases, and the like in the process diagram pass through the decision pattern rule of the reference numeral including the figure. For example, when there is a character string "A380", even if the character string represents an aircraft model of Boeing Corporation, it passes the decision pattern rule of the reference numeral including the drawing.
  • misrecognized image part portions are connected to each other and output as strings, which can pass the decision pattern rule of reference numerals including drawings. For example, a line that bends left and right with two numbers “1" and “1” is recognized as “3", for example, to produce a string "113".
  • the present invention proposes two methods to solve the above problem.
  • the first method utilizes the specification including reference number extracted from the specification to map candidates between the extracted specification including reference number and the obtained reference including reference number, and processes only the candidates of the mapped reference including reference number as the reference including reference number. This is a post-mapping method. This method is illustrated in FIG.
  • the second method is a previous-stage filtering method that utilizes specification-containing reference numerals in a step before generating a candidate set of drawing-containing reference numerals.
  • the specification including reference numerals 1) the type of the string to start is determined, and 2) the character string that can come after a specific character. Not heard.
  • the concatenation of a string block has a special effect when deciding whether to concatenate a string block with another string block. This ensures that strings that do not become drawing include references (not included in the specification include references) are treated as though they were accidentally treated as linking reference symbols (in the specification containing references and consequently through the connection).
  • the same string representation can be avoided as a result of which the description of reference numerals is combined.
  • the step of querying the specification including reference code set in the drawing reference code candidate generation step must be processed, and for this purpose, the specification including reference code set must be generated in advance.
  • the specification-included reference code candidate set generated for each drawing may serve as an additional weighting factor in the processing of the candidate of the drawing-included reference code extracted from the specific drawing.
  • the accuracy of one character of the candidate character string of a specific drawing reference numeral recognized in a specific drawing is low (e.g., the letter "I” or the number "1" is not clearly classified)
  • the accuracy of the recognized character can be increased by referring to the specification-included reference numerals generated in the description part of the specification related to the specific figure. As a result, the recognition rate of the string is increased.
  • the reference recognition process 1330 searches for (S41) the recognized first individual character and at least one or more second individual characters to be synthesized using the combining processing rule.
  • the recognition value of the first individual character or the recognition value of the second individual character is not very important in the search for the second individual character to be synthesized. For example, if the recognition value for the first individual character is the number "1" or the lowercase letter "i", there is no significant effect in searching for the second individual character to be combined with the first individual character. This is because there may be drawing reference numbers starting with the number "1", but there may also be drawing reference numbers starting with the lowercase letter "i".
  • the reference recognition process 1330 searches for whether there is at least one second individual character to be synthesized with the first individual character by applying a synthesis processing rule (S42).
  • the second individual character may be two or more characters.
  • the finally synthesized character string may have the form of "first individual character + second individual character + third individual character + ... nth individual character”.
  • “the first individual character + the second individual character + the third individual character + ... the nth -1 individual character” is at least excluded from the result of the combining process. In other words, the longest one becomes a candidate of the reference numeral including the drawing when the composition process is performed.
  • the reference recognition process 1330 includes at least one drawing by combining the first recognition value of the first individual character with the second recognition value of the at least one second individual character, if any, as a result of the search.
  • a reference numeral candidate is generated (S43). Since the character recognition may not always be correct, one or more recognition values and recognition evaluation information (recognition probability / accuracy / recognition level, etc.) may correspond to each character recognition object. For example, the portion of the image which appears to be "1" may be recognized as a number "1", or may be recognized as a lowercase "i", and the recognition algorithm may generate recognition evaluation information for each recognition value. . Therefore, when a plurality of recognition objects each having at least one or more recognition values are subjected to synthesis processing, at least one or more drawing candidates can be generated. Ranking or comprehensive recognition evaluation information may correspond to each drawing reference numeral candidate.
  • the reference character recognition process 1330 inquires (S44) the high-priority figure-containing reference code candidate based on the ranking or the comprehensive recognition evaluation information from the detailed reference code set. Is the generated drawing inclusion reference candidate in the specification containing reference set? After querying (S45), if there is one, it is determined by reference numerals including drawings (S46). At this time, the case where one candidate with reference numerals may correspond to one or more specification reference numerals. Subsequently, the patented drawing OCR apparatus 100 performs the mapping data (1: 1 or 1: n) generation (S47) process for the description of the reference numerals and the reference numerals with reference to the reference numerals.
  • the mapping data may not be generated or a greed search may be selectively performed (S48).
  • Greedy search refers to processing all combinations of all recognition values for the object to be stingy or above a predetermined criterion as drawing reference numeral candidates, and performing inquiry (S46) processing for the specification inclusion reference numeral set.
  • the reference recognition process 1330 queries whether the first individual character deviates much from the average size (S49-1).
  • the patent drawing OCR device 100 may calculate the average size of the drawing-included reference marks that are to be recognized.
  • the patented drawing OCR apparatus 100 when there is a specification containing reference code that is mapped to the drawing containing reference number candidate 1: 1 in the step S22, targeting the drawing containing reference number candidate, the size information of individual characters Obtain the average size. This is because the font sizes of the drawings including the drawings included in one drawing or one patent are generally not significantly different.
  • the reference character recognition process 1330 performs the noise processing (S49-2). Otherwise, the reference character candidate is generated.
  • the set is inquired (S49-3). Is the generated drawing inclusion reference candidate in the specification containing reference set? If (S49-4) is inquired, it is determined by reference numerals including drawings (S49-5). If not, it is processed as noise (S49-6).
  • FIG. 11 is an exemplary embodiment of the attribute information generation process of the reference numerals in the drawing information set generation process 1400 of the present invention.
  • the reference information set generation process 1400 may query a candidate string of a reference numeral including a reference number to a reference candidate reference set (S51), and query a candidate string of a reference numeral including a reference numeral or a reference numeral reference candidate It is determined whether there is a set (S52), and if present, the candidate character string of the drawing reference numeral is recognized as the drawing reference numeral (S53), and if not, the candidate string of the drawing reference numeral is discarded (S54). Can be processed.
  • the reference information set generation process 1400 may generate and store attribute information of the reference code candidate when the character string corresponding to the reference code candidate is included.
  • the attribute information of the drawing reference numeral includes the position of the drawing reference numeral (four vertex coordinate values corresponding to the rectangular drawing reference block), the size of the drawing reference numeral font, the orientation (rightward, upward, downward, etc.), Configuration (numbers only, letters + numbers, etc.), lengths of character strings (number of characters), specific reference numbers in which drawing reference numerals appear, and the total number in which drawing reference numerals appear.
  • FIG. 12 is an exemplary embodiment of a process for generating a specification including reference numerals and description information of reference numerals of the apparatus for recognizing reference numerals 200 of the present invention.
  • Reference numerals and description data of the reference numerals are generated by processing the specification data.
  • the specification-indicated reference data is in a markup language such as XML, or in the case of simple text without tags.
  • the apparatus for recognizing reference numerals 200 may obtain a specification (S71) and determine whether the reference numerals are written in a markup language (S72).
  • the specification include reference number is in markup language
  • the tag portion of the specification include reference number corresponding to the reference number is recognized, and the specification include reference number is extracted from the tag portion of the specification include reference number (S73), and the specification is included.
  • a character string at a predetermined position with the tag portion of the reference numeral is extracted (S74), and a description candidate of the reference numeral is determined from the extracted character string (S75).
  • FIG. 10 ⁇ / figref> may be used in forming CMOS-type circuitry in display driver circuitry such as gate driver circuitry ⁇ b> 18 ⁇ / b> and demultiplexer circuitry ⁇ b> 20 ⁇ / b>.
  • FIG. 10 ⁇ / figref> may be used in forming CMOS-type circuitry in display driver circuitry such as gate driver circuitry ⁇ b> 18 ⁇ / b> and demultiplexer circuitry ⁇ b> 20 ⁇ / b>.
  • structures ⁇ b> 302 ⁇ / b> may have a polysilicon layer ⁇ b> 308 ⁇ / b> that is formed on substrate ⁇ b> 24 ⁇ / b>.
  • P-channel active area ⁇ b> 310 ⁇ / b> may be formed under gate ⁇ b> 312 ⁇ / b>.
  • Gate insulator layer ⁇ b> 306 ⁇ / b> (eg, silicon oxide) may separate gate ⁇ b> 312 ⁇ / b> from silicon channel region ⁇ b> 310 ⁇ / b> in silicon layer ⁇ b> 308 ⁇ / b >.
  • Dielectric layer ⁇ b> 302 ⁇ / b> may cover gate ⁇ b> 312 ⁇ / b>.
  • Dielectric layer ⁇ b> 306 ⁇ / b> may separate gate ⁇ b> 312 ⁇ / b> from overlapping oxide layer ⁇ b> 312 ⁇ / b>.
  • Oxide layer ⁇ b> 312 ⁇ / b> may be a semiconducting oxide such as IGZO material.
  • the apparatus for recognizing reference numeral 200 may read a character string in a reverse direction from a starting point (the preceding ⁇ b> tag) of a reference numeral including a specification and satisfy a description candidate condition of a reference numeral as in the following example. Extract the string to the position
  • a string up to immediately before the description candidate related expression of a predetermined reference number such as at least a number, one or more, etc.
  • Description candidate conditions of reference numerals may be stored in the processing rule data unit 5240.
  • the apparatus for recognizing reference numerals 200 may obtain a specification (S71) and determine whether the specification is written in a markup language (S72). When the specification is not in a markup language, the reference sign-explanation recognizing apparatus 200 applies the specification-containing reference identification rule to extract the specification-containing reference number (S76), and refers to the specification-containing reference number. In operation S77, a character string at a predetermined position with the specification reference number is extracted (S77), and a description candidate of the reference number is determined from the extracted character string (S78).
  • the specification identification code identification rule is 1) when there is an explicit regularity such as a method of expressing the specification reference number code on the specification such as "parenthesis + specification included reference number + parentheses” and the like, the rule is applied. do. (In a Korean patent specification, reference numerals are conventionally expressed in parentheses.) Since a parenthesis often includes other character strings other than the specification reference numerals, among the strings included in parentheses, reference numerals are included in the parenthesis. To determine, the following conditions apply: On the other hand, when there is no conventional specification code reference identification rule, such as parentheses, the same conditions can be applied even in the case of a non-type method such as "space code + reference code + space".
  • a string is not a reference sign with a specification of two words or more (if there is a space).
  • strings that do not include numbers are not reference numerals.
  • the number of letters of the starting letter is less than or equal to the number of letters composing the number.
  • the number of characters of the ending character is less than or equal to the number of characters constituting the number.
  • the specification inclusion reference sign cannot be the beginning or the end of a character string.
  • the total length of the string is within a preset limit (eg, 6-7 characters).
  • the specification identification code identification rule may be stored in the processing rule data unit 5240.
  • FIG. 13 is an exemplary embodiment of a process for determining an explanation of reference numerals of the apparatus for recognizing reference numerals 200 of the present invention.
  • the apparatus for identifying reference numerals 200 obtains an explanation candidate of reference numeral S81, applies an explanation determination rule of reference numerals to an explanation candidate of reference numerals, and refers to reference numerals.
  • the description of the processing is performed in a manner of determining (S83).
  • FIG. 14 is a diagram illustrating a mapping process of a description including reference numerals and descriptions of reference numerals before generation of mapping data of the reference numerals and descriptions of the reference numerals of the reference numeral-recognition recognition apparatus 200 according to the present invention. to be.
  • the apparatus for identifying reference numerals 200 obtains pair data of a specification including reference numerals and descriptions of reference numerals generated in the entire specification (S91), and refers to the entire reference numerals based on the specification reference numerals.
  • step S92 if the description is unique (1: 1 correspondence), and in the case of Yes, 1: 1 mapping is performed between the specification reference numeral and the description of the reference numeral (S93).
  • the reference description description apparatus 200 applies a description determination rule of reference numerals when the 1: 1 correspondence does not hold.
  • the apparatus for recognizing reference numeral 200 obtains the explanation of the least common reference numeral from the description of the reference numeral, processes the frequency ratio value as a probability value, and includes 1: n mapping including the reference information and the probability information of the description of the reference numeral. Processing (S94), and generating the mapping data (1: 1 or 1: n) for the specification reference numeral and the description of the reference numeral (S95).
  • FIG. 15 is a diagram illustrating a process of generating mapping data (1: 1 or 1: n) for description of reference numerals and reference numerals through the reference numerals of the reference numeral-recognition recognition apparatus 200 of the present invention.
  • mapping data (1: 1 or 1: n) for description of reference numerals and reference numerals through the reference numerals of the reference numeral-recognition recognition apparatus 200 of the present invention.
  • the apparatus for recognizing reference numerals 200 obtains reference numerals including drawings (S101), and inquires whether the reference numerals corresponding to the reference numerals corresponding to the (rhombus) drawings exist (S102). If yes, mapping of the reference numerals to the reference numerals (S103) and mapping data for the description of the reference numerals and the reference numerals with reference to the reference numerals (1: 1 or 1: n). (S104), and when No, stores that the reference inclusion reference number does not exist and stores the reference reference reference number so that it can be excluded from the mapping process of the reference description and the reference description. Processing is performed in a manner of (S105).
  • FIG. 10 ⁇ / figref> may be used in forming CMOS-type circuitry in display driver circuitry such as gate driver circuitry ⁇ b> 18 ⁇ / b> and demultiplexer circuitry ⁇ b> 20 ⁇ / b>.
  • FIG. 10 ⁇ / figref> may be used in forming CMOS-type circuitry in display driver circuitry such as gate driver circuitry ⁇ b> 18 ⁇ / b> and demultiplexer circuitry ⁇ b> 20 ⁇ / b>.
  • structures ⁇ b> 302 ⁇ / b> may have a polysilicon layer ⁇ b> 308 ⁇ / b> that is formed on substrate ⁇ b> 24 ⁇ / b>.
  • P-channel active area ⁇ b> 310 ⁇ / b> may be formed under gate ⁇ b> 312 ⁇ / b>.
  • Gate insulator layer ⁇ b> 306 ⁇ / b> (eg, silicon oxide) may separate gate ⁇ b> 312 ⁇ / b> from silicon channel region ⁇ b> 310 ⁇ / b> in silicon layer ⁇ b> 308 ⁇ / b >.
  • Dielectric layer ⁇ b> 302 ⁇ / b> may cover gate ⁇ b> 312 ⁇ / b>.
  • Dielectric layer ⁇ b> 306 ⁇ / b> may separate gate ⁇ b> 312 ⁇ / b> from overlapping oxide layer ⁇ b> 312 ⁇ / b>.
  • Oxide layer ⁇ b> 312 ⁇ / b> may be a semiconducting oxide such as IGZO material.
  • a description candidate set of the reference number shown in Table 7 may be generated from the cited specification.
  • the data as shown in Table 7 is stored in the specification-based data unit 5220.
  • n (n is a natural number) correspondence is frequently generated in reality apart from the possibility of being described in the specification. For this reason, there arises a problem in that the description of reference numerals corresponding to the reference numerals included in the specification cannot be mechanically determined.
  • the apparatus for recognizing reference numeral 200 generates data as shown in Table 7 for the entire specification, and generates data as shown in Table 8 when information is processed based on reference numerals including the specification.
  • An explanation determination rule of reference numeral may be stored in the processing rule data unit 5240.
  • the apparatus for recognizing the reference numeral-description generates mapping data of the specification including reference numerals, the description of the reference numerals, and the description attribute information of the reference numerals as shown in Table 9 below.
  • Data shown in Table 9 below is an example of the reference sign-description mapping information set generated by the reference sign-description mapping information set generation process 2400 of the present invention.
  • Data as shown in Table 9 may be stored in the specification-based data unit 5220, and the aggregation information may also be stored in the aggregate data unit 5250.
  • the constituent number of characters is a description of reference numerals for arranging description of reference numerals. It is important for generating batch data. The longer the description of the reference numerals, the larger the size of the space for displaying the explanation of the reference numerals. In the case of the description of the long reference numerals, the long reference numerals are more likely to occur because of the possibility of collision and overlapping with the description of the other reference numerals. If a large amount of description is included, the arrangement between the description of the reference numerals becomes very important.
  • FIG. 15 is a diagram illustrating a process of generating mapping data (1: 1 or 1: n) for description of reference numerals and reference numerals through the reference numerals of the reference numeral-recognition recognition apparatus 200 of the present invention.
  • mapping data (1: 1 or 1: n) for description of reference numerals and reference numerals through the reference numerals of the reference numeral-recognition recognition apparatus 200 of the present invention.
  • the apparatus for recognizing reference numeral 200 obtains the reference numeral including the drawing (S101), inquires whether the reference numeral corresponding to the reference numeral includes the figure (S102), and Yes. Is a mapping between the drawing reference numeral and the specification inclusion reference numeral (S103), and generating mapping data (1: 1 or 1: n) for the description of the reference numeral and the reference numeral through the specification inclusion reference numeral ( S104).
  • the reference numeral-description recognizing apparatus 200 if there is no reference included reference numeral corresponding to the reference numeral included in the drawing is stored as a reference numeral without reference specification reference number, the figure including the figure Processing is performed in such a manner that the reference numeral can be excluded from the mapping process of the reference numeral including the reference numeral and the description of the reference numeral.
  • the method of expressing the description of the reference numerals in the reference numerals may be processed.
  • the description arrangement data of the reference numerals which is data on how to arrange the description of the reference numerals in the image including the reference numerals, should be generated.
  • Description of Reference Symbols The premise of the arrangement data generation is to search for a margin space to place the description of the reference numeral or the translation of the reference numeral translated in another language around the reference numeral including the drawing within the physical boundary conditions (up, down, left and right) of the drawing. will be.
  • Figure 16 is one embodiment implementation of a description batch data generation process with reference numerals of a batch processing process 3100 of the present invention.
  • the batch processing process 3100 obtains processing ranking information about the reference numeral including the drawing (S111). On the other hand, if there is no processing rank information, the processing is random. Even in the case of random processing, the order of processing exists, and the order of the processing is processing ranking information.
  • the processing rank information is a specification including reference numerals (the figure including reference numerals and the specification including reference numerals are the same values), and are the rankings processed based on the position, frequency, etc. on the specification in which the specification inclusion reference numerals appear.
  • the batch processing process 3100 calculates (S112) the minimum required space size for the layout of the description of the first reference numeral with respect to the reference numeral including the first drawing having the highest processing priority.
  • the minimum required space scale handled by the batch size prediction process 3111 mainly depends on the length and number of lines (such as whether to be represented by one or two lines) under a particular font size in the description of the reference numerals.
  • the batch size prediction process 3111 searches (S113) around the first reference numeral for the maximum margin space among the margin spaces exceeding the calculated minimum required space size. Then, it is queried whether the maximum margin space is larger than the minimum required space size (S114). At this time, if it is large (yes), the layout space data value is generated (S115) for the description of the first reference numeral with respect to the reference numeral including the first drawing, and if not (no), the exception processing for the description of the first reference numeral (S116). Perform
  • the batch size prediction process 3111 calculates (S117) a minimum required space size for the arrangement of the description of the nth reference code with respect to the n + 1 drawing included reference numeral and exceeds the calculated minimum required space size.
  • step S118 a query is made as to whether there is a margin space that does not overlap with the layout space data value from the description of the first reference numeral to the description of the nth reference numeral. If there is a margin space (yes), the maximum margin space is searched around the n + 1 reference numerals (S119).
  • the generation space data value of the description of the n + 1th reference code with respect to the nth reference code includes (S1111) do. If not (no), exception processing (S1112) for the description of the n + 1 th reference code is performed. If the query S118 is negative (no), exception processing (S1113) for the description of the n + 1 th reference numeral is performed.
  • the batch processing process 3100 searches for an explanatory arrangement minimum space of the reference numerals according to the drawings, and if the explanatory arrangement minimum space of the reference numerals overlaps at least two or more reference numerals. For example, a process of separating the drawing-containing reference number set in which the overlap occurs and the drawing-included reference code set in which the overlap does not occur may be performed first.
  • the batch processing process 3100 may generate explanatory layout strategy data of the reference numerals included in the drawing-included reference code set overlapping and generate explanatory layout data of the reference with reference to the explanatory layout strategy data of the reference numerals,
  • the processing is performed by generating the description layout strategy data of the reference numerals included in the reference numeral reference set that does not cause overlapping and the description of the reference reference layout strategy data.
  • the batch size prediction process 3111 can know the length (the total number of characters) of the description of the reference numerals, so that the description of the reference numerals according to the font and font size to display the description of the reference numerals is given. Compute the size and shape information of the space needed to display the description. The size and shape information of the required space becomes flexible depending on how many rows the description of the reference numerals is to be displayed.
  • the search for the minimum space includes, for each description of the reference numerals, a minimum space for displaying the description of the reference numerals (e.g., a display space measured by one line and a predetermined font and font size). Is to search around the mapped drawing reference numerals (right side or right side or top side, etc.). If there is not enough space, the existence of the minimum space for displaying the description of the reference numerals is searched for in the deformation condition (font size reduction, two row processing, etc.).
  • the basic direction of spatial search is from the start point to the end point direction of the description of the reference numerals.
  • the starting point of the description of the reference numeral is the left boundary line of the rectangular block, assuming that the description of the reference numeral is displayed within the virtual block of the smallest size.
  • the basic direction of the spatial search becomes the starting point direction at the end point of the description of the reference numeral.
  • the batch processing process 3100 may search for the explanatory batch maximum free space of the reference numeral.
  • the size of the maximum free space may be even more useful for searching the display space of the description of the translated reference.
  • both the minimum free space and the maximum free space have a sparse freshness density, even if there is no freshness or no freshness constituting the figure.
  • the diagram density is a black and white drawing, it can be quantified as "lead space size / total space size".
  • the batch processing process 3100 may also preliminarily apply a method of searching for overlapping by arranging two or more lines in word units in consideration of the number of words in the description of the reference numerals. Can be.
  • This preliminary method can be very useful when the description of the reference number is more than three words.
  • the minimum arrangement space of the description of the reference numerals depends on the length of the description of the reference numerals and the size of the description font of the reference numerals on which the description of the reference numerals is displayed.
  • the size of the explanatory font of the reference number may be the same as the font size of the reference numeral including the drawing, but it may be desirable to have a smaller size.
  • the batch processing process 3100 is applied to any one or more of the following three if the collision / overlapping phenomenon of the description of the reference numerals can not be avoided even through the adjustment of the font size or two or more lines newline processing. Perform the process.
  • At least one of the descriptions of the reference numerals in which the collision / overlap occurs is indicated in the margin space of the drawing, and optionally connected between the description of the reference numerals indicated in the margin space and the corresponding reference numerals with the corresponding drawings.
  • the drawing image is mostly black and white, and most of the user computer 910 has a color display.
  • the batch processing process 3100 does not necessarily search for white margins when searching for a space where a description of reference numerals is to be displayed. That is, when the drawing image is black and white, the description of the reference numerals may be displayed in color. Accordingly, if not abused, the case where the description of the reference numerals in color crosses the lines of the drawings in black and white may also be partially allowed.
  • the batch processing process 3100 preferentially searches for a space in white when searching for a layout space of the description of reference numerals, but may also search for a space crossing a line or a diagram constituting the contents of the drawing.
  • FIG. 17 is another exemplary embodiment of a description batch process of reference numerals of a batch processing process 3100 of the present invention.
  • the patent reference-description combining server 300 obtains the reference position coordinates including the nth drawing, the description text of the nth reference code (S121), and sets the length of the description text of the nth reference numeral.
  • the angle at which the description text space of the n th reference number and the description text of the first to n th-1 th reference signs collide with each other in a predetermined angle unit in the semicircle is determined (S124), and includes the determined minimum collision angle data. And store the information in the batch information set (S125).
  • Exception handling is often required when there is no minimum margin space around the drawing-bearing reference to display a description of at least one particular reference, such as in areas where the drawing-bearing reference has a particularly high density in the drawing image. do.
  • Exception processing in the present invention includes collecting descriptions of reference numerals corresponding to several drawing reference numerals, and processing them to be arranged in a specific region (one or plural regions) of the drawing image.
  • the batch processing process 3100 obtains processing rank information for the reference numeral including the drawing (S111), and obtains the N reference numerals for the exception processing for the explanation of the reference numeral (S131). At this time, the minimum necessary margin space for display of the N reference numerals and the explanation of the reference numerals requiring exception processing is calculated (S132). This is because it is preferable to collect the descriptions of the reference numerals corresponding to the N reference numerals in one region, if possible, to calculate the minimum required space for N. If N is not possible, it can be divided into n (n ⁇ N) and collected by grouping. There are three reference numeral clusters in FIG. 31, and in each of them, descriptions of the reference numerals are collected and displayed in the form of "drawing reference numeral: description of reference numerals".
  • the batch processing process 3100 determines whether there is a single minimum required margin space for the N displays in the drawing image (S133), and if yes, then selects a single minimum required margin space. Generated by arrangement space data values for arrangement of reference numerals and description of reference numerals (S134).
  • the batch processing process 3100 divides N into n (n> 1) and determines whether there is a single minimum required margin space to display the group for each of the n divided reference numerals and the description group of the reference numerals ( If positive (yes), a single minimum required margin space is generated as the layout space data value of the description of the reference numeral for displaying the group (S136), and if not (no) the layout space data value of the description of the reference numeral Abandon the creation of (S137).
  • FIG. 19 is one embodiment implementation of a process in which the batch processing process 3100 of the present invention quantifies the density of drawing reference numerals, and discovers and processes the proximity cluster including reference figures according to the density.
  • the batch processing process 3100 discovers two or more proximity drawing clusters including proximity drawings (S141), measures the display density of the proximity clusters including proximity drawings (S142), and sets the display density to a predetermined value. It is determined whether the level or more (S143).
  • the batch processing process 3100 may generate a description group of reference numerals in the drawings without generating the description batch data of the reference numerals including the drawings when the density is higher than or equal to the determination result (Yes).
  • the location information is searched for (S144).
  • the batch processing process 3100 generates descriptive batch data of reference numerals for each reference numeral including the drawing when the density is below the level (No) (S145).
  • the description of the reference numerals displayed in the margin space is intended for the description of the reference numerals in which overlap / collision occurs, and it may be desirable to process the description of the reference numerals having a relatively low importance to be displayed in the margin space.
  • An example of a description of a reference number having a relatively low importance may be a description of a reference number frequently appearing in other drawings, or a description of a reference number corresponding to a reference numeral including a higher layer.
  • the search of the margin space should be searched under the physical boundary conditions (up, down, left and right) of the drawing.
  • a problem arises in that the description of the reference numeral cannot be arranged to the right.
  • the batch processing process 3100 may be very useful for drawings containing reference numerals that are at the right boundary of the drawing (eg, within 0-20% of the right side when the entire drawing is divided into 10 equally vertically).
  • information processing for placing the description of the reference numerals on the right side rather than the left side of the reference numerals including the drawings is performed. Therefore, the search of the layout space for explaining the reference numerals of the batch processing process 3100 is concentrated toward the right direction of the reference numerals including the drawings, and the layout of the description of the reference numerals is processed within the physical right boundary of the figure.
  • the batch processing process 3100 detects an absolute margin space in the drawing and performs information processing for intensively arranging descriptions of reference numerals corresponding to preset conditions in the absolute margin space.
  • the margin space for disposing the description of the reference numerals may be absolutely insufficient.
  • the batch processing process 3100 searches for at least one or more absolute margin spaces in the drawing (spaces without drawing reference numerals or diagrams, color separation, color blur, etc. constituting the drawing), and physical locations of the absolute margin spaces. And the size.
  • absolute margin space near the presentation or at the top or bottom of the drawing.
  • the patent reference-description combination server 300 collects descriptions of reference numerals that fail to place the description of the reference numerals in the vicinity of the reference numerals, including the description of the reference numerals in the absolute margin space. I can display it. In this case, since the description of the reference numerals and the reference numerals are far apart, the reference numerals are included before or after the description of the reference numerals displayed in the absolute space, or between the reference numerals and the description of the reference numerals. It would be desirable to have a treatment that connects them with colored connectors.
  • Reference numeral-description combining information set processing process 3200 will be described.
  • the reference sign-description combining information set processing process 3200 generates a reference sign-description combining information set by adding the following information to the batch information set acquired by the batch information set obtaining process 3210.
  • the additional information may be importance information and sequence information for description of reference numerals.
  • the importance information is performed by the importance processing process 2200.
  • the importance processing process 2200 obtains the position information and the frequency information from which the description of the reference has been received, and determines the importance of each description of the reference according to the preset importance determination logic. For example, the importance of the description of reference numerals that appear in the independent claims and also in the dependent claims is given higher points of importance than the description of the reference numerals appearing only in the detailed description of the invention.
  • the patent reference-description combining processor 3000 which is also a higher concept in the drawings of the present invention, may include a batch processing process 3100 and a reference symbol-description combining information set processing process 3200, wherein the reference numeral 3000 is a lower concept. And 3100, 3200, and 3300 are assigned to the associating process 3300, respectively. Meanwhile, 3110 and 3120 are assigned to the batch search process 3110 and the batch information set generating process, which are detailed concepts of the batch processing process 3100.
  • the sequence processing process 2300 recognizes the hierarchical structure of the number representation system of the specification reference number based on the commonality of the preceding display string in the code system constituting the specification reference number. Subsequently, the sequence processing process 2300 generates at least two sequence groups with respect to the entire set of specification reference numerals using the hierarchical structure of the recognized number notation system. For example, there are 3100, 3200, and 3300 in the specification-included reference numeral 3000 series, and 3110 and 3120 in the 3100 series. When a sequence of reference numerals is recognized in this manner, a color sequence may be given for each description of reference numerals corresponding to the reference numerals, and font sizes may be different according to positions on the hierarchical structure. .
  • description of the reference numeral corresponding to 3000 is the description of the reference numeral corresponding to the dark green in the font size 60, 3100, 3200, 3300
  • description of the reference numeral corresponding to the medium green in the font size 47, 3110 and 3120 is the font Size 30 may be assigned a pale green color.
  • Table 10 below is an example of representation data for the description of an example reference number, which is an element of the reference-description combining information set.
  • the reference sign-description combining information set processed by the reference sign-description combining information set generation process 3230 of the present invention includes a batch information set and the following expression data.
  • Data as shown in Table 10 may be stored in the description layout data unit 5230 or the drawing-based data unit 5210 of the reference numerals, and the aggregation information may also be stored in the aggregate data unit 5250.
  • the description position of the reference numerals needs to be specified accurately.
  • the most common method is to introduce four coordinate values (coordinate values of four vertices corresponding to the description block of the rectangular reference number where the description of the reference number is displayed) for determining the description position of the reference number. It is preferable that the positional information of the reference numeral including the drawing is also composed of four coordinate values.
  • the expression processing process 3220 is performed by the present invention to determine the style / form in which the description of each reference number is expressed by reflecting the importance and the series.
  • the external information response processing process 3221 stores the search keyword input by the user for each user session, and then searches for the search keyword in a description list of reference numerals, and a reference character string or a matching relationship is established. If there is a description of, the description of such reference numerals can be processed so that a special expression (eg, font size, color, shade, etc.) is added.
  • the above processing may be performed such that the external information reaction processing process 3221 can display a special representation in the description data of reference numerals transmitted to the user computer 910, which is an example of another apparatus 900. This is done by adding / merging data.
  • the description of the reference numerals is processed in a method of providing a hard binding-based data to the drawing image so that it is physically integrated (the method or layer concept in which both the reference numerals and the description of the reference numerals exist in a single file does not apply. Way).
  • a soft binding-oriented data providing method in which a drawing image and description layer information of a reference number are combined and provided may be even more preferable. have.
  • the patent reference-description combining server 300 may generate data to be provided to another device 900 (for example, the user computer 910) in the following manner.
  • ⁇ img src "http: //..._pct00010.png" /> is an example of a syntax for processing a browser to read a drawing image file.
  • the browser of the user computer 910 processes the description of reference numerals "thin film transistor structures" to be displayed on the coordinate image designated by the font size 47 on the drawing image. do.
  • the description of reference numerals "thin film transistor structures” as shown in FIG. 24 is displayed at a designated position on the drawing image.
  • generating data such that the description of the reference numerals is displayed in a layer independent of the specific drawing image is performed by the logical combining processing process 3320 of the present invention.
  • the patent reference-description combining server 300 is illustrated so that description data of reference numerals corresponding to the drawing can be displayed on the user computer 910.
  • FIG. As described above, the processed data is provided to the user computer 910.
  • soft binding oriented data provision has some advantages.
  • drawing reference numerals corresponding to drawing reference numerals and drawing reference numerals extracted from the drawing image data may be relatively volatile.
  • description of reference numerals may be an object of translation.
  • a program / service providing a translation function is also required to translate the description of the reference numerals in English into a desired language by performing a translation such as a machine translation, but above all, the description of the reference numerals may be recognized as text, not as an image. It should be possible.
  • the method of displaying the description of reference numerals may vary continuously. Description of Reference Numbers When the contents constituting the layout data are changed or updated, it is necessary to provide a description of the reference numbers reflecting the change or update.
  • FIG. 20 is one embodiment implementation of a preprocessing process for a composite view of a patented drawing OCR device 100 of the present invention.
  • the patent drawing OCR processor 1000 identifies the number of drawing numbers in the drawing (S151), and if the number of drawing numbers is two or more, the drawing is cut by the number of drawing numbers and independent drawing data. Process in the manner of generating (S152).
  • the number of drawing numbers refers to identifying how many representations with independent drawing numbers such as "Fig. + Number” or "degree + Number” exist in a single drawing image file.
  • the patent reference-description combining server 300 may physically divide a drawing into representation units having independent reference numbers, and apply the inventive concept to the divided drawings.
  • FIG. 25 is an illustration of a drawing before application of the inventive idea to a particular drawing (FIG. 10) of US patent application 14 / 249,716.
  • the description of the reference numerals is not added to the relatively simple drawings or the reference numerals in the drawings.
  • FIG. 26 is an illustration of a diagram that may be experienced by a user after application of the inventive concept to a specific diagram (FIG. 10) of US patent application 14 / 249,716.
  • FIG. 25 is a diagram to which the present invention with the description of reference numerals is added to the diagram of FIG. 25.
  • the description of the translated reference numerals may be generated through machine translation or other translation process.
  • Table 11 below is an example of data in which pairs of descriptions of original reference numerals associated with FIG. 25 and descriptions of reference numerals translated into other languages are shown.
  • Fig. 27 is an illustration of an explanatory layer of reference numerals to which the present invention idea is applied to a specific drawing (Fig. 10) of US Patent Application No. 14 / 249,716.
  • ⁇ img src "http: / /..._ pct00010.png "/> without generating the data as described below and providing it to the user computer 910, as shown in FIG.
  • ⁇ Div style "position: relative;”>
  • ⁇ div style "position: absolute; top: 856px; left: 25px; font-size: 47px;”> thin-film transistor structures ⁇ / div>
  • FIG. 28 is an example in which description of reference numerals for specific drawings in US Patent Application No. 14 / 249,716 appears, rather than description of original reference numerals. Descriptions of reference numerals associated with the drawings of FIG. 25 are provided in other languages. At this time, the description of the reference numerals may be different even in the same language. For example, it may be different for each translator. In addition, when a patent applied in a specific language in a specific country is applied in a different language in another country, the description of the reference numeral corresponding to the same reference numeral included in the specification in that language is different from the description of the translated reference numeral.
  • a patent applied in a specific language in a specific country is applied in a different language in another country, the description of the reference numeral corresponding to the same reference numeral included in the specification in that language is different from the description of the translated reference numeral.
  • the description of the reference numeral corresponding to the same reference numeral included in the specification in that language is different from the description of the translated reference nume
  • the patent reference-description combining server 300 may generate a syntax as described below and transmit it to the user computer 910. This result is in FIG. 28.
  • FIG. 29 is an example of a diagram in which a user to which a description of a translated reference number is applied may feel.
  • FIG. 30 to 34 are views of before and after application of the inventive idea to another particular drawing (Fig. 3) of US patent application 14 / 249,716, corresponding to Figs. 25 to 29, respectively.
  • reference numerals 64, 66, 68, 70, 74, and 76 form the same reference cluster.
  • the reference numerals together with the drawings appear next to the description of the reference numerals. All of the "drawing reference numerals: description of reference numerals" that will constitute the same reference cluster will all have the same x coordinate value.
  • Table 12 below is an example of data in which pairs of descriptions of the original reference numerals with respect to another specific figure (FIG. 3) of US patent application 14 / 249,716 and a description of the reference numerals in other languages are shown.
  • FIG. 34 is another illustration of a diagram that may be experienced by a user to which description of translated reference numerals has been applied to a specific drawing of US patent application 14 / 249,716.
  • the present invention can be widely used in the patent information industry, the patent information service industry, the technology information business, and the technology information service industry of the present invention.

Abstract

포함 도면 부호를 인식하고, 인식된 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 수 있는 배치 공간을 탐색하여, 탐색된 여백 공간에 상기 도면 부호의 설명이 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하여 특허 도면 이미지에 대응하여 제공함으로써, 특허 도면의 도면 부호의 주변에 원래 또는 번역된 도면 부호의 설명이 배치될 수 있도록 처리하는 장치 및 방법에 대한 것이다. 본 발명을 활용하면 특허 도면에 포함된 도면 부호가 지칭하는 바가 명확하고 빠르게 인지될 수 있게 되어 도면의 가독성이 증가되며, 특허 도면을 통한 특허의 기술 사상 이해의 촉진을 지원할 수 있다.

Description

인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 방법 및 장치
본 발명은 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 장치 및 방법에 관한 것으로서 더욱 더 상세하게는 문자별 문자 대응 이미지 데이터를 교차 검증(cross validation)을 통해 최적화(optimization)한 하이퍼 파라미터(hyper parameter) 조건 하에 학습 모형의 파라미터를 학습하여 생성되는 학습 모형을 사용하여 특허 도면 이미지에 포함된 도면 포함 도면 부호를 인식하고, 인식된 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 수 있는 배치 공간을 탐색하여, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하여 특허 도면 이미지에 대응하여 제공함으로써, 특허 도면에 나타나 있는 도면 부호의 주변에 원래 또는 번역된 도면 부호의 설명이 배치될 수 있게 하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 장치 및 방법에 대한 것이다.
특허 출원서에는 특허 명세서 및 도면을 포함하고 있다. 특허 도면 중에는 도면 부호에 대한 표시가 다수 포함되어 있는 도면이 많다. 하지만, 도면은 이미지 형태로 제공되고 있고, 도면 부호는 간략한 숫자 또는 숫자+문자 형태로 되어 있는 경우가 많아, 도면 부호만으로는 그 도면 부호가 지칭하는 대상을 정확하게 파악하기 어려운 문제가 있었다.
도 25와 도 30은 본 통상적인 도면에 도면 부호가 나타나 있지만, 도면 부호에 대한 설명이 부가되어 있지 않아, 도면 부호가 지칭하는 정확하고 빠르게 파악하기 어려운 종래의 특허 도면에 대한 예시이다.
이러한 도면 부호에 대한 도면 부호의 설명은 특허 명세서(주로 발명의 상세한 설명 등)에 나타나 있다. 하지만, 특허 도면과 특허 명세서는 공간적으로 분리되어 있을 뿐만 아니라, 특허 명세서에는 긴 문장 속에 전체 특허 내용에 대응되는 많은 도면 부호 및 도면 부호의 설명이 모두 포함되어 있어, 특정한 도면에 포함되어 있는 특정한 도면 부호에 대한 도면 부호의 설명을 빠르게 찾아 내기란 쉽지 않을 수 있다.
국가에 따라, 도면 부호의 설명만 따로 분리하여 기재하도록 권장하는 경우도 있지만, 이 경우에도 특허 전체에 대한 도면 부호 및 도면 부호의 설명이 맵핑되어 있어, 특정한 도면을 보고 있는 사람이 자신이 보고 있는 도면에 포함되어 있는 도면 부호에 대한 도면 부호의 설명만을 추출하기가 쉽지 않은 점이 있다.
또한, 1개의 도면에 다수의 도면 부호가 있는 경우, 그 도면 부호마다 도면 부호의 설명이 나타나 있지 않으면, 도면 부호가 지칭하는 바를 정확하게 파악하기란 쉬운 일이 아니다. 도 30은 이러한 예를 잘 나타내 주고 있다.
본 발명은 도면에 있는 도면 포함 도면 부호가 지칭하는 대상을 빠르고 명확하게 파악하지 못하는 종래의 불편함을 없애기 위한 것이다.
본 발명이 해결하고자 하는 과제는 상기 문제점을 해결하기 위한 것으로, 문자별 문자 대응 이미지 데이터를 교차 검증(cross validation)을 통해 최적화(optimization)한 하이퍼 파라미터(hyper parameter) 조건 하에 학습 모형의 파라미터를 학습하여 생성되는 학습 모형을 사용하여 특허 도면 이미지에 포함된 도면 포함 도면 부호를 인식하고, 인식된 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 수 있는 배치 공간을 탐색하여, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하여 특허 도면 이미지에 대응하여 제공함으로써, 특허 도면에 나타나 있는 도면 부호의 주변에 원래 또는 번역된 도면 부호의 설명이 배치될 수 있게 하여, 특허 도면에 포함된 도면 부호가 지칭하는 바가 명확하고 빠르게 인지될 수 있게 하고, 도면의 가독성을 증가시키며, 특허 도면을 통한 특허의 기술 사상 이해의 촉진을 지원할 수 있도록 하는 장치 및 방법을 제시하는 것이다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 제공되는 특허 도면의 도면 부호의 주위에 도면 부호의 설명이 표시될 수 있도록 하는 처리하는 방법에 있어서, (a) i) 특허 도면 OCR 장치에 의해 특허 식별자와 대응될 수 있는 특허 도면 식별자에 대응되는 적어도 하나 이상의 특허 도면 이미지 파일이 입수된 후, 상기 특허 도면 이미지 파일에서 적어도 하나 이상의 도면 포함 도면 부호가 인식되고, 상기 도면 포함 도면 부호 의 위치 정보를 포함하는 인식된 상기 도면 포함 도면 부호에 대응되는 도면 포함 도면 부호 정보셋이 생성되는 제1 상태; 및 ii) 도면 부호-설명 인식 장치에 의해 도면 부호와 도면 부호의 설명이 포함된 명세서 문자열이 파싱되고, 상기 명세서 문자열에 포함된 적어도 하나 이상의 명세서 포함 도면 부호와 적어도 하나 이상의 도면 부호의 설명이 인식되며, 인식된 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 관계를 포함하는 특허 식별자별 명세서 포함 도면 부호-설명 맵핑 정보셋이 생성되는 제2 상태가 수행된 상태에서, 특허 도면 부호-설명 결합 서버가, 상기 특허 식별자에 대응되는 명세서 포함 도면 부호-설명 맵핑 정보셋 및 상기 특허 도면 식별자에 대응되는 상기 도면 포함 도면 부호 정보셋을 입수하는 단계; (b) 상기 특허 도면 부호-설명 결합 서버가, 상기 도면 포함 도면 부호 정보셋에 포함된 상기 도면 포함 도면 부호의 위치 정보와 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에 포함된 상기 명세서 포함 도면 부호에 맵핑된 도면 부호의 설명 정보로, 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되기 위한 여백 공간을 탐색하는 단계;및 (c) 상기 특허 도면 부호-설명 결합 서버가, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하는 단계;를 포함하는 것이며, 상기 도면 포함 도면 부호와 상기 명세서 포함 도면 부호는 동일한 문자열이거나 동일성이 인정되는 문자열인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법을 제시한다.
상기 제1 상태를 달성하기 위하여 상기 도면 포함 도면 부호가 인식되는 방식은, (i1) 수집된 문자별 문자 대응 이미지 데이터에서 샘플링이 수행되는 단계; (i2) 샘플링 된 문자별 문자 대응 이미지 데이터를 n(n>=3인 자연수)개의 폴더(fold)로 분할하는 단계; (i3) n-1 폴더의 문자별 문자 대응 이미지 데이터를 학습 데이터로 하여 모델을 학습하고, 나머지 폴더의 문자별 문자 대응 이미지 데이터를 테스트 데이터로 하여, 테스터 에러를 구하는 과정을 n회 수행하는 교차 검증(cross validation)을 통해 하이퍼 파라미터(hyper parameter) 최적화 하는 단계; 및 (i4) 수집된 문자별 문자 대응 이미지 데이터를 사용하고 최적화된 하이퍼 파라미터 조건 하에 학습 모형의 파라미터를 학습하는 단계;를 포함하여 수행되는 것이 바람직하다.
상기 학습 모형은 판별 딥러닝(Discriminant deep learning) 모형 및 생성 딥러닝(Generative deep learning) 모형 중에서 선택되는 어느 하나 이상인 것이며, 학습 상기 하이퍼 파라미터는 레이어(layer)의 수, 잠재 변수(hidden variable)의 수, 드랍 아웃(drop out)비율, 필터 크기(filter size) 및 활성화 함수(activation function)의 종류 중에서 선택되는 어느 하나 이상인 것이 바람직하다.
상기 (b) 단계에서 여백 공간을 탐색하는 것은 (b1) 상기 도면 포함 도면 부호에 대해 상기 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 때의 배치 크기를 예측하는 단계; (b2) 상기 (b1) 단계에서 예측되는 도면 부호의 설명 배치 크기를 기준으로, 상기 도면 부호의 설명별 배치 크기보다 크거나 같은 여백 공간을 상기 도면 포함 도면 부호의 주변부에서 탐색하는 단계; 및 (b3) 탐색된 여백 공간이 존재하는 도면 부호의 설명에 대해서 배치 정보셋을 생성하는 단계;를 포함하는 것이며, 상기 배치 정보셋에는 상기 도면 부호의 설명이 배치될 수 있는 도면 부호의 설명 배치 공간에 대한 정보가 포함되어 있는 것인 것이 바람직하다.
상기 (b1) 단계 및 (b2) 단계는 도면 포함 도면 부호별로 처리되는 것인 것이며, 상기 (b2) 단계는 제1 도면 부호의 설명 배치 공간 내지 제i (i>1인 자연수) 도면 부호의 설명 배치 공간이 정해진 상태에서, (b21) 제i+1 도면 부호의 설명 배치 공간이 상기 제1 도면 부호의 설명 배치 공간 내지 상기 제i (i>1인 자연수) 도면 부호의 설명 배치 공간 중 어느 하나와도 겹침 내지 충돌이 발생하지 않는 도면 부호의 설명 배치 공간을 탐색하는 단계; (b22) i) 겹침 또는 충돌이 발생하지 않는 경우, 제i+1 도면 부호의 설명 배치 공간에 대한 정보로 상기 제i+1 도면 부호의 설명에 대한 배치 정보셋을 생성하고, ii) 겹침 내지 충돌이 발생하는 경우, 제i+1 도면 부호의 설명에 대해서는 예외 처리하는 단계;를 더 포함하는 것이 바람직하다.
도면 부호의 설명 배치 공간을 탐색하는 방향과 위치에는 우선 순위가 존재하는 것이며, 상기 (b2) 단계는 도면 포함 도면 부호별로 우선 순위에 따라 도면 부호의 설명 배치 공간을 탐색하는 것이며, 우선 순위에 따라 도면 부호의 설명 배치 공간의 탐색 시, 도면 부호의 설명 배치 공간이 도면의 물리적 경계를 침범하는 경우에는 차선 순위를 기준으로 도면 부호의 설명 배치 공간을 탐색하는 것인 것이 바람직하다.
(d) 상기 특허 도면 부호-설명 결합 서버가, 상기 배치 정보셋을 사용하여 상기 도면 부호의 설명이 도면 이미지 상에 표현되는 조건 데이터를 포함하는 도면 부호-설명 결합 정보셋을 생성하는 단계;를 더 포함하는 것이 바람직하다.
상기 도면 부호-설명 결합 정보셋에는 도면 부호의 설명별 위치 정보를 필수적으로 포함하며, 선택적으로 도면 부호의 설명별 폰트 종류 정보, 폰트 사이즈 정보, 칼라 정보, 음영, 농도, 배향 정보 중 어느 하나 이상을 포함하는 것인 것이 바람직하다.
상기 제1 상태를 달성하기 위해 도면 포함 도면 부호를 인식함에 있어서, 상기 제2 상태를 달성하기 위해 인식되는 도면 부호의 설명 또는 상기 제2 상태를 달성하기 위해 생성되는 명세서 포함 도면 부호-설명 맵핑 정보셋 중 어느 하나 이상이 사용되는 것인 것이 바람직하다.
상기 명세서 포함 도면 부호-설명 맵핑 정보셋에는 명세서 포함 도면 부호와 도면 부호의 설명에 대한 확률적 맵핑 데이터가 포함되어 있는 것이며, 선택적으로 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에는 도면 부호의 설명에 대한 중요도 및 계열 처리 정보가 포함되어 있는 것인 것이 바람직하다.
본 발명이 이루고자 하는 다른 기술적 과제를 달성하기 위하여, 제공되는 특허 도면의 도면 부호의 주위에 도면 부호의 설명이 표시될 수 있도록 하는 처리하는 특허 도면 부호-설명 결합 서버에 있어서, 상기 특허 도면 부호-설명 결합 서버는 i) 특허 도면 OCR 장치에 의해 특허 식별자와 대응될 수 있는 특허 도면 식별자에 대응되는 적어도 하나 이상의 특허 도면 이미지 파일이 입수된 후, 상기 특허 도면 이미지 파일에서 적어도 하나 이상의 도면 포함 도면 부호가 인식되고, 상기 도면 포함 도면 부호 의 위치 정보를 포함하는 인식된 상기 도면 포함 도면 부호에 대응되는 도면 포함 도면 부호 정보셋이 생성되는 제1 상태; 및 ii) 도면 부호-설명 인식 장치에 의해 도면 부호와 도면 부호의 설명이 포함된 명세서 문자열이 파싱되고, 상기 명세서 문자열에 포함된 적어도 하나 이상의 명세서 포함 도면 부호와 적어도 하나 이상의 도면 부호의 설명이 인식되며, 인식된 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 관계를 포함하는 특허 식별자별 명세서 포함 도면 부호-설명 맵핑 정보셋이 생성되는 제2 상태가 수행된 상태에서, 상기 특허 식별자에 대응되는 명세서 포함 도면 부호-설명 맵핑 정보셋 및 상기 특허 도면 식별자에 대응되는 상기 도면 포함 도면 부호 정보셋을 입수하는 통신부; (I) 상기 도면 포함 도면 부호 정보셋에 포함된 상기 도면 포함 도면 부호의 위치 정보와 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에 포함된 상기 명세서 포함 도면 부호에 맵핑된 도면 부호의 설명 정보로, 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되기 위한 여백 공간을 탐색하는 프로세스;및 (II) 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하는 프로세스;를 수행하는 프로세서를 포함하는 것이며, 상기 도면 포함 도면 부호와 상기 명세서 포함 도면 부호는 동일한 문자열이거나 동일성이 인정되는 문자열인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버를 제시한다.
본 발명에 따르면, 문자별 문자 대응 이미지 데이터를 교차 검증(cross validation)을 통해 최적화(optimization)한 하이퍼 파라미터(hyper parameter) 조건 하에 학습 모형의 파라미터를 학습하여 생성되는 학습 모형을 사용하여 특허 도면 이미지에 포함된 도면 포함 도면 부호를 인식하고, 인식된 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 수 있는 배치 공간을 탐색하여, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하여 특허 도면 이미지에 대응하여 제공함으로써, 특허 도면에 나타나 있는 도면 부호의 주변에 원래 또는 번역된 도면 부호의 설명이 배치될 수 있게 된다. 이를 통하여, 특허 도면에 포함된 도면 부호가 지칭하는 바가 명확하고 빠르게 인지될 수 있게 되어 도면의 가독성이 증가되며, 특허 도면을 통한 특허의 기술 사상 이해의 촉진을 지원할 수 있다. 그리고, 도면 포함 도면 부호의 인식 시, 명세서에서 추출한 명세서 포함 도면 부호 리스트의 조회를 통하여 도면 부호의 인식 정확도를 개선시킬 수 있으며, 명세서에서 추출되는 명세서 포함 도면 부호와 도면 부호의 설명의 대응 관계를 통계적 확률 기반으로 처리하면 명세서의 기재 불비 요소가 포함되어 있더라도 도면 포함 도면 부호에 정확성 높은 도면 부호의 설명을 배치시킬 수 있게 되는 효과가 있다.
도 1은 본 발명 사상이 구현되는 전체 구성에 대한 일 실시예적 구현예이다.
도 2는 본 발명의 특허 도면 OCR 장치에 대한 일 실시예적 구현예이다.
도 3은 본 발명의 도면 부호-설명 인식 장치에 대한 일 실시예적 구현예이다.
도 4는 본 발명의 특허 도면 부호-설명 결합 서버에 대한 일 실시예적 구현예이다.
도 5는 본 발명의 도면 부호 인식 학습 장치에 대한 일 실시예적 구현예이다.
도 6은 본 발명의 데이터 저장 장치에 대한 일 실시예적 구현예이다.
도 7는 본 발명의 사상의 구현을 위한 일 실시예적 프로세스이다.
도 8은 본 발명의 특허 도면 OCR 장치의 도면 포함 도면 부호의 인식을 위한 일 실시예적 프로세스이다.
도 9는 본 발명의 특허 도면 OCR 장치의 숫자가 포함된 인식 문자열의 처리에 관한 일 실시예적 프로세스이다.
도 10은 본 발명의 특허 도면 OCR 장치의 인식된 문자열의 합성 처리에 관한 일 실시예적 프로세스이다.
도 11은 본 발명의 특허 도면 OCR 장치의 인식되는 도면 포함 도면 부호를 명세서 포함 도면 부호 리스트에 조회하는 방식으로 인식 정확도를 향상시키는 일 실시예적 프로세스이다.
도 12는 본 발명의 도면 부호-설명 인식 장치의 명세서 포함 도면 부호 및 도면 부호의 설명의 인식 처리에 관한 일 실시예적 프로세스이다.
도 13은 본 발명의 도면 부호-설명 인식 장치의 명세서 포함 도면 부호와 도면 부호의 설명 간의 맵핑 처리에 관한 일 실시예적 프로세스이다.
도 14는 본 발명의 도면 부호-설명 인식 장치의 도면 포함 도면 부호와 상기 도면 부호의 설명의 맵핑 데이터 생성 전 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 처리에 관한 일 실시예적 프로세스이다.
도 15는 본 발명의 도면 부호-설명 인식 장치의 명세서 포함 도면 부호를 매개로 도면 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터 생성 처리에 관한 일 실시예적 프로세스이다.
도 16은 본 발명의 특허 도면 부호-설명 결합 서버의 도면 부호의 설명 배치 데이터 생성 프로세스에 대한 일 실시예적 구현예이다.
도 17은 본 발명의 특허 도면 부호-설명 결합 서버의 도면 부호의 설명 배치 데이터 생성 프로세스에 대한 다른 일 실시예적 구현예이다.
도 18은 본 발명의 특허 도면 부호-설명 결합 서버의 예외적인 경우에서의 도면 부호의 설명 배치 데이터 생성 프로세스에 대한 다른 일 실시예적 구현예이다.
도 19는 본 발명의 특허 도면 부호-설명 결합 서버가 도면 포함 도면 부호의 밀도를 계량하고, 밀도에 따른 근접 도면 포함 도면 부호 클러스터를 발굴하고 처리하는 프로세스에 대한 일 실시예적 구현예이다.
도 20은 본 발명의 특허 도면 OCR 장치의 복합 도면을 전처리에 관한 일 실시예적 프로세스이다.
도 21은 본 발명의 도면 부호 인식 학습 장치의 학습 과정의 실시예적 구성이다.
도 22는 본 발명의 특허 도면 OCR 장치가 도면 부호 인식 학습 장치의 학습 결과물을 사용하는 일 실시예적 방법이다.
도 23은 본 발명의 특허 도면 OCR 장치가 도면 파일에서 patch들을 파싱 처리 후 생성되는 데이터에 대한 일 실시예적 시각화 결과물이다.
도 24는 대한민국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상의 구현 결과가 사용자 컴퓨터에서 사용자에게 보여 지는 최종 결과물의 일 실시예적 형태이다.
도 25는 미국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상 적용 전의 도면에 대한 예시이다.
도 26은 미국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상 적용 후의 사용자가 체감할 수 있는 도면에 대한 예시이다.
도 27은 미국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상이 적용된 도면 부호의 설명 레이어에 대한 예시이다.
도 28은 미국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상이 적용된 도면 부호의 설명 레이어에 오리지널 도면 부호의 설명이 아닌 번역된 도면 부호의 설명이 나타나는 일 예시이다.
도 29는 미국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상이 적용된 번역된 도면 부호의 설명이 적용된 사용자가 체감할 수 있는 도면에 대한 예시이다.
도 30은 본 발명 사상 적용 전의 도면에 대한 다른 예시이다.
도 31은 본 발명 사상 적용 후의 사용자가 체감할 수 있는 도면에 대한 다른 예시이다.
도 32은 본 발명 사상이 적용된 도면 부호의 설명 레이어에 대한 다른 예시이다.
도 33는 도면 부호의 설명 레이어에 오리지널 도면 부호의 설명이 아닌 번역된 도면 부호의 설명이 나타나는 다른 예시이다.
도 34는 번역된 도면 부호의 설명이 적용된 사용자가 체감할 수 있는 도면에 대한 다른 예시이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
본 명세서에서 OCR 등의 기술을 적용할 때, 딥러닝, 부스팅, SVM 등과 같은 머신 러닝 기반의 모델링이 포함될 수 있다. 이때, '모델링'또는 '모델 생성'은 절차에 따라 머신 러닝(machine running)을 수행함을 일컫는 용어인 바, 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아님을 통상의 기술자는 잘 이해할 수 있을 것이다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성 요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 이하, 통상의 기술자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
본 명세서에서 “특허”의 개념은 광의의 개념으로서, 특정 국가의 특허 뿐만 아니라, 각 국가의 특허의 모든 특허를 포함하는 개념이며, 개별 특허 또는 전세계의 공개/등록된 특허에 포함된 서지 정보, 가공 서지 정보, 명세서에 포함된 정보, 도면 정보 또는 이 정보의 가공 정보를 포함하는 것으로 이해되어야 한다.
본 발명의 장치는 전형적으로 컴퓨터 하드웨어(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨터 시스템의 구성 요소들을 포함할 수 있는 클라이언트 컴퓨터 및 서버 컴퓨터; 전자 통신선, 라우터, 스위치 등등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨터 하드웨어로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 활용하여 원하는 성능을 달성한다.
이하, 도면을 참조하면서 더욱 더 상세하게 설명한다.
도 1은 본 발명 사상이 구현되는 전체 구조에 대한 일 실시예적 구현예이다.
도 1에서 예시되는 바와 같이 본 발명의 구현에는 특허 도면 OCR 장치(100), 도면 부호-설명 인식 장치(200), 특허 도면 부호-설명 결합 서버(300), 도면 부호 인식 학습 장치(400), 데이터 저장 장치(500) 등이 사용된다. 상기 특허 도면 부호-설명 결합 서버(300)는 상기 유무선 네트워크(800)를 통하여 적어도 하나 이상의 타 장치(900)와 통신하면서 데이터를 입수하거나 전송할 수 있다. 상기 타 장치(900)의 예는 상기 특허 도면 부호-설명 결합 서버(300)를 사용하는 사용자의 컴퓨터(개인용 컴퓨터 또는 서버 또는 기타 장치(900))나, 상기 특허 도면 부호-설명 결합 서버(300)에 데이터를 제공해 주거나 데이터를 받는 서버나 장치일 수 있다. 물리적으로 하나의 서버 또는 클라우드 시스템에 상기 특허 도면 OCR 장치(100), 도면 부호-설명 인식 장치(200), 특허 도면 부호-설명 결합 서버(300), 도면 부호 인식 학습 장치(400), 데이터 저장 장치(500)가 탑재되어 있거나 서로 유무선 네트워크(800)을 통하여 연결되어 있을 수도 있다.
한편, 상기 특허 도면 OCR 장치(100)에 포함되어 있는 특허 도면 OCR 프로세서(1000), 상기 도면 부호-설명 인식 장치(200)에 포함되어 있는 도면 부호-설명 인식 프로세서(2000), 상기 특허 도면 부호-설명 결합 서버(300)에 포함되어 있는 특허 도면 부호-설명 결합 프로세서(3000) 및 상기 도면 부호 인식 학습 장치(400)에 포함되어 있는 도면 부호 인식 학습 프로세서(4000) 중 어느 하나 이상은 물리적으로 동일하거나 단일한 프로세서를 공유할 수도 있다.
아래에서 상술 되는 바와 같이 본 발명의 방법은 컴퓨터 하드웨어 및 소프트웨어의 조합을 활용하여 구현될 것이라는 점은 통상의 기술자는 용이하게 이해할 것이다.
도 2는 본 발명의 특허 도면 OCR 장치(100)의 일 실시예적 구현예이다.
상기 특허 도면 OCR 장치(100)는 특허 도면에 특화된 OCR(optical character recognition) 처리를 수행하는 특허 도면 OCR 프로세서(1000) 및 특허 상기 도면 OCR 장치의 통신을 지원하는 특허 도면 OCR 장치(100) 통신부(100a)를 포함하고 있다.
상기 특허 도면 OCR 프로세서(1000)는 적어도 하나 이상의 개별적인 도면 이미지 파일을 입수하는 기능을 수행하는 도면 파일 입수 프로세스(1100), 도면 이미지에서 적어도 하나 이상의 도면 이미지 구성 요소를 분해해 내는 도면 파일 파싱(parcing) 프로세스(1200), 및 도면 이미지에서 도면 문자열을 인식해 내는 도면 문자열 인식 프로세스(1300)를 포함하고 있다.
상기 도면 문자열 인식 프로세스(1300)에는 파싱된 도면 이미지 구성 요소 중에서 개별 문자(숫자, 알파벳 등의 글자 및 기타 문자로 취급될 수 있는 것)를 분류해 내는 도면 문자 분류 프로세스(1310), 분류해 낸 개별 문자들을 합성하여 도면 부호의 형태로 생성하는 도면 문자열 합성 프로세스(1320), 도면 포함 도면 부호를 인식해 내는 도면 부호 인식 프로세스(1330) 및 인식된 도면 포함 도면 부호에 대한 일체의 정보를 생성하고 저장하는 도면 부호 정보셋 생성 프로세스(1400)를 포함하고 있을 수 있다.
상기 도면 부호 인식 프로세스(1330)는 합성 문자에서 노이즈를 제거하는 합성 문자 노이즈 제거기(1331), 합성 문자를 명세서 포함 도면 부호 또는 명세서 포함 도면 부호를 포함하고 있는 명세서 포함 도면 부호-설명 맵핑 정보셋에 조회하는 합성 문자 조회 프로세스(1332), 도면 이미지 단위 또는 특허 식별자 단위로 도면 부호의 크기를 예측하는 도면 부호 크기 예측기(1333) 및 상기 도면 부호 크기 예측기(1333)를 사용하여 도면 부호처럼 인식 될 수 있지만 실질적으로 도면 부호가 아닌 도면 부호 노이즈를 제거하는 도면 부호 노이즈 제거기(1334)를 더 포함하고 있을 수 있다.
상기 도면 파일 파싱 프로세스(1200)는 도면 파일에서부터 문자를 판단해야 하는 패치(patch)들의 후보군들을 파싱하는 프로세스이다. 상기 도면 파일 파싱 프로세스(1200)는 도면 파일에서 색깔이 하얀색이 아닌 부분 중에 닫혀 있는 컨투어(contour)를 모두 찾아낸다. 도 23에서는 도면 파일에서 patch들을 파싱해 낸 결과에 해당하는 부분(숫자, 문자, 화살표 등의 각각을 둘러싸는 박스)을 보여주고 있다.
상기 도면 문자 분류 프로세스(1310)는 도면 부호 인식 학습 장치(400)로부터 학습된 모델을 이용하여 도면의 patch들 중에 도면 문자를 분류해 내는 프로세스이다. 각 도면 patch들이 어떤 문자인지에 대한 확률값이 나오며, 예시적으로 그 중에 가장 가까운 문자를 patch당 최대 4개씩 output을 생성할 수 있다.
Figure PCTKR2018003371-appb-I000001
표 1 내지 표 3는 대한민국 출원번호 제1020167002395호의 도 10에 해당하는 도면 이미지를 대상으로 상기 도면 문자 분류 프로세스(1310)가 생성하는 데이터의 일 예시이다.
Figure PCTKR2018003371-appb-T000001
표 1에서 각 row는 1개의 patch에 대한 정보값이다. x, y는 patch의 좌하단 좌표값이며, w는 patch폭의 크기, h는 patch의 높이가 된다. x+w는 patch의 좌우단 x좌표이며, y+h는 patch의 좌상단 y좌표가 된다.
Figure PCTKR2018003371-appb-T000002
표 2에서 result는 patch에 대한 인식값 중 확률이 가장 높은 문자, neighbor는 인식값이 낮은 문자를 말한다.
Figure PCTKR2018003371-appb-T000003
표 3에서 result_prob는 patch에 대한 result 인식값에 대한 확률, nb숫자_prob는 neighbor들의 인식값에 대한 확률이다.
상기 도면 문자열 합성 프로세스(1320)는 각 도면의 patch로부터 인식된 도면 문자들 중에 위치가 가까이 붙어있는 도면 문자를 하나의 문자열로 합성해주는 프로세스이다. 도면 문자들의 위치가 가까이 붙어있는지를 판단하는 방법은 예시적으로 도면 문자의 중심 위치 사이 거리가 기 설정된 거리(예시적으로 문자 폭 평균의 350% 이상)보다 좁으면 가까이 붙어있는 것으로 판단하는 것일 수 있다.
Figure PCTKR2018003371-appb-I000002
상기 합성 문자 노이즈 제거 프로세스(1331)의 정보 처리 방법은 도 10에 잘 나타나 있다.
상기 합성 문자 노이즈 제거 프로세스(1331)는 합성 문자들 중에서 합성 문자 조회 프로세스(1332)를 통해 합성 문자가 특허 식별자별 명세서 포함 도면 부호 목록에 있는지를 판단하고, 있는 경우(Yes)에는 합성 문자는 유효하고 처리한다. 없는 경우(No), 합성 문자들의 후보군 집합 중에서 특허 식별자별 명세서 포함 도면 부호 목록에 있는지를 판단하고 있는 경우에는 합성 문자는 유효하며, 없는 경우에는 합성 문자는 노이즈로 처리한다.
예시적으로 하나의 도면 문자는 도면 문자 분류 프로세스(1310)로부터 최대 4개의 도면 문자가 될 수 있다. 따라서, 합성 문자가 2글자짜리라면 최대
Figure PCTKR2018003371-appb-I000003
개 조합의 합성 문자가 될 수 있다.
상기 합성 문자 조회 프로세스(1332) 는 해당 특허 식별자에 대한 명세서 포함 도면 부호들의 리스트를 불러온 다음, 인식된 합성 문자별로 합성 문자가 명세서 포함 도면 부호들의 리스트에 있는지 조회하는 방식으로 작동한다.
상기 도면 부호 크기 예측 프로세스(1333)는 도면 포함 도면 부호로서 유효한 합성 문자를 이용하여 도면 포함 도면 부호 크기를 예측한다. 하나의 도면에 도면 포함 도면 부호로써 유효한 합성 문자가 전혀 존재하지 않는 경우 특허 식별자의 다른 도면 이미지 중 이전에 학습된 도면 부호 크기를 바탕으로 예측한다. 도면 부호 크기 예측 로직의 예시는 하기와 같다.
Figure PCTKR2018003371-appb-I000004
상기 도면 부호 노이즈 제거 프로세스(1334)는 도면 부호 크기 예측 프로세스(1333)를 기반으로 인식된 도면 문자들이 도면 포함 도면 부호인지 노이즈인지를 판단하는 기능을 수행한다. 노이즈를 판단하는 알고리즘은 예시적으로 하기와 같다.
Figure PCTKR2018003371-appb-I000005
상기 도면 부호 정보셋 생성 프로세스(1400)는 인식된 도면 포함 도면 부호들의 위치 정보와 폰트 크기 등과 같은 도면 포함 도면 부호의 정보를 생성하고 저장하는 프로세스이다.
도 3은 본 발명의 도면 부호-설명 인식 장치(200)의 일 실시예적 구현예이다.
상기 도면 부호-설명 인식 장치(200)의 도면 부호-설명 인식 프로세서(2000)는 명세서 파일 또는 명세서 중에서 도면 부호 및 도면 부호의 설명에 대응되는 문자열이 포함되어 있는 명세서의 부분 데이터를 입수하는 명세서 입수 프로세(2100), 명세서 포함 도면 부호와 도면 부호의 설명을 인식하는 도면 부호-설명 인식 프로세스(2110) 및 명세서 포함 도면 부호와 도면 부호의 설명 간의 맵핑 정보를 생성하고 저장하는 도면 부호-설명 맵핑 정보셋 생성 프로세스(2400)를 포함하고 있다. 상기 도면 부호-설명 인식 프로세서(2000)는 선택적으로 명세서 포함 도면 부호 및/또는 도면 부호의 설명의 중요도 정보 처리를 수행하는 중요도 처리 프로세스(2200), 명세서 포함 도면 부호 집합 중에서 계열 관계가 성립되는 명세서 포함 도면 부호 부분 집합을 추출 및 식별화 조치를 수행하고, 명세서 포함 도면 부호 부분 집합에 포함된 명세서 포함 도면 부호에서 대해서 계열 처리를 수행하는 계열 처리 프로세스(2300)를 포함하고 있을 수 있다.
상기 도면 부호-설명 인식 프로세스(2110)는 도면 부호의 설명을 인식하는 도면 부호의 설명 인식 프로세스(2120) 및 명세서 포함 도면 부호와 도면 부호의 설명을 맵핑하는 도면 부호-설명 맵핑 프로세스(2130)를 포함하고 있다. 상기 중요도 처리 프로세스(2200)은 명세서 구성 부분 (발명의 명칭, 초록, 특허 청구 범위(전체, 독립항, 종속항, 종속항의 특정 부분, 종속항의 인용 깊이 등), 발명의 설명(배경 기술, 요약, 발명의 상세한 설명, 도면의 간단한 설명, 실시예, 해결 과제, 효과 등))에서 상기 도면 부호의 설명이 나타난 위치를 인식하여 처리하는 위치 인식 처리 프로세스(2210) 및 도면 부호의 설명의 출현 빈도를 인식하는 빈도 인식 처리 프로세스(2220)를 포함하고 있을 수 있다. 상기 계열 처리 프로세스(2300)는 명세서 포함 도면 부호 집합 중에서 계열 관계가 성립되는 명세서 포함 도면 부호 부분 집합을 추출 및 식별화 조치를 수행하는 계열 인식 프로세스(2310) 및 명세서 포함 도면 부호 부분 집합에 포함된 명세서 포함 도면 부호에서 대해서 계열 처리를 수행하는 계열 카테고리화 프로세스(2320)를 포함하고 있을 수 있다.
하기 표 4 는 대한민국 출원번호 제1020167002395호(US 특허 출원 14/249,716호에 대응되는 대한민국 특허 출원)를 대상으로 도면 부호-설명 인식 프로세스(2110)가 생성하는 데이터의 한 예시적 형태이다.
Figure PCTKR2018003371-appb-T000004
상기 표 4의 명세서 포함 도면 부호 26은 발광 다이오드로 인식되는 확률이 0.8, 다이오드로 인식되는 확률이 0.2로 계량된다. 상기 도면 부호-설명 맵핑 프로세스(2130)는 명세서 포함 도면 부호 26을 발광 다이오드로 인식 처리한다.
도 4는 본 발명의 특허 도면 부호-설명 결합 서버(300)의 일 실시예적 구현예이다.
상기 특허 도면 부호-설명 결합 서버(300)은 예시적으로 도면 이미지의 도부 주변에 도면 부호의 설명이 표시되도록 처리하기 위한 도면 부호의 설명 배치 데이터의 생성과 저장을 처리하는 배치 처리 프로세스(3100), 도면 부호의 설명 배치 및 도면 부호의 설명 표시 형태/표현에 대한 일체의 데이터의 생성과 저장 처리를 수행하는 도면 부호-설명 결합 정보셋 처리 프로세스(3200) 및 적어도 하나 이상의 타 장치(900)로부터 입수되는 도면 부호의 설명 결합 요청을 처리는 결합 처리 프로세스(3300)를 포함하고 있다.
배치 처리 프로세스(3100)는 예시적으로 배치 탐색 프로세스(3110) 및 배치 정보셋 생성 프로세스(3120)를 포함하고 있다. 상기 배치 탐색 프로세스(3110)는 배치될 도면 부호의 설명의 크기를 예측하는 배치 크기 예측 프로세스(3111), 도면 부호의 설명이 배치될 도면 포함 도면 부호 주변의 여백 공간을 인지하는 여백 인지 프로세스(3112), 도면 부호의 설명의 배치를 위한 도면 포함 도면 부호의 주변을 탐색하는 주변 탐색 프로세스(3113) 및 배치 정책을 반영하여 배치 탐색을 수행하는 배치 정책 반영 프로세스(3114)를 포함하고 있다.
상기 주변 탐색 프로세스(3113)는 도면 부호의 설명의 배치가 도면의 물리적 경계에 의해 영향을 받는 지를 탐색하는 도면 경계 탐색 프로세스(3113-1) 및 제i번째 도면 부호의 설명이 배치된 다음, i+1번째 배치될 도면 부호의 설명이 제1번째 도면 부호의 설명부터 제i번째 도면 부호의 설명 간에서 겹침/충돌이 발생하는 지를 탐색하고, 겹침/충돌이 되지 않도록 제i+1번째 도면 부호의 설명이 배치되도록 처리하는 도면 부호의 설명 충돌 회피 프로세스(3113-2)를 포함하고 있다. 도면 부호의 설명에 대한 배치 정보는 배치 정보셋 생성 프로세스(3120)가 생성하고 저장한다.
상기 배치 크기 예측 프로세스(3111) 해당 도면 부호에 대해서 도면 부호의 크기를 이용하여 font 크기를 정하고 도면 부호의 설명에 대한 글자수를 이용하여 여백 인지(recognition)를 해야하는 크기(배치 크기)를 정하는 프로세스이다. 상기 배치 크기 예측 프로세스(3111)가 도면 부호의 설명이 배치될 때의 배치 크기를 예측하는 로직의 예시는 하기와 같다.
Figure PCTKR2018003371-appb-I000006
상기 여백 인지 프로세스(3112)는 도면 부호의 설명의 배치 후보 지역에서 배치 크기만큼의 여백이 어느 정도 있는지 계산하는 프로세스이다. 통상적으로 도면 이미지의 배경색은 하얀색이다. 하얀색 pixel값일수록 큰 값이므로 큰 값이 여백이 많은 것이다. 상기 여백 인지 프로세스(3112)가 여백을 인지하는 로직의 예시는 하기와 같으며 Rij의 값이 여백인지의 기준 값이 된다.
Figure PCTKR2018003371-appb-I000007
상기 도면 경계 탐색 프로세스(3113-1)는 도면 부호에 대한 설명을 도면 밖에 쓰여지지 않도록 처리하는 프로세스다. 상기 도면 경계 탐색 프로세스(3113-1)는 도면 부호의 설명의 배치 후보 지역이 도면의 경계인가를 판단한 다음, 경계 지역일 경우(Yes) 해당 배치 후보 지역을 도면 부호에 대한 설명이 넘어가는 만큼 도면 안쪽(우측 경계인 경우 좌측)으로 당겨서/옮겨서 배치 후보 지역을 결정한다. 경계 지역이 아닐 경우(No) 적절한 배치 후보 지역으로 판단함.
상기 도면 부호의 설명 충돌 회피 프로세스(3113-2)는 기존에 이미 배치된 도면 부호의 설명과 배치할 도면 부호의 설명이 겹치지 않게 처리하는 프로세스이다. 상기 도면 부호의 설명 충돌 회피 프로세스(3113-2)는 i번재 도면 부호의 설명의 배치 후보 지역이 배치 완료된 도면 부호의 설명 과 겹치는지를 판단한다. 겹치는 경우(Yes), 배치 후보 지역에서 제외하고, 주변을 탐색한다. 한편, 배치 후보 지역들이 전부 배치 완료된 도면 부호에 대한 설명과 겹치는 경우 도면 배치 예외 처리 프로세스를 이용한다.
하기 표 5 내지 6은 대한민국 출원번호 제1020167002395호의 도 10에 해당하는 도면 이미지를 대상으로 상기 배치 정보셋 생성 프로세스(3120)가 생성하는 배치 정보셋 데이터의 한 형태이다.
Figure PCTKR2018003371-appb-T000005
표 5에서 symbol은 인식된 명세서 포함 도면 부호며, symbo_tag는 도면 부호의 설명이다. x_point 및 y_point는 각각 도면 포함 도면 부호에 대응되는 도면 부호의 설명의 표시 위치에 관한 좌하단 x좌표 및 y 좌표이다. font_size는 표시될 도면 부호의 설명의 폰트 크기이다.
Figure PCTKR2018003371-appb-T000006
표 6에서 rotate_angle은 도면이 제공될 때 보여 줄 때, 회전시켜야 할 각도를 말한다. figure_x_size 및 figure_y_size 는 도면의 물리적 크기를 나타낸다. 도면 부호의 설명이 표시되는 좌표 x_point < figure_x_size 이며, y_point < figure_y_size가 된다.
상기 표 5 내지 표 6의 데이터가 실제 도면에 적용된 결과물의 한 예시는 도 24에 있다. 표 5과 도 24에서 알 수 있듯이, 도면 부호 302가 1개의 도면에서 2번 쓰이고 있는데, 각각의 위치가 다를 수 있다. 동일한 명세서 내에서 도면 부호 302는 기재 불비 이슈와는 독립적으로 박막 트렌지스터 구조체들, 구조체들, 유전체 층 등과 같이 1:n(n은 자연수)와 같은 대응 관계를 가지고 있을 수 있다. 이때, 상기 도면 부호-설명 인식 장치(200)가 명세서 포함 도면 부호와 도면 부호의 설명을 맵핑하는 최종적인 결과물을 1:1로 맵핑할 수도 있지만, 1:n으로 맵핑하고, 도 24와 같은 최종적으로 사용자 컴퓨터(910)에 제공되는 형식에서 n개가 다 표시되도록 처리할 수 있다. 이때, 상기 특허 도면 부호-설명 결합 서버(300)는 동일한 명세서 포함 도면 부호를 가지는 n개의 도면 부호의 설명에 대하여, 빈도 등의 가중치를 고려하여, 도면 부호의 설명의 폰트 크기나 색깔 등의 제어 조건을 부가하는 정보 처리를 수행할 수 있다. 상기 배치 프로세스는 2개 이상의 도면 부호의 설명을 표시해야 하는 경우, 2개의 도면 부호의 설명의 표시를 위한 배치 공간을 탐색해야 한다. 본 명세서에서는 설명의 편의상 1개의 도면 포함 도면 부호 주위에 1개의 도면 부호의 설명이 표현되도록 처리하는 방식을 중심으로 설명하지만, 본 발명 사상이 반드시 1:1의 관계만에 한정되는 것은 아니다.상기 결합 처리 프로세스(3300)는 타 장치(900)로부터 요청되는 정보를 수신하고, 결과물을 전송하는 I/O처리 프로세스(3310), 상기 타 장치(900)에서 요청된 도면 식별자별로 명세서 포함 도면 부호-설명 맵핑 정보셋의 가공 정보를 제공하는 논리적 결합 처리 프로세스(3320), 도면 부호의 설명이 결합된 도면 이미지를 생성하는 물리적 결합 처리 프로세스(3330)를 포함하고 있다. 상기 결합 처리 프로세스(3300)는 물리적 결합 처리 프로세스(3330)를 활용하여 도면 부호의 설명이 결합된 도면 이미지를 대량으로 배치 생성하는 물리적 결합 배치 처리 프로세스(3331)를 선택적으로 포함하고 있을 수 있다.
상기 배치 처리 프로세스(3100)는 복수 개의 특허에 대한 복수 개의 도면을 입수하여 각 특허의 각 도면에 배치될 도면 부호의 설명에 대한 배치 정보셋을 배치(batch) 방식으로 생성할 수 있다. 상기 배치(batch) 처리 방식을 통하여 특정 국가의 특허 도면 전체를 대상으로 하여 배치 정보셋을 생성해 놓을 수 있다. 나아가, 모든 국가의 특허 도면에 대하여, 각 언어별로 번역된 도면 부호의 설명을 사용하는 배치 정보셋을 각 언어별로 생성하여 저장해 놓을 수 있다.
상기 도면 부호-설명 결합 정보셋 처리 프로세스(3200)는 복수 개의 특허에 대한 복수 개의 도면을 입수하여 각 특허의 각 도면에 배치될 도면 부호의 설명에 대한 도면 부호-설명 결합 정보셋을 배치(batch) 방식으로 생성할 수 있다. 상기 배치(batch) 처리 방식을 통하여 특정 국가의 특허 도면 전체를 대상으로 하여 도면 부호-설명 결합 정보셋을 생성해 놓을 수 있다. 나아가, 모든 국가의 특허 도면에 대하여, 각 언어별로 번역된 도면 부호의 설명을 사용하는 도면 부호-설명 결합 정보셋를 각 언어별로 생성하여 저장해 놓을 수 있다. 한편, 물리적 결합 배치 처리 프로세스(3331)를 배치 방식으로 사용하여 도면 이미지에 도면 부호의 설명이 포함된 새로운 도면 이미지를 대량으로 생성할 수 있을 것이다.
도면 부호의 설명이 번역되면, 도면 부호의 설명의 길이가 달라지게 된다. 특히, 동양 문화권의 도면 부호의 설명 표현은 상대적으로 짧은 반면, 영미권은 상대적으로 길고, 프랑스어나 스페인어는 가장 긴 경향이 있다.
첫째, 상기 특허 도면 부호-설명 결합 서버(300)는 번역된 도면 부호의 설명을 기준으로 배치 정보를 재 생성하는 정보 처리를 수행한다. 이를 위해, 상기 특허 도면 부호-설명 결합 서버(300)는 도면 부호의 설명에 대한 번역(기계 번역 등) 데이터를 입수하고, 번역 도면 부호의 설명을 본 발명의 도면 부호의 설명처럼 취급하여 번역 도면 부호의 설명의 배치를 위한 각종 데이터를 생성한다.
둘째, 상기 특허 도면 부호-설명 결합 서버(300)는 각 언어별로 평균적인 길의 배수 데이터만 계산해 놓고, "배수" 처리된 도면 부호의 설명 길이를 기준으로(물론, font 사이즈의 평균적인 증가/감소도 포함한 배수이어야 함.) 번역된 도면 부호의 설명의 배치를 위한 각종 데이터를 생성한다. 예시적으로 한자 : 영어 = 1: 3.5, 한국어 : 영어 = 1:2.5 등과 같은 배수 데이터를 생성하여 사용한다. 배수 데이터는 매우 큰 수의 샘플 도면 부호의 설명에 대하여 각 언어권별로의 번역 도면 부호의 설명을 생성하고, 동일 폰트에서의 문자(캐릭터)의 개수를 비교함으로써 생성 가능하다. 통상적으로 동양어권 문자의 적정 폰트보다 영미권 언어의 적정 폰트는 더 작다. 즉, 영미권 도면 부호의 설명은 길이가 더 긴 반면, 더 작은 폰트를 사용하더라도 가독성이 유지된다.
셋째, 상기 특허 도면 부호-설명 결합 서버(300)는 브라우저에서의 번역 연동을 통한 처리를 지원한다. 상기 특허 도면 부호-설명 결합 서버(300)는 사용자 컴퓨터(910)로부터 지정된 언어별로의 번역 요청을 입수한다. 상기 특허 도면 부호-설명 결합 서버(300)는 지정된 언어별로 처리된 도면 부호-설명 맵핑 정보셋이 있는 경우에는 그 언어에 대응되는 도면 부호-설명 맵핑 정보셋을 기 설정된 방식으로 가공하여 사용자 컴퓨터(910)에 제공한다. 물론, 지정된 언어별로 도면 부호-설명 맵핑 정보셋이 도면 이미지에 하드 본딩 된 가공 이미지가 있는 경우, 가공 이미지를 제공해 줄 수도 있다. 한편, 상기 특허 도면 부호-설명 결합 서버(300)는 지정된 언어로 된 도면 부호-설명 맵핑 정보셋이 없는 경우에는 특정 도면에 대응되는 도면 부호의 설명을 Google Translate 등과 같은 외부 번역 서비스 또는 내부 번역 서버를 통하여 번역한 다음, 번역된 도면 부호의 설명을 사용하는 도면 부호-설명 맵핑 정보셋을 생성한다. 상기 특허 도면 부호-설명 결합 서버(300)는 생성된 도면 부호-설명 맵핑 정보셋을 기 설정된 방식으로 가공하여 사용자 컴퓨터(910)에 제공한다. 물론, 상기 도면 부호-설명 맵핑 정보셋은 번역된 도면 부호의 설명을 사용하여 배치 처리 프로세스(3100)를 통해 처리된 것일 수 있으며, default 언어로 된 도면 부호의 설명 대신에 번역된 도면 부호의 설명이 교체된 것일 수도 있다.
한편, 브라우저에서 도면 부호의 설명에 대한 번역 결과의 입수와 배치를 수행할 수 있으므로, 이 경우에는 브라우저에 전송하는 데이터에 기능 구현을 위한 스크립트가 포함되어 있는 것이 바람직할 것이다.
한편, 결합 처리 프로세스(3300)는 도면 이미지에 도면 부호의 설명을 물리적으로 또는 논리적으로 결합한 도면 데이터를 생성해 놓을 수 있다. 이때, 논리적 결합 처리 프로세스(3320)는 타 장치(900)로부터 도면 이미지에 대한 도면 부호의 설명에 대한 결합 요청이 왔을 때, 상기 타 장치(900)의 사용자에게 도면 이미지와 함께 도면 부호의 설명이 표시될 수 있도록 하는 데이터를 생성하여 타 장치(900)에 제공해 줄 수 있다. 한편, 물리적 결합 처리 프로세스(3330) 는 물리적으로 도면 포함 도면 부호에 도면 부호의 설명이 결합되어 있는 가공된 도면 이미지 데이터를 기 설정된 이미지 데이터 형식으로 생성하는 기능을 수행한다. 물론, 결합 처리 프로세스(3300)는 타 장치(900)에 물리적으로 결합된 도면 이미지를 제공해 줄 수도 있다.
도 5는 본 발명의 도면 부호 인식 학습 장치(400)에 대한 예시적 구성이다.
상기 도면 부호 인식 학습 장치(400)는 도면 부호 인식 학습 프로세서(4000), 학습 데이터 저장 장치(4100), 도면 부호 인식 학습 장치(400) 통신부(400a)를 포함하고 있다. 도면 부호 인식 학습 프로세서(4000)는 학습 프로세스(4100)를 포함하고 있는데, 상기 학습 프로세스(4100)는 하이퍼 파라미터 최적화 프로세스(4110) 및 학습 모형 파라미터 학습 프로세스(4120)를 포함하고 있다. 상기 하이퍼 파라미터 최적화 프로세스(4110)는 training 데이터 대상 인식 모델링 학습부(4111)와 validation 데이터 대상 인식 모델링 검증부(4112)를 포함하고 있다. 상기 학습 모형 파라미터 학습 프로세스(4120)는 전체 데이터 대상 인식 모델링 학습부(4121)를 포함하고 있다. 상기 학습 데이터 저장 장치(4100)는 문자별 학습 이미지 데이터부(4110)와 학습 결과 저장부(4100)를 포함하고 있다.
상기 문자별 학습 이미지 데이터부(4110)에는 특허 도면에 사용되는 문자(숫자, 알파벳, 기타 문자 등)별로 수십 내지 수 천개의 문자 이미지가 저장되어 있다. 상기 문자 이미지는 특허 도면에서 잘라 내는 것이 바람직하며, 다른 이미지 소스로부터도 숫자나 알파벳 별로 잘라 낸 것일 수 있다. 이때, 도면 이미지에 사용된 도면 부호의 폰트 종류별로 문자 이미지를 준비하는 것이 바람직하다. 특히, 손글씨의 경우 딥러닝(deep learning)을 사용하더라도 문자 이미지가 많을수록 인식에 유리하게 때문에 최대한 다량으로 준비하는 것이 더욱 바람직하다. 문자별 학습 이미지는 각 문자별로 모든 컴퓨터 글꼴에 대한 이미지 데이터와 손글씨를 잘 인식하기 위하여 특허 도면에서 손글씨로 도면 부호를 쓴 것을 직접 문자별로 뜯어 낸 것이 사용될 수 있다.
학습 모형은 discriminant한 deep learning모형(ex : deep Convolutional neural network, deep neural network등)을 사용할 수 있고 generative한 deep learning모형(ex : variational autoencoder, generative adversarial network)을 이용하여 학습모형을 만들 수 있다. 한편, 부스팅이나 SVM과 같은 다른 기계 학습 모형을 사용할 수도 있다. 부스팅(boosting)은 비선형 모형(nonlinear model)으로 간단한 결정나무(tree)모형을 여러 개 이용하여(ensemble) 하나의 강력한 분류기를 만드는 알고리즘이다.
딥러닝(deep learning)모형에는 layer의 수, hidden variable의 수, drop out비율, filter size, activation function의 종류 등의 하이퍼 파라미터(hyper parameter)가 사용될 수 있다. 부스팅의 하이퍼 파라미터로는 결정나무(tree)모형의 depth수, 결정나무모형을 몇 개를 사용할 것인지(tree 수), 학습할 때 gradient 방향대로 이동하는데 얼마만큼 줄여서 이동을 할 것인지에 대한 shrinkage parameter 등이 있다. 이러한 하이퍼 파라미터는 하이퍼 파라미터 최적화 프로세스(4110)를 통해 최적화시킨다.
본 발명에서는 하이퍼 파라미터를 최적화 시키는데 예시적으로 3가지 방법을 단일 또는 혼합하여 사용할 수 있다. 첫번째 방법은 그리드 서치(grid search)이다. 그리드 서치는 모든 하이퍼 파라미터의 가능한 조합에 대해서 cross validation을 수행하기 때문에 가장 확실하게 하이퍼 파라미터를 최적화시킬 수 있다. 그리드 서치는 예시적으로 하이퍼 파라미터는 layer의 수를 5~20개, hidden variable은 input data size의 0.3~0.9배, drop out비율은 0~0.9, activation function은 relu, sigmoid, Leaky ReLU, PreLU, RreLU, ELU 등과 같이 부여하여 cross validation을 수행할 수 있다. 즉, 그리드 서치는 각 하이퍼 파라미터의 세분화된 범위 및 종류(activation function에 한함)의 조합별로 실행된다. 이때, layer의 수 및 hidden variable은 1개씩 변동시키고, drop out 비율은 0.05 또는 0.1씩 변동시키고 각각의 변동에 대하여 각각의 activation function을 사용하여 cross validation을 수행한다.
두번째 방법은 랜덤 서치(random search)이다. 랜덤 서치는 방법 측면에서는 그리드 서치와 대등하다. 차이점은 그리드 서치는 부여된 하이퍼 파라미터를 사용하여 cross validation을 수행하지만, 랜덤 서치는 각 하이퍼 파라미터별로 임의로 선택되는 랜덤 값을 사용하여 cross validation을 수행한다.
세번째 방법은 베이지안 최적화(bayesian optimization)가 있다. 이 방법은 하이퍼 파라미터의 사전 분포(prior distribution)을 부여하여 최적화시키는 방법이다.
상기 하이퍼 파라미터 최적화 프로세스(4110)에서 하이퍼 파라미터는 랜덤 서치와 그리드 서치를 두개를 혼합하여 최적화시킬 수도 있다. 1단계로 랜덤하게 하이퍼 파라미터를 부여를 해주고 cross validation을 이용하여 최적화시킨 다음 validation set에서 가장 좋은 성능을 내는 각 하이퍼 파라미터별로 1차적인 값의 범위를 찾아 낸다. 각 하이퍼 파라미터별로 1차적인 범위 내에서 하이퍼 파라미터를 정교하게 세분화하고, 세분화된 하이퍼 파라미터별로 그리드 서치를 수행하여 최적화시킬 수 있다.
cross validation의 하나는 validation 데이터가 되고 나머지가 training 데이터가 된다. training 데이터 대상 인식 모델링 학습부(4111)는 setting된 하이퍼 파라미터 별로 training데이터를 대상으로 모델링을 수행한다. 한편, validation 데이터 대상 인식 모델링 검증부는 training 데이터를 대상으로 모델링 된 딥러닝 모형들을 validation 데이터에 적용하여 성능이 좋은 모형으로 하이퍼 파라미터를 최적화한다.
상기 전체 데이터 대상 인식 모델링 학습부(4121)는 최적화된 하이퍼 파라미터 조건 하에 실제 기계 학습 모형의 파라미터들을 학습 처리한다.
구체적인 학습은 R, Physon 등의 언어 패키지나 Google Tensorflow나 Caffee 등과 같은 기계 학습 프로그램 라이버러리를 사용하여 진행하면, 이 부분은 당업자에게 자명한 것으로 본 특허에서는 상세한 설명을 생략한다.
도 21에는 본 발명의 도면 부호 인식 학습 장치(400)의 학습 과정의 실시예적 예시가 있다.
상기 도면 부호 인식 학습 장치(400)는 문자별 학습 이미지 데이터부(4110)에 저장되어 있는 수집된 문자별 문자 대응 이미지 데이터에서 샘플링(S161)을 수행한다. 이어, 상기 도면 부호 인식 학습 장치(400)의 하이퍼 파라미터 최적화 프로세스(4110)는 샘플링 된 문자별 문자 대응 이미지 데이터를 n(n>=3인 자연수)개의 폴더(fold)로 분할(S162)한 다음, n-1 폴더의 문자별 문자 대응 이미지 데이터를 학습 데이터로 하여 모델을 학습하고, 나머지 폴더의 문자별 문자 대응 이미지 데이터를 테스트 데이터로 하여, 테스터 에러를 구하는 과정을 n회 수행하는 교차 검증(cross validation)을 통해 하이퍼 파라미터(hyper parameter) 최적화(S163)한다. 이어, 상기 도면 부호 인식 학습 장치(400)의 학습 모형 파라미터 학습 프로세스(4120)는 수집된 문자별 문자 대응 이미지 데이터를 사용하고 최적화된 하이퍼 파라미터 조건 하에 딥러닝(deep learning) 모형이나 부스팅 모형, SVM 모형의 파라미터를 학습(S164)을 진행한다. n는 5 또는 10을 사용하는 것이 바람직하다.
이어, 학습 모형의 파라미터를 학습하는 것에 대해 설명한다.
딥러닝 모형 중 뉴럴 네트워크의 모형의 경우, X는 입력 데이터라 했을 때 가장 아랫 layer에서　reLu(X%*%W+b)　를 통해 한단계 위쪽의 layer로 이동하게 되는데 W와 b가 파라미터에 속하게 되고 이를 학습하게 된다. 한편, 부스팅 모형의 경우, 의사결정나무의 깊이와 사용할 의사결정나무의 수가 정해지면 데이터에 적합한 의사결정나무를 학습하게 된다.
학습 결과 저장부(4100)에는 학습한 결과물인 이미지 인식 처리를 위한 처리 명령문이 포함되어 있다.
특허 도면 OCR 장치(100)가 학습 결과물을 사용하는 방법에 대해서는 도 22에 예시적으로 나타나 있다.
상기 특허 도면 OCR 장치(100)는 상기 도면 부호 인식 학습 장치(400)가 생성한 학습 결과물인 이미지 인식 처리를 위한 처리 명령문(S171)한다. 이어, 상기 특허 도면 OCR 장치(100)의 도면 문자 분류 프로세스(1310)는 도면 이미지에서 생성해 낸 patch데이터를 처리 명령문에 입력(S172)하고, patch별로 인식값을 1개 이상 생성(S173)한 다음, patch별 도면 문자 분류 처리 결과를 저장(S174)한다.
상기 도면 문자 분류 프로세스(1310)의 도면 문자 분류 프로세스(1310)는 상기 도면 파일 파싱 프로세스(1200)가 도면 이미지에서 생성해 낸 patch를 대상으로, 상기 이미지 인식 처리를 위한 처리 명령문을 적용한다. patch에 대한 처리 명령문 적용의 결과의 한 예시는 표 1 내지 표3(특히, 표 2)에 있다.
도 6은 본 발명의 데이터 저장 장치(500)에 대한 일 실시예적 구현예이다.
본 발명의 데이터 저장 장치(500)에는 파일 저장 장치 및 DB 장치가 있다. 상기 파일 저장 장치에는 도면 파일 저장부 및 명세서 파일 저장부가 있으며 상기 도면 파일 저장부에는 오리지널 도면 파일 저장부를 포함하며, 선택적으로 가공 도면 파일 저장부가 있을 수 있다. 특허 full text 데이터는 통상적으로 XML 등과 같은 마크업 언어로 된 명세서 파일을 포함하고 있으며, 도면이 있는 경우 하나 이상의 도면 파일로 구성되어 있다. 상기 도면 파일에는 개념적으로 분리된 2개의 도면(예, fig1 및 fig2)가 물리적으로 1개의 이미지 파일에 포함되어 있을 수 있다. 가공 도면 파일은 본 발명 사상에 따라 가공한 도면 파일이다. 가공 도면 파일에는 2가지 가공 도면이 포함될 수 있다. 첫째는 본 발명 사상을 적용하여, 오리지널 도면 파일에 포함되어 있는 도면 포함 도면 부호에 직접적으로 또는 간접적으로(연결 또는 연동 또는 결합 가능하게) 도면 부호의 설명 배치 데이터가 표시될 수 있도록 처리한 가공 도면 파일이다. 둘째는 1개의 물리적 도면에 개념적으로 분리 가능한 2개 이상의 도면이 포함되어 있을 경우, 그 도면을 물리적으로 분리하고, 본 발명 사상을 적용한 가공 도면 파일이다.
상기 DB 장치에는 도면 기반 데이터부(5210), 명세서 기반 데이터부(5220), 도면 부호의 설명 배치 데이터 데이터부(5230)를 포함하고 있으며, 선택적으로 가공 규칙 데이터부(5240) 또는 집계 데이터부(5250)를 더 포함하고 있을 수 있다. 상기 도면 기반 데이터부(5210)는 개별 특허의 개별 도면 파일별로 도면에서 추출한 데이터를 포함하고 있다. 상기 도면 기반 데이터부(5210)에는 도면 포함 도면 부호 및 도면 포함 도면 부호별 도면 포함 도면 부호의 속성 정보가 저장되어 있다. 상기 명세서 기반 데이터부(5220)에는 명세서 포함 도면 부호, 도면 부호의 설명, 도면 부호의 설명 속성 데이터 등이 포함되어 있다. 상기 도면 부호의 설명 배치 데이터부에는 상기 도면 포함 도면 부호에 대응되는 상기 도면 부호의 설명을 배치하기 위한 배치 방법 데이터가 포함되어 있다.
이하 도면을 참조하면서 본 발명을 프로세스 중심으로 더욱 더 상세하게 설명한다.
도 7는 본 발명의 사상의 구현을 위한 일 실시예적 프로세스이다.
도 7에서 예시 되듯이 본 발명 사상은 상기 특허 도면 OCR 장치(100)에서 입력된 도면에서 도면 포함 도면 부호가 인식(S11) 처리되고, 상기 도면 부호-설명 인식 장치(200)의 의해 입력된 특허 명세서에서 명세서 포함 도면 부호 및 도면 부호의 설명이 인식(S12) 처리되고, 상기 특허 도면 부호-설명 결합 서버(300)에 의해 도면 부호의 설명 배치 데이터가 생성(S13) 처리되고, 특허 도면 부호-설명 결합 서버(300)에 의해 타 장치(900)로부터의 실시간 요청 또는 배치 처리 방식으로 가공 도면 데이터 생성되거나, 가공 도면 데이터 생성할 수 있는 기반 정보가 제공 (S14)되는 방식으로 구현된다.
도 8에서 예시되듯이 상기 특허 도면 OCR 프로세서(1000)는 개별적인 특허 도면을 대상으로 문자 인식 처리를 수행하여 개별 문자별로 문자 인식 정보를 생성(S21)되고, 인식된 개별 문자들에 대하여 합성 처리가 수행하고, 합성 처리된 도면 포함 도면 부호 후보를 명세서 포함 도면 부호 집합과 맵핑 처리하여 도면 포함 도면 부호를 결정(S22)하고, 결정된 도면 포함 도면 부호별로 도면 포함 도면 부호의 속성 정보를 생성(S26)한다.
상기 특허 도면 OCR 프로세서(1000)는 선택적으로 도면 포함 도면 부호 후보 중 명세서 포함 도면 부호 집합과 맵핑된 맵핑 비율 계산하여, 맵핑 비율이 설정된 기준 이상인지를 조회하고, 그렇지 않은 경우에는 도면에 대한 배향 처리 수행하고, 배향 처리된 도면을 대상으로 상기 S21 내지 상기 23의 과정을 수행한다. 배향 처리가 필요한 이유는 대부분의 도면은 가로 방향으로 배치되어 있지만, 세로 방향으로 배치된 도면도 상당 수 있기 때문이다. 가로 방향으로 배치되어 있는 도면의 경우, 도면 포함 도면 부호가 가로 방향으로 쓰여져 있는 것이 대부분이며, 세로 방향으로 배치되어 있는 도면의 경우, 도면 포함 도면 부호가 세로 방향으로 쓰여져 있는 것이 대부분이기 때문이다. 배향 처리는 각 국가의 도면 특성에 따라 우회전 90도, 우회전 180도, 우회전 270도 중에서 우선 배향할 각도를 결정한다.
광학 문자 인식(optical character recognition)은 이미지 데이터에서 숫자를 포함한 문자를 인식한다. OCR 자체에 대한 상세한 기법은 당업자에게 당연한 것(OCR에 대한 서적, 논문 및 공개/상용 소프트웨어 등이 다량으로 나와 있음)으로 본 발명의 설명에서는 상세한 설명을 생략한다. 다만, 본 발명에서는 통상적인 OCR을 통해서는 특허 도면에 포함된 문자열을 인식하는 경우, 다음과 같은 3가지 문제점이 발생한다.
첫째, 인식된 문자열 중에는 도면 포함 도면 부호인 것도 있을 수 있지만, 도면 포함 도면 부호가 아닌 것도 다수 있을 수 있다. 대표적인 예가, 프로세스 다이어그램의 박스에 있는 문자열 내용이다. 이들은 문자열로 되어 있지만, 도면 포함 도면 부호가 아니다. 따라서, 인식된 문자열 중에서 도면 포함 도면 부호인 것과 도면 포함 도면 부호가 아닌 것을 구분해 내는 것이 핵심적인 문제가 된다.
둘째, 도면을 구성하는 다양한 선이나 형상 등은 크거나 작은 블록 단위로 부분 떼어 놓고 보면 숫자나 문자처럼 보이는 것이 많다. OCR은 이미지를 스캔하면서 스캔 되는 블록이 문자나 숫자가 되는 가를 판단하는 방식을 취하는 경우가 많다. 이때, 세로 선 등을 대문자 "I"나 "L"의 소문자로 인식하는 경우가 많으며, 세로로 내려 오다 왼쪽으로 휘어지는 선을 "J"로, 좌우로 굽어지는 선을 "S" 등으로 인식하는 경우도 많다. 실제로 도면 부호가 아닌데, 부분 부분의 생긴 형태 때문에 문자로 오 인식 하는 경우는 도면을 구성하는 이미지 뿐만 아니라, 도면의 각 부분과 도면 부호의 설명을 이어주는 선에서도 많이 발생한다.
이와 같이 통상적인 OCR 기술을 그대로 특허 도면에 적용하는 경우, 엄청나게 많은 오 인식이 발생하게 된다. 본 발명 사상은 이러한 문제를 체계적으로 해결하는 기술 사상을 포함하고 있다.
물론, 광학 문자 인식을 수행할 때, 특허 도면에 빈번하기 나타나는 숫자, 문자 및 기호에 대한 인식률을 높이기 위해 머신 러닝을 사용할 수 있다. 이를 위해서, 먼저 숫자, 문자 및 기호별로 다량의 데이터를 수집(예, 숫자 "2"로 인식되어야 할 숫자 "2"에 대응될 수 있는 부분 이미지들(도면 이미지에서 숫자 2에 해당하는 부분만 발췌하여 별도의 이미지 파일로 저장하는 방식으로 생성 및 수집됨))한다. 이어, 수집 데이터를 훈련용 데이터(training set)와 테스트 데이터(test set)으로 나누고(경우에 따라서는 검증 용 데이터(validation set)를 별도로 준비할 수 있음), CNN(convolution neural network) 등과 같은 딥러닝 알고리즘 또는 기타 머신 러닝 알고리즘을 적용하여 학습을 진행시켜 특허 도면에 나타나는 도면 부호의 인식에 특화된 이미지 인식 알고리즘(모델)을 생성한다. 이어, 생성된 이미지 인식 알고리즘을 광학 문자 인식 루틴에 포함시킨다. 광학 문자 인식 과정에서, 특정한 이미지 블록이 문자 또는 숫자인지와 어떤 문자 또는 숫자인지를 결정하는데, 도면 부호의 인식에 특화된 이미지 인식 알고리즘(모델)이 사용될 수 있다. 도면 부호의 인식에 특화된 이미지 인식 알고리즘(모델)을 통하여, 통상적인 광학 문자 인식 알고리즘보다 더 정확하고 합목적적인 도면 부호의 인식이 가능하게 된다.
셋째, 본 발명에서는 KNN(K nearest neighborhood) 알고리즘을 사용할 수도 있다. KNN을 사용하기 위해서는 문자별 문자 대응 이미지 데이터를 다량으로 준비한다. KNN 알고리즘 등과 같은 이미지 인식 알고리즘 등은 손글씨나 통상적이지 않은 폰트를 사용한 문자 등을 잘 인식하지 못하는 경우가 많다. 이를 위해서라도 딥러닝(deep learning), 부스팅, SVM 등과 같은 학습 알고리즘을 사용할 필요성이 높다. 손글씨나 다양한 폰트로 된 도면 부호의 경우에는 기계 학습을 통한 이미지 인식이 더욱 더 효과적이다.
도 9는 본 발명의 상기 도면 문자열 인식 프로세스(1300)의 숫자 포함 문자열 인식 프로세스에 대한 일 실시예적 구현예이다.
도 9에서 예시되듯이 상기 도면 문자열 인식 프로세스(1300)는 합성 처리 규칙을 사용하여, 인식된 제1 개별 문자와 합성 처리할 적어도 하나 이상의 제2 개별 문자를 탐색하여 도면 포함 도면 부호 후보를 생성(S31)하고, 인식된 문자열에서 숫자가 포함되어 있는가(S32)를 판단하고, Yes인 경우 인식된 문자열 추출(S33)하고, No인 경우 인식된 문자열 버림(S38)하는 방식으로 프로세싱 한다. 상기 특허 도면 OCR 장치(100)는 (S33) 이후에는 선택적으로 숫자 포함 문자열의 분할(S34) 처리를 수행할 수 있다. 상기 특허 도면 OCR 장치(100)는 (S33) 또는 (S34) 이후에 분할된 숫자 포함 문자열이 도면 포함 도면 부호의 결정 패턴 규칙에 속하는가를 판단(S35)하고, Yes 일 경우 도면 포함 도면 부호의 결정 패턴 규칙에 부합하는 분할 문자열만 추출(S36)하고, No일 경우 숫자 포함 문자열 버림(S37)처리를 수행한다.
다수의 문자 인식 알고리즘은 1개 글자씩 인식하는 경우가 대부분이다. 따라서, 1개의 문자열을 생성하기 위해서는 개별적으로 인식된 문자를 묶는 합성 처리가 필요하다. 도면 포함 도면 부호는 통상적으로 길이가 아주 길지 않으며(8~10 캐릭터 이내), 띄어쓰기가 없는 것이 대부분이며, 간혹 특수 문자를 포함하는 경우도 있다.
상기 도면 문자열 인식 프로세스(1300)는 특정 블록이 문자(문자 블록, 1개의 숫자나, 알파벳 등과 같은 캐릭터는 1개의 문자 블록이 된다.)일 경우, 문자 블록과 기 설정된 위치에 있는 다른 블록이 문자인 경우, 두 블록을 연결하는 처리를 수행한다. 문자 블록에서 인식되는 문자 방향으로 문자 블록에서 인식하는 문자의 크기를 고려한 기 설정된 거리 이내에 있는 문자 블록의 문자는 기 설정된 위치의 한 예가 될 수 있다. 인식되는 문자마다 크기(size) 정보가 생성될 수 있다. 크기 정보는 인식되는 문자 블록(사각형)의 크기(좌표값)로 결정할 수 있다.
문자 블록에 좌표값 집합이 대응되기 때문에 문자 블록에는 중심 좌표값이 대응시킬 수 있다. 문자와 문자 사이의 거리를 장평(character spacing)이라도 하는데, 통상적으로 1개 문자의 크기(예를 들면 띄어쓰기(space))보다는 훨씬 작다. 상기 특허 도면 OCR 장치(100)는 인식된 문자가 영어나 한국어 등 가로쓰기를 하는 문자인 경우, 문자의 방향이 통상적인 방향(예, 수평 방향으로 배향)이면, 오른쪽으로 기 설정된 위치 이내(예를 들면 장평 33~200%에 있는 글자)에 있는 문자는 연결하는 처리는 수행할 수 있다. 예시적으로 문자 블록의 평균값을 기준으로 문자 블록의 가로 길이 또는 세로 길이 중 긴 값의 33~200%에 있는 문자 블록은 합성 처리를 수행할 수 있다. 한편, 예시적으로 특정 문자 블록의 가로 길이 또는 세로 길이의 긴 값의 10~150% 이내에 들어오는 다른 문자 블록은 합성 처리할 수도 있을 것이다. 이러한 규칙은 합성 처리 규칙의 일부가 될 수 있다.
한편, 인식된 문자가 수직 방향으로 배향된 경우, 수직 방향에 있는 블록에 있는 문자를 대상으로 연결 처리를 수행한다. 상기와 같은 연결 처리를 수행하면 문자열 블록이 생성되게 된다. 상기 특허 도면 OCR 장치(100)는 문자 블록 간의 연결이 마무리 되면 문자열을 인식할 수 있게 된다.
한편, 상기 연결 처리에서 문자 뿐만 아니라 도면 부호에 빈번하게 등장하는 표식(예를 들면, "-" 또는 "_" 등)은 문자처럼 취급하여 처리할 수 있다. 도면은 무수하게 많은 선으로 이루어져 있고, 점선 등도 많으므로, "-" 또는 "_"로 인식될 수 있는 도면의 부분은 굉장히 많을 수 있다. 따라서, 도면의 특정 부분이 "-" 또는 "_"로 인식되는 경우에는 앞 및 뒤에 있는 문자 블록과의 합성 처리를 1차적으로 수행하고, 합성 처리된 문자열을 명세서 포함 도면 부호 집합에 조회하여, 명세서 포함 도면 부호 집합에 포함되어 있는 문자열인 경우에만 도면 포함 도면 부호로 처리할 수 있을 것이다.
각 문자 블록마다 합성 처리할 블록을 탐색하여, 합성 처리 규칙이 적용되는 한도 내에서 가장 길게 합성 처리를 수행할 수 있다. 예를 들면, "153"이라는 도면 포함 도면 부호가 있을 경우 "15"까지가 아닌 "153"까지 합성 처리하는 것이 바람직할 것이다. 묶는 방향은 좌->우 방향을 기본 방향으로 처리할 수 있다. 한편, 각 국가나 도면의 배향(가로 방향 도면, 세로 방향 도면 등)에 따라 우선적인 묶음 방향이 달라질 수 있다. 물론, 묶음 방향이 좌<->우로도 될 수 있음은 물론일 것이다. 특정한 문자 블록이 묶음에 포함된 경우, 그 문자 블록으로부터 묶는 과정은 생략될 수 있다. 즉, "5"가 "1"에 묶인 경우에는 "5"를 최초 시작점으로 하여 새로운 묶음을 시도하지는 않는 것이 바람직할 것이다. 한편, "5"를 기준으로 좌-우 방향으로 합성 처리 규칙을 적용할 수 있음은 당연할 것이다.
한편, 도면에 "153 267" 등과 같이 "153"과 "267 사이에 공백이 많을 경우가 있다. 이때, "1"을 기준으로 "5"를 묶고, "5"를 기준으로 "3"을 묶는 처리를 수행할 수 있으며, 3과 "2" 사이에는 공백이 많으므로, "5"와 "3"을 묶은 이후, 묶는 과정을 중단할 수 있다. 이때, "2"가 인식되면 "2"를 기준으로 다시 묶는 과정이 시작될 수 있을 것이다.
도면에는 도면 부호가 아닌 문자열도 상당히 많이 포함되어 있다. 대표적인 것이 블록도(block diagram) 내에 포함되어 있는 문자열 또는 특정한 대상을 지칭하는 단어나 어절이다. 도면 부호는 통상적으로 숫자만으로 구성되거나 숫자가 주요 부분이지만, 이러한 문자열은 숫자를 포함하고 있지 않거나, 숫자가 주요 구성 부분이 아니다. 이러한 문자열은 맵핑 대상에서 제외시킬 필요성이 높다.
문자열 인식 과정을 거친 문자열을 대상으로 상기 도면 문자열 인식 프로세스(1300)가 도면 포함 도면 부호의 후보를 생성하는 정보 처리를 설명한다. 상기 도면 문자열 인식 프로세스(1300)는 합성 처리 규칙을 사용하여, 인식된 제1 개별 문자와 합성 처리할 적어도 하나 이상의 제2 개별 문자를 탐색하여 도면 포함 도면 부호 후보를 생성(S31)하고, 도면 포함 도면 부호 후보에서 숫자가 포함되어 있는가를 판단(S32)하고, Yes인 경우, 인식된 문자열 추출(S33)하고 아닌 경우에는 인식된 문자열 버림(S38) 처리한다. 이때, 인식된 문자열이 긴 문자열(띄어쓰기가 포함되어 있는 경우 등)인 경우에는 그 문자열에서 숫자가 포함되어 있는 문자열만을 추출하거나 분할(S34)하는 처리를 수행한다. 만약, 인식된 문자열에서 띄어쓰기가 포함되어 있지 않거나, 문자열 인식 단계나 문자열 추출 단계에서 인식 또는 추출의 단위가 단일 단어 표현인 경우에는 문자열을 분할(S34)하는 프로세스를 불필요할 수 있다. 단일 단어 표현이란 띄어쓰기가 없는 문자열로, 그 문자열은 숫자, 알파벳, 문자만으로 구성된 문자열이거나, 이러한 문자열과 "-" 또는 "_" 등과 같은 기 설정된 도면 포함 도면 부호 포함 기호를 포함하는 문자열을 말한다. 바람직하게는 (S31) 단계에서 문자열의 인식 처리는 단일 단어 표현 단위로 처리하는 것이 좋다.
상기 도면 문자열 인식 프로세스(1300)는 상기 숫자 포함 문자열 또는 단일 단어 표현이 도면 포함 도면 부호의 결정 패턴 규칙에 속하는 지를 조회(S35) 처리를 수행하고, Yes인 경우에는 도면 포함 도면 부호의 결정 패턴 규칙에 부합하는 분할 문자열만 추출(S36)하고, No인 경우에는 숫자 포함 문자열 버림(S37) 처리한다.
상기 도면 포함 도면 부호의 결정 패턴 규칙은 다음과 같은 규칙 중 적어도 하나 이상을 포함하고 있을 수 있다.
첫째, 숫자가 포함되어 있지 않은 문자열은 도면 포함 도면 부호가 아니다.
둘째, 문자열에 숫자와 문자가 함께 포함되어 있는 경우, 다음과 같은 하위 기준을 적용한다.
1) 문자로 시작하는 경우에는 시작하는 문자의 글자수는 숫자를 구성하는 글자수보다 작거나 같다.
2) 문자로 끝나는 경우에는 끝나는 문자의 글자수는 숫자를 구성하는 글자수보다 작거나 같다.
셋째, 도면 포함 도면 부호 포함 기호는 문자열의 처음도 될 수 없고 마지막도 될 수 없다.
넷째, 문자열의 전체 길이는 기 설정된 한계(예, 6~8 글자) 이내이다.
다섯째, 도면 포함 도면 부호 포함 기호가 아닌 구두점이나 기호는 도면 포함 도면 부호 구성에서 제외된다.
도면 포함 도면 부호의 결정 패턴 규칙은 가공 규칙 데이터부(5240)에 저장될 수 있다.
한편, 특정한 도면에서 인식된 개별적인 문자를 사용하여 문자를 연결할 때, 연결하는 방식이나 정책 등에 따라, 여러 종류 이상의 도면 포함 도면 부호의 후보가 생성될 수 있게 된다. 예를 들면, 특정한 도면에서 "A12"라고 인식되는 문자열과 아주 가까운 곳에 "25"라는 문자열이 있을 수 있다. "A12"와 "25" 사이의 거리가 "A12" 내부를 구성하는 "A" ,"1", "2" 사이의 장평보다는 길지만, 문자 1개 이상보다는 가까울 때와 같이, 거리에서 모호성이 존재하는 경우가 빈번하게 존재한다. 이때, 도면 포함 도면 부호는 각각 "A12"와 "25"와 같이 2개일 수도 있지만, "A1225"일 수도 있다. 이와 같이 모호성이 존재하는 경우, 각 문자열을 어디까지 연결할 것인지가 문제시 된다. 본 발명 사상에서 명세서 포함 도면 부호를 문자열 인식 단계에서 우선적으로 사용하지 않는 한, 상기 특허 도면 OCR 장치(100)는 "A12"와 "25"라는 문자열 및 "A1225"도 도면 포함 도면 부호의 후보로 생성한다. 이 경우 "A12"와 "25"라는 문자열 및 "A1225" 각각에 대해서 위치나 폰트 크기 등과 같은 도면 포함 도면 부호의 속성 정보를 생성함을 물론일 것이다.
상기 도면 문자열 인식 프로세스(1300)는 상기 도면 포함 도면 부호의 결정 패턴 규칙을 통과하는 문자열을 도면 포함 도면 부호의 후보로 처리한다. 1개의 이미지에서는 n개의 도면 포함 도면 부호의 후보가 생성될 수 있고, 이들은 도면 포함 도면 부호의 후보 집합을 구성하게 된다.
한편, 도면 포함 도면 부호의 결정 패턴 규칙을 통과하는 문자열 중에서도 도면 포함 도면 부호가 아닌 경우가 상당히 많을 수 있다. 그 이유 중 일부는 다음과 같다.
첫째, 도면에 있는 문장형, 구문형 문자열이다. 예를 들면, 프로세스 도면을 박스 내에 있는 다양한 문장이나 구문 등을 구성하는 각 단어 중에서 숫자가 포함되어 있는 많은 단어는 도면 포함 도면 부호의 결정 패턴 규칙을 통과한다. 예를 들어, "A380"이라는 문자열이 있을 때, 이 문자열이 보잉사의 비행기 기종을 표현한다고 하더라도, 도면 포함 도면 부호의 결정 패턴 규칙을 통과한다.
둘째, 숫자나 문자로 오 인식된 이미지가 숫자나 문자와 연결되는 경우에도 도면 포함 도면 부호의 결정 패턴 규칙을 통과할 가능성이 높다. 도 30에서 예시되는 바와 같이, 1개의 도면에 도면 부호가 많이 있는 경우에는 도면 또한 복잡한 구성을 가지는 경우가 많다. 이 때, 도면에는 다수의 도면 포함 도면 부호가 이미지 곳곳에 배치되어 있게 되고(도면 이미지에서 도면 포함 도면 부호의 밀도가 높음), 도면 포함 도면 부호와 구성 요소 간을 연결하는 선도 복잡하게 된다. 이런 경우에는 문자로 오 인식되는 이미지 부분 부분이 실제 문자와 연결되어 잘못된 문자열을 구성하게 된다.
셋째, 오 인식된 이미지 부분 부분이 서로 연결되어 문자열로 출력되고, 이 문자열이 도면 포함 도면 부호의 결정 패턴 규칙을 통과할 수 있다. 예를 들면, 세로 선 2개를 숫자 "1" 및 "1"로 좌우로 굽어지는 선을 "3"으로 인식해 "113"이라는 문자열을 만들어 내는 경우를 들 수 있다.
본 발명에서는 상기의 문제를 해결하는 2가지 방법을 제시한다.
첫번째 방법은 명세서에서 추출되는 명세서 포함 도면 부호를 활용하여, 추출된 명세서 포함 도면 부호와 입수된 도면 포함 도면 부호의 후보를 맵핑 처리하고, 맵핑된 도면 포함 도면 부호의 후보만을 도면 포함 도면 부호로 처리하는 후단계 맵핑 방법이다. 이 방법은 도 11에서 예시되어 있다.
둘째 방법은 도면 포함 도면 부호의 후보 집합의 생성 전 단계에서 명세서 포함 도면 부호를 활용하는 전단계 필터링 방법이다. 명세서 포함 도면 부호를 활용하면 1) 시작하는 문자열의 종류가 정해지고, 2) 특정한 문자 다음에 올 수 있는 문자열도 정해지게 되기 때문에, 문자열을 인식하는 단계부터 오 인식의 가능성이 훨씬 줄일 수 있을 뿐만 아니라 들게 된다. 특히, 문자열 블록의 연결 시 특정한 문자열 블록과 다른 문자열 블록을 연결할 것인지를 결정할 때 특별한 효과를 발휘하게 되다. 이를 통해서 연결이 없었다면 도면 포함 도면 부호가 되지 못하는(명세서 포함 도면 부호에 없는 도면 포함 도면 부호) 문자열들이 연결을 통해서 우연히 도면 포함 도면 부호처럼 취급되는(명세서 포함 도면 부호에 있는 도면 포함 도면 부호와 결과적으로 같은 문자열 표현이 되어, 결과적으로 도면 부호의 설명이 결합되어 버리게 되는) 문제도 미연에 방지될 수 있게 된다. 이를 위해서는 도면 포함 도면 부호 후보 생성 단계에서 명세서 포함 도면 부호 집합을 조회하는 단계를 처리하여야 하며, 이를 위해서 사전에 명세서 포함 도면 부호 집합이 생성되어 있어야 한다.
이에 따라, 상기 특허 도면 OCR 장치(100)의 처리 수행 전에 도면 부호-설명 인식 장치(200)의 처리 수행이 우선되는 것이 바람직할 것이다.
한편, 명세서 포함 도면 부호 후보 집합을 구성하는 명세서 상의 문단에서 "figure +number" 또는 "도+number" 등과 같은 도면을 지칭하는 표현이 있는 경우, 그 문단에서 나오는 명세서 포함 도면 부호는 특정 도면에 특화성 높은 명세서 포함 도면 부호로 처리되고, 명세서 포함 도면 부호와 도면 번호는 맵핑되어 저장될 수 있다. 이를 통해서 상기 명세서 포함 도면 부호 후보 집합이 도면 단위로 구축될 수 있다. 도면 단위로 명세서 포함 도면 부호 후보 집합이 존재하는 경우, 이 데이터를 활용하면 도면 포함 도면 부호의 후보 집합의 전단계 필터링을 더욱 더 정밀하게 처리할 수 있게 된다.
실제 도면 포함 도면 부호의 후보 집합에 대해 명세서 포함 도면 부호를 맵핑 시킬 때, 모호성(ambiguity)이 존재하는 경우가 아주 많다. 특히, 도면이 흐리거나 해상도가 낮거나, 폰트가 깔끔하지 못하거나, 도면 포함 도면 부호가 아주 많은 경우 등에서는 다양한 모호성이 존재한다. 이때, 도면별로 생성된 명세서 포함 도면 부호 후보 집합은 특정 도면에서 추출되는 도면 포함 도면 부호의 후보의 처리에서 추가 가중치 부여 요소로 작용할 수 있게 된다.
예를 들면, 특정한 도면에서 인식된 특정한 도면 포함 도면 부호의 후보의 문자열 중 특정한 1개의 문자의 정확도가 낮은 경우(예, 문자 "I" 또는 숫자 '1"인지 명쾌하게 분류되지 못하는 경우), 그 특정한 도면과 관련된 명세서의 설명 부분에서 생성하는 명세서 포함 도면 부호를 참조하여, 인식된 문자의 정확도를 높일 수 있다. 예시의 경우에서도 도면 1에서는 문자 " I "없는 경우, 그 문자는 숫자 "1"로 인식하게 되면, 결과적으로 문자열의 인식률이 높아지게 된다.
도 10은 본 발명의 도면 부호 인식 프로세스(1330)의 합성 처리 프로세스에 대한 일 실시예적 구현예이다.
도면 부호 인식 프로세스(1330)는 합성 처리 규칙을 사용하여, 인식된 제1 개별 문자와 합성 처리할 적어도 하나 이상의 제2 개별 문자를 탐색(S41)한다. 제1 개별 문자가 있을 때, 합성 처리할 제2 개별 문자의 탐색에는 제1 개별 문자의 인식값이나 제2 개별 문자이 인식값 자체는 크게 중요하지 않다. 예를 들면, 제1 개별 문자에 대한 인식값이 숫자 "1"이거나, 소문자 "i" 인 것은 상기 제1 개별 문자와 묶을 대상이 되는 제2 개별 문자를 탐색하는데 큰 영향은 없다. 왜냐하면, 숫자 "1"로 시작하는 도면 포함 도면 부호도 있을 수 있지만, 소문자 "i"로 시작하는 도면 포함 도면 부호도 있을 수 있기 때문이다.
도면 부호 인식 프로세스(1330)는 합성 처리 규칙을 적용하여 상기 제1 개별 문자와 합성 처리할 적어도 하나 이상의 제2 개별 문자가 있는가를 탐색(S42) 한다. 상기 제2 개별 문자는 2글자(캐릭터) 이상일 수 있다. 최종적으로 합성 처리되는 문자열은 "제1 개별 문자 + 제2 개별 문자+ 제3 개별 문자+ …제 n 개별 문자"의 형태를 가질 수 있을 것이다. 제n 개별 문자가 포함되는 경우, "제1 개별 문자 + 제2 개별 문자+ 제3 개별 문자+ …제 n -1개별 문자"는 적어도 합성 처리의 결과에서 배제된다. 즉, 합성 처리가 될 때에는 가장 긴 것(the longest one)이 도면 포함 도면 부호의 후보가 된다. 예를 들면, 도면의 특정한 위치에 "S1234"가 있을 때, "S"가 인식되고, "S"의 옆에 각각 "1", "2", "3" 및 "4"가 있어, 이것이 "S1234"로 합성 처리된 경우라면, S12나 S123은 배제된다는 뜻이다. 물론, 같은 도면의 다른 곳에서 "S123"이 있는 경우에는 도면 부호 인식 프로세스(1330)가 생성하는 도면 포함 도면 부호 후보에는 "S1234" 및 "S123"이 있게 됨은 당연할 것이다.
도면 부호 인식 프로세스(1330)는 탐색 결과 제2 개별 문자가 있는 경우, 있는 경우 제1 개별 문자의 제1 인식값과 적어도 하나 이상의 제2 개별 문자의 제2 인식값을 결합하여 적어도 하나 이상의 도면 포함 도면 부호 후보를 생성(S43)한다. 문자 인식은 항상 옳을 수가 없으므로, 문자 인식 대상마다 1개 이상의 인식값 및 인식 평가 정보(인식 확률/정확도/인식 레벨 등) 등이 대응될 수 있다. 예를 들면, "1"처림 생긴 이미지 부분에 대해서, 숫자 "1"로 인식할 수도 있고, 소문자 "i"로 인식할 수도 있으며, 인식 알고리즘은 각 인식값에 대한 인식 평가 정보를 생성할 수 있다. 따라서, 각각 적어도 1개 이상의 인식값을 가지고 있는 여러 개의 인식 대상이 합성 처리가 되는 경우에는 에는 적어도 1개 이상의 도면 포함 도면 부호 후보가 생성될 수 있게 된다. 각 도면 포함 도면 부호 후보에는 랭킹 또는 종합적 인식 평가 정보가 대응될 수 있다.
도면 부호 인식 프로세스(1330)는 랭킹 또는 종합적 인식 평가 정보를 기준으로 한 우선 순위가 높은 도면 포함 도면 부호 후보부터 명세서 포함 도면 부호 집합에 조회(S44)한다. 생성된 도면 포함 도면 부호 후보가 명세서 포함 도면 부호 집합에 있는가? (S45)를 질의한 다음, 있는 경우에는 도면 포함 도면 부호로 결정(S46)한다. 이때, 1개의 도면 포함 도면 부호 후보가 하나 이상의 명세서 포함 도면 부호와 대응되는 경우도 발생할 수 있음은 물론이다. 이어, 상기 특허 도면 OCR 장치(100)는 명세서 포함 도면 부호를 매개로 도면 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터(1:1 또는 1:n) 생성(S47) 과정을 수행한다. 질의 결과 도면 포함 도면 부호 후부가 명세서 포함 도면 부호에 없는 경우에는 맵핑 데이터를 생성하지 않거나, 선택적으로 탐욕적 탐색(greedy search)을 수행(S48)할 수 있다. 탐욕적 탐색이란 인색 대상에 대한 모든 또는 일정 기준 이상의 모든 인식값의 조합에 대하여 도면 포함 도면 부호 후보로 처리하고, 명세서 포함 도면 부호 집합에 대한 조회(S46) 처리를 수행하는 것을 말한다.
통상적으로 1개 캐릭터/문자로 되는 도면 포함 도면 부호는 많이 사용되지 않지만, 그렇다고 해서 전혀 사용되지 않는 것도 아니다. 따라서, 대상인 제2 개별 문자가 없는 경우에는 주의를 요한다. 왜냐하면, 문자 인식에는 무수한 오류가 존재하며, 도면을 구성하는 여러 이미지 요소(선, 점선, 곡선 부분 등)을 작은 박스 형태로 떼어 놓으면 문자처럼 인식되는 것이 아주 많게 된다. 이렇게 되면 노이즈가 엄청나게 발생한다. 예를 들면, 수직선의 일부를 박스 형태로 내서 인식하면, 숫자 "1", 대문자 "I"나 소문자 "L" 등으로 인식될 수 있으며, 특히 도부 집합에 숫자 "1", "I"나 "L"의 소문자 등이 있게 되면, 도면의 많은 부분에서 노이즈가 발생하게 된다.
도면 부호 인식 프로세스(1330)는 제2 개별 문자가 없는 경우에는 상기 제1 개별 문자가 평균 크기를 많이 벗어나는가(S49-1)를 질의한다. 상기 특허 도면 OCR 장치(100)는 인식의 대상이 되는 도면 포함 도면 부호의 평균 크기를 계산할 수 있다. 상기 특허 도면 OCR 장치(100)는 상기 S22 과정에서 도면 포함 도면 부호 후보와 1:1로 맵핑 처리가 되는 명세서 포함 도면 부호가 있는 경우, 이러한 도면 포함 도면 부호 후보를 대상으로, 개별 문자의 크기 정보를 입수하여 평균 크기를 계산한다. 1개의 도면 또는 1개의 특허에 포함되는 도면 포함 도면 부호의 폰트 크기는 크게 차이가 나지 않는 것이 일반적이기 때문이다.
도면 부호 인식 프로세스(1330)는 제1 개별 문자가 평균 크기를 많이 벗어나는 경우에는 그 개별 문자는 노이즈 처리(S49-2)를 수행하고, 아닌 경우에는 생성된 도면 포함 도면 부호 후보를 명세서 포함 도면 부호 집합에 조회(S49-3)한다. 생성된 도면 포함 도면 부호 후보가 명세서 포함 도면 부호 집합에 있는가? (S49-4)를 조회한 결과 있는 경우에는 도면 포함 도면 부호로 결정(S49-5)하고, 없는 경우에는 노이즈 로 처리(S49-6)한다.
도 11은 본 발명의 상기 도면 부호 정보셋 생성 프로세스(1400)의 도면 포함 도면 부호의 속성 정보 생성 프로세스에 대한 일 실시예적 구현예이다. 상기 도면 부호 정보셋 생성 프로세스(1400)는 도면 포함 도면 부호의 후보 문자열을 명세서 포함 도면 부호 후보 집합에 조회(S51)하여, 도면 포함 도면 부호의 후보 문자열을 명세서 포함 도면 부호 또는 명세서 포함 도면 부호 후보 집합에 존재하는 지를 판단(S52)하고, 존재하는 경우 도면 포함 도면 부호의 후보 문자열을 도면 포함 도면 부호로 인정(S53)하고, 아닌 경우 도면 포함 도면 부호의 후보 문자열 버림(S54) 처리하는 방식으로 프로세싱 할 수 있다.
도면 포함 도면 부호의 속성 정보의 처리에 대해서 설명한다. 상기 도면 부호 정보셋 생성 프로세스(1400)는 도면 포함 도면 부호 후보에 해당하는 문자열의 인식 시에 도면 포함 도면 부호 후보의 속성 정보를 생성하고 저장하게 된다. 도면 포함 도면 부호의 속성 정보에는 도면 포함 도면 부호의 위치(직사각형의 도면 포함 도면 부호 블록에 대응되는 4개의 꼭지점 좌표값), 도면 포함 도면 부호 폰트의 크기, 배향(우향, 상향, 하향 등), 구성(숫자만, 문자+숫자 등), 문자열의 길이(캐릭터의 개수), 도면 포함 도면 부호가 나타나는 특정한 도면 번호 및 도면 포함 도면 부호가 나타나는 전체 개수) 등이 있을 수 있다.
이어, 상기 도면 부호-설명 인식 장치(200)의 명세서 포함 도면 부호 및 도면 부호의 설명 데이터의 생성에 대해서 설명한다. 명세서 포함 도면 부호 및 도면 부호의 설명 데이터의 생성은 도면에서 도면 포함 도면 부호의 인식보다 먼저 처리되어 있는 것이 바람직하다.
도 12는 본 발명의 도면 부호-설명 인식 장치(200)의 명세서 포함 도면 부호 및 도면 부호의 설명 정보의 생성 프로세스에 대한 일 실시예적 구현예이다.
명세서 포함 도면 부호 및 도면 부호의 설명 데이터는 명세서 데이터를 처리하여 생성된다. 명세서 포함 도면 부호 데이터가 XML 등과 같은 마크업 언어로 되어 있는 경우와, 태그가 없는 단순 텍스트인 경우에는 경우가 있다. 상기 도면 부호-설명 인식 장치(200)는 명세서 입수(S71)하고, 명세서 포함 도면 부호가 마크업 언어로 작성되어 있는가를 판단(S72)할 수 있다. 명세서 포함 도면 부호가 마크업 언어로 되어 있는 경우, 도면 부호에 대응하는 명세서 포함 도면 부호의 태그부를 인식하고, 명세서 포함 도면 부호의 태그부에서 상기 명세서 포함 도면 부호를 추출(S73)하고, 명세서 포함 도면 부호의 태그부와의 기 설정된 위치에 있는 문자열을 추출(S74)하고, 추출된 상기 문자열에서 도면 부호의 설명 후보를 결정(S75)한다.
예를 들어, 하기와 같은 명세서 내용(US 특허 출원 14/249,716호의 마크업 언어 파일에서 발췌한 내용)이 있다고 하자.
Hybrid oxide-silicon thin-film transistor structures such as illustrative thin-film transistor structures <b>302</b> of <figref idrefs="DRAWINGS">FIG. 10</figref> may be used in forming CMOS-type circuitry in display driver circuitry such as gate driver circuitry <b>18</b> and demultiplexer circuitry <b>20</b>. As shown in <figref idrefs="DRAWINGS">FIG. 10</figref>, structures <b>302</b> may have a polysilicon layer <b>308</b> that is formed on substrate <b>24</b>. P-channel active area <b>310</b> may be formed under gate <b>312</b>. Gate insulator layer <b>306</b> (e.g., silicon oxide) may separate gate <b>312</b> from silicon channel region <b>310</b> in silicon layer <b>308</b>. Dielectric layer <b>302</b> (e.g., sublayers of silicon oxide and silicon nitride) may cover gate <b>312</b>. Dielectric layer <b>306</b> may separate gate <b>312</b> from overlapping oxide layer <b>312</b>. Oxide layer <b>312</b> may be a semiconducting oxide such as IGZO material.
"<figref idrefs="DRAWINGS">FIG. 10</figref> "라는 문자열에서 이 문단은 " FIG. 10"과 관계되고 있다는 것을 알 수 있다. 한편, 상기의 예에서는 명세서 포함 도면 부호는 <b> 태그 사이에 존재한다는 것을 알 수 있고, "<b>문자열</b>"는 명세서 포함 도면 부호의 태그부가 된다. 상기 도면 부호-설명 인식 장치(200)는 상기 명세서 포함 도면 부호의 태그부를 처리하여 명세서 포함 도면 부호를 추출한다. 이어 상기 도면 부호-설명 인식 장치(200)는 명세서 포함 도면 부호의 태그부와의 기 설정된 위치에 있는 문자열을 추출(S74)한다. 예시적으로 상기 도면 부호-설명 인식 장치(200)는 명세서 포함 도면 부호의 시작 지점(앞에 있는 <b> 태그)에서 역 방향으로 문자열을 읽어 나가면서 다음 예시와 같은 도면 부호의 설명 후보 조건을 만족하는 위치까지의 문자열을 추출한다.
문자열이 영어인 경우,
1) 첫번째 부정관사를 만나기 직전까지의 문자열
2) 첫번째 the said, said 또는 the를 만나기 직전까지의 문자열
3) at least 숫자, one or more 등과 같은 기 설정된 도면 부호의 설명 후보 관련 표현 직전까지의 문자열
4) 기 설정된 n번째 단어까지 위 1) 또는 2)조건 중에 해당하는 문자열이 없는 경우, 첫번째 복수형 명사까지의 문자열
5) 1), 2) 및 3)이 모두 성립하지 않는 상태에서 문장의 시작까지의 문자열
도면 부호의 설명 후보 조건은 가공 규칙 데이터부(5240)에 저장될 수 있다.
문자열이 영어가 아닌 한글 등이 경우, the나 the said 에 대응되는 표현(예를 들면 "상기")을 정관사나 the said 대신에 적용한다.
상기 도면 부호-설명 인식 장치(200)는 명세서 입수(S71)하고, 명세서가 마크업 언어로 작성되어 있는가를 판단(S72)할 수 있다. 명세서가 마크업 언어로 되어 있지 않은 경우, 상기 도면 부호-설명 인식 장치(200)는 명세서 포함 도면 부호 식별 규칙을 적용하여, 상기 명세서 포함 도면 부호를 추출(S76)하고, 명세서 포함 도면 부호를 기준으로 상기 명세서 포함 도면 부호와의 기 설정된 위치에 있는 문자열을 추출(S77)하고, 추출된 상기 문자열에서 도면 부호의 설명 후보를 결정(S78) 처리하는 방식으로 프로세싱 한다.
상기 명세서 포함 도면 부호 식별 규칙은 1) "좌괄호+명세서 포함 도면 부호+우괄호" 등과 같은 명세서 상에서 명세서 포함 도면 부호를 표현하는 방식 등과 같은 명시적 규칙성이 있는 경우에는 그 규칙을 적용하여 처리한다. (대한민국 특허 명세서에서는 명세서 포함 도면 부호는 관행적으로 괄호 내에 표현한다.) 괄호 안에는 명세서 포함 도면 부호가 아닌 다른 문자열이 포함되는 경우도 다수 있으므로, 괄호 안에 포함되어 있는 문자열 중에서, 명세서 포함 도면 부호를 결정하는 것은 다음과 같은 조건을 적용한다. 한편, 괄호 등과 같은 관행적인 명세서 포함 도면 부호 식별 규칙이 없는 경우에는 "띄어쓰기+명세서 포함 도면 부호+띄어쓰기" 등과 같은 무방식의 경우에도 동등한 조건을 적용할 수 있다.
첫째, 문자열이 2단어 이상(띄어쓰기가 있는 경우)에는 명세서 포함 도면 부호가 아니다.
둘째, 숫자가 포함되어 있지 않은 문자열은 명세서 포함 도면 부호가 아니다.
셋째, 문자열에 숫자와 문자가 함께 포함되어 있는 경우, 다음과 같은 하위 기준을 적용한다.
1) 문자로 시작하는 경우에는 시작하는 문자의 글자수는 숫자를 구성하는 글자수보다 작거나 같다.
2) 문자로 끝나는 경우에는 끝나는 문자의 글자수는 숫자를 구성하는 글자수보다 작거나 같다.
셋째, 명세서 포함 도면 부호 포함 기호는 문자열의 처음도 될 수 없고 마지막도 될 수 없다.
넷째, 문자열의 전체 길이는 기 설정된 한계(예, 6~7 글자) 이내이다.
다섯째, 명세서 포함 도면 부호 포함 기호가 아닌 구두점이나 기호는 명세서 포함 도면 부호 구성에서 제외된다.
명세서 포함 도면 부호 식별 규칙은 가공 규칙 데이터부(5240)에 저장될 수 있다.
마크업 언어로 되어 있지 않은 명세서에서 명세서 포함 도면 부호가 결정되었을 때, 도면 부호의 설명을 결정하는 것은 마크업 언어로 되어 있는 명세서에서와 동일하다.
그런데, 명세서 포함 도면 부호와 도면 부호의 설명 후보 간에는 원칙적으로 단일 명세서 내에서의 표현의 일관성의 원칙상 1:1 관계가 성립해야 하나, 사실 상 1:1 관계가 성립하지 않는 경우가 다수 있을 수 있다. 이유는 다음을 포함한다.
첫째, 명세서를 작성하는 사람의 실수나 오류 때문이다. 다른 표현에 동일 명세서 포함 도면 부호를 적용하거나, 동일 명세서 포함 도면 부호에 다른 표현이 사용되는 경우 등이다.
둘째, 명세서를 작성 프로그램 또는 명세서 전산화 프로그램 또는 명세서 가공 프로그램에서의 실수나 오류가 있을 수 있다.
셋째, 도면 부호의 설명 후보 조건의 불완비성 또는 도면 부호의 설명 후보 조건을 적용하는 프로그램의 불완전성 때문이다. 도면 부호의 설명 후보 조건을 아무리 다양하고 엄격하게 준비한다고 하더라도 1)도면 부호의 설명 후보 조건을 벗어나는 표현의 존재 가능성 항상 있고, 2) 도면 부호의 설명 후보 조건 간에 충돌 관계나 우선 순위 적용에서 예외 상황이 발생할 수 있게 된다.
이 때 어느 명세서 포함 도면 부호에 어느 도면 부호의 설명을 맵핑할 것인가를 결정하는 것이 중요하게 된다. 도 13내지 도 15를 참조하면서 설명한다.
도 13은 본 발명의 상기 도면 부호-설명 인식 장치(200)의 도면 부호의 설명 결정 프로세스에 대한 일 실시예적 구현예이다.
도 13에서 예시되듯이 상기 도면 부호-설명 인식 장치(200)는 도면 부호의 설명 후보를 입수(S81)하고, 도면 부호의 설명 후보에 도면 부호의 설명 결정 규칙을 적용(S82)하고, 도면 부호의 설명을 결정(S83) 처리하는 방식으로 프로세싱 한다.
도 14는 본 발명의 도면 부호-설명 인식 장치(200)의 도면 포함 도면 부호와 상기 도면 부호의 설명의 맵핑 데이터 생성 전 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 프로세스에 대한 일 실시예적 구현예이다.
도 14에서 예시되듯이 상기 도면 부호-설명 인식 장치(200)는 명세서 전체에서 생성한 명세서 포함 도면 부호 및 도면 부호의 설명의 쌍 데이터 입수(S91)하고, 명세서 포함 도면 부호를 기준으로 전체 도면 부호의 설명이 유일(1:1 대응)한가를 조회 (S92)하고, Yes인 경우 명세서 포함 도면 부호와 도면 부호의 설명의 1:1 맵핑 처리(S93)한다. 한편, 상기 도면 부호-설명 인식 장치(200)는 1:1 대응 관계가 성립하지 않는 경우에는 도면 부호의 설명 결정 규칙을 적용한다. 상기 도면 부호-설명 인식 장치(200)는 도면 부호의 설명 중에서 최빈 도면 부호의 설명을 입수하고, 빈도 비율값을 확률값으로 처리하고 명세서 포함 도면 부호와 도면 부호의 설명의 확률 정보 포함 1:n 맵핑 처리(S94)하고, 명세서 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터(1:1 또는 1:n)를 생성(S95)하는 방식으로 프로세싱 할 수 있다.
도 15는 본 발명의 도면 부호-설명 인식 장치(200)의 명세서 포함 도면 부호를 매개로 도면 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터(1:1 또는 1:n) 생성 프로세스에 대한 일 실시예적 구현예이다.
도 15에서 예시되듯이 상기 도면 부호-설명 인식 장치(200)는 도면 포함 도면 부호를 입수(S101)하고, (마름모)도면 포함 도면 부호에 대응되는 명세서 포함 도면 부호가 존재하는가를 조회 (S102)하고, Yes 인 경우, 도면 포함 도면 부호와 명세서 포함 도면 부호의 맵핑(S103)하고, 명세서 포함 도면 부호를 매개로 도면 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터(1:1 또는 1:n) 생성(S104)하며, No 인 경우 명세서 포함 도면 부호가 존재하지 않는 도면 포함 도면 부호임을 저장하여, 이 도면 포함 도면 부호가 도면 포함 도면 부호와 도면 부호의 설명의 맵핑 처리에서 배제될 수 있도록 처리(S105)하는 방식으로 프로세싱 한다.
이어, 본 발명의 도면 부호-설명 인식 장치(200)의 데이터 생성에 대하여 예시를 들어 설명한다.
예를 들어, 하기와 같은 명세서 내용(US 특허 출원 14/249,716호의 마크업 언어 파일에서 발췌한 내용)을 예시적으로 설명한다.
Hybrid oxide-silicon thin-film transistor structures such as illustrative thin-film transistor structures <b>302</b> of <figref idrefs="DRAWINGS">FIG. 10</figref> may be used in forming CMOS-type circuitry in display driver circuitry such as gate driver circuitry <b>18</b> and demultiplexer circuitry <b>20</b>. As shown in <figref idrefs="DRAWINGS">FIG. 10</figref>, structures <b>302</b> may have a polysilicon layer <b>308</b> that is formed on substrate <b>24</b>. P-channel active area <b>310</b> may be formed under gate <b>312</b>. Gate insulator layer <b>306</b> (e.g., silicon oxide) may separate gate <b>312</b> from silicon channel region <b>310</b> in silicon layer <b>308</b>. Dielectric layer <b>302</b> (e.g., sublayers of silicon oxide and silicon nitride) may cover gate <b>312</b>. Dielectric layer <b>306</b> may separate gate <b>312</b> from overlapping oxide layer <b>312</b>. Oxide layer <b>312</b> may be a semiconducting oxide such as IGZO material.
상기의 도면 부호의 설명 후보 조건을 적용하는 경우, 상기 인용된 명세서 내용에서 하기 표 7과 같은 도면 부호의 설명 후보 집합을 생성할 수 있다.
상기 표 7 같은 데이터는 명세서 기반 데이터부(5220)에 저장된다.
Figure PCTKR2018003371-appb-T000007
상기 표 7에서 알 수 있듯이, 도면 부호 302, 308, 310, 312에서와 같이 동일한 도면 부호에 다른 도면 부호의 설명이 대응되는 경우가 있을 수 있다. 이러한 1:n(n은 자연수) 대응 관계는 명세서 상의 기재 불비라는 가능성과는 별도로 현실적으로 빈번하게 발생하고 있다. 이러한 이유 때문에, 명세서 상에서 명세서 포함 도면 부호에 대응되는 도면 부호의 설명을 기계적으로 확정할 수 없는 문제가 발생한다.
상기 도면 부호-설명 인식 장치(200)는 명세서 전체를 대상으로 상기 표 7과 같은 데이터를 생성하고, 명세서 포함 도면 부호 기준으로 정보 처리하면 하기 표 8과 같은 데이터를 생성한다.
Figure PCTKR2018003371-appb-T000008
상기 도면 부호-설명 인식 장치(200)는 본 발명에서는 동일 명세서 포함 도면 부호에 적어도 2 이상의 도면 부호의 설명 후보가 대응되어 있을 때 도면 부호의 설명을 결정할 때 예시적으로 다음과 같은 도면 부호의 설명 결정 규칙을 적용할 수 있다.
1) 명세서 포함 도면 부호 기준 빈도가 가장 높은 도면 부호의 설명 후보
2) 명세서 내에서 명세서 포함 도면 부호와 도면 부호의 설명 간의 맵핑 관계를 처리해 놓은 정보가 있는 경우, 그 맵핑 관계 처리 정보를 우선적으로 반영한 도면 부호의 설명 후보
3)1) 또는 2)가 없는 경우, 길이가 가장 길긴 도면 부호의 설명 후보
도면 부호의 설명 결정 규칙은 가공 규칙 데이터부(5240)에 저장될 수 있다.
상기 도면 부호-설명 인식 장치(200)는 하기 표 9와 같은 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 데이터 및 도면 부호의 설명 속성 정보를 생성한다. 하기 표 9와 같은 데이터는 본 발명의 도면 부호-설명 맵핑 정보셋 생성 프로세스(2400)이 생성하는 도면 부호-설명 맵핑 정보셋의 한 예가 된다.
Figure PCTKR2018003371-appb-T000009
상기 표 9과 같은 데이터는 명세서 기반 데이터부(5220)에 저장되며, 집계 정보는 집계 데이터부(5250)에도 저장될 수 있다.상기 구성 문자 수는 도면 부호의 설명을 배치하기 위한 도면 부호의 설명 배치 데이터를 생성하는데 중요하게 활용된다. 도면 부호의 설명이 길면 길수록 도면 부호의 설명을 표시하기 위한 공간의 크기도 커져야 하기 때문에, 긴 도면 부호의 설명의 경우에는 다른 도면 부호의 설명과 충돌/겹침이 발생할 가능성이 높기 때문에, 긴 도면 부호의 설명이 다량으로 포함되어 있는 경우에는 도면 부호의 설명 간의 배치가 아주 중요하게 된다.
도 15는 본 발명의 도면 부호-설명 인식 장치(200)의 명세서 포함 도면 부호를 매개로 도면 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터(1:1 또는 1:n) 생성 프로세스에 대한 일 실시예적 구현예이다.
도 15에서 예시되듯이 상기 도면 부호-설명 인식 장치(200)는 도면 포함 도면 부호를 입수(S101)하고, 도면 포함 도면 부호에 대응되는 명세서 포함 도면 부호가 존재하는 가를 조회 (S102)하고, Yes 인 경우, 도면 포함 도면 부호와 명세서 포함 도면 부호의 맵핑(S103)하고, 명세서 포함 도면 부호를 매개로 도면 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터(1:1 또는 1:n) 생성(S104)하다. 한편, 상기 도면 부호-설명 인식 장치(200)는 도면 포함 도면 부호에 대응되는 명세서 포함 도면 부호가 존재하지 않는 경우에는 명세서 포함 도면 부호가 존재하지 않는 도면 포함 도면 부호임을 저장하여, 이 도면 포함 도면 부호가 도면 포함 도면 부호와 도면 부호의 설명의 맵핑 처리에서 배제될 수 있도록 처리(S105)하는 방식으로 프로세싱 한다.
상기와 같은 방법을 통해서 도면 포함 도면 부호와 도면 부호의 설명 간의 맵핑 관계가 생성되면, 도면 부호의 설명을 도면 포함 도면 부호에 표현하는 방법을 처리할 수 있게 된다.
먼저, 도면 부호의 설명을 도면 포함 도면 부호에 표현하게 하기 위해서 도면 부호의 설명을 어떻게 도면 포함 도면 부호가 포함된 이미지에 배치할 것인가에 대한 데이터인 도면 부호의 설명 배치 데이터를 생성해야 한다. 도면 부호의 설명 배치 데이터 생성의 대 전제가 도면의 물리적 경계 조건(상하좌우) 내에서 도면 포함 도면 부호 주위에 도면 부호의 설명 또는 다른 언어로 번역된 도면 부호의 설명을 배치시킬 여백 공간을 탐색하는 것이다.
도 16은 본 발명의 배치 처리 프로세스(3100)의 도면 부호의 설명 배치 데이터 생성 프로세스에 대한 일 실시예적 구현예이다.
상기 배치 처리 프로세스(3100)는 도면 포함 도면 부호에 대한 처리 순위 정보를 입수(S111)한다. 한편, 처리 순위 정보가 없는 경우에는 랜덤으로 처리된다. 랜덤으로 처리되는 경우에도 처리의 순서는 존재하며, 처리의 순서는 처리 순위 정보가 된다. 처리 순위 정보는 명세서 포함 도면 부호(도면 포함 도면 부호와 명세서 포함 도면 부호는 같은 값임)로 상기 명세서 포함 도면 부호가 나타나는 명세서 상의 위치, 빈도 등을 기준으로 처리된 랭킹이다. 상기 배치 처리 프로세스(3100)는 처리 우선 순위가 제일 높은 제1 도면 포함 도면 부호에 대하여 제 1도면 부호의 설명의 배치를 위한 최소 필요 공간 규모를 계산(S112)한다. 상기 배치 크기 예측 프로세스(3111)가 처리하는 최소 필요 공간 규모는 도면 부호의 설명의 특정 폰트 사이즈 하에서의 길이 및 줄의 수(1줄 도는 2줄로 표시되게 할 것인 지 등)에 주로 의존한다.
상기 배치 크기 예측 프로세스(3111)는 계산된 최소 필요 공간 규모를 초과하는 여백 공간 중 최대 여백 공간을 제1 도면 부호 주위에서 탐색(S113)한다. 이어, 최대 여백 공간이 최소 필요 공간 규모보다 큰지 여부를 질의(S114)한다. 이때, 클 경우(yes) 제1 도면 포함 도면 부호에 대한 제 1도면 부호의 설명의 배치 공간 데이터값 생성(S115)하고, 아닐 경우(no) 제 1도면 부호의 설명에 대한 예외 처리(S116)를 수행한다.
이어, 배치 크기 예측 프로세스(3111)는 제n+1 도면 포함 도면 부호에 대하여 제 n도면 부호의 설명의 배치를 위한 최소 필요 공간 규모를 계산(S117)하고, 계산된 최소 필요 공간 규모를 초과하면서, 제1도면 부호의 설명부터 제 n도면 부호의 설명의 배치 공간 데이터값과 겹치지 않는, 여백 공간이 있는가를 질의(S118)한다. 여백 공간이 있는 경우(yes), 최대 여백 공간을 제n+1 도면 부호 주위에서 탐색(S119)한다. 이어, 최대 여백 공간이 최소 필요 공간 규모보다 큰가를 질의(S1110)하고, 큰 경우(yes) , 제n 도면 포함 도면 부호에 대한 제 n+1도면 부호의 설명의 배치 공간 데이터값 생성(S1111)한다. 아닌 경우(no)에는 제 n+1도면 부호의 설명에 대한 예외 처리(S1112)를 수행한다. 질의(S118)에 부정적인 경우(no), 제 n+1 도면 부호의 설명에 대한 예외 처리(S1113)를 수행한다.
한편, 상기 배치 처리 프로세스(3100)는 도면 포함 도면 부호별 도면 부호의 설명 배치 최소 공간을 탐색하고, 도면 부호의 설명 배치 최소 공간이 적어도 2 이상의 도면 포함 도면 부호에 대해 겹침이 발생하는 지를 탐색하고, 겹침이 발생하는 도면 포함 도면 부호 집합과 겹침이 발생하지 않는 도면 포함 도면 부호 집합의 분리하는 처리를 먼저 수행할 수 있다. 이어, 상기 배치 처리 프로세스(3100)는 겹침 발생하는 도면 포함 도면 부호 집합에 포함된 도면 부호의 설명 배치 전략 데이터의 생성 및 도면 부호의 설명 배치 전략 데이터를 참조하여 부호의 설명 배치 데이터를 생성하거나, 겹침 발생하지 않는 도면 포함 도면 부호 집합에 포함된 도면 부호의 설명 배치 전략 데이터 생성 및 도면 부호의 설명 배치 전략 데이터를 참조하여 부호의 설명 배치 데이터 생성하는 방식으로 프로세싱 한다.
도면 부호의 설명이 있는 경우, 상기 배치 크기 예측 프로세스(3111)는 도면 부호의 설명이 길이(총 문자의 개수)를 알 수 있으므로, 도면 부호의 설명을 표시할 폰트 및 폰트 사이즈에 따른 도면 부호의 설명을 표시하기 위한 필요 공간의 크기와 형태 정보를 계산한다. 상기 필요 공간의 크기와 형태 정보는 도면 부호의 설명을 몇 개의 행으로 표시할 것인지에 따라 유동적이게 된다.
가장 기본적인 도면 부호의 설명 배치 최소 공간의 탐색은 도면 부호의 설명마다, 상기 도면 부호의 설명을 표시하기 위한 최소 공간(예, 1개 행 및 기 설정된 폰트 및 폰트 사이즈로 계량하는 표시 공간)이 있는 지를 상기 맵핑되는 도면 표시 도면 부호 주변(오른쪽 또는 직하위 또는 직상위 등)에서 탐색하는 것이다. 만약 충분한 공간이 없는 경우, 변형 조건(폰트 크기 줄임, 2개 행 처리 등)으로 상기 도면 부호의 설명을 표시하기 위한 최소 공간의 존재를 탐색한다. 공간 탐색의 기본 방향은 도면 부호의 설명의 시작점에서 끝점 방향이 된다. 상기 도면 부호의 설명의 시작점은 도면 부호의 설명이 가상의 최소 크기의 사각형 블록 내에서 표시된다고 가정했을 때, 사각형 블록의 좌측 경계선이 된다. 물론, 상기 도면 포함 도면 부호가 도면의 우측 경계에 근접해 있을 때에는 상기 공간 탐색의 기본 방향은 도면 부호의 설명의 끝점에서 시작점 방향이 된다.
한편, 상기 배치 처리 프로세스(3100)는 상기 도면 부호의 설명 배치 최대 자유 공간을 탐색해 놓을 수도 있다. 상기 최대 자유 공간의 크기는 번역된 도면 부호의 설명의 표시 공간 탐색에 더욱 더 유용할 수 있다.
상기 최소 자유 공간과 최대 자유 공간 모두에는 도면을 구성하는 선도가 없거나 있더라도 희박한 선도 밀도인 것이 바람직할 것이다. 상기 선도 밀도는 흑백 도면일 경우, "선도가 있는 공간 크기/전체 공간 크기"로 계량할 수 있다.
이때, 상기 배치 처리 프로세스(3100)는 상기 도면 부호의 설명의 단어 수를 고려하여 단어 단위로 2행 이상으로 분절(개행 처리)하여 배치하여 겹침이 발생하는 지를 탐색하는 방법도 예비적으로 적용할 수 있다. 이러한 예비적 방법은 상기 도면 부호의 설명이 3단어 이상인 경우 아주 유용하게 활용될 수 있다. 상기 도면 부호의 설명 배치 최소 공간은 도면 부호의 설명의 길이 및 도면 부호의 설명이 표시되는 도면 부호의 설명 폰트의 크기에 의존성을 가진다. 상기 도면 부호의 설명 폰트의 크기는 도면 포함 도면 부호의 폰트 크기와 동일할 수도 있지만 더 작은 크기가 되는 것이 바람직할 것이다. 이유는 도면 부호의 설명의 길이가 도면 포함 도면 부호의 길이에 비하여 훨씬 더 큰 경우가 대부분이기 때문이다. 한편, 상기 도면 부호의 설명의 색깔은 도면 포함 도면 부호의 색깔과 일치할 수도 있지만, 일치하지 않는 것이 식별력 또는 가독성에 있어서 더욱 더 바람직할 것이다.
한편, 상기 배치 처리 프로세스(3100)는 폰트 크기의 조절이나 2행 이상의 개행 처리를 통해서도 상기 도면 부호의 설명의 충돌/겹침 현상을 피할 수 없는 경우에는 다음과 같은 3가지 중 어느 하나 이상을 적용하는 프로세스를 수행한다.
1) 충돌/겹침 현상이 발생하는 도면 부호의 설명 간의 색깔이나 폰트 종류나 폰트 크기를 달리하는 방법
2) 충돌/겹침 현상이 발생하는 도면 부호의 설명 중 어느 하나 이상을 축약 표기하는 경우(예를 들면 3단어 중 2단어만 표시하는 등과 같은 축약 표기 처리)
3) 충돌/겹침 현상이 발생하는 도면 부호의 설명 중 어느 하나 이상을 도면의 여백 공간에 표기하고, 선택적으로 여백 공간에 표기된 도면 부호의 설명과 이에 대응하는 도면 포함 도면 부호 간을 연결선으로 연결하여 도면 포함 도면 부호에 대응되는 도면 부호의 설명을 쉽게 발견할 수 있도록 처리하는 방법
한편, 도면 이미지는 대부분 흑백으로 되어 있고, 사용자 컴퓨터(910)는 칼라 디스플레이를 갖춘 것이 대부분이다. 이 점을 활용하면, 상기 배치 처리 프로세스(3100)는 도면 부호의 설명이 표시될 공간을 탐색할 때, 반드시 흰색 여백만을 대상으로 탐색할 필요는 없게 된다. 즉, 도면 이미지가 흑백일 경우에는 도면 부호의 설명은 칼라로 표시되는 것이 바람직할 것이다. 이에 따라서, 남용만 되지 않는다면, 칼라로 표시되는 도면 부호의 설명이 흑백으로 된 도면의 선 위를 가로지르는 경우가 발생하는 경우도 부분적으로 허용될 수 있다. 배치 처리 프로세스(3100)는 도면 부호의 설명의 배치 공간을 탐색할 때 흰색으로 된 공간을 우선적으로 탐색하지만, 예외적으로는 도면의 내용을 이루는 선 또는 선도를 가로지르는 공간도 탐색할 수 있다. 물론, 이 경우에도 탐색된 공간에서 선이 차지하는 부분(흑색 부분)의 밀도나 비율은 낮을수록 좋을 것이다. 도 24에서 도면 포함 도면 부호 302, 320, 306, 310, 318에 대응되는 도면 부호의 설명들은 도면 부호의 설명이 도면의 내용을 이루는 선을 가로지르고 있다.
특히, 이러한 배치 탐색이 필요한 근본적인 이유는 특허 명세서 작성자가 도면 이미지에서 도면 부호를 붙일 때 도면 부호의 설명이 배치될 것을 가정하지 않고 도면 포함 도면 부호의 위치를 정하기 때문이다. 현실적으로는 도면의 물리적 경계 근처에 위치하고 있는 도면 포함 도면 부호에 대해서 이러한 배치 탐색은 더욱 더 효과적이다. 다만, 배치 처리 프로세스(3100)가 도면 부호의 설명의 배치 공간을 탐색할 때, 서로 다른 칼라로 표시되더라도 서로 다른 도면 부호의 설명이 겹치는 것은 가능한 한 지향하는 것이 바람직할 것이다.
도 17은 본 발명의 배치 처리 프로세스(3100)의 도면 부호의 설명 배치 프로세스에 대한 다른 일 실시예적 구현예이다.
도 17에서 예시되듯이 상기 특허 도면 부호-설명 결합 서버(300)는 제n 도면 포함 도면 부호 위치 좌표, 제n 도면 부호의 설명 텍스트 입수(S121)하고, 제n 도면 부호의 설명 텍스트의 길이를 입수(S122)하고, 제n 도면 부호의 설명 텍스트의 길이를 반지름으로 하고, 제n 도면 포함 도면 부호 블록의 우측면 중심에서 제n 도면 부호의 설명 텍스트 길이를 반지름으로 하는 반원을 형성(S123)하고, 반원의 내에서 기 설정된 각도 단위로 제n 도면 부호의 설명 텍스트 공간과 제1 내지 제n-1 도면 부호의 설명 텍스트가 최소로 충돌하는 각도 결정(S124)하고, 결정된 최소 충돌 각도 데이터를 포함하여 상기 배치 정보셋에 저장(S125)하는 방식으로 프로세싱 한다.
도 18은 상기 배치 처리 프로세스(3100)의 예외 처리 방법에 대해서 설명한다. 예외 처리가 필요한 경우는 도면 이미지에서 도면 포함 도면 부호의 밀도가 특별히 높은 영역이 있는 것과 같이, 적어도 하나 이상의 특정 도면 부호의 설명을 표시하기 위한 최소 여백 공간이 도면 포함 도면 부호 주위에 없는 때에 많이 발생한다. 본 발명에서의 예외 처리는 몇 개의 도면 포함 도면 부호에 대응되는 도면 부호의 설명을 모아서, 도면 이미지의 특정 영역(1개 또는 복수 개 영역)에 배치될 수 있도록 처리하는 것을 포함한다.
상기 배치 처리 프로세스(3100)는 도면 포함 도면 부호에 대한 처리 순위 정보를 입수(S111)하고, 도면 부호의 설명에 대한 예외 처리가 필요한 N개의 도면 포함 도면 부호를 입수(S131)한다. 이때, 예외 처리가 필요한 N개의 도면 부호 및 도면 부호의 설명의 표시를 위한 최소 필요 여백 공간을 계산(S132))한다. 이렇게 N개에 대한 최소 필요 여백 공간을 계산하는 것은 가능하다면 1개의 영역에 N개의 도면 포함 도면 부호에 대응되는 도면 부호의 설명들을 모아서 표시해 주는 것이 바람직하기 때문이다. N개가 불가능하다면, n(n<N)개로 분할하여 분할된 그룹별로 모아서 표시해 줄 수 있다. 도 31에는 3개의 도면 부호 클러스터가 있고, 이들 각각에서는 도면 부호의 설명들이 모아서, "도면 포함 도면 부호:도면 부호의 설명"의 형식으로 표시되어 있다.
도 18에서 예시되듯이, 상기 배치 처리 프로세스(3100)는 N개의 표시를 위한 단일 최소 필요 여백 공간이 도면 이미지에 있는가를 판단(S133)한 다음, 긍정적인 경우(yes) , 단일 최소 필요 여백 공간을 도면 부호 및 도면 부호의 설명의 배치를 위한 배치 공간 데이터값으로 생성(S134)한다. 아닐 경우(no) 배치 처리 프로세스(3100)는 N개를 n분할(n>1)하고, n개의 분할한 도면 부호 및 도면 부호의 설명 그룹별로 그룹을 표시할 단일 최소 필요 여백 공간이 있는가를 판단(S135)하고 긍정적일 경우(yes), 단일 최소 필요 여백 공간을 그룹을 표시를 위한 도면 부호의 설명의 배치 공간 데이터값으로 생성(S136)하고, 아닐 경우(no) 도면 부호의 설명의 배치 공간 데이터 값의 생성을 포기(S137)한다.
도 19는 본 발명의 배치 처리 프로세스(3100)가 도면 포함 도면 부호들의 밀도를 계량하고, 밀도에 따른 근접 도면 포함 도면 부호 클러스터를 발굴하고 처리하는 프로세스에 대한 일 실시예적 구현예이다.
도 19에서 예시되듯이 상기 배치 처리 프로세스(3100)는 2 이상의 근접 도면 포함 도면 부호 클러스터를 발굴(S141)하고, 근접 도면 포함 도면 부호 클러스터의 표시 밀도를 계량(S142)하고, 표시 밀도가 기 설정된 수준 이상인가를 판단(S143)한다. 상기 배치 처리 프로세스(3100)는 판단 결과 밀도가 수준 이상을 경우(Yes) 도면 포함 도면 부호별 도면 부호의 설명 배치 데이터를 생성하지 않고, 도면 내에 도면 부호의 설명 그룹을 표시할 수 있는 여백 공간의 위치 정보를 탐색(S144)한다. 상기 배치 처리 프로세스(3100)는 밀도가 수준 이하일 경우(No) 도면 포함 도면 부호별로 도면 부호의 설명 배치 데이터를 생성(S145)한다.
이때, 여백 공간에 표시되는 도면 부호의 설명은 겹침/충돌이 발생하는 도면 부호의 설명을 대상으로 하며, 상대적으로 중요도가 낮은 도면 부호의 설명이 여백 공간에 표시되도록 처리하는 것이 바람직할 것이다. 상대적으로 중요도가 낮은 도면 부호의 설명의 예시는 다른 도면에서도 빈번하게 등장하는 도면 부호의 설명이거나, 반대로 상위 계층의 도면 포함 도면 부호에 대응되는 도면 부호의 설명을 들 수 있다.
상기 여백 공간의 탐색은 도면의 물리적 경계 조건(상하좌우) 하에서 탐색되어야 한다. 특히, 도면의 우측 경계 근방에 위치한 도면 포함 도면 부호의 경우, 도면 부호의 설명을 오른쪽으로 배치시킬 수 없는 문제가 발생한다. 따라서, 예시적으로 상기 배치 처리 프로세스(3100)는 도면의 우측 경계부(예를 들면, 전체 도면을 수직으로 10등분했을 때, 우측에서 0~20% 내)에 있는 도면 포함 도면 부호의 경우, 아주 짧은 도면 부호의 설명이 아닌 다음에는 도면 부호의 설명을 도면 포함 도면 부호의 좌측이 아니라 우측에 배치시키는 정보 처리를 수행한다. 따라서, 상기 배치 처리 프로세스(3100)의 도면 부호의 설명을 위한 배치 공간의 탐색은 도면 포함 도면 부호의 우측 방향 쪽으로 집중되며, 도면 부호의 설명의 배치도 도면의 물리적 우측 경계선 내에서 처리된다.
상기 배치 처리 프로세스(3100)는 도면에서 절대 여백 공간을 발굴하여, 절대 여백 공간에 기 설정된 조건에 대응되는 도면 부호의 설명을 집중적으로 배치시키는 정보 처리를 수행한다. 도면의 특정 공간에 도면 포함 도면 부호가 집중적으로 배치되거나, 도면 포함 도면 부호가 도면의 물리적 우측 경계면 주변에 몰려 있는 경우 도면 부호의 설명의 배치할 수 있는 여백 공간이 절대적으로 부족할 수 있다. 이때, 상기 배치 처리 프로세스(3100)는 도면에서 적어도 하나 이상의 절대적 여백 공간(도면 포함 도면 부호나 도면을 구성하는 선도, 색 구분, 색 흐림 등이 없는 공간)을 탐색하고, 절대적 여백 공간의 물리적 위치 및 크기를 계산한다. 통상적으로 Fig. 표현 근방이나 도면의 상단부나 하단부에 절대적 여백 공간이 많이 있다.
도 31에서 예시되는 바와 같이, 상기 특허 도면 부호-설명 결합 서버(300)는 도면 포함 도면 부호의 주변에 도면 부호의 설명을 배치시키지 못하는 도면 부호의 설명들을 모아서 절대적 여백 공간에 도면 부호의 설명을 표시할 수 있다. 이때, 상기 도면 포함 도면 부호와 도면 부호의 설명은 상당히 많이 떨어져 있으므로, 절대적 공간에 표시되는 도면 부호의 설명 앞이나 뒤에는 도면 포함 도면 부호가 함께 표시되어 있거나, 도면 포함 도면 부호와 도면 부호의 설명 사이를 색깔이 있는 연결선으로 연결하는 처리를 되는 것이 바람직할 것이다.
도면 부호-설명 결합 정보셋 처리 프로세스(3200)에 대해서 설명한다. 상기 도면 부호-설명 결합 정보셋 처리 프로세스(3200)는 배치 정보셋 입수 프로세스(3210)가 입수한 배치 정보셋을 대상으로 하기와 같은 정보를 부가하여 도면 부호-설명 결합 정보셋을 생성한다. 부가하는 정보는 도면 부호의 설명에 대한 중요도 정보 및 계열 정보가 될 수 있다.
중요도 정보는 중요도 처리 프로세스(2200)가 수행한다. 상기 중요도 처리 프로세스(2200)은 도면 부호의 설명이 나온 위치 정보 및 빈도 정보를 입수 받고 기 설정된 중요도 판단 로직에 따라, 도면 부호의 설명별 중요도를 판단한다. 예를 들면 독립항에도 나타나고 종속항에도 나타나는 도면 부호의 설명의 중요도는, 발명의 상세한 설명에만 나타나는 도면 부호의 설명보다 중요도의 가점이 높게 부여되게 된다.
한편, 많은 도면에서 상위 개념-하위 개념-세부 개념별로 계층적으로 도면 부호가 부여되는 경우가 많다. 예를 들면, 본 발명의 도면에서도 상위 개념인 특허 도면 부호-설명 결합 프로세서(3000)는 도면 부호 3000이, 하위 개념인 배치 처리 프로세스(3100)와 도면 부호-설명 결합 정보셋 처리 프로세스(3200)와 결합 처리 프로세스(3300)에는 각각 3100, 3200 및 3300이 부여되고 있다. 한편, 배치 처리 프로세스(3100)의 세부 개념인 배치 탐색 프로세스(3110) 및 배치 정보셋 생성 프로세스는 각각 3110과 3120이 부여되어 있다. 이와 같이, 상기 계열 처리 프로세스(2300)는 명세서 포함 도면 부호를 구성하는 부호 체계에서의 앞 표시 문자열의 공통성을 기준으로, 명세서 포함 도면 부호의 번호 표기 체계의 계층 구조를 인식한다. 이어, 상기 계열 처리 프로세스(2300)는 인식된 번호 표기 체계의 계층 구조를 사용하여 명세서 포함 도면 부호 전체 집합에 대하여 적어도 2 이상의 계열 그룹을 생성한다. 예를 들면, 명세서 포함 도면 부호 3000 계열에는 3100, 3200, 3300이 있고, 3100 계열에는 3110과 3120이 있게 된다. 이와 같은 방식으로 명세서 포함 도면 부호의 계열이 인식되면, 각 명세서 포함 도면 부호에 대응되는 도면 부호의 설명별로 색깔 계열이 부여될 수도 있으며, 계층 구조 상의 위치에 따라 폰트 사이즈도 다르게 부여될 수 있을 것이다. 예를 들면, 명세서 포함 도면 부호 3000 계열에 대응되는 도면 부호의 설명의 경우 색깔로 녹색이 배정될 수 있을 것이다. 그리고, 3000에 대응되는 도면 부호의 설명은 폰트 크기 60에 진한 녹색, 3100, 3200, 3300에 대응되는 도면 부호의 설명은 폰트 크기 47에 중간 녹색, 3110과 3120에 대응되는 도면 부호의 설명은 폰트 크기 30에 옅은 녹색이 배정될 수 있을 것이다.
하기 표 10은 예시적인 도면 부호의 설명에 대한 표현 데이터의 예시이며, 이러한 표현 데이터는 도면 부호-설명 결합 정보셋의 요소가 된다. 본 발명의 상기 도면 부호-설명 결합 정보셋 생성 프로세스(3230)가 처리하는 상기 도면 부호-설명 결합 정보셋에는 배치 정보셋과 하기와 같은 표현 데이터가 포함되어 있다.
Figure PCTKR2018003371-appb-T000010
상기 표 10과 같은 데이터는 도면 부호의 설명 배치 데이터부(5230) 또는 도면 기반 데이터부(5210)에 저장되며, 집계 정보는 집계 데이터부(5250)에도 저장될 수 있다.
상기 예시의 도면 부호의 설명 위치 칼럼에서 "우측"은 도면 포함 도면 부호의 문자열의 나열 방향인 우향과 같은 방향의 연장되는 위치에 도면 부호의 설명이 표시됨을 의미한다. 한편, 도면 포함 도면 부호의 문자열 나열 방향이 우향인 경우에라도 도면 부호의 설명은 도면 포함 도면 부호의 아래 또는 위에 표시될 수도 있다. 통상적인 도면 포함 도면 부호의 문자열 나열 방향은 우향인 것이 일반적이나 경우에 따라서는 상향 또는 하향 또는 일정한 각도를 가지는 방향도 있다. 이 경우에도 문자열의 나열 방향의 연장 방향에 도면 부호의 설명이 표시되는 것이 통상적으로 바람직하다.
상기 도면 부호의 설명 위치는 정확하게 지정될 필요성이 있다. 가장 보편적인 방법은 도면 부호의 설명 위치를 결정하기 위한 4개의 좌표값(도면 부호의 설명이 표시되는 직사각형 도면 부호의 설명 블록에 대응되는 4개의 꼭지점의 좌표값)을 도입하는 것이다. 도면 포함 도면 부호의 위치 정보도 4개의 좌표값으로 구성되는 것이 바람직할 것이다.
상기와 같이 중요도 및 계열을 반영하여 각각의 도면 부호의 설명이 표현되는 양식/형태를 결정하는 것은 본 발명은 표현 처리 프로세스(3220)가 수행한다.
이때, 특정한 검색 키워드를 입력한 사용자에게 검색 결과로서 특허 정보와 관련된 도면을 제공할 때, 검색 키워드와 일치하거나 검색 키워드의 전부 또는 일부가 포함되어 있는 도면 부호의 설명이 있는 경우, 그러한 도면 부호의 설명은 눈에 띄기 좋게 강조하여 표시할 필요가 있다. 이러한 정보 처리는 본 발명의 외부 정보 반응 처리 프로세스(3221)가 수행한다. 상기 외부 정보 반응 처리 프로세스(3221)는 사용자 세션별로 사용자가 입력한 검색 키워드를 저장하고 있다가, 도면 부호의 설명 리스트를 대상으로 검색 키워드를 조회하여, 일치하는 문자열이나 포함 관계가 성립하는 도면 부호의 설명이 있는 경우, 그러한 도면 부호의 설명에 대해서는 특별한 표현(예, 폰트 크기, 색깔, 음영 등)이 부가되도록 처리할 수 있다. 상기와 같은 처리는 상기 외부 정보 반응 처리 프로세스(3221)가 타 장치(900)의 한 예시인 사용자 컴퓨터(910)에 전달되는 도면 부호의 설명 데이터에, 특별한 표현이 표시될 수 있도록 처리될 수 있는 데이터를 추가/합체시키는 방식으로 수행된다.
이어, 도면 부호의 설명과 도면 이미지와의 관계, 표시 또는 결합에 대해 설명한다.
상기 도면 부호의 설명은 도면 이미지에 강한 결합(hard binding) 기반 데이터 제공 방식으로 처리되어 물리적으로 일체(단일 파일에 도면 포함 도면 부호와 도면 부호의 설명이 모두 존재하는 방식 또는 레이어 개념이 적용되지 않는 방식)로 존재할 수도 있다. 하지만, 타 장치(900)의 일례인 사용자의 컴퓨터에 도면이 표시될 때, 도면 이미지와 도면 부호의 설명 레이어 정보가 결합되어 제공되는 약한 결합(soft binding) 지향 데이터 제공 방식이 더욱 더 바람직할 수 있다.
약한 결합(soft binding) 지향 데이터 제공 방식에 대해서 더욱 더 상세하게 설명한다. 상기 특허 도면 부호-설명 결합 서버(300)는 하기와 같은 방식으로 타 장치(900)(예시적으로 사용자 컴퓨터(910))에 제공될 데이터를 생성할 수 있다.
<div style="position: relative;">
　　　 <img src="http://..._pct00010.png"/>
　　　 <div style="position: absolute; top: 856px; left: 25px; font-size: 47px;"> 박막 트랜지스터 구조체들</div>
　　　 <div style="position: absolute; top: 437px; left: 773px; font-size: 47px;">출력 단자</div>
</div>
상기에서　　 <img src="http://..._pct00010.png"/>는 브라우저가 도면 이미지 파일을 읽어올 수 있도록 처리하는 구문의 예시이다.
상기와 같이 데이터를 사용자 컴퓨터(910)에 제공하면, 사용자 컴퓨터(910)의 브라우저는 " 박막 트랜지스터 구조체들"이라는 도면 부호의 설명을 도면 이미지 위에 폰트 크기 47로 지정된 좌표값에 표시될 수 있도록 처리한다. 상기와 같은 처리를 통해서 도 24에서 예시되는 바와 같이 " 박막 트랜지스터 구조체들"이라는 도면 부호의 설명이 도면 이미지 위의 지정된 위치에 표시되게 된다. 이와 같이, 특정한 도면 이미지와 독립적인 레이어에 도면 부호의 설명이 표시되도록 데이터를 생성하는 것은 본 발명의 논리적 결합 처리 프로세스(3320)가 수행한다.
사용자 컴퓨터(910)에 의해 특정한 도면 이미지가 호출될 때, 상기 특허 도면 부호-설명 결합 서버(300)는 상기 도면에 대응되는 도면 부호의 설명 데이터가 사용자 컴퓨터(910)에서 표시될 수 있도록 예시되는 바와 같이 가공 처리한 데이터를 사용자 컴퓨터(910)에 제공한다.
강한 결합(hard binding) 기반 데이터 제공 방식이 아닌, 약한 결합(soft binding) 지향 데이터 제공 방식은 몇가지 장점이 있다.
첫째, 도면 이미지 데이터는 변동성이 거의 없지만 도면 이미지 데이터에서 추출하는 도면 포함 도면 부호 및 도면 포함 도면 부호에 대응되는 도면 부호의 설명은 상대적으로 변동성이 클 수 있다. 도면 포함 도면 부호의 인식의 정확도, 도면 포함 도면 부호와 명세서 포함 도면 부호의 맵핑, 명세서에서 도면 부호의 설명 추출 및 명세서 포함 도면 부호와 도면 부호의 설명에 대한 맵핑은 정보 처리 방식이나 정책, 우선 순위 등에 따라 가변적일 수 있다. 따라서, 도면 이미지와 도면 부호의 설명을 강하게 결합하는 경우, "도면 포함 도면 부호 vs. 도면 부호의 설명"에서 변동이 발생하는 경우에는 과거에 생성되어 있던 가공 도면을 폐기해야 하는 문제가 발생할 수도 있다.
둘째, 도면 부호의 설명은 번역의 대상이 될 수 있다. 영어로 된 도면 부호의 설명을 기계 번역 등의 번역을 수행하여 자신이 원하는 언어로 표시되게 하기 위해서는 번역 기능을 제공하는 프로그램/서비스도 필요하지만 무엇보다도 도면 부호의 설명이 이미지가 아닌 텍스트로 인지될 수 있어야 한다.
셋째, 도면 부호의 설명을 표시하는 방법이 지속적으로 변동할 수도 있다. 도면 부호의 설명 배치 데이터를 구성하는 내용이 달라지거나 업데이트 되는 경우, 변경 또는 업데이트가 반영된 도면 부호의 설명이 제공될 필요가 있다.
도 20은 본 발명의 특허 도면 OCR 장치(100)의 복합 도면을 전처리 프로세스에 대한 일 실시예적 구현예이다.
도 20에서 예시되듯이 상기 특허 도면 OCR 프로세서(1000)는 도면에서 도면 번호의 개수를 식별(S151)하고, 도면 번호의 개수가 2 이상인 경우, 상기 도면을 도면 번호의 개수만큼 절단하여 독립 도면 데이터를 생성(S152)하는 방식으로 프로세싱 한다.
도면 번호의 개수는 "Fig. + 숫자"나 "도 + 숫자"와 같은 독립적인 도면 번호를 가지는 표현이 단일 도면 이미지 파일에 몇 개 존재하는 가를 파악하는 것을 말한다. 상기 특허 도면 부호-설명 결합 서버(300)는 독립적인 도면 번호를 가지는 표현 단위로 도면을 물리적으로 분할 처리하고, 분할된 도면을 대상으로 본 발명 사상을 적용할 수 있다.
도 25는 US 특허 출원 14/249,716호의 특정 도면(도 10)에 대한 본 발명 사상 적용 전의 도면에 대한 예시이다. 상대적으로 간단한 도면이나 이 도면의 도면 포함 도면 부호에는 도면 부호의 설명이 부가되어 있지 않다.
도 26은 US 특허 출원 14/249,716호의 특정 도면(도 10)에 대한 본 발명 사상 적용 후의 사용자가 체감할 수 있는 도면에 대한 예시이다.
도 25의 도면에 도면 부호의 설명이 부가된 본 발명이 적용된 도면이다.
도면 부호에 오리지널 도면 부호의 설명이 있는 경우, 기계 번역 또는 기타의 번역 과정을 통하여 번역된 도면 부호의 설명이 생성될 수 있을 것이다. 하기 표 11는 도 25와 관련된 오리지널 도면 부호의 설명과 다른 언어로 번역된 도면 부호의 설명이 쌍으로 나타나 있는 데이터의 예시가 된다.
Figure PCTKR2018003371-appb-T000011
도 27은 US 특허 출원 14/249,716호의 특정 도면(도 10)에 대한 본 발명 사상이 적용된 도면 부호의 설명 레이어에 대한 예시이다.상기의 예에서　이미지 파일을 지정하는　　 <img src="http://..._pct00010.png"/> 없이, 하기와 같은 취지의 데이터를 생성하여, 사용자 컴퓨터(910)에 제공하면, 도 27과 같이 도면 이미지 없는 도면 부호의 설명만의 레이어가 사용자에게 제시될 수 있다.<div style="position: relative;">　
　 <div style="position: absolute; top: 856px; left: 25px; font-size: 47px;"> thin-film transistor structures </div>
　　　 <div style="position: absolute; top: 437px; left: 773px; font-size: 47px;"> output terminal </div>
</div>
. . . . . .
도 28은 US 특허 출원 14/249,716호의 특정 도면에 대한 도면 부호의 설명이 오리지널 도면 부호의 설명이 아닌 번역된 도면 부호의 설명이 나타나는 일 예시이다. 도 25의 도면과 관련된 도면 부호의 설명이 다른 언어로 제공되된다. 이때, 도면 부호의 설명은 동일한 언어라도 다를 수 있다. 예를 들면, 번역기마다 다를 수 있다. 또한 특정 국가에서 특정 언어로 출원된 특허가 다른 나라에서 다른 언어로 출원된 경우, 그 다른 언어로 된 명세서에서 추출한 동일 도면 포함 도면 부호에 대응되는 도면 부호의 설명은 번역된 도면 부호의 설명과 다를 수도 있을 것이다.
상기 특허 도면 부호-설명 결합 서버(300)는 표 11와 같은 번역 데이터가 있는 경우, 하기와 같은 구문을 생성하여 사용자 컴퓨터(910)에 전송할 수 있다. 이러한 결과는 도 28에 있다.
<div style="position: relative;">　
　 <div style="position: absolute; top: 856px; left: 25px; font-size: 47px;"> 박막 트랜지스터 구조체들</div>
　　　 <div style="position: absolute; top: 437px; left: 773px; font-size: 47px;"> 출력 단자</div>
</div>
. . . . . .
이 구문에 하기과 같은 구문을 도면 부호의 설명 해당 구문의 위쪽에 추가하면 도 29와 같은 결과가 생성된다.
　　 <img src="http://..._pct00010.png"/>
도 29는 번역된 도면 부호의 설명이 적용된 사용자가 체감할 수 있는 도면에 대한 예시이다.
한편, 도 29와 같은 결과를 생성하기 위해서는 다른 방법도 있다. 도 26과 같은 결과물이 나타나 있는 사용자 브라우저에서 Google Translate와 같은 번역 API에게 화면 URL 및 번역 목적 언어를 전송하면, 태그부가 유지되고 비태그부만 번역된 결과물이 전송받을 수 있다.
도 30 내지 도 34는 US 특허 출원 14/249,716호의 다른 특정 도면(도3)에 대한 본 발명 사상 적용 전후에 대한 도면으로 각각 도 25 내지 도29에 대응된다.
도 31에는 도면 부호 64, 66, 68, 70, 74, 76이 동일한 도면 부호 클러스터를 이루고 있다. 상기와 같은 도면 부호 클러스터의 경우에는 도면 부호의 설명 옆에 도면 포함 도면 부호가 함께 나타나는 것이 바람직할 것이다. 동일한 도면 부호 클러스터를 이루를 "도면 포함 도면 부호 : 도면 부호의 설명"들은 모두 x좌표 값이 동일할 것이다. 본 발명의
하기 표 12는 US 특허 출원 14/249,716호의 다른 특정 도면(도3)에 대한 오리지널 도면 부호의 설명과 다른 언어로 된 도면 부호의 설명이 쌍으로 나타나 있는 데이터의 예시가 된다.
Figure PCTKR2018003371-appb-T000012
도 34는 US 특허 출원 14/249,716호의 특정 도면에 대한 번역된 도면 부호의 설명이 적용된 사용자가 체감할 수 있는 도면에 대한 다른 예시이다.
본 발명의 특허 정보 산업, 특허 정보 서비스 산업, 기술 정보 사업 및 기술 정보 서비스 산업에 광범위하게 활용할 수 있다.

Claims (11)

  1. 제공되는 특허 도면의 도면 부호의 주위에 도면 부호의 설명이 표시될 수 있도록 하는 처리하는 방법에 있어서,
    (a) i) 특허 도면 OCR 장치에 의해 특허 식별자와 대응될 수 있는 특허 도면 식별자에 대응되는 적어도 하나 이상의 특허 도면 이미지 파일이 입수된 후, 상기 특허 도면 이미지 파일에서 적어도 하나 이상의 도면 포함 도면 부호가 인식되고, 상기 도면 포함 도면 부호 의 위치 정보를 포함하는 인식된 상기 도면 포함 도면 부호에 대응되는 도면 포함 도면 부호 정보셋이 생성되는 제1 상태; 및 ii) 도면 부호-설명 인식 장치에 의해 도면 부호와 도면 부호의 설명이 포함된 명세서 문자열이 파싱되고, 상기 명세서 문자열에 포함된 적어도 하나 이상의 명세서 포함 도면 부호와 적어도 하나 이상의 도면 부호의 설명이 인식되며, 인식된 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 관계를 포함하는 특허 식별자별 명세서 포함 도면 부호-설명 맵핑 정보셋이 생성되는 제2 상태가 수행된 상태에서, 특허 도면 부호-설명 결합 서버가, 상기 특허 식별자에 대응되는 명세서 포함 도면 부호-설명 맵핑 정보셋 및 상기 특허 도면 식별자에 대응되는 상기 도면 포함 도면 부호 정보셋을 입수하는 단계;
    (b) 상기 특허 도면 부호-설명 결합 서버가, 상기 도면 포함 도면 부호 정보셋에 포함된 상기 도면 포함 도면 부호의 위치 정보와 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에 포함된 상기 명세서 포함 도면 부호에 맵핑된 도면 부호의 설명 정보로, 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되기 위한 여백 공간을 탐색하는 단계; 및
    (c) 상기 특허 도면 부호-설명 결합 서버가, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하는 단계;를 포함하는 것이며,
    상기 도면 포함 도면 부호와 상기 명세서 포함 도면 부호는 동일한 문자열이거나 동일성이 인정되는 문자열인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
  2. 제 1항에 있어서,
    상기 제1 상태를 달성하기 위하여 상기 도면 포함 도면 부호가 인식되는 방식은,
    (i1) 수집된 문자별 문자 대응 이미지 데이터에서 샘플링이 수행되는 단계;
    (i2) 샘플링 된 문자별 문자 대응 이미지 데이터를 n(n>=3인 자연수)개의 폴더(fold)로 분할하는 단계;
    (i3) n-1 폴더의 문자별 문자 대응 이미지 데이터를 학습 데이터로 하여 모델을 학습하고, 나머지 폴더의 문자별 문자 대응 이미지 데이터를 테스트 데이터로 하여, 테스터 에러를 구하는 과정을 n회 수행하는 교차 검증(cross validation)을 통해 하이퍼 파라미터(hyper parameter) 최적화 하는 단계; 및
    (i4) 수집된 문자별 문자 대응 이미지 데이터를 사용하고 최적화된 하이퍼 파라미터 조건 하에 학습 모형의 파라미터를 학습하는 단계;를 포함하여 수행되는 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
  3. 제 2항에 있어서,
    상기 학습 모형은 판별 딥러닝(Discriminant deep learning) 모형 및 생성 딥러닝(Generative deep learning) 모형 중에서 선택되는 어느 하나 이상인 것이며,
    학습 상기 하이퍼 파라미터는 레이어(layer)의 수, 잠재 변수(hidden variable)의 수, 드랍 아웃(drop out)비율, 필터 크기(filter size) 및 활성화 함수(activation function)의 종류 중에서 선택되는 어느 하나 이상인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
  4. 제 1항에 있어서,
    상기 (b) 단계에서 여백 공간을 탐색하는 것은
    (b1) 상기 도면 포함 도면 부호에 대해 상기 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 때의 배치 크기를 예측하는 단계;
    (b2) 상기 (b1) 단계에서 예측되는 도면 부호의 설명 배치 크기를 기준으로, 상기 도면 부호의 설명별 배치 크기보다 크거나 같은 여백 공간을 상기 도면 포함 도면 부호의 주변부에서 탐색하는 단계; 및
    (b3) 탐색된 여백 공간이 존재하는 도면 부호의 설명에 대해서 배치 정보셋을 생성하는 단계;를 포함하는 것이며,
    상기 배치 정보셋에는 상기 도면 부호의 설명이 배치될 수 있는 도면 부호의 설명 배치 공간에 대한 정보가 포함되어 있는 것인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
  5. 제 4항에 있어서,
    상기 (b1) 단계 및 (b2) 단계는 도면 포함 도면 부호별로 처리되는 것인 것이며,
    상기 (b2) 단계는 제1 도면 부호의 설명 배치 공간 내지 제i (i>1인 자연수) 도면 부호의 설명 배치 공간이 정해진 상태에서,
    (b21) 제i+1 도면 부호의 설명 배치 공간이 상기 제1 도면 부호의 설명 배치 공간 내지 상기 제i (i>1인 자연수) 도면 부호의 설명 배치 공간 중 어느 하나와도 겹침 내지 충돌이 발생하지 않는 도면 부호의 설명 배치 공간을 탐색하는 단계;
    (b22) i) 겹침 또는 충돌이 발생하지 않는 경우, 제i+1 도면 부호의 설명 배치 공간에 대한 정보로 상기 제i+1 도면 부호의 설명에 대한 배치 정보셋을 생성하고, ii) 겹침 내지 충돌이 발생하는 경우, 제i+1 도면 부호의 설명에 대해서는 예외 처리하는 단계;를 더 포함하는 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
  6. 제 4항에 있어서,
    도면 부호의 설명 배치 공간을 탐색하는 방향과 위치에는 우선 순위가 존재하는 것이며,
    상기 (b2) 단계는 도면 포함 도면 부호별로 우선 순위에 따라 도면 부호의 설명 배치 공간을 탐색하는 것이며,
    우선 순위에 따라 도면 부호의 설명 배치 공간의 탐색 시, 도면 부호의 설명 배치 공간이 도면의 물리적 경계를 침범하는 경우에는 차선 순위를 기준으로 도면 부호의 설명 배치 공간을 탐색하는 것인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
  7. 제 1항에 있어서,
    (d) 상기 특허 도면 부호-설명 결합 서버가, 상기 배치 정보셋을 사용하여 상기 도면 부호의 설명이 도면 이미지 상에 표현되는 조건 데이터를 포함하는 도면 부호-설명 결합 정보셋을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
  8. 제 7항에 있어서,
    상기 도면 부호-설명 결합 정보셋에는 도면 부호의 설명별 위치 정보를 필수적으로 포함하며,
    선택적으로 도면 부호의 설명별 폰트 종류 정보, 폰트 사이즈 정보, 칼라 정보, 음영, 농도, 배향 정보 중 어느 하나 이상을 포함하는 것인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
  9. 제 1항에 있어서,
    상기 제1 상태를 달성하기 위해 도면 포함 도면 부호를 인식함에 있어서, 상기 제2 상태를 달성하기 위해 인식되는 도면 부호의 설명 또는 상기 제2 상태를 달성하기 위해 생성되는 명세서 포함 도면 부호-설명 맵핑 정보셋 중 어느 하나 이상이 사용되는 것인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
  10. 제 9항에 있어서,
    상기 명세서 포함 도면 부호-설명 맵핑 정보셋에는 명세서 포함 도면 부호와 도면 부호의 설명에 대한 확률적 맵핑 데이터가 포함되어 있는 것이며,
    선택적으로 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에는 도면 부호의 설명에 대한 중요도 및 계열 처리 정보가 포함되어 있는 것인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
  11. 제공되는 특허 도면의 도면 부호의 주위에 도면 부호의 설명이 표시될 수 있도록 하는 처리하는 특허 도면 부호-설명 결합 서버에 있어서,
    상기 특허 도면 부호-설명 결합 서버는
    i) 특허 도면 OCR 장치에 의해 특허 식별자와 대응될 수 있는 특허 도면 식별자에 대응되는 적어도 하나 이상의 특허 도면 이미지 파일이 입수된 후, 상기 특허 도면 이미지 파일에서 적어도 하나 이상의 도면 포함 도면 부호가 인식되고, 상기 도면 포함 도면 부호 의 위치 정보를 포함하는 인식된 상기 도면 포함 도면 부호에 대응되는 도면 포함 도면 부호 정보셋이 생성되는 제1 상태; 및 ii) 도면 부호-설명 인식 장치에 의해 도면 부호와 도면 부호의 설명이 포함된 명세서 문자열이 파싱되고, 상기 명세서 문자열에 포함된 적어도 하나 이상의 명세서 포함 도면 부호와 적어도 하나 이상의 도면 부호의 설명이 인식되며, 인식된 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 관계를 포함하는 특허 식별자별 명세서 포함 도면 부호-설명 맵핑 정보셋이 생성되는 제2 상태가 수행된 상태에서, 상기 특허 식별자에 대응되는 명세서 포함 도면 부호-설명 맵핑 정보셋 및 상기 특허 도면 식별자에 대응되는 상기 도면 포함 도면 부호 정보셋을 입수하는 통신부;
    (I) 상기 도면 포함 도면 부호 정보셋에 포함된 상기 도면 포함 도면 부호의 위치 정보와 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에 포함된 상기 명세서 포함 도면 부호에 맵핑된 도면 부호의 설명 정보로, 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되기 위한 여백 공간을 탐색하는 프로세스;및 (II) 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하는 프로세스;를 수행하는 프로세서를 포함하는 것이며,
    상기 도면 포함 도면 부호와 상기 명세서 포함 도면 부호는 동일한 문자열이거나 동일성이 인정되는 문자열인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버.
PCT/KR2018/003371 2017-03-22 2018-03-22 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 방법 및 장치 WO2018174603A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/496,165 US11080910B2 (en) 2017-03-22 2018-03-22 Method and device for displaying explanation of reference numeral in patent drawing image using artificial intelligence technology based machine learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0035792 2017-03-22
KR20170035792 2017-03-22

Publications (1)

Publication Number Publication Date
WO2018174603A1 true WO2018174603A1 (ko) 2018-09-27

Family

ID=63586456

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003371 WO2018174603A1 (ko) 2017-03-22 2018-03-22 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 방법 및 장치

Country Status (3)

Country Link
US (1) US11080910B2 (ko)
KR (2) KR20180107707A (ko)
WO (1) WO2018174603A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598649A (zh) * 2018-12-20 2019-04-09 江苏省舜禹信息技术有限公司 一种专利文件的处理方法、装置及存储介质
CN109657619A (zh) * 2018-12-20 2019-04-19 江苏省舜禹信息技术有限公司 一种附图翻译方法、装置及存储介质
CN110532415A (zh) * 2019-08-30 2019-12-03 百度在线网络技术（北京）有限公司 图像搜索处理方法、装置、设备及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102181677B1 (ko) * 2018-12-18 2020-11-24 (주)아이브릭스 특허 청구항 구조화를 위한 방법 및 장치
US10452902B1 (en) * 2018-12-21 2019-10-22 Capital One Services, Llc Patent application image generation systems
EP3675062A1 (en) 2018-12-29 2020-07-01 Dassault Systèmes Learning a neural network for inference of solid cad features
EP3675063A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of solid cad features
KR102338949B1 (ko) * 2020-02-19 2021-12-10 이영호 기술문서 번역 지원 시스템
KR102601980B1 (ko) * 2020-04-14 2023-11-14 주식회사 워트인텔리전스 특허 도면 부호 설명 출력 방법 및 이를 위한 장치, 시스템
KR102627180B1 (ko) 2021-03-09 2024-01-19 (주)윕스 여백을 활용한 특허 문서의 도면 표시 시스템
KR102274081B1 (ko) 2021-04-12 2021-07-07 사단법인 한국선급 딥러닝을 이용한 선박 도면 내 객체 인식 시스템
KR102533523B1 (ko) 2021-04-22 2023-05-17 (주)윕스 명세서 내용을 함께 표시하는 부호 기반 도면 표시 시스템
KR102635715B1 (ko) 2021-06-18 2024-02-13 (주)윕스 특허 문서에 대한 워드 클라우드 표시 시스템
US20230222281A1 (en) * 2022-01-07 2023-07-13 Google Llc Modifying the presentation of drawing objects based on associated content objects in an electronic document
KR20230109469A (ko) 2022-01-13 2023-07-20 (주)윕스 특허 문서에 대한 워드 관계망 표시 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8036493B1 (en) * 2006-03-27 2011-10-11 Neustel Michael S Method for correcting orientation of patent figures
WO2011156134A1 (en) * 2010-06-11 2011-12-15 Lexisnexis Systems and methods for analyzing patent-related documents
US20120183222A1 (en) * 2011-01-14 2012-07-19 Hon Hai Precision Industry Co., Ltd. Computing device and method for automatically typesetting patent images
US20130086050A1 (en) * 2011-10-03 2013-04-04 Steven W. Lundberg System and method for prior art analysis
US20140200880A1 (en) * 2007-06-06 2014-07-17 Michael S. Neustel Patent Analyzing System

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218782B1 (en) * 2003-04-18 2007-05-15 Kamran Reihani System and method for automated symbolic recognition including multi-phase symbolic reshaping
US9223769B2 (en) * 2011-09-21 2015-12-29 Roman Tsibulevskiy Data processing systems, devices, and methods for content analysis
US9064316B2 (en) * 2012-06-28 2015-06-23 Lexmark International, Inc. Methods of content-based image identification
US10474887B2 (en) * 2017-01-10 2019-11-12 Micro Focus Llc Identifying a layout error

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8036493B1 (en) * 2006-03-27 2011-10-11 Neustel Michael S Method for correcting orientation of patent figures
US20140200880A1 (en) * 2007-06-06 2014-07-17 Michael S. Neustel Patent Analyzing System
WO2011156134A1 (en) * 2010-06-11 2011-12-15 Lexisnexis Systems and methods for analyzing patent-related documents
US20120183222A1 (en) * 2011-01-14 2012-07-19 Hon Hai Precision Industry Co., Ltd. Computing device and method for automatically typesetting patent images
US20130086050A1 (en) * 2011-10-03 2013-04-04 Steven W. Lundberg System and method for prior art analysis

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598649A (zh) * 2018-12-20 2019-04-09 江苏省舜禹信息技术有限公司 一种专利文件的处理方法、装置及存储介质
CN109657619A (zh) * 2018-12-20 2019-04-19 江苏省舜禹信息技术有限公司 一种附图翻译方法、装置及存储介质
CN109598649B (zh) * 2018-12-20 2021-12-10 江苏省舜禹信息技术有限公司 一种专利文件的处理方法、装置及存储介质
CN110532415A (zh) * 2019-08-30 2019-12-03 百度在线网络技术（北京）有限公司 图像搜索处理方法、装置、设备及存储介质
CN110532415B (zh) * 2019-08-30 2022-08-30 百度在线网络技术（北京）有限公司 图像搜索处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20200143575A1 (en) 2020-05-07
KR20180107707A (ko) 2018-10-02
US11080910B2 (en) 2021-08-03
KR20180107764A (ko) 2018-10-02

Similar Documents

Publication Publication Date Title
WO2018174603A1 (ko) 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 방법 및 장치
WO2018034426A1 (ko) 커널 ｒｄｒ을 이용한 태깅 말뭉치 오류 자동수정방법
WO2020159232A1 (en) Method, apparatus, electronic device and computer readable storage medium for image searching
WO2020190112A1 (en) Method, apparatus, device and medium for generating captioning information of multimedia data
WO2020009297A1 (ko) 도메인 추출기반의 언어 이해 성능 향상장치및 성능 향상방법
WO2021141361A1 (en) Method for keyword extraction and electronic device implementing the same
WO2012134180A2 (ko) 문장에 내재한 감정 분석을 위한 감정 분류 방법 및 컨텍스트 정보를 이용한 다중 문장으로부터의 감정 분류 방법
WO2010021527A2 (ko) 영상에 포함된 객체를 색인하는 시스템 및 방법
WO2019177182A1 (ko) 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법
WO2013151347A1 (ko) 입력 장치 및 문자 입력 방법
WO2016085173A1 (en) Device and method of providing handwritten content in the same
WO2022065811A1 (en) Multimodal translation method, apparatus, electronic device and computer-readable storage medium
WO2020044290A1 (ko) 특허 문서 작성 장치, 방법, 컴퓨터 프로그램, 컴퓨터로 판독 가능한 기록매체, 서버 및 시스템
WO2022005188A1 (en) Entity recognition method, apparatus, electronic device and computer readable storage medium
WO2020197257A1 (ko) 가시적 표현 요소를 이용한 번역 방법 및 그 장치
WO2023172025A1 (ko) 시계열적 정보를 인코딩하는 모델을 사용하여 개체-쌍 사이의 연관성 관련 정보를 예측하는 방법 및 이를 이용하여 생성되는 예측 시스템
WO2020032564A1 (en) Electronic device and method for providing one or more items in response to user speech
WO2020130262A1 (ko) 컴퓨팅 장치 및 그 동작 방법
WO2015178716A1 (en) Search method and device
WO2013081381A1 (ko) 사용자 고유의 필적 생성 시스템 및 그 방법
WO2021162481A1 (en) Electronic device and control method thereof
WO2021246642A1 (ko) 폰트를 추천하는 방법 및 이를 구현하는 장치
WO2021107360A2 (ko) 유사도를 판단하는 전자 장치 및 그 제어 방법
WO2023177150A1 (ko) 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템
WO2022131723A1 (ko) 도면 독해 및 검색 기능 제공방법 및 그 장치와 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18772018

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18772018

Country of ref document: EP

Kind code of ref document: A1