KR20180107764A

KR20180107764A - 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 방법 및 장치

Info

Publication number: KR20180107764A
Application number: KR1020180033478A
Authority: KR
Inventors: 강민수; 황재성; 노석현
Original assignee: (주)광개토연구소
Priority date: 2017-03-22
Filing date: 2018-03-22
Publication date: 2018-10-02
Also published as: US11080910B2; KR20180107707A; US20200143575A1; WO2018174603A1

Abstract

본 발명은 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 장치 및 방법에 관한 것이다.
본 발명의 장치는 제공되는 특허 도면의 도면 부호의 주위에 도면 부호의 설명이 표시될 수 있도록 하는 처리하는 방법에 있어서, (a) i) 특허 도면 OCR 장치에 의해 특허 식별자와 대응될 수 있는 특허 도면 식별자에 대응되는 적어도 하나 이상의 특허 도면 이미지 파일이 입수된 후, 상기 특허 도면 이미지 파일에서 적어도 하나 이상의 도면 포함 도면 부호가 인식되고, 상기 도면 포함 도면 부호 의 위치 정보를 포함하는 인식된 상기 도면 포함 도면 부호에 대응되는 도면 포함 도면 부호 정보셋이 생성되는 제1 상태; 및 ii) 도면 부호-설명 인식 장치에 의해 도면 부호와 도면 부호의 설명이 포함된 명세서 문자열이 파싱되고, 상기 명세서 문자열에 포함된 적어도 하나 이상의 명세서 포함 도면 부호와 적어도 하나 이상의 도면 부호의 설명이 인식되며, 인식된 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 관계를 포함하는 특허 식별자별 명세서 포함 도면 부호-설명 맵핑 정보셋이 생성되는 제2 상태가 수행된 상태에서, 특허 도면 부호-설명 결합 서버가, 상기 특허 식별자에 대응되는 명세서 포함 도면 부호-설명 맵핑 정보셋 및 상기 특허 도면 식별자에 대응되는 상기 도면 포함 도면 부호 정보셋을 입수하는 단계; (b) 상기 특허 도면 부호-설명 결합 서버가, 상기 도면 포함 도면 부호 정보셋에 포함된 상기 도면 포함 도면 부호의 위치 정보와 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에 포함된 상기 명세서 포함 도면 부호에 맵핑된 도면 부호의 설명 정보로, 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되기 위한 여백 공간을 탐색하는 단계;및 (c) 상기 특허 도면 부호-설명 결합 서버가, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하는 단계;를 포함하는 방식으로 데이터 처리한다.
본 발명에 따르면, 문자별 문자 대응 이미지 데이터를 교차 검증(cross validation)을 통해 최적화(optimization)한 하이퍼 파라미터(hyper parameter) 조건 하에 학습 모형의 파라미터를 학습하여 생성되는 학습 모형을 사용하여 특허 도면 이미지에 포함된 도면 포함 도면 부호를 인식하고, 인식된 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 수 있는 배치 공간을 탐색하여, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하여 특허 도면 이미지에 대응하여 제공함으로써, 특허 도면에 나타나 있는 도면 부호의 주변에 원래 또는 번역된 도면 부호의 설명이 배치될 수 있게 된다. 이를 통하여, 특허 도면에 포함된 도면 부호가 지칭하는 바가 명확하고 빠르게 인지될 수 있게 되어 도면의 가독성이 증가되며, 특허 도면을 통한 특허의 기술 사상 이해의 촉진을 지원할 수 있다. 그리고, 도면 포함 도면 부호의 인식 시, 명세서에서 추출한 명세서 포함 도면 부호 리스트의 조회를 통하여 도면 부호의 인식 정확도를 개선시킬 수 있으며, 명세서에서 추출되는 명세서 포함 도면 부호와 도면 부호의 설명의 대응 관계를 통계적 확률 기반으로 처리하면 명세서의 기재 불비 요소가 포함되어 있더라도 도면 포함 도면 부호에 정확성 높은 도면 부호의 설명을 배치시킬 수 있게 되는 효과가 있다.

Description

인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 방법 및 장치{Device and Method on Showing Descriptions of the Figure Numbers on Patent Drawings Using Machine Learning Methodology Based on Using Artificial Intelligence Technology}

본 발명은 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 장치 및 방법에 관한 것으로서 더욱 더 상세하게는 문자별 문자 대응 이미지 데이터를 교차 검증(cross validation)을 통해 최적화(optimization)한 하이퍼 파라미터(hyper parameter) 조건 하에 학습 모형의 파라미터를 학습하여 생성되는 학습 모형을 사용하여 특허 도면 이미지에 포함된 도면 포함 도면 부호를 인식하고, 인식된 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 수 있는 배치 공간을 탐색하여, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하여 특허 도면 이미지에 대응하여 제공함으로써, 특허 도면에 나타나 있는 도면 부호의 주변에 원래 또는 번역된 도면 부호의 설명이 배치될 수 있게 하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 장치 및 방법에 대한 것이다.

특허 출원서에는 특허 명세서 및 도면을 포함하고 있다. 특허 도면 중에는 도면 부호에 대한 표시가 다수 포함되어 있는 도면이 많다. 하지만, 도면은 이미지 형태로 제공되고 있고, 도면 부호는 간략한 숫자 또는 숫자+문자 형태로 되어 있는 경우가 많아, 도면 부호만으로는 그 도면 부호가 지칭하는 대상을 정확하게 파악하기 어려운 문제가 있었다.

도 25와 도 30은 본 통상적인 도면에 도면 부호가 나타나 있지만, 도면 부호에 대한 설명이 부가되어 있지 않아, 도면 부호가 지칭하는 정확하고 빠르게 파악하기 어려운 종래의 특허 도면에 대한 예시이다.

이러한 도면 부호에 대한 도면 부호의 설명은 특허 명세서(주로 발명의 상세한 설명 등)에 나타나 있다. 하지만, 특허 도면과 특허 명세서는 공간적으로 분리되어 있을 뿐만 아니라, 특허 명세서에는 긴 문장 속에 전체 특허 내용에 대응되는 많은 도면 부호 및 도면 부호의 설명이 모두 포함되어 있어, 특정한 도면에 포함되어 있는 특정한 도면 부호에 대한 도면 부호의 설명을 빠르게 찾아 내기란 쉽지 않을 수 있다.

국가에 따라, 도면 부호의 설명만 따로 분리하여 기재하도록 권장하는 경우도 있지만, 이 경우에도 특허 전체에 대한 도면 부호 및 도면 부호의 설명이 맵핑되어 있어, 특정한 도면을 보고 있는 사람이 자신이 보고 있는 도면에 포함되어 있는 도면 부호에 대한 도면 부호의 설명만을 추출하기가 쉽지 않은 점이 있다.

또한, 1개의 도면에 다수의 도면 부호가 있는 경우, 그 도면 부호마다 도면 부호의 설명이 나타나 있지 않으면, 도면 부호가 지칭하는 바를 정확하게 파악하기란 쉬운 일이 아니다. 도 30은 이러한 예를 잘 나타내 주고 있다.

본 발명은 도면에 있는 도면 포함 도면 부호가 지칭하는 대상을 빠르고 명확하게 파악하지 못하는 종래의 불편함을 없애기 위한 것이다.

KR1020120032773 A1 KR1020160147950 A1

본 발명이 해결하고자 하는 과제는 상기 문제점을 해결하기 위한 것으로, 문자별 문자 대응 이미지 데이터를 교차 검증(cross validation)을 통해 최적화(optimization)한 하이퍼 파라미터(hyper parameter) 조건 하에 학습 모형의 파라미터를 학습하여 생성되는 학습 모형을 사용하여 특허 도면 이미지에 포함된 도면 포함 도면 부호를 인식하고, 인식된 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 수 있는 배치 공간을 탐색하여, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하여 특허 도면 이미지에 대응하여 제공함으로써, 특허 도면에 나타나 있는 도면 부호의 주변에 원래 또는 번역된 도면 부호의 설명이 배치될 수 있게 하여, 특허 도면에 포함된 도면 부호가 지칭하는 바가 명확하고 빠르게 인지될 수 있게 하고, 도면의 가독성을 증가시키며, 특허 도면을 통한 특허의 기술 사상 이해의 촉진을 지원할 수 있도록 하는 장치 및 방법을 제시하는 것이다.

본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 제공되는 특허 도면의 도면 부호의 주위에 도면 부호의 설명이 표시될 수 있도록 하는 처리하는 방법에 있어서, (a) i) 특허 도면 OCR 장치에 의해 특허 식별자와 대응될 수 있는 특허 도면 식별자에 대응되는 적어도 하나 이상의 특허 도면 이미지 파일이 입수된 후, 상기 특허 도면 이미지 파일에서 적어도 하나 이상의 도면 포함 도면 부호가 인식되고, 상기 도면 포함 도면 부호 의 위치 정보를 포함하는 인식된 상기 도면 포함 도면 부호에 대응되는 도면 포함 도면 부호 정보셋이 생성되는 제1 상태; 및 ii) 도면 부호-설명 인식 장치에 의해 도면 부호와 도면 부호의 설명이 포함된 명세서 문자열이 파싱되고, 상기 명세서 문자열에 포함된 적어도 하나 이상의 명세서 포함 도면 부호와 적어도 하나 이상의 도면 부호의 설명이 인식되며, 인식된 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 관계를 포함하는 특허 식별자별 명세서 포함 도면 부호-설명 맵핑 정보셋이 생성되는 제2 상태가 수행된 상태에서, 특허 도면 부호-설명 결합 서버가, 상기 특허 식별자에 대응되는 명세서 포함 도면 부호-설명 맵핑 정보셋 및 상기 특허 도면 식별자에 대응되는 상기 도면 포함 도면 부호 정보셋을 입수하는 단계; (b) 상기 특허 도면 부호-설명 결합 서버가, 상기 도면 포함 도면 부호 정보셋에 포함된 상기 도면 포함 도면 부호의 위치 정보와 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에 포함된 상기 명세서 포함 도면 부호에 맵핑된 도면 부호의 설명 정보로, 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되기 위한 여백 공간을 탐색하는 단계;및 (c) 상기 특허 도면 부호-설명 결합 서버가, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하는 단계;를 포함하는 것이며, 상기 도면 포함 도면 부호와 상기 명세서 포함 도면 부호는 동일한 문자열이거나 동일성이 인정되는 문자열인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법을 제시한다.

상기 제1 상태를 달성하기 위하여 상기 도면 포함 도면 부호가 인식되는 방식은, (i1) 수집된 문자별 문자 대응 이미지 데이터에서 샘플링이 수행되는 단계; (i2) 샘플링 된 문자별 문자 대응 이미지 데이터를 n(n>=3인 자연수)개의 폴더(fold)로 분할하는 단계; (i3) n-1 폴더의 문자별 문자 대응 이미지 데이터를 학습 데이터로 하여 모델을 학습하고, 나머지 폴더의 문자별 문자 대응 이미지 데이터를 테스트 데이터로 하여, 테스터 에러를 구하는 과정을 n회 수행하는 교차 검증(cross validation)을 통해 하이퍼 파라미터(hyper parameter) 최적화 하는 단계; 및 (i4) 수집된 문자별 문자 대응 이미지 데이터를 사용하고 최적화된 하이퍼 파라미터 조건 하에 학습 모형의 파라미터를 학습하는 단계;를 포함하여 수행되는 것이 바람직하다.

상기 학습 모형은 판별 딥러닝(Discriminant deep learning) 모형 및 생성 딥러닝(Generative deep learning) 모형 중에서 선택되는 어느 하나 이상인 것이며, 학습 상기 하이퍼 파라미터는 레이어(layer)의 수, 잠재 변수(hidden variable)의 수, 드랍 아웃(drop out)비율, 필터 크기(filter size) 및 활성화 함수(activation function)의 종류 중에서 선택되는 어느 하나 이상인 것이 바람직하다.

상기 (b) 단계에서 여백 공간을 탐색하는 것은 (b1) 상기 도면 포함 도면 부호에 대해 상기 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 때의 배치 크기를 예측하는 단계; (b2) 상기 (b1) 단계에서 예측되는 도면 부호의 설명 배치 크기를 기준으로, 상기 도면 부호의 설명별 배치 크기보다 크거나 같은 여백 공간을 상기 도면 포함 도면 부호의 주변부에서 탐색하는 단계; 및 (b3) 탐색된 여백 공간이 존재하는 도면 부호의 설명에 대해서 배치 정보셋을 생성하는 단계;를 포함하는 것이며, 상기 배치 정보셋에는 상기 도면 부호의 설명이 배치될 수 있는 도면 부호의 설명 배치 공간에 대한 정보가 포함되어 있는 것인 것이 바람직하다.

상기 (b1) 단계 및 (b2) 단계는 도면 포함 도면 부호별로 처리되는 것인 것이며, 상기 (b2) 단계는 제1 도면 부호의 설명 배치 공간 내지 제i (i>1인 자연수) 도면 부호의 설명 배치 공간이 정해진 상태에서, (b21) 제i+1 도면 부호의 설명 배치 공간이 상기 제1 도면 부호의 설명 배치 공간 내지 상기 제i (i>1인 자연수) 도면 부호의 설명 배치 공간 중 어느 하나와도 겹침 내지 충돌이 발생하지 않는 도면 부호의 설명 배치 공간을 탐색하는 단계; (b22) i) 겹침 또는 충돌이 발생하지 않는 경우, 제i+1 도면 부호의 설명 배치 공간에 대한 정보로 상기 제i+1 도면 부호의 설명에 대한 배치 정보셋을 생성하고, ii) 겹침 내지 충돌이 발생하는 경우, 제i+1 도면 부호의 설명에 대해서는 예외 처리하는 단계;를 더 포함하는 것이 바람직하다.

도면 부호의 설명 배치 공간을 탐색하는 방향과 위치에는 우선 순위가 존재하는 것이며, 상기 (b2) 단계는 도면 포함 도면 부호별로 우선 순위에 따라 도면 부호의 설명 배치 공간을 탐색하는 것이며, 우선 순위에 따라 도면 부호의 설명 배치 공간의 탐색 시, 도면 부호의 설명 배치 공간이 도면의 물리적 경계를 침범하는 경우에는 차선 순위를 기준으로 도면 부호의 설명 배치 공간을 탐색하는 것인 것이 바람직하다.

(d) 상기 특허 도면 부호-설명 결합 서버가, 상기 배치 정보셋을 사용하여 상기 도면 부호의 설명이 도면 이미지 상에 표현되는 조건 데이터를 포함하는 도면 부호-설명 결합 정보셋을 생성하는 단계;를 더 포함하는 것이 바람직하다.

상기 도면 부호-설명 결합 정보셋에는 도면 부호의 설명별 위치 정보를 필수적으로 포함하며, 선택적으로 도면 부호의 설명별 폰트 종류 정보, 폰트 사이즈 정보, 칼라 정보, 음영, 농도, 배향 정보 중 어느 하나 이상을 포함하는 것인 것이 바람직하다.

상기 제1 상태를 달성하기 위해 도면 포함 도면 부호를 인식함에 있어서, 상기 제2 상태를 달성하기 위해 인식되는 도면 부호의 설명 또는 상기 제2 상태를 달성하기 위해 생성되는 명세서 포함 도면 부호-설명 맵핑 정보셋 중 어느 하나 이상이 사용되는 것인 것이 바람직하다.

상기 명세서 포함 도면 부호-설명 맵핑 정보셋에는 명세서 포함 도면 부호와 도면 부호의 설명에 대한 확률적 맵핑 데이터가 포함되어 있는 것이며, 선택적으로 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에는 도면 부호의 설명에 대한 중요도 및 계열 처리 정보가 포함되어 있는 것인 것이 바람직하다.

본 발명이 이루고자 하는 다른 기술적 과제를 달성하기 위하여, 제공되는 특허 도면의 도면 부호의 주위에 도면 부호의 설명이 표시될 수 있도록 하는 처리하는 특허 도면 부호-설명 결합 서버에 있어서, 상기 특허 도면 부호-설명 결합 서버는 i) 특허 도면 OCR 장치에 의해 특허 식별자와 대응될 수 있는 특허 도면 식별자에 대응되는 적어도 하나 이상의 특허 도면 이미지 파일이 입수된 후, 상기 특허 도면 이미지 파일에서 적어도 하나 이상의 도면 포함 도면 부호가 인식되고, 상기 도면 포함 도면 부호 의 위치 정보를 포함하는 인식된 상기 도면 포함 도면 부호에 대응되는 도면 포함 도면 부호 정보셋이 생성되는 제1 상태; 및 ii) 도면 부호-설명 인식 장치에 의해 도면 부호와 도면 부호의 설명이 포함된 명세서 문자열이 파싱되고, 상기 명세서 문자열에 포함된 적어도 하나 이상의 명세서 포함 도면 부호와 적어도 하나 이상의 도면 부호의 설명이 인식되며, 인식된 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 관계를 포함하는 특허 식별자별 명세서 포함 도면 부호-설명 맵핑 정보셋이 생성되는 제2 상태가 수행된 상태에서, 상기 특허 식별자에 대응되는 명세서 포함 도면 부호-설명 맵핑 정보셋 및 상기 특허 도면 식별자에 대응되는 상기 도면 포함 도면 부호 정보셋을 입수하는 통신부; (I) 상기 도면 포함 도면 부호 정보셋에 포함된 상기 도면 포함 도면 부호의 위치 정보와 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에 포함된 상기 명세서 포함 도면 부호에 맵핑된 도면 부호의 설명 정보로, 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되기 위한 여백 공간을 탐색하는 프로세스;및 (II) 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하는 프로세스;를 수행하는 프로세서를 포함하는 것이며, 상기 도면 포함 도면 부호와 상기 명세서 포함 도면 부호는 동일한 문자열이거나 동일성이 인정되는 문자열인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버를 제시한다.

본 발명에 따르면, 문자별 문자 대응 이미지 데이터를 교차 검증(cross validation)을 통해 최적화(optimization)한 하이퍼 파라미터(hyper parameter) 조건 하에 학습 모형의 파라미터를 학습하여 생성되는 학습 모형을 사용하여 특허 도면 이미지에 포함된 도면 포함 도면 부호를 인식하고, 인식된 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 수 있는 배치 공간을 탐색하여, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하여 특허 도면 이미지에 대응하여 제공함으로써, 특허 도면에 나타나 있는 도면 부호의 주변에 원래 또는 번역된 도면 부호의 설명이 배치될 수 있게 된다. 이를 통하여, 특허 도면에 포함된 도면 부호가 지칭하는 바가 명확하고 빠르게 인지될 수 있게 되어 도면의 가독성이 증가되며, 특허 도면을 통한 특허의 기술 사상 이해의 촉진을 지원할 수 있다. 그리고, 도면 포함 도면 부호의 인식 시, 명세서에서 추출한 명세서 포함 도면 부호 리스트의 조회를 통하여 도면 부호의 인식 정확도를 개선시킬 수 있으며, 명세서에서 추출되는 명세서 포함 도면 부호와 도면 부호의 설명의 대응 관계를 통계적 확률 기반으로 처리하면 명세서의 기재 불비 요소가 포함되어 있더라도 도면 포함 도면 부호에 정확성 높은 도면 부호의 설명을 배치시킬 수 있게 되는 효과가 있다.

도 1은 본 발명 사상이 구현되는 전체 구성에 대한 일 실시예적 구현예이다.
도 2는 본 발명의 특허 도면 OCR 장치에 대한 일 실시예적 구현예이다.
도 3은 본 발명의 도면 부호-설명 인식 장치에 대한 일 실시예적 구현예이다.
도 4는 본 발명의 특허 도면 부호-설명 결합 서버에 대한 일 실시예적 구현예이다.
도 5는 본 발명의 도면 부호 인식 학습 장치에 대한 일 실시예적 구현예이다.
도 6은 본 발명의 데이터 저장 장치에 대한 일 실시예적 구현예이다.
도 7는 본 발명의 사상의 구현을 위한 일 실시예적 프로세스이다.
도 8은 본 발명의 특허 도면 OCR 장치의 도면 포함 도면 부호의 인식을 위한 일 실시예적 프로세스이다.
도 9는 본 발명의 특허 도면 OCR 장치의 숫자가 포함된 인식 문자열의 처리에 관한 일 실시예적 프로세스이다.
도 10은 본 발명의 특허 도면 OCR 장치의 인식된 문자열의 합성 처리에 관한 일 실시예적 프로세스이다.
도 11은 본 발명의 특허 도면 OCR 장치의 인식되는 도면 포함 도면 부호를 명세서 포함 도면 부호 리스트에 조회하는 방식으로 인식 정확도를 향상시키는 일 실시예적 프로세스이다.
도 12는 본 발명의 도면 부호-설명 인식 장치의 명세서 포함 도면 부호 및 도면 부호의 설명의 인식 처리에 관한 일 실시예적 프로세스이다.
도 13은 본 발명의 도면 부호-설명 인식 장치의 명세서 포함 도면 부호와 도면 부호의 설명 간의 맵핑 처리에 관한 일 실시예적 프로세스이다.
도 14는 본 발명의 도면 부호-설명 인식 장치의 도면 포함 도면 부호와 상기 도면 부호의 설명의 맵핑 데이터 생성 전 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 처리에 관한 일 실시예적 프로세스이다.
도 15는 본 발명의 도면 부호-설명 인식 장치의 명세서 포함 도면 부호를 매개로 도면 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터 생성 처리에 관한 일 실시예적 프로세스이다.
도 16은 본 발명의 특허 도면 부호-설명 결합 서버의 도면 부호의 설명 배치 데이터 생성 프로세스에 대한 일 실시예적 구현예이다.
도 17은 본 발명의 특허 도면 부호-설명 결합 서버의 도면 부호의 설명 배치 데이터 생성 프로세스에 대한 다른 일 실시예적 구현예이다.
도 18은 본 발명의 특허 도면 부호-설명 결합 서버의 예외적인 경우에서의 도면 부호의 설명 배치 데이터 생성 프로세스에 대한 다른 일 실시예적 구현예이다.
도 19는 본 발명의 특허 도면 부호-설명 결합 서버가 도면 포함 도면 부호의 밀도를 계량하고, 밀도에 따른 근접 도면 포함 도면 부호 클러스터를 발굴하고 처리하는 프로세스에 대한 일 실시예적 구현예이다.
도 20은 본 발명의 특허 도면 OCR 장치의 복합 도면을 전처리에 관한 일 실시예적 프로세스이다.
도 21은 본 발명의 도면 부호 인식 학습 장치의 학습 과정의 실시예적 구성이다.
도 22는 본 발명의 특허 도면 OCR 장치가 도면 부호 인식 학습 장치의 학습 결과물을 사용하는 일 실시예적 방법이다.
도 23은 본 발명의 특허 도면 OCR 장치가 도면 파일에서 patch들을 파싱 처리 후 생성되는 데이터에 대한 일 실시예적 시각화 결과물이다.
도 24는 대한민국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상의 구현 결과가 사용자 컴퓨터에서 사용자에게 보여 지는 최종 결과물의 일 실시예적 형태이다.
도 25는 미국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상 적용 전의 도면에 대한 예시이다.
도 26은 미국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상 적용 후의 사용자가 체감할 수 있는 도면에 대한 예시이다.
도 27은 미국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상이 적용된 도면 부호의 설명 레이어에 대한 예시이다.
도 28은 미국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상이 적용된 도면 부호의 설명 레이어에 오리지널 도면 부호의 설명이 아닌 번역된 도면 부호의 설명이 나타나는 일 예시이다.
도 29는 미국에 출원된 특정 특허의 특정 도면에 대한 본 발명 사상이 적용된 번역된 도면 부호의 설명이 적용된 사용자가 체감할 수 있는 도면에 대한 예시이다.
도 30은 본 발명 사상 적용 전의 도면에 대한 다른 예시이다.
도 31은 본 발명 사상 적용 후의 사용자가 체감할 수 있는 도면에 대한 다른 예시이다.
도 32은 본 발명 사상이 적용된 도면 부호의 설명 레이어에 대한 다른 예시이다.
도 33는 도면 부호의 설명 레이어에 오리지널 도면 부호의 설명이 아닌 번역된 도면 부호의 설명이 나타나는 다른 예시이다.
도 34는 번역된 도면 부호의 설명이 적용된 사용자가 체감할 수 있는 도면에 대한 다른 예시이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

본 명세서에서 OCR 등의 기술을 적용할 때, 딥러닝, 부스팅, SVM 등과 같은 머신 러닝 기반의 모델링이 포함될 수 있다. 이때, '모델링'또는 '모델 생성'은 절차에 따라 머신 러닝(machine running)을 수행함을 일컫는 용어인 바, 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아님을 통상의 기술자는 잘 이해할 수 있을 것이다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성 요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 이하, 통상의 기술자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

본 명세서에서 “특허”의 개념은 광의의 개념으로서, 특정 국가의 특허 뿐만 아니라, 각 국가의 특허의 모든 특허를 포함하는 개념이며, 개별 특허 또는 전세계의 공개/등록된 특허에 포함된 서지 정보, 가공 서지 정보, 명세서에 포함된 정보, 도면 정보 또는 이 정보의 가공 정보를 포함하는 것으로 이해되어야 한다.

본 발명의 장치는 전형적으로 컴퓨터 하드웨어(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨터 시스템의 구성 요소들을 포함할 수 있는 클라이언트 컴퓨터 및 서버 컴퓨터; 전자 통신선, 라우터, 스위치 등등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨터 하드웨어로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 활용하여 원하는 성능을 달성한다.

이하, 도면을 참조하면서 더욱 더 상세하게 설명한다.

도 1은 본 발명 사상이 구현되는 전체 구조에 대한 일 실시예적 구현예이다.

도 1에서 예시되는 바와 같이 본 발명의 구현에는 특허 도면 OCR 장치(100), 도면 부호-설명 인식 장치(200), 특허 도면 부호-설명 결합 서버(300), 도면 부호 인식 학습 장치(400), 데이터 저장 장치(500) 등이 사용된다. 상기 특허 도면 부호-설명 결합 서버(300)는 상기 유무선 네트워크(800)를 통하여 적어도 하나 이상의 타 장치(900)와 통신하면서 데이터를 입수하거나 전송할 수 있다. 상기 타 장치(900)의 예는 상기 특허 도면 부호-설명 결합 서버(300)를 사용하는 사용자의 컴퓨터(개인용 컴퓨터 또는 서버 또는 기타 장치(900))나, 상기 특허 도면 부호-설명 결합 서버(300)에 데이터를 제공해 주거나 데이터를 받는 서버나 장치일 수 있다. 물리적으로 하나의 서버 또는 클라우드 시스템에 상기 특허 도면 OCR 장치(100), 도면 부호-설명 인식 장치(200), 특허 도면 부호-설명 결합 서버(300), 도면 부호 인식 학습 장치(400), 데이터 저장 장치(500)가 탑재되어 있거나 서로 유무선 네트워크(800)을 통하여 연결되어 있을 수도 있다.

한편, 상기 특허 도면 OCR 장치(100)에 포함되어 있는 특허 도면 OCR 프로세서(1000), 상기 도면 부호-설명 인식 장치(200)에 포함되어 있는 도면 부호-설명 인식 프로세서(2000), 상기 특허 도면 부호-설명 결합 서버(300)에 포함되어 있는 특허 도면 부호-설명 결합 프로세서(3000) 및 상기 도면 부호 인식 학습 장치(400)에 포함되어 있는 도면 부호 인식 학습 프로세서(4000) 중 어느 하나 이상은 물리적으로 동일하거나 단일한 프로세서를 공유할 수도 있다.

아래에서 상술 되는 바와 같이 본 발명의 방법은 컴퓨터 하드웨어 및 소프트웨어의 조합을 활용하여 구현될 것이라는 점은 통상의 기술자는 용이하게 이해할 것이다.

도 2는 본 발명의 특허 도면 OCR 장치(100)의 일 실시예적 구현예이다.

상기 특허 도면 OCR 장치(100)는 특허 도면에 특화된 OCR(optical character recognition) 처리를 수행하는 특허 도면 OCR 프로세서(1000) 및 특허 상기 도면 OCR 장치의 통신을 지원하는 특허 도면 OCR 장치(100) 통신부(100a)를 포함하고 있다.

상기 특허 도면 OCR 프로세서(1000)는 적어도 하나 이상의 개별적인 도면 이미지 파일을 입수하는 기능을 수행하는 도면 파일 입수 프로세스(1100), 도면 이미지에서 적어도 하나 이상의 도면 이미지 구성 요소를 분해해 내는 도면 파일 파싱(parcing) 프로세스(1200), 및 도면 이미지에서 도면 문자열을 인식해 내는 도면 문자열 인식 프로세스(1300)를 포함하고 있다.

상기 도면 문자열 인식 프로세스(1300)에는 파싱된 도면 이미지 구성 요소 중에서 개별 문자(숫자, 알파벳 등의 글자 및 기타 문자로 취급될 수 있는 것)를 분류해 내는 도면 문자 분류 프로세스(1310), 분류해 낸 개별 문자들을 합성하여 도면 부호의 형태로 생성하는 도면 문자열 합성 프로세스(1320), 도면 포함 도면 부호를 인식해 내는 도면 부호 인식 프로세스(1330) 및 인식된 도면 포함 도면 부호에 대한 일체의 정보를 생성하고 저장하는 도면 부호 정보셋 생성 프로세스(1400)를 포함하고 있을 수 있다.

상기 도면 부호 인식 프로세스(1330)는 합성 문자에서 노이즈를 제거하는 합성 문자 노이즈 제거기(1331), 합성 문자를 명세서 포함 도면 부호 또는 명세서 포함 도면 부호를 포함하고 있는 명세서 포함 도면 부호-설명 맵핑 정보셋에 조회하는 합성 문자 조회 프로세스(1332), 도면 이미지 단위 또는 특허 식별자 단위로 도면 부호의 크기를 예측하는 도면 부호 크기 예측기(1333) 및 상기 도면 부호 크기 예측기(1333)를 사용하여 도면 부호처럼 인식 될 수 있지만 실질적으로 도면 부호가 아닌 도면 부호 노이즈를 제거하는 도면 부호 노이즈 제거기(1334)를 더 포함하고 있을 수 있다.

상기 도면 파일 파싱 프로세스(1200)는 도면 파일에서부터 문자를 판단해야 하는 패치(patch)들의 후보군들을 파싱하는 프로세스이다. 상기 도면 파일 파싱 프로세스(1200)는 도면 파일에서 색깔이 하얀색이 아닌 부분 중에 닫혀 있는 컨투어(contour)를 모두 찾아낸다. 도 23에서는 도면 파일에서 patch들을 파싱해 낸 결과에 해당하는 부분(녹색으로 처리된 박스)을 보여주고 있다.

상기 도면 문자 분류 프로세스(1310)는 도면 부호 인식 학습 장치(400)로부터 학습된 모델을 이용하여 도면의 patch들 중에 도면 문자를 분류해 내는 프로세스이다. 각 도면 patch들이 어떤 문자인지에 대한 확률값이 나오며, 예시적으로 그 중에 가장 가까운 문자를 patch당 최대 4개씩 output을 생성할 수 있다.

표 1 내지 표 3는 대한민국 출원번호 제1020167002395호의 도 10에 해당하는 도면 이미지를 대상으로 상기 도면 문자 분류 프로세스(1310)가 생성하는 데이터의 일 예시이다.

표 1에서 각 row는 1개의 patch에 대한 정보값이다. x, y는 patch의 좌하단 좌표값이며, w는 patch폭의 크기, h는 patch의 높이가 된다. x+w는 patch의 좌우단 x좌표이며, y+h는 patch의 좌상단 y좌표가 된다.

표 2에서 result는 patch에 대한 인식값 중 확률이 가장 높은 문자, neighbor는 인식값이 낮은 문자를 말한다.

표 3에서 result_prob는 patch에 대한 result 인식값에 대한 확률, nb숫자_prob는 neighbor들의 인식값에 대한 확률이다.

상기 도면 문자열 합성 프로세스(1320)는 각 도면의 patch로부터 인식된 도면 문자들 중에 위치가 가까이 붙어있는 도면 문자를 하나의 문자열로 합성해주는 프로세스이다. 도면 문자들의 위치가 가까이 붙어있는지를 판단하는 방법은 예시적으로 도면 문자의 중심 위치 사이 거리가 기 설정된 거리(예시적으로 문자 폭 평균의 350% 이상)보다 좁으면 가까이 붙어있는 것으로 판단하는 것일 수 있다.

상기 합성 문자 노이즈 제거 프로세스(1331)의 정보 처리 방법은 도 10에 잘 나타나 있다.

상기 합성 문자 노이즈 제거 프로세스(1331)는 합성 문자들 중에서 합성 문자 조회 프로세스(1332)를 통해 합성 문자가 특허 식별자별 명세서 포함 도면 부호 목록에 있는지를 판단하고, 있는 경우(Yes)에는 합성 문자는 유효하고 처리한다. 없는 경우(No), 합성 문자들의 후보군 집합 중에서 특허 식별자별 명세서 포함 도면 부호 목록에 있는지를 판단하고 있는 경우에는 합성 문자는 유효하며, 없는 경우에는 합성 문자는 노이즈로 처리한다.

예시적으로 하나의 도면 문자는 도면 문자 분류 프로세스(1310)로부터 최대 4개의 도면 문자가 될 수 있다. 따라서, 합성 문자가 2글자짜리라면 최대

개 조합의 합성 문자가 될 수 있다.

상기 합성 문자 조회 프로세스(1332) 는 해당 특허 식별자에 대한 명세서 포함 도면 부호들의 리스트를 불러온 다음, 인식된 합성 문자별로 합성 문자가 명세서 포함 도면 부호들의 리스트에 있는지 조회하는 방식으로 작동한다.

상기 도면 부호 크기 예측 프로세스(1333)는 도면 포함 도면 부호로서 유효한 합성 문자를 이용하여 도면 포함 도면 부호 크기를 예측한다. 하나의 도면에 도면 포함 도면 부호로써 유효한 합성 문자가 전혀 존재하지 않는 경우 특허 식별자의 다른 도면 이미지 중 이전에 학습된 도면 부호 크기를 바탕으로 예측한다. 도면 부호 크기 예측 로직의 예시는 하기와 같다.

상기 도면 부호 노이즈 제거 프로세스(1334)는 도면 부호 크기 예측 프로세스(1333)를 기반으로 인식된 도면 문자들이 도면 포함 도면 부호인지 노이즈인지를 판단하는 기능을 수행한다. 노이즈를 판단하는 알고리즘은 예시적으로 하기와 같다.

상기 도면 부호 정보셋 생성 프로세스(1400)는 인식된 도면 포함 도면 부호들의 위치 정보와 폰트 크기 등과 같은 도면 포함 도면 부호의 정보를 생성하고 저장하는 프로세스이다.

도 3은 본 발명의 도면 부호-설명 인식 장치(200)의 일 실시예적 구현예이다.

상기 도면 부호-설명 인식 장치(200)의 도면 부호-설명 인식 프로세서(2000)는 명세서 파일 또는 명세서 중에서 도면 부호 및 도면 부호의 설명에 대응되는 문자열이 포함되어 있는 명세서의 부분 데이터를 입수하는 명세서 입수 프로세(2100), 명세서 포함 도면 부호와 도면 부호의 설명을 인식하는 도면 부호-설명 인식 프로세스(2110) 및 명세서 포함 도면 부호와 도면 부호의 설명 간의 맵핑 정보를 생성하고 저장하는 도면 부호-설명 맵핑 정보셋 생성 프로세스(2400)를 포함하고 있다. 상기 도면 부호-설명 인식 프로세서(2000)는 선택적으로 명세서 포함 도면 부호 및/또는 도면 부호의 설명의 중요도 정보 처리를 수행하는 중요도 처리 프로세스(2200), 명세서 포함 도면 부호 집합 중에서 계열 관계가 성립되는 명세서 포함 도면 부호 부분 집합을 추출 및 식별화 조치를 수행하고, 명세서 포함 도면 부호 부분 집합에 포함된 명세서 포함 도면 부호에서 대해서 계열 처리를 수행하는 계열 처리 프로세스(2300)를 포함하고 있을 수 있다.

상기 도면 부호-설명 인식 프로세스(2110)는 도면 부호의 설명을 인식하는 도면 부호의 설명 인식 프로세스(2120) 및 명세서 포함 도면 부호와 도면 부호의 설명을 맵핑하는 도면 부호-설명 맵핑 프로세스(2130)를 포함하고 있다. 상기 중요도 처리 프로세스(2200)은 명세서 구성 부분 (발명의 명칭, 초록, 특허 청구 범위(전체, 독립항, 종속항, 종속항의 특정 부분, 종속항의 인용 깊이 등), 발명의 설명(배경 기술, 요약, 발명의 상세한 설명, 도면의 간단한 설명, 실시예, 해결 과제, 효과 등))에서 상기 도면 부호의 설명이 나타난 위치를 인식하여 처리하는 위치 인식 처리 프로세스(2210) 및 도면 부호의 설명의 출현 빈도를 인식하는 빈도 인식 처리 프로세스(2220)를 포함하고 있을 수 있다. 상기 계열 처리 프로세스(2300)는 명세서 포함 도면 부호 집합 중에서 계열 관계가 성립되는 명세서 포함 도면 부호 부분 집합을 추출 및 식별화 조치를 수행하는 계열 인식 프로세스(2310) 및 명세서 포함 도면 부호 부분 집합에 포함된 명세서 포함 도면 부호에서 대해서 계열 처리를 수행하는 계열 카테고리화 프로세스(2320)를 포함하고 있을 수 있다.

하기 표 4 는 대한민국 출원번호 제1020167002395호(US 특허 출원 14/249,716호에 대응되는 대한민국 특허 출원)를 대상으로 도면 부호-설명 인식 프로세스(2110)가 생성하는 데이터의 한 예시적 형태이다.

상기 표 4의 명세서 포함 도면 부호 26은 발광 다이오드로 인식되는 확률이 0.8, 다이오드로 인식되는 확률이 0.2로 계량된다. 상기 도면 부호-설명 맵핑 프로세스(2130)는 명세서 포함 도면 부호 26을 발광 다이오드로 인식 처리한다.

도 4는 본 발명의 특허 도면 부호-설명 결합 서버(300)의 일 실시예적 구현예이다.

상기 특허 도면 부호-설명 결합 서버(300)은 예시적으로 도면 이미지의 도부 주변에 도면 부호의 설명이 표시되도록 처리하기 위한 도면 부호의 설명 배치 데이터의 생성과 저장을 처리하는 배치 처리 프로세스(3100), 도면 부호의 설명 배치 및 도면 부호의 설명 표시 형태/표현에 대한 일체의 데이터의 생성과 저장 처리를 수행하는 도면 부호-설명 결합 정보셋 처리 프로세스(3200) 및 적어도 하나 이상의 타 장치(900)로부터 입수되는 도면 부호의 설명 결합 요청을 처리는 결합 처리 프로세스(3300)를 포함하고 있다.

배치 처리 프로세스(3100)는 예시적으로 배치 탐색 프로세스(3110) 및 배치 정보셋 생성 프로세스(3120)를 포함하고 있다. 상기 배치 탐색 프로세스(3110)는 배치될 도면 부호의 설명의 크기를 예측하는 배치 크기 예측 프로세스(3111), 도면 부호의 설명이 배치될 도면 포함 도면 부호 주변의 여백 공간을 인지하는 여백 인지 프로세스(3112), 도면 부호의 설명의 배치를 위한 도면 포함 도면 부호의 주변을 탐색하는 주변 탐색 프로세스(3113) 및 배치 정책을 반영하여 배치 탐색을 수행하는 배치 정책 반영 프로세스(3114)를 포함하고 있다.

상기 주변 탐색 프로세스(3113)는 도면 부호의 설명의 배치가 도면의 물리적 경계에 의해 영향을 받는 지를 탐색하는 도면 경계 탐색 프로세스(3113-1) 및 제i번째 도면 부호의 설명이 배치된 다음, i+1번째 배치될 도면 부호의 설명이 제1번째 도면 부호의 설명부터 제i번째 도면 부호의 설명 간에서 겹침/충돌이 발생하는 지를 탐색하고, 겹침/충돌이 되지 않도록 제i+1번째 도면 부호의 설명이 배치되도록 처리하는 도면 부호의 설명 충돌 회피 프로세스(3113-2)를 포함하고 있다. 도면 부호의 설명에 대한 배치 정보는 배치 정보셋 생성 프로세스(3120)가 생성하고 저장한다.

상기 배치 크기 예측 프로세스(3111) 해당 도면 부호에 대해서 도면 부호의 크기를 이용하여 font 크기를 정하고 도면 부호의 설명에 대한 글자수를 이용하여 여백 인지(recognition)를 해야하는 크기(배치 크기)를 정하는 프로세스이다. 상기 배치 크기 예측 프로세스(3111)가 도면 부호의 설명이 배치될 때의 배치 크기를 예측하는 로직의 예시는 하기와 같다.

상기 여백 인지 프로세스(3112)는 도면 부호의 설명의 배치 후보 지역에서 배치 크기만큼의 여백이 어느 정도 있는지 계산하는 프로세스이다. 통상적으로 도면 이미지의 배경색은 하얀색이다. 하얀색 pixel값일수록 큰 값이므로 큰 값이 여백이 많은 것이다. 상기 여백 인지 프로세스(3112)가 여백을 인지하는 로직의 예시는 하기와 같으며 R_ij의 값이 여백인지의 기준 값이 된다.

상기 도면 경계 탐색 프로세스(3113-1)는 도면 부호에 대한 설명을 도면 밖에 쓰여지지 않도록 처리하는 프로세스다. 상기 도면 경계 탐색 프로세스(3113-1)는 도면 부호의 설명의 배치 후보 지역이 도면의 경계인가를 판단한 다음, 경계 지역일 경우(Yes) 해당 배치 후보 지역을 도면 부호에 대한 설명이 넘어가는 만큼 도면 안쪽(우측 경계인 경우 좌측)으로 당겨서/옮겨서 배치 후보 지역을 결정한다. 경계 지역이 아닐 경우(No) 적절한 배치 후보 지역으로 판단함.

상기 도면 부호의 설명 충돌 회피 프로세스(3113-2)는 기존에 이미 배치된 도면 부호의 설명과 배치할 도면 부호의 설명이 겹치지 않게 처리하는 프로세스이다. 상기 도면 부호의 설명 충돌 회피 프로세스(3113-2)는 i번재 도면 부호의 설명의 배치 후보 지역이 배치 완료된 도면 부호의 설명 과 겹치는지를 판단한다. 겹치는 경우(Yes), 배치 후보 지역에서 제외하고, 주변을 탐색한다. 한편, 배치 후보 지역들이 전부 배치 완료된 도면 부호에 대한 설명과 겹치는 경우 도면 배치 예외 처리 프로세스를 이용한다.

하기 표 5 내지 6은 대한민국 출원번호 제1020167002395호의 도 10에 해당하는 도면 이미지를 대상으로 상기 배치 정보셋 생성 프로세스(3120)가 생성하는 배치 정보셋 데이터의 한 형태이다.

표 5에서 symbol은 인식된 명세서 포함 도면 부호며, symbo_tag는 도면 부호의 설명이다. x_point 및 y_point는 각각 도면 포함 도면 부호에 대응되는 도면 부호의 설명의 표시 위치에 관한 좌하단 x좌표 및 y 좌표이다. font_size는 표시될 도면 부호의 설명의 폰트 크기이다.

표 6에서 rotate_angle은 도면이 제공될 때 보여 줄 때, 회전시켜야 할 각도를 말한다. figure_x_size 및 figure_y_size 는 도면의 물리적 크기를 나타낸다. 도면 부호의 설명이 표시되는 좌표 x_point < figure_x_size 이며, y_point < figure_y_size가 된다.

상기 표 5 내지 표 6의 데이터가 실제 도면에 적용된 결과물의 한 예시는 도 24에 있다. 표 5과 도 24에서 알 수 있듯이, 도면 부호 302가 1개의 도면에서 2번 쓰이고 있는데, 각각의 위치가 다를 수 있다. 동일한 명세서 내에서 도면 부호 302는 기재 불비 이슈와는 독립적으로 박막 트렌지스터 구조체들, 구조체들, 유전체 층 등과 같이 1:n(n은 자연수)와 같은 대응 관계를 가지고 있을 수 있다. 이때, 상기 도면 부호-설명 인식 장치(200)가 명세서 포함 도면 부호와 도면 부호의 설명을 맵핑하는 최종적인 결과물을 1:1로 맵핑할 수도 있지만, 1:n으로 맵핑하고, 도 24와 같은 최종적으로 사용자 컴퓨터(910)에 제공되는 형식에서 n개가 다 표시되도록 처리할 수 있다. 이때, 상기 특허 도면 부호-설명 결합 서버(300)는 동일한 명세서 포함 도면 부호를 가지는 n개의 도면 부호의 설명에 대하여, 빈도 등의 가중치를 고려하여, 도면 부호의 설명의 폰트 크기나 색깔 등의 제어 조건을 부가하는 정보 처리를 수행할 수 있다. 상기 배치 프로세스는 2개 이상의 도면 부호의 설명을 표시해야 하는 경우, 2개의 도면 부호의 설명의 표시를 위한 배치 공간을 탐색해야 한다. 본 명세서에서는 설명의 편의상 1개의 도면 포함 도면 부호 주위에 1개의 도면 부호의 설명이 표현되도록 처리하는 방식을 중심으로 설명하지만, 본 발명 사상이 반드시 1:1의 관계만에 한정되는 것은 아니다.상기 결합 처리 프로세스(3300)는 타 장치(900)로부터 요청되는 정보를 수신하고, 결과물을 전송하는 I/O처리 프로세스(3310), 상기 타 장치(900)에서 요청된 도면 식별자별로 명세서 포함 도면 부호-설명 맵핑 정보셋의 가공 정보를 제공하는 논리적 결합 처리 프로세스(3320), 도면 부호의 설명이 결합된 도면 이미지를 생성하는 물리적 결합 처리 프로세스(3330)를 포함하고 있다. 상기 결합 처리 프로세스(3300)는 물리적 결합 처리 프로세스(3330)를 활용하여 도면 부호의 설명이 결합된 도면 이미지를 대량으로 배치 생성하는 물리적 결합 배치 처리 프로세스(3331)를 선택적으로 포함하고 있을 수 있다.

상기 배치 처리 프로세스(3100)는 복수 개의 특허에 대한 복수 개의 도면을 입수하여 각 특허의 각 도면에 배치될 도면 부호의 설명에 대한 배치 정보셋을 배치(batch) 방식으로 생성할 수 있다. 상기 배치(batch) 처리 방식을 통하여 특정 국가의 특허 도면 전체를 대상으로 하여 배치 정보셋을 생성해 놓을 수 있다. 나아가, 모든 국가의 특허 도면에 대하여, 각 언어별로 번역된 도면 부호의 설명을 사용하는 배치 정보셋을 각 언어별로 생성하여 저장해 놓을 수 있다.

상기 도면 부호-설명 결합 정보셋 처리 프로세스(3200)는 복수 개의 특허에 대한 복수 개의 도면을 입수하여 각 특허의 각 도면에 배치될 도면 부호의 설명에 대한 도면 부호-설명 결합 정보셋을 배치(batch) 방식으로 생성할 수 있다. 상기 배치(batch) 처리 방식을 통하여 특정 국가의 특허 도면 전체를 대상으로 하여 도면 부호-설명 결합 정보셋을 생성해 놓을 수 있다. 나아가, 모든 국가의 특허 도면에 대하여, 각 언어별로 번역된 도면 부호의 설명을 사용하는 도면 부호-설명 결합 정보셋를 각 언어별로 생성하여 저장해 놓을 수 있다. 한편, 물리적 결합 배치 처리 프로세스(3331)를 배치 방식으로 사용하여 도면 이미지에 도면 부호의 설명이 포함된 새로운 도면 이미지를 대량으로 생성할 수 있을 것이다.

도면 부호의 설명이 번역되면, 도면 부호의 설명의 길이가 달라지게 된다. 특히, 동양 문화권의 도면 부호의 설명 표현은 상대적으로 짧은 반면, 영미권은 상대적으로 길고, 프랑스어나 스페인어는 가장 긴 경향이 있다.

첫째, 상기 특허 도면 부호-설명 결합 서버(300)는 번역된 도면 부호의 설명을 기준으로 배치 정보를 재 생성하는 정보 처리를 수행한다. 이를 위해, 상기 특허 도면 부호-설명 결합 서버(300)는 도면 부호의 설명에 대한 번역(기계 번역 등) 데이터를 입수하고, 번역 도면 부호의 설명을 본 발명의 도면 부호의 설명처럼 취급하여 번역 도면 부호의 설명의 배치를 위한 각종 데이터를 생성한다.

둘째, 상기 특허 도면 부호-설명 결합 서버(300)는 각 언어별로 평균적인 길의 배수 데이터만 계산해 놓고, "배수" 처리된 도면 부호의 설명 길이를 기준으로(물론, font 사이즈의 평균적인 증가/감소도 포함한 배수이어야 함.) 번역된 도면 부호의 설명의 배치를 위한 각종 데이터를 생성한다. 예시적으로 한자 : 영어 = 1: 3.5, 한국어 : 영어 = 1:2.5 등과 같은 배수 데이터를 생성하여 사용한다. 배수 데이터는 매우 큰 수의 샘플 도면 부호의 설명에 대하여 각 언어권별로의 번역 도면 부호의 설명을 생성하고, 동일 폰트에서의 문자(캐릭터)의 개수를 비교함으로써 생성 가능하다. 통상적으로 동양어권 문자의 적정 폰트보다 영미권 언어의 적정 폰트는 더 작다. 즉, 영미권 도면 부호의 설명은 길이가 더 긴 반면, 더 작은 폰트를 사용하더라도 가독성이 유지된다.

셋째, 상기 특허 도면 부호-설명 결합 서버(300)는 브라우저에서의 번역 연동을 통한 처리를 지원한다. 상기 특허 도면 부호-설명 결합 서버(300)는 사용자 컴퓨터(910)로부터 지정된 언어별로의 번역 요청을 입수한다. 상기 특허 도면 부호-설명 결합 서버(300)는 지정된 언어별로 처리된 도면 부호-설명 맵핑 정보셋이 있는 경우에는 그 언어에 대응되는 도면 부호-설명 맵핑 정보셋을 기 설정된 방식으로 가공하여 사용자 컴퓨터(910)에 제공한다. 물론, 지정된 언어별로 도면 부호-설명 맵핑 정보셋이 도면 이미지에 하드 본딩 된 가공 이미지가 있는 경우, 가공 이미지를 제공해 줄 수도 있다. 한편, 상기 특허 도면 부호-설명 결합 서버(300)는 지정된 언어로 된 도면 부호-설명 맵핑 정보셋이 없는 경우에는 특정 도면에 대응되는 도면 부호의 설명을 Google Translate 등과 같은 외부 번역 서비스 또는 내부 번역 서버를 통하여 번역한 다음, 번역된 도면 부호의 설명을 사용하는 도면 부호-설명 맵핑 정보셋을 생성한다. 상기 특허 도면 부호-설명 결합 서버(300)는 생성된 도면 부호-설명 맵핑 정보셋을 기 설정된 방식으로 가공하여 사용자 컴퓨터(910)에 제공한다. 물론, 상기 도면 부호-설명 맵핑 정보셋은 번역된 도면 부호의 설명을 사용하여 배치 처리 프로세스(3100)를 통해 처리된 것일 수 있으며, default 언어로 된 도면 부호의 설명 대신에 번역된 도면 부호의 설명이 교체된 것일 수도 있다.

한편, 브라우저에서 도면 부호의 설명에 대한 번역 결과의 입수와 배치를 수행할 수 있으므로, 이 경우에는 브라우저에 전송하는 데이터에 기능 구현을 위한 스크립트가 포함되어 있는 것이 바람직할 것이다.

한편, 결합 처리 프로세스(3300)는 도면 이미지에 도면 부호의 설명을 물리적으로 또는 논리적으로 결합한 도면 데이터를 생성해 놓을 수 있다. 이때, 논리적 결합 처리 프로세스(3320)는 타 장치(900)로부터 도면 이미지에 대한 도면 부호의 설명에 대한 결합 요청이 왔을 때, 상기 타 장치(900)의 사용자에게 도면 이미지와 함께 도면 부호의 설명이 표시될 수 있도록 하는 데이터를 생성하여 타 장치(900)에 제공해 줄 수 있다. 한편, 물리적 결합 처리 프로세스(3330) 는 물리적으로 도면 포함 도면 부호에 도면 부호의 설명이 결합되어 있는 가공된 도면 이미지 데이터를 기 설정된 이미지 데이터 형식으로 생성하는 기능을 수행한다. 물론, 결합 처리 프로세스(3300)는 타 장치(900)에 물리적으로 결합된 도면 이미지를 제공해 줄 수도 있다.

도 5는 본 발명의 도면 부호 인식 학습 장치(400)에 대한 예시적 구성이다.

상기 도면 부호 인식 학습 장치(400)는 도면 부호 인식 학습 프로세서(4000), 학습 데이터 저장 장치(4100), 도면 부호 인식 학습 장치(400) 통신부(400a)를 포함하고 있다. 도면 부호 인식 학습 프로세서(4000)는 학습 프로세스(4100)를 포함하고 있는데, 상기 학습 프로세스(4100)는 하이퍼 파라미터 최적화 프로세스(4110) 및 학습 모형 파라미터 학습 프로세스(4120)를 포함하고 있다. 상기 하이퍼 파라미터 최적화 프로세스(4110)는 training 데이터 대상 인식 모델링 학습부(4111)와 validation 데이터 대상 인식 모델링 검증부(4112)를 포함하고 있다. 상기 학습 모형 파라미터 학습 프로세스(4120)는 전체 데이터 대상 인식 모델링 학습부(4121)를 포함하고 있다. 상기 학습 데이터 저장 장치(4100)는 문자별 학습 이미지 데이터부(4110)와 학습 결과 저장부(4100)를 포함하고 있다.

상기 문자별 학습 이미지 데이터부(4110)에는 특허 도면에 사용되는 문자(숫자, 알파벳, 기타 문자 등)별로 수십 내지 수 천개의 문자 이미지가 저장되어 있다. 상기 문자 이미지는 특허 도면에서 잘라 내는 것이 바람직하며, 다른 이미지 소스로부터도 숫자나 알파벳 별로 잘라 낸 것일 수 있다. 이때, 도면 이미지에 사용된 도면 부호의 폰트 종류별로 문자 이미지를 준비하는 것이 바람직하다. 특히, 손글씨의 경우 딥러닝(deep learning)을 사용하더라도 문자 이미지가 많을수록 인식에 유리하게 때문에 최대한 다량으로 준비하는 것이 더욱 바람직하다. 문자별 학습 이미지는 각 문자별로 모든 컴퓨터 글꼴에 대한 이미지 데이터와 손글씨를 잘 인식하기 위하여 특허 도면에서 손글씨로 도면 부호를 쓴 것을 직접 문자별로 뜯어 낸 것이 사용될 수 있다.

학습 모형은 discriminant한 deep learning모형(ex : deep Convolutional neural network, deep neural network등)을 사용할 수 있고 generative한 deep learning모형(ex : variational autoencoder, generative adversarial network)을 이용하여 학습모형을 만들 수 있다. 한편, 부스팅이나 SVM과 같은 다른 기계 학습 모형을 사용할 수도 있다. 부스팅(boosting)은 비선형 모형(nonlinear model)으로 간단한 결정나무(tree)모형을 여러 개 이용하여(ensemble) 하나의 강력한 분류기를 만드는 알고리즘이다.

딥러닝(deep learning)모형에는 layer의 수, hidden variable의 수, drop out비율, filter size, activation function의 종류 등의 하이퍼 파라미터(hyper parameter)가 사용될 수 있다. 부스팅의 하이퍼 파라미터로는 결정나무(tree)모형의 depth수, 결정나무모형을 몇 개를 사용할 것인지(tree 수), 학습할 때 gradient 방향대로 이동하는데 얼마만큼 줄여서 이동을 할 것인지에 대한 shrinkage parameter 등이 있다. 이러한 하이퍼 파라미터는 하이퍼 파라미터 최적화 프로세스(4110)를 통해 최적화시킨다.

본 발명에서는 하이퍼 파라미터를 최적화 시키는데 예시적으로 3가지 방법을 단일 또는 혼합하여 사용할 수 있다. 첫번째 방법은 그리드 서치(grid search)이다. 그리드 서치는 모든 하이퍼 파라미터의 가능한 조합에 대해서 cross validation을 수행하기 때문에 가장 확실하게 하이퍼 파라미터를 최적화시킬 수 있다. 그리드 서치는 예시적으로 하이퍼 파라미터는 layer의 수를 5~20개, hidden variable은 input data size의 0.3~0.9배, drop out비율은 0~0.9, activation function은 relu, sigmoid, Leaky ReLU, PreLU, RreLU, ELU 등과 같이 부여하여 cross validation을 수행할 수 있다. 즉, 그리드 서치는 각 하이퍼 파라미터의 세분화된 범위 및 종류(activation function에 한함)의 조합별로 실행된다. 이때, layer의 수 및 hidden variable은 1개씩 변동시키고, drop out 비율은 0.05 또는 0.1씩 변동시키고 각각의 변동에 대하여 각각의 activation function을 사용하여 cross validation을 수행한다.

두번째 방법은 랜덤 서치(random search)이다. 랜덤 서치는 방법 측면에서는 그리드 서치와 대등하다. 차이점은 그리드 서치는 부여된 하이퍼 파라미터를 사용하여 cross validation을 수행하지만, 랜덤 서치는 각 하이퍼 파라미터별로 임의로 선택되는 랜덤 값을 사용하여 cross validation을 수행한다.

세번째 방법은 베이지안 최적화(bayesian optimization)가 있다. 이 방법은 하이퍼 파라미터의 사전 분포(prior distribution)을 부여하여 최적화시키는 방법이다.

상기 하이퍼 파라미터 최적화 프로세스(4110)에서 하이퍼 파라미터는 랜덤 서치와 그리드 서치를 두개를 혼합하여 최적화시킬 수도 있다. 1단계로 랜덤하게 하이퍼 파라미터를 부여를 해주고 cross validation을 이용하여 최적화시킨 다음 validation set에서 가장 좋은 성능을 내는 각 하이퍼 파라미터별로 1차적인 값의 범위를 찾아 낸다. 각 하이퍼 파라미터별로 1차적인 범위 내에서 하이퍼 파라미터를 정교하게 세분화하고, 세분화된 하이퍼 파라미터별로 그리드 서치를 수행하여 최적화시킬 수 있다.

cross validation의 하나는 validation 데이터가 되고 나머지가 training 데이터가 된다. training 데이터 대상 인식 모델링 학습부(4111)는 setting된 하이퍼 파라미터 별로 training데이터를 대상으로 모델링을 수행한다. 한편, validation 데이터 대상 인식 모델링 검증부는 training 데이터를 대상으로 모델링 된 딥러닝 모형들을 validation 데이터에 적용하여 성능이 좋은 모형으로 하이퍼 파라미터를 최적화한다.

상기 전체 데이터 대상 인식 모델링 학습부(4121)는 최적화된 하이퍼 파라미터 조건 하에 실제 기계 학습 모형의 파라미터들을 학습 처리한다.

구체적인 학습은 R, Physon 등의 언어 패키지나 Google Tensorflow나 Caffee 등과 같은 기계 학습 프로그램 라이버러리를 사용하여 진행하면, 이 부분은 당업자에게 자명한 것으로 본 특허에서는 상세한 설명을 생략한다.

도 21에는 본 발명의 도면 부호 인식 학습 장치(400)의 학습 과정의 실시예적 예시가 있다.

상기 도면 부호 인식 학습 장치(400)는 문자별 학습 이미지 데이터부(4110)에 저장되어 있는 수집된 문자별 문자 대응 이미지 데이터에서 샘플링(S161)을 수행한다. 이어, 상기 도면 부호 인식 학습 장치(400)의 하이퍼 파라미터 최적화 프로세스(4110)는 샘플링 된 문자별 문자 대응 이미지 데이터를 n(n>=3인 자연수)개의 폴더(fold)로 분할(S162)한 다음, n-1 폴더의 문자별 문자 대응 이미지 데이터를 학습 데이터로 하여 모델을 학습하고, 나머지 폴더의 문자별 문자 대응 이미지 데이터를 테스트 데이터로 하여, 테스터 에러를 구하는 과정을 n회 수행하는 교차 검증(cross validation)을 통해 하이퍼 파라미터(hyper parameter) 최적화(S163)한다. 이어, 상기 도면 부호 인식 학습 장치(400)의 학습 모형 파라미터 학습 프로세스(4120)는 수집된 문자별 문자 대응 이미지 데이터를 사용하고 최적화된 하이퍼 파라미터 조건 하에 딥러닝(deep learning) 모형이나 부스팅 모형, SVM 모형의 파라미터를 학습(S164)을 진행한다. n는 5 또는 10을 사용하는 것이 바람직하다.

이어, 학습 모형의 파라미터를 학습하는 것에 대해 설명한다.

딥러닝 모형 중 뉴럴 네트워크의 모형의 경우, X는 입력 데이터라 했을 때 가장 아랫 layer에서　reLu(X%*%W+b)　를 통해 한단계 위쪽의 layer로 이동하게 되는데 W와 b가 파라미터에 속하게 되고 이를 학습하게 된다. 한편, 부스팅 모형의 경우, 의사결정나무의 깊이와 사용할 의사결정나무의 수가 정해지면 데이터에 적합한 의사결정나무를 학습하게 된다.

학습 결과 저장부(4100)에는 학습한 결과물인 이미지 인식 처리를 위한 처리 명령문이 포함되어 있다.

특허 도면 OCR 장치(100)가 학습 결과물을 사용하는 방법에 대해서는 도 22에 예시적으로 나타나 있다.

상기 특허 도면 OCR 장치(100)는 상기 도면 부호 인식 학습 장치(400)가 생성한 학습 결과물인 이미지 인식 처리를 위한 처리 명령문(S171)한다. 이어, 상기 특허 도면 OCR 장치(100)의 도면 문자 분류 프로세스(1310)는 도면 이미지에서 생성해 낸 patch데이터를 처리 명령문에 입력(S172)하고, patch별로 인식값을 1개 이상 생성(S173)한 다음, patch별 도면 문자 분류 처리 결과를 저장(S174)한다.

상기 도면 문자 분류 프로세스(1310)의 도면 문자 분류 프로세스(1310)는 상기 도면 파일 파싱 프로세스(1200)가 도면 이미지에서 생성해 낸 patch를 대상으로, 상기 이미지 인식 처리를 위한 처리 명령문을 적용한다. patch에 대한 처리 명령문 적용의 결과의 한 예시는 표 1 내지 표3(특히, 표 2)에 있다.

도 6은 본 발명의 데이터 저장 장치(500)에 대한 일 실시예적 구현예이다.

본 발명의 데이터 저장 장치(500)에는 파일 저장 장치 및 DB 장치가 있다. 상기 파일 저장 장치에는 도면 파일 저장부 및 명세서 파일 저장부가 있으며 상기 도면 파일 저장부에는 오리지널 도면 파일 저장부를 포함하며, 선택적으로 가공 도면 파일 저장부가 있을 수 있다. 특허 full text 데이터는 통상적으로 XML 등과 같은 마크업 언어로 된 명세서 파일을 포함하고 있으며, 도면이 있는 경우 하나 이상의 도면 파일로 구성되어 있다. 상기 도면 파일에는 개념적으로 분리된 2개의 도면(예, fig1 및 fig2)가 물리적으로 1개의 이미지 파일에 포함되어 있을 수 있다. 가공 도면 파일은 본 발명 사상에 따라 가공한 도면 파일이다. 가공 도면 파일에는 2가지 가공 도면이 포함될 수 있다. 첫째는 본 발명 사상을 적용하여, 오리지널 도면 파일에 포함되어 있는 도면 포함 도면 부호에 직접적으로 또는 간접적으로(연결 또는 연동 또는 결합 가능하게) 도면 부호의 설명 배치 데이터가 표시될 수 있도록 처리한 가공 도면 파일이다. 둘째는 1개의 물리적 도면에 개념적으로 분리 가능한 2개 이상의 도면이 포함되어 있을 경우, 그 도면을 물리적으로 분리하고, 본 발명 사상을 적용한 가공 도면 파일이다.

상기 DB 장치에는 도면 기반 데이터부(5210), 명세서 기반 데이터부(5220), 도면 부호의 설명 배치 데이터 데이터부(5230)를 포함하고 있으며, 선택적으로 가공 규칙 데이터부(5240) 또는 집계 데이터부(5250)를 더 포함하고 있을 수 있다. 상기 도면 기반 데이터부(5210)는 개별 특허의 개별 도면 파일별로 도면에서 추출한 데이터를 포함하고 있다. 상기 도면 기반 데이터부(5210)에는 도면 포함 도면 부호 및 도면 포함 도면 부호별 도면 포함 도면 부호의 속성 정보가 저장되어 있다. 상기 명세서 기반 데이터부(5220)에는 명세서 포함 도면 부호, 도면 부호의 설명, 도면 부호의 설명 속성 데이터 등이 포함되어 있다. 상기 도면 부호의 설명 배치 데이터부에는 상기 도면 포함 도면 부호에 대응되는 상기 도면 부호의 설명을 배치하기 위한 배치 방법 데이터가 포함되어 있다.

이하 도면을 참조하면서 본 발명을 프로세스 중심으로 더욱 더 상세하게 설명한다.

도 7는 본 발명의 사상의 구현을 위한 일 실시예적 프로세스이다.

도 7에서 예시 되듯이 본 발명 사상은 상기 특허 도면 OCR 장치(100)에서 입력된 도면에서 도면 포함 도면 부호가 인식(S11) 처리되고, 상기 도면 부호-설명 인식 장치(200)의 의해 입력된 특허 명세서에서 명세서 포함 도면 부호 및 도면 부호의 설명이 인식(S12) 처리되고, 상기 특허 도면 부호-설명 결합 서버(300)에 의해 도면 부호의 설명 배치 데이터가 생성(S13) 처리되고, 특허 도면 부호-설명 결합 서버(300)에 의해 타 장치(900)로부터의 실시간 요청 또는 배치 처리 방식으로 가공 도면 데이터 생성되거나, 가공 도면 데이터 생성할 수 있는 기반 정보가 제공 (S14)되는 방식으로 구현된다.

도 8에서 예시되듯이 상기 특허 도면 OCR 프로세서(1000)는 개별적인 특허 도면을 대상으로 문자 인식 처리를 수행하여 개별 문자별로 문자 인식 정보를 생성(S21)되고, 인식된 개별 문자들에 대하여 합성 처리가 수행하고, 합성 처리된 도면 포함 도면 부호 후보를 명세서 포함 도면 부호 집합과 맵핑 처리하여 도면 포함 도면 부호를 결정(S22)하고, 결정된 도면 포함 도면 부호별로 도면 포함 도면 부호의 속성 정보를 생성(S26)한다.

상기 특허 도면 OCR 프로세서(1000)는 선택적으로 도면 포함 도면 부호 후보 중 명세서 포함 도면 부호 집합과 맵핑된 맵핑 비율 계산하여, 맵핑 비율이 설정된 기준 이상인지를 조회하고, 그렇지 않은 경우에는 도면에 대한 배향 처리 수행하고, 배향 처리된 도면을 대상으로 상기 S21 내지 상기 23의 과정을 수행한다. 배향 처리가 필요한 이유는 대부분의 도면은 가로 방향으로 배치되어 있지만, 세로 방향으로 배치된 도면도 상당 수 있기 때문이다. 가로 방향으로 배치되어 있는 도면의 경우, 도면 포함 도면 부호가 가로 방향으로 쓰여져 있는 것이 대부분이며, 세로 방향으로 배치되어 있는 도면의 경우, 도면 포함 도면 부호가 세로 방향으로 쓰여져 있는 것이 대부분이기 때문이다. 배향 처리는 각 국가의 도면 특성에 따라 우회전 90도, 우회전 180도, 우회전 270도 중에서 우선 배향할 각도를 결정한다.

광학 문자 인식(optical character recognition)은 이미지 데이터에서 숫자를 포함한 문자를 인식한다. OCR 자체에 대한 상세한 기법은 당업자에게 당연한 것(OCR에 대한 서적, 논문 및 공개/상용 소프트웨어 등이 다량으로 나와 있음)으로 본 발명의 설명에서는 상세한 설명을 생략한다. 다만, 본 발명에서는 통상적인 OCR을 통해서는 특허 도면에 포함된 문자열을 인식하는 경우, 다음과 같은 3가지 문제점이 발생한다.

첫째, 인식된 문자열 중에는 도면 포함 도면 부호인 것도 있을 수 있지만, 도면 포함 도면 부호가 아닌 것도 다수 있을 수 있다. 대표적인 예가, 프로세스 다이어그램의 박스에 있는 문자열 내용이다. 이들은 문자열로 되어 있지만, 도면 포함 도면 부호가 아니다. 따라서, 인식된 문자열 중에서 도면 포함 도면 부호인 것과 도면 포함 도면 부호가 아닌 것을 구분해 내는 것이 핵심적인 문제가 된다.

둘째, 도면을 구성하는 다양한 선이나 형상 등은 크거나 작은 블록 단위로 부분 떼어 놓고 보면 숫자나 문자처럼 보이는 것이 많다. OCR은 이미지를 스캔하면서 스캔 되는 블록이 문자나 숫자가 되는 가를 판단하는 방식을 취하는 경우가 많다. 이때, 세로 선 등을 대문자 "I"나 "L"의 소문자로 인식하는 경우가 많으며, 세로로 내려 오다 왼쪽으로 휘어지는 선을 "J"로, 좌우로 굽어지는 선을 "S" 등으로 인식하는 경우도 많다. 실제로 도면 부호가 아닌데, 부분 부분의 생긴 형태 때문에 문자로 오 인식 하는 경우는 도면을 구성하는 이미지 뿐만 아니라, 도면의 각 부분과 도면 부호의 설명을 이어주는 선에서도 많이 발생한다.

이와 같이 통상적인 OCR 기술을 그대로 특허 도면에 적용하는 경우, 엄청나게 많은 오 인식이 발생하게 된다. 본 발명 사상은 이러한 문제를 체계적으로 해결하는 기술 사상을 포함하고 있다.

물론, 광학 문자 인식을 수행할 때, 특허 도면에 빈번하기 나타나는 숫자, 문자 및 기호에 대한 인식률을 높이기 위해 머신 러닝을 사용할 수 있다. 이를 위해서, 먼저 숫자, 문자 및 기호별로 다량의 데이터를 수집(예, 숫자 "2"로 인식되어야 할 숫자 "2"에 대응될 수 있는 부분 이미지들(도면 이미지에서 숫자 2에 해당하는 부분만 발췌하여 별도의 이미지 파일로 저장하는 방식으로 생성 및 수집됨))한다. 이어, 수집 데이터를 훈련용 데이터(training set)와 테스트 데이터(test set)으로 나누고(경우에 따라서는 검증 용 데이터(validation set)를 별도로 준비할 수 있음), CNN(convolution neural network) 등과 같은 딥러닝 알고리즘 또는 기타 머신 러닝 알고리즘을 적용하여 학습을 진행시켜 특허 도면에 나타나는 도면 부호의 인식에 특화된 이미지 인식 알고리즘(모델)을 생성한다. 이어, 생성된 이미지 인식 알고리즘을 광학 문자 인식 루틴에 포함시킨다. 광학 문자 인식 과정에서, 특정한 이미지 블록이 문자 또는 숫자인지와 어떤 문자 또는 숫자인지를 결정하는데, 도면 부호의 인식에 특화된 이미지 인식 알고리즘(모델)이 사용될 수 있다. 도면 부호의 인식에 특화된 이미지 인식 알고리즘(모델)을 통하여, 통상적인 광학 문자 인식 알고리즘보다 더 정확하고 합목적적인 도면 부호의 인식이 가능하게 된다.

셋째, 본 발명에서는 KNN(K nearest neighborhood) 알고리즘을 사용할 수도 있다. KNN을 사용하기 위해서는 문자별 문자 대응 이미지 데이터를 다량으로 준비한다. KNN 알고리즘 등과 같은 이미지 인식 알고리즘 등은 손글씨나 통상적이지 않은 폰트를 사용한 문자 등을 잘 인식하지 못하는 경우가 많다. 이를 위해서라도 딥러닝(deep learning), 부스팅, SVM 등과 같은 학습 알고리즘을 사용할 필요성이 높다. 손글씨나 다양한 폰트로 된 도면 부호의 경우에는 기계 학습을 통한 이미지 인식이 더욱 더 효과적이다.

도 9는 본 발명의 상기 도면 문자열 인식 프로세스(1300)의 숫자 포함 문자열 인식 프로세스에 대한 일 실시예적 구현예이다.

도 9에서 예시되듯이 상기 도면 문자열 인식 프로세스(1300)는 합성 처리 규칙을 사용하여, 인식된 제1 개별 문자와 합성 처리할 적어도 하나 이상의 제2 개별 문자를 탐색하여 도면 포함 도면 부호 후보를 생성(S31)하고, 인식된 문자열에서 숫자가 포함되어 있는가(S32)를 판단하고, Yes인 경우 인식된 문자열 추출(S33)하고, No인 경우 인식된 문자열 버림(S38)하는 방식으로 프로세싱 한다. 상기 특허 도면 OCR 장치(100)는 (S33) 이후에는 선택적으로 숫자 포함 문자열의 분할(S34) 처리를 수행할 수 있다. 상기 특허 도면 OCR 장치(100)는 (S33) 또는 (S34) 이후에 분할된 숫자 포함 문자열이 도면 포함 도면 부호의 결정 패턴 규칙에 속하는가를 판단(S35)하고, Yes 일 경우 도면 포함 도면 부호의 결정 패턴 규칙에 부합하는 분할 문자열만 추출(S36)하고, No일 경우 숫자 포함 문자열 버림(S37)처리를 수행한다.

다수의 문자 인식 알고리즘은 1개 글자씩 인식하는 경우가 대부분이다. 따라서, 1개의 문자열을 생성하기 위해서는 개별적으로 인식된 문자를 묶는 합성 처리가 필요하다. 도면 포함 도면 부호는 통상적으로 길이가 아주 길지 않으며(8~10 캐릭터 이내), 띄어쓰기가 없는 것이 대부분이며, 간혹 특수 문자를 포함하는 경우도 있다.

상기 도면 문자열 인식 프로세스(1300)는 특정 블록이 문자(문자 블록, 1개의 숫자나, 알파벳 등과 같은 캐릭터는 1개의 문자 블록이 된다.)일 경우, 문자 블록과 기 설정된 위치에 있는 다른 블록이 문자인 경우, 두 블록을 연결하는 처리를 수행한다. 문자 블록에서 인식되는 문자 방향으로 문자 블록에서 인식하는 문자의 크기를 고려한 기 설정된 거리 이내에 있는 문자 블록의 문자는 기 설정된 위치의 한 예가 될 수 있다. 인식되는 문자마다 크기(size) 정보가 생성될 수 있다. 크기 정보는 인식되는 문자 블록(사각형)의 크기(좌표값)로 결정할 수 있다.

문자 블록에 좌표값 집합이 대응되기 때문에 문자 블록에는 중심 좌표값이 대응시킬 수 있다. 문자와 문자 사이의 거리를 장평(character spacing)이라도 하는데, 통상적으로 1개 문자의 크기(예를 들면 띄어쓰기(space))보다는 훨씬 작다. 상기 특허 도면 OCR 장치(100)는 인식된 문자가 영어나 한국어 등 가로쓰기를 하는 문자인 경우, 문자의 방향이 통상적인 방향(예, 수평 방향으로 배향)이면, 오른쪽으로 기 설정된 위치 이내(예를 들면 장평 33~200%에 있는 글자)에 있는 문자는 연결하는 처리는 수행할 수 있다. 예시적으로 문자 블록의 평균값을 기준으로 문자 블록의 가로 길이 또는 세로 길이 중 긴 값의 33~200%에 있는 문자 블록은 합성 처리를 수행할 수 있다. 한편, 예시적으로 특정 문자 블록의 가로 길이 또는 세로 길이의 긴 값의 10~150% 이내에 들어오는 다른 문자 블록은 합성 처리할 수도 있을 것이다. 이러한 규칙은 합성 처리 규칙의 일부가 될 수 있다.

한편, 인식된 문자가 수직 방향으로 배향된 경우, 수직 방향에 있는 블록에 있는 문자를 대상으로 연결 처리를 수행한다. 상기와 같은 연결 처리를 수행하면 문자열 블록이 생성되게 된다. 상기 특허 도면 OCR 장치(100)는 문자 블록 간의 연결이 마무리 되면 문자열을 인식할 수 있게 된다.

한편, 상기 연결 처리에서 문자 뿐만 아니라 도면 부호에 빈번하게 등장하는 표식(예를 들면, "-" 또는 "_" 등)은 문자처럼 취급하여 처리할 수 있다. 도면은 무수하게 많은 선으로 이루어져 있고, 점선 등도 많으므로, "-" 또는 "_"로 인식될 수 있는 도면의 부분은 굉장히 많을 수 있다. 따라서, 도면의 특정 부분이 "-" 또는 "_"로 인식되는 경우에는 앞 및 뒤에 있는 문자 블록과의 합성 처리를 1차적으로 수행하고, 합성 처리된 문자열을 명세서 포함 도면 부호 집합에 조회하여, 명세서 포함 도면 부호 집합에 포함되어 있는 문자열인 경우에만 도면 포함 도면 부호로 처리할 수 있을 것이다.

각 문자 블록마다 합성 처리할 블록을 탐색하여, 합성 처리 규칙이 적용되는 한도 내에서 가장 길게 합성 처리를 수행할 수 있다. 예를 들면, "153"이라는 도면 포함 도면 부호가 있을 경우 "15"까지가 아닌 "153"까지 합성 처리하는 것이 바람직할 것이다. 묶는 방향은 좌->우 방향을 기본 방향으로 처리할 수 있다. 한편, 각 국가나 도면의 배향(가로 방향 도면, 세로 방향 도면 등)에 따라 우선적인 묶음 방향이 달라질 수 있다. 물론, 묶음 방향이 좌<->우로도 될 수 있음은 물론일 것이다. 특정한 문자 블록이 묶음에 포함된 경우, 그 문자 블록으로부터 묶는 과정은 생략될 수 있다. 즉, "5"가 "1"에 묶인 경우에는 "5"를 최초 시작점으로 하여 새로운 묶음을 시도하지는 않는 것이 바람직할 것이다. 한편, "5"를 기준으로 좌-우 방향으로 합성 처리 규칙을 적용할 수 있음은 당연할 것이다.

한편, 도면에 "153 267" 등과 같이 "153"과 "267 사이에 공백이 많을 경우가 있다. 이때, "1"을 기준으로 "5"를 묶고, "5"를 기준으로 "3"을 묶는 처리를 수행할 수 있으며, 3과 "2" 사이에는 공백이 많으므로, "5"와 "3"을 묶은 이후, 묶는 과정을 중단할 수 있다. 이때, "2"가 인식되면 "2"를 기준으로 다시 묶는 과정이 시작될 수 있을 것이다.

도면에는 도면 부호가 아닌 문자열도 상당히 많이 포함되어 있다. 대표적인 것이 블록도(block diagram) 내에 포함되어 있는 문자열 또는 특정한 대상을 지칭하는 단어나 어절이다. 도면 부호는 통상적으로 숫자만으로 구성되거나 숫자가 주요 부분이지만, 이러한 문자열은 숫자를 포함하고 있지 않거나, 숫자가 주요 구성 부분이 아니다. 이러한 문자열은 맵핑 대상에서 제외시킬 필요성이 높다.

문자열 인식 과정을 거친 문자열을 대상으로 상기 도면 문자열 인식 프로세스(1300)가 도면 포함 도면 부호의 후보를 생성하는 정보 처리를 설명한다. 상기 도면 문자열 인식 프로세스(1300)는 합성 처리 규칙을 사용하여, 인식된 제1 개별 문자와 합성 처리할 적어도 하나 이상의 제2 개별 문자를 탐색하여 도면 포함 도면 부호 후보를 생성(S31)하고, 도면 포함 도면 부호 후보에서 숫자가 포함되어 있는가를 판단(S32)하고, Yes인 경우, 인식된 문자열 추출(S33)하고 아닌 경우에는 인식된 문자열 버림(S38) 처리한다. 이때, 인식된 문자열이 긴 문자열(띄어쓰기가 포함되어 있는 경우 등)인 경우에는 그 문자열에서 숫자가 포함되어 있는 문자열만을 추출하거나 분할(S34)하는 처리를 수행한다. 만약, 인식된 문자열에서 띄어쓰기가 포함되어 있지 않거나, 문자열 인식 단계나 문자열 추출 단계에서 인식 또는 추출의 단위가 단일 단어 표현인 경우에는 문자열을 분할(S34)하는 프로세스를 불필요할 수 있다. 단일 단어 표현이란 띄어쓰기가 없는 문자열로, 그 문자열은 숫자, 알파벳, 문자만으로 구성된 문자열이거나, 이러한 문자열과 "-" 또는 "_" 등과 같은 기 설정된 도면 포함 도면 부호 포함 기호를 포함하는 문자열을 말한다. 바람직하게는 (S31) 단계에서 문자열의 인식 처리는 단일 단어 표현 단위로 처리하는 것이 좋다.

상기 도면 문자열 인식 프로세스(1300)는 상기 숫자 포함 문자열 또는 단일 단어 표현이 도면 포함 도면 부호의 결정 패턴 규칙에 속하는 지를 조회(S35) 처리를 수행하고, Yes인 경우에는 도면 포함 도면 부호의 결정 패턴 규칙에 부합하는 분할 문자열만 추출(S36)하고, No인 경우에는 숫자 포함 문자열 버림(S37) 처리한다.

상기 도면 포함 도면 부호의 결정 패턴 규칙은 다음과 같은 규칙 중 적어도 하나 이상을 포함하고 있을 수 있다.

첫째, 숫자가 포함되어 있지 않은 문자열은 도면 포함 도면 부호가 아니다.

둘째, 문자열에 숫자와 문자가 함께 포함되어 있는 경우, 다음과 같은 하위 기준을 적용한다.

1) 문자로 시작하는 경우에는 시작하는 문자의 글자수는 숫자를 구성하는 글자수보다 작거나 같다.

2) 문자로 끝나는 경우에는 끝나는 문자의 글자수는 숫자를 구성하는 글자수보다 작거나 같다.

셋째, 도면 포함 도면 부호 포함 기호는 문자열의 처음도 될 수 없고 마지막도 될 수 없다.

넷째, 문자열의 전체 길이는 기 설정된 한계(예, 6~8 글자) 이내이다.

다섯째, 도면 포함 도면 부호 포함 기호가 아닌 구두점이나 기호는 도면 포함 도면 부호 구성에서 제외된다.

도면 포함 도면 부호의 결정 패턴 규칙은 가공 규칙 데이터부(5240)에 저장될 수 있다.

한편, 특정한 도면에서 인식된 개별적인 문자를 사용하여 문자를 연결할 때, 연결하는 방식이나 정책 등에 따라, 여러 종류 이상의 도면 포함 도면 부호의 후보가 생성될 수 있게 된다. 예를 들면, 특정한 도면에서 "A12"라고 인식되는 문자열과 아주 가까운 곳에 "25"라는 문자열이 있을 수 있다. "A12"와 "25" 사이의 거리가 "A12" 내부를 구성하는 "A" ,"1", "2" 사이의 장평보다는 길지만, 문자 1개 이상보다는 가까울 때와 같이, 거리에서 모호성이 존재하는 경우가 빈번하게 존재한다. 이때, 도면 포함 도면 부호는 각각 "A12"와 "25"와 같이 2개일 수도 있지만, "A1225"일 수도 있다. 이와 같이 모호성이 존재하는 경우, 각 문자열을 어디까지 연결할 것인지가 문제시 된다. 본 발명 사상에서 명세서 포함 도면 부호를 문자열 인식 단계에서 우선적으로 사용하지 않는 한, 상기 특허 도면 OCR 장치(100)는 "A12"와 "25"라는 문자열 및 "A1225"도 도면 포함 도면 부호의 후보로 생성한다. 이 경우 "A12"와 "25"라는 문자열 및 "A1225" 각각에 대해서 위치나 폰트 크기 등과 같은 도면 포함 도면 부호의 속성 정보를 생성함을 물론일 것이다.

상기 도면 문자열 인식 프로세스(1300)는 상기 도면 포함 도면 부호의 결정 패턴 규칙을 통과하는 문자열을 도면 포함 도면 부호의 후보로 처리한다. 1개의 이미지에서는 n개의 도면 포함 도면 부호의 후보가 생성될 수 있고, 이들은 도면 포함 도면 부호의 후보 집합을 구성하게 된다.

한편, 도면 포함 도면 부호의 결정 패턴 규칙을 통과하는 문자열 중에서도 도면 포함 도면 부호가 아닌 경우가 상당히 많을 수 있다. 그 이유 중 일부는 다음과 같다.

첫째, 도면에 있는 문장형, 구문형 문자열이다. 예를 들면, 프로세스 도면을 박스 내에 있는 다양한 문장이나 구문 등을 구성하는 각 단어 중에서 숫자가 포함되어 있는 많은 단어는 도면 포함 도면 부호의 결정 패턴 규칙을 통과한다. 예를 들어, "A380"이라는 문자열이 있을 때, 이 문자열이 보잉사의 비행기 기종을 표현한다고 하더라도, 도면 포함 도면 부호의 결정 패턴 규칙을 통과한다.

둘째, 숫자나 문자로 오 인식된 이미지가 숫자나 문자와 연결되는 경우에도 도면 포함 도면 부호의 결정 패턴 규칙을 통과할 가능성이 높다. 도 30에서 예시되는 바와 같이, 1개의 도면에 도면 부호가 많이 있는 경우에는 도면 또한 복잡한 구성을 가지는 경우가 많다. 이 때, 도면에는 다수의 도면 포함 도면 부호가 이미지 곳곳에 배치되어 있게 되고(도면 이미지에서 도면 포함 도면 부호의 밀도가 높음), 도면 포함 도면 부호와 구성 요소 간을 연결하는 선도 복잡하게 된다. 이런 경우에는 문자로 오 인식되는 이미지 부분 부분이 실제 문자와 연결되어 잘못된 문자열을 구성하게 된다.

셋째, 오 인식된 이미지 부분 부분이 서로 연결되어 문자열로 출력되고, 이 문자열이 도면 포함 도면 부호의 결정 패턴 규칙을 통과할 수 있다. 예를 들면, 세로 선 2개를 숫자 "1" 및 "1"로 좌우로 굽어지는 선을 "3"으로 인식해 "113"이라는 문자열을 만들어 내는 경우를 들 수 있다.

본 발명에서는 상기의 문제를 해결하는 2가지 방법을 제시한다.

첫번째 방법은 명세서에서 추출되는 명세서 포함 도면 부호를 활용하여, 추출된 명세서 포함 도면 부호와 입수된 도면 포함 도면 부호의 후보를 맵핑 처리하고, 맵핑된 도면 포함 도면 부호의 후보만을 도면 포함 도면 부호로 처리하는 후단계 맵핑 방법이다. 이 방법은 도 11에서 예시되어 있다.

둘째 방법은 도면 포함 도면 부호의 후보 집합의 생성 전 단계에서 명세서 포함 도면 부호를 활용하는 전단계 필터링 방법이다. 명세서 포함 도면 부호를 활용하면 1) 시작하는 문자열의 종류가 정해지고, 2) 특정한 문자 다음에 올 수 있는 문자열도 정해지게 되기 때문에, 문자열을 인식하는 단계부터 오 인식의 가능성이 훨씬 줄일 수 있을 뿐만 아니라 들게 된다. 특히, 문자열 블록의 연결 시 특정한 문자열 블록과 다른 문자열 블록을 연결할 것인지를 결정할 때 특별한 효과를 발휘하게 되다. 이를 통해서 연결이 없었다면 도면 포함 도면 부호가 되지 못하는(명세서 포함 도면 부호에 없는 도면 포함 도면 부호) 문자열들이 연결을 통해서 우연히 도면 포함 도면 부호처럼 취급되는(명세서 포함 도면 부호에 있는 도면 포함 도면 부호와 결과적으로 같은 문자열 표현이 되어, 결과적으로 도면 부호의 설명이 결합되어 버리게 되는) 문제도 미연에 방지될 수 있게 된다. 이를 위해서는 도면 포함 도면 부호 후보 생성 단계에서 명세서 포함 도면 부호 집합을 조회하는 단계를 처리하여야 하며, 이를 위해서 사전에 명세서 포함 도면 부호 집합이 생성되어 있어야 한다.

이에 따라, 상기 특허 도면 OCR 장치(100)의 처리 수행 전에 도면 부호-설명 인식 장치(200)의 처리 수행이 우선되는 것이 바람직할 것이다.

한편, 명세서 포함 도면 부호 후보 집합을 구성하는 명세서 상의 문단에서 "figure +number" 또는 "도+number" 등과 같은 도면을 지칭하는 표현이 있는 경우, 그 문단에서 나오는 명세서 포함 도면 부호는 특정 도면에 특화성 높은 명세서 포함 도면 부호로 처리되고, 명세서 포함 도면 부호와 도면 번호는 맵핑되어 저장될 수 있다. 이를 통해서 상기 명세서 포함 도면 부호 후보 집합이 도면 단위로 구축될 수 있다. 도면 단위로 명세서 포함 도면 부호 후보 집합이 존재하는 경우, 이 데이터를 활용하면 도면 포함 도면 부호의 후보 집합의 전단계 필터링을 더욱 더 정밀하게 처리할 수 있게 된다.

실제 도면 포함 도면 부호의 후보 집합에 대해 명세서 포함 도면 부호를 맵핑 시킬 때, 모호성(ambiguity)이 존재하는 경우가 아주 많다. 특히, 도면이 흐리거나 해상도가 낮거나, 폰트가 깔끔하지 못하거나, 도면 포함 도면 부호가 아주 많은 경우 등에서는 다양한 모호성이 존재한다. 이때, 도면별로 생성된 명세서 포함 도면 부호 후보 집합은 특정 도면에서 추출되는 도면 포함 도면 부호의 후보의 처리에서 추가 가중치 부여 요소로 작용할 수 있게 된다.

예를 들면, 특정한 도면에서 인식된 특정한 도면 포함 도면 부호의 후보의 문자열 중 특정한 1개의 문자의 정확도가 낮은 경우(예, 문자 "I" 또는 숫자 '1"인지 명쾌하게 분류되지 못하는 경우), 그 특정한 도면과 관련된 명세서의 설명 부분에서 생성하는 명세서 포함 도면 부호를 참조하여, 인식된 문자의 정확도를 높일 수 있다. 예시의 경우에서도 도면 1에서는 문자 " I "없는 경우, 그 문자는 숫자 "1"로 인식하게 되면, 결과적으로 문자열의 인식률이 높아지게 된다.

도 10은 본 발명의 도면 부호 인식 프로세스(1330)의 합성 처리 프로세스에 대한 일 실시예적 구현예이다.

도면 부호 인식 프로세스(1330)는 합성 처리 규칙을 사용하여, 인식된 제1 개별 문자와 합성 처리할 적어도 하나 이상의 제2 개별 문자를 탐색(S41)한다. 제1 개별 문자가 있을 때, 합성 처리할 제2 개별 문자의 탐색에는 제1 개별 문자의 인식값이나 제2 개별 문자이 인식값 자체는 크게 중요하지 않다. 예를 들면, 제1 개별 문자에 대한 인식값이 숫자 "1"이거나, 소문자 "i" 인 것은 상기 제1 개별 문자와 묶을 대상이 되는 제2 개별 문자를 탐색하는데 큰 영향은 없다. 왜냐하면, 숫자 "1"로 시작하는 도면 포함 도면 부호도 있을 수 있지만, 소문자 "i"로 시작하는 도면 포함 도면 부호도 있을 수 있기 때문이다.

도면 부호 인식 프로세스(1330)는 합성 처리 규칙을 적용하여 상기 제1 개별 문자와 합성 처리할 적어도 하나 이상의 제2 개별 문자가 있는가를 탐색(S42) 한다. 상기 제2 개별 문자는 2글자(캐릭터) 이상일 수 있다. 최종적으로 합성 처리되는 문자열은 "제1 개별 문자 + 제2 개별 문자+ 제3 개별 문자+ …제 n 개별 문자"의 형태를 가질 수 있을 것이다. 제n 개별 문자가 포함되는 경우, "제1 개별 문자 + 제2 개별 문자+ 제3 개별 문자+ …제 n -1개별 문자"는 적어도 합성 처리의 결과에서 배제된다. 즉, 합성 처리가 될 때에는 가장 긴 것(the longest one)이 도면 포함 도면 부호의 후보가 된다. 예를 들면, 도면의 특정한 위치에 "S1234"가 있을 때, "S"가 인식되고, "S"의 옆에 각각 "1", "2", "3" 및 "4"가 있어, 이것이 "S1234"로 합성 처리된 경우라면, S12나 S123은 배제된다는 뜻이다. 물론, 같은 도면의 다른 곳에서 "S123"이 있는 경우에는 도면 부호 인식 프로세스(1330)가 생성하는 도면 포함 도면 부호 후보에는 "S1234" 및 "S123"이 있게 됨은 당연할 것이다.

도면 부호 인식 프로세스(1330)는 탐색 결과 제2 개별 문자가 있는 경우, 있는 경우 제1 개별 문자의 제1 인식값과 적어도 하나 이상의 제2 개별 문자의 제2 인식값을 결합하여 적어도 하나 이상의 도면 포함 도면 부호 후보를 생성(S43)한다. 문자 인식은 항상 옳을 수가 없으므로, 문자 인식 대상마다 1개 이상의 인식값 및 인식 평가 정보(인식 확률/정확도/인식 레벨 등) 등이 대응될 수 있다. 예를 들면, "1"처림 생긴 이미지 부분에 대해서, 숫자 "1"로 인식할 수도 있고, 소문자 "i"로 인식할 수도 있으며, 인식 알고리즘은 각 인식값에 대한 인식 평가 정보를 생성할 수 있다. 따라서, 각각 적어도 1개 이상의 인식값을 가지고 있는 여러 개의 인식 대상이 합성 처리가 되는 경우에는 에는 적어도 1개 이상의 도면 포함 도면 부호 후보가 생성될 수 있게 된다. 각 도면 포함 도면 부호 후보에는 랭킹 또는 종합적 인식 평가 정보가 대응될 수 있다.

도면 부호 인식 프로세스(1330)는 랭킹 또는 종합적 인식 평가 정보를 기준으로 한 우선 순위가 높은 도면 포함 도면 부호 후보부터 명세서 포함 도면 부호 집합에 조회(S44)한다. 생성된 도면 포함 도면 부호 후보가 명세서 포함 도면 부호 집합에 있는가? (S45)를 질의한 다음, 있는 경우에는 도면 포함 도면 부호로 결정(S46)한다. 이때, 1개의 도면 포함 도면 부호 후보가 하나 이상의 명세서 포함 도면 부호와 대응되는 경우도 발생할 수 있음은 물론이다. 이어, 상기 특허 도면 OCR 장치(100)는 명세서 포함 도면 부호를 매개로 도면 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터(1:1 또는 1:n) 생성(S47) 과정을 수행한다. 질의 결과 도면 포함 도면 부호 후부가 명세서 포함 도면 부호에 없는 경우에는 맵핑 데이터를 생성하지 않거나, 선택적으로 탐욕적 탐색(greedy search)을 수행(S48)할 수 있다. 탐욕적 탐색이란 인색 대상에 대한 모든 또는 일정 기준 이상의 모든 인식값의 조합에 대하여 도면 포함 도면 부호 후보로 처리하고, 명세서 포함 도면 부호 집합에 대한 조회(S46) 처리를 수행하는 것을 말한다.

통상적으로 1개 캐릭터/문자로 되는 도면 포함 도면 부호는 많이 사용되지 않지만, 그렇다고 해서 전혀 사용되지 않는 것도 아니다. 따라서, 대상인 제2 개별 문자가 없는 경우에는 주의를 요한다. 왜냐하면, 문자 인식에는 무수한 오류가 존재하며, 도면을 구성하는 여러 이미지 요소(선, 점선, 곡선 부분 등)을 작은 박스 형태로 떼어 놓으면 문자처럼 인식되는 것이 아주 많게 된다. 이렇게 되면 노이즈가 엄청나게 발생한다. 예를 들면, 수직선의 일부를 박스 형태로 내서 인식하면, 숫자 "1", 대문자 "I"나 소문자 "L" 등으로 인식될 수 있으며, 특히 도부 집합에 숫자 "1", "I"나 "L"의 소문자 등이 있게 되면, 도면의 많은 부분에서 노이즈가 발생하게 된다.

도면 부호 인식 프로세스(1330)는 제2 개별 문자가 없는 경우에는 상기 제1 개별 문자가 평균 크기를 많이 벗어나는가(S49-1)를 질의한다. 상기 특허 도면 OCR 장치(100)는 인식의 대상이 되는 도면 포함 도면 부호의 평균 크기를 계산할 수 있다. 상기 특허 도면 OCR 장치(100)는 상기 S22 과정에서 도면 포함 도면 부호 후보와 1:1로 맵핑 처리가 되는 명세서 포함 도면 부호가 있는 경우, 이러한 도면 포함 도면 부호 후보를 대상으로, 개별 문자의 크기 정보를 입수하여 평균 크기를 계산한다. 1개의 도면 또는 1개의 특허에 포함되는 도면 포함 도면 부호의 폰트 크기는 크게 차이가 나지 않는 것이 일반적이기 때문이다.

도면 부호 인식 프로세스(1330)는 제1 개별 문자가 평균 크기를 많이 벗어나는 경우에는 그 개별 문자는 노이즈 처리(S49-2)를 수행하고, 아닌 경우에는 생성된 도면 포함 도면 부호 후보를 명세서 포함 도면 부호 집합에 조회(S49-3)한다. 생성된 도면 포함 도면 부호 후보가 명세서 포함 도면 부호 집합에 있는가? (S49-4)를 조회한 결과 있는 경우에는 도면 포함 도면 부호로 결정(S49-5)하고, 없는 경우에는 노이즈 로 처리(S49-6)한다.

도 11은 본 발명의 상기 도면 부호 정보셋 생성 프로세스(1400)의 도면 포함 도면 부호의 속성 정보 생성 프로세스에 대한 일 실시예적 구현예이다. 상기 도면 부호 정보셋 생성 프로세스(1400)는 도면 포함 도면 부호의 후보 문자열을 명세서 포함 도면 부호 후보 집합에 조회(S51)하여, 도면 포함 도면 부호의 후보 문자열을 명세서 포함 도면 부호 또는 명세서 포함 도면 부호 후보 집합에 존재하는 지를 판단(S52)하고, 존재하는 경우 도면 포함 도면 부호의 후보 문자열을 도면 포함 도면 부호로 인정(S53)하고, 아닌 경우 도면 포함 도면 부호의 후보 문자열 버림(S54) 처리하는 방식으로 프로세싱 할 수 있다.

도면 포함 도면 부호의 속성 정보의 처리에 대해서 설명한다. 상기 도면 부호 정보셋 생성 프로세스(1400)는 도면 포함 도면 부호 후보에 해당하는 문자열의 인식 시에 도면 포함 도면 부호 후보의 속성 정보를 생성하고 저장하게 된다. 도면 포함 도면 부호의 속성 정보에는 도면 포함 도면 부호의 위치(직사각형의 도면 포함 도면 부호 블록에 대응되는 4개의 꼭지점 좌표값), 도면 포함 도면 부호 폰트의 크기, 배향(우향, 상향, 하향 등), 구성(숫자만, 문자+숫자 등), 문자열의 길이(캐릭터의 개수), 도면 포함 도면 부호가 나타나는 특정한 도면 번호 및 도면 포함 도면 부호가 나타나는 전체 개수) 등이 있을 수 있다.

이어, 상기 도면 부호-설명 인식 장치(200)의 명세서 포함 도면 부호 및 도면 부호의 설명 데이터의 생성에 대해서 설명한다. 명세서 포함 도면 부호 및 도면 부호의 설명 데이터의 생성은 도면에서 도면 포함 도면 부호의 인식보다 먼저 처리되어 있는 것이 바람직하다.

도 12는 본 발명의 도면 부호-설명 인식 장치(200)의 명세서 포함 도면 부호 및 도면 부호의 설명 정보의 생성 프로세스에 대한 일 실시예적 구현예이다.

명세서 포함 도면 부호 및 도면 부호의 설명 데이터는 명세서 데이터를 처리하여 생성된다. 명세서 포함 도면 부호 데이터가 XML 등과 같은 마크업 언어로 되어 있는 경우와, 태그가 없는 단순 텍스트인 경우에는 경우가 있다. 상기 도면 부호-설명 인식 장치(200)는 명세서 입수(S71)하고, 명세서 포함 도면 부호가 마크업 언어로 작성되어 있는가를 판단(S72)할 수 있다. 명세서 포함 도면 부호가 마크업 언어로 되어 있는 경우, 도면 부호에 대응하는 명세서 포함 도면 부호의 태그부를 인식하고, 명세서 포함 도면 부호의 태그부에서 상기 명세서 포함 도면 부호를 추출(S73)하고, 명세서 포함 도면 부호의 태그부와의 기 설정된 위치에 있는 문자열을 추출(S74)하고, 추출된 상기 문자열에서 도면 부호의 설명 후보를 결정(S75)한다.

예를 들어, 하기와 같은 명세서 내용(US 특허 출원 14/249,716호의 마크업 언어 파일에서 발췌한 내용)이 있다고 하자.

Hybrid oxide-silicon thin-film transistor structures such as illustrative thin-film transistor structures <b>302</b> of <figref idrefs="DRAWINGS">FIG. 10</figref> may be used in forming CMOS-type circuitry in display driver circuitry such as gate driver circuitry <b>18</b> and demultiplexer circuitry <b>20</b>. As shown in <figref idrefs="DRAWINGS">FIG. 10</figref>, structures <b>302</b> may have a polysilicon layer <b>308</b> that is formed on substrate <b>24</b>. P-channel active area <b>310</b> may be formed under gate <b>312</b>. Gate insulator layer <b>306</b> (e.g., silicon oxide) may separate gate <b>312</b> from silicon channel region <b>310</b> in silicon layer <b>308</b>. Dielectric layer <b>302</b> (e.g., sublayers of silicon oxide and silicon nitride) may cover gate <b>312</b>. Dielectric layer <b>306</b> may separate gate <b>312</b> from overlapping oxide layer <b>312</b>. Oxide layer <b>312</b> may be a semiconducting oxide such as IGZO material.

"<figref idrefs="DRAWINGS">FIG. 10</figref> "라는 문자열에서 이 문단은 " FIG. 10"과 관계되고 있다는 것을 알 수 있다. 한편, 상기의 예에서는 명세서 포함 도면 부호는 <b> 태그 사이에 존재한다는 것을 알 수 있고, "<b>문자열</b>"는 명세서 포함 도면 부호의 태그부가 된다. 상기 도면 부호-설명 인식 장치(200)는 상기 명세서 포함 도면 부호의 태그부를 처리하여 명세서 포함 도면 부호를 추출한다. 이어 상기 도면 부호-설명 인식 장치(200)는 명세서 포함 도면 부호의 태그부와의 기 설정된 위치에 있는 문자열을 추출(S74)한다. 예시적으로 상기 도면 부호-설명 인식 장치(200)는 명세서 포함 도면 부호의 시작 지점(앞에 있는 <b> 태그)에서 역 방향으로 문자열을 읽어 나가면서 다음 예시와 같은 도면 부호의 설명 후보 조건을 만족하는 위치까지의 문자열을 추출한다.

문자열이 영어인 경우,

1) 첫번째 부정관사를 만나기 직전까지의 문자열

2) 첫번째 the said, said 또는 the를 만나기 직전까지의 문자열

3) at least 숫자, one or more 등과 같은 기 설정된 도면 부호의 설명 후보 관련 표현 직전까지의 문자열

4) 기 설정된 n번째 단어까지 위 1) 또는 2)조건 중에 해당하는 문자열이 없는 경우, 첫번째 복수형 명사까지의 문자열

5) 1), 2) 및 3)이 모두 성립하지 않는 상태에서 문장의 시작까지의 문자열

도면 부호의 설명 후보 조건은 가공 규칙 데이터부(5240)에 저장될 수 있다.

문자열이 영어가 아닌 한글 등이 경우, the나 the said 에 대응되는 표현(예를 들면 "상기")을 정관사나 the said 대신에 적용한다.

상기 도면 부호-설명 인식 장치(200)는 명세서 입수(S71)하고, 명세서가 마크업 언어로 작성되어 있는가를 판단(S72)할 수 있다. 명세서가 마크업 언어로 되어 있지 않은 경우, 상기 도면 부호-설명 인식 장치(200)는 명세서 포함 도면 부호 식별 규칙을 적용하여, 상기 명세서 포함 도면 부호를 추출(S76)하고, 명세서 포함 도면 부호를 기준으로 상기 명세서 포함 도면 부호와의 기 설정된 위치에 있는 문자열을 추출(S77)하고, 추출된 상기 문자열에서 도면 부호의 설명 후보를 결정(S78) 처리하는 방식으로 프로세싱 한다.

상기 명세서 포함 도면 부호 식별 규칙은 1) "좌괄호+명세서 포함 도면 부호+우괄호" 등과 같은 명세서 상에서 명세서 포함 도면 부호를 표현하는 방식 등과 같은 명시적 규칙성이 있는 경우에는 그 규칙을 적용하여 처리한다. (대한민국 특허 명세서에서는 명세서 포함 도면 부호는 관행적으로 괄호 내에 표현한다.) 괄호 안에는 명세서 포함 도면 부호가 아닌 다른 문자열이 포함되는 경우도 다수 있으므로, 괄호 안에 포함되어 있는 문자열 중에서, 명세서 포함 도면 부호를 결정하는 것은 다음과 같은 조건을 적용한다. 한편, 괄호 등과 같은 관행적인 명세서 포함 도면 부호 식별 규칙이 없는 경우에는 "띄어쓰기+명세서 포함 도면 부호+띄어쓰기" 등과 같은 무방식의 경우에도 동등한 조건을 적용할 수 있다.

첫째, 문자열이 2단어 이상(띄어쓰기가 있는 경우)에는 명세서 포함 도면 부호가 아니다.

둘째, 숫자가 포함되어 있지 않은 문자열은 명세서 포함 도면 부호가 아니다.

셋째, 문자열에 숫자와 문자가 함께 포함되어 있는 경우, 다음과 같은 하위 기준을 적용한다.

셋째, 명세서 포함 도면 부호 포함 기호는 문자열의 처음도 될 수 없고 마지막도 될 수 없다.

넷째, 문자열의 전체 길이는 기 설정된 한계(예, 6~7 글자) 이내이다.

다섯째, 명세서 포함 도면 부호 포함 기호가 아닌 구두점이나 기호는 명세서 포함 도면 부호 구성에서 제외된다.

명세서 포함 도면 부호 식별 규칙은 가공 규칙 데이터부(5240)에 저장될 수 있다.

마크업 언어로 되어 있지 않은 명세서에서 명세서 포함 도면 부호가 결정되었을 때, 도면 부호의 설명을 결정하는 것은 마크업 언어로 되어 있는 명세서에서와 동일하다.

그런데, 명세서 포함 도면 부호와 도면 부호의 설명 후보 간에는 원칙적으로 단일 명세서 내에서의 표현의 일관성의 원칙상 1:1 관계가 성립해야 하나, 사실 상 1:1 관계가 성립하지 않는 경우가 다수 있을 수 있다. 이유는 다음을 포함한다.

첫째, 명세서를 작성하는 사람의 실수나 오류 때문이다. 다른 표현에 동일 명세서 포함 도면 부호를 적용하거나, 동일 명세서 포함 도면 부호에 다른 표현이 사용되는 경우 등이다.

둘째, 명세서를 작성 프로그램 또는 명세서 전산화 프로그램 또는 명세서 가공 프로그램에서의 실수나 오류가 있을 수 있다.

셋째, 도면 부호의 설명 후보 조건의 불완비성 또는 도면 부호의 설명 후보 조건을 적용하는 프로그램의 불완전성 때문이다. 도면 부호의 설명 후보 조건을 아무리 다양하고 엄격하게 준비한다고 하더라도 1)도면 부호의 설명 후보 조건을 벗어나는 표현의 존재 가능성 항상 있고, 2) 도면 부호의 설명 후보 조건 간에 충돌 관계나 우선 순위 적용에서 예외 상황이 발생할 수 있게 된다.

이 때 어느 명세서 포함 도면 부호에 어느 도면 부호의 설명을 맵핑할 것인가를 결정하는 것이 중요하게 된다. 도 13내지 도 15를 참조하면서 설명한다.

도 13은 본 발명의 상기 도면 부호-설명 인식 장치(200)의 도면 부호의 설명 결정 프로세스에 대한 일 실시예적 구현예이다.

도 13에서 예시되듯이 상기 도면 부호-설명 인식 장치(200)는 도면 부호의 설명 후보를 입수(S81)하고, 도면 부호의 설명 후보에 도면 부호의 설명 결정 규칙을 적용(S82)하고, 도면 부호의 설명을 결정(S83) 처리하는 방식으로 프로세싱 한다.

도 14는 본 발명의 도면 부호-설명 인식 장치(200)의 도면 포함 도면 부호와 상기 도면 부호의 설명의 맵핑 데이터 생성 전 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 프로세스에 대한 일 실시예적 구현예이다.

도 14에서 예시되듯이 상기 도면 부호-설명 인식 장치(200)는 명세서 전체에서 생성한 명세서 포함 도면 부호 및 도면 부호의 설명의 쌍 데이터 입수(S91)하고, 명세서 포함 도면 부호를 기준으로 전체 도면 부호의 설명이 유일(1:1 대응)한가를 조회 (S92)하고, Yes인 경우 명세서 포함 도면 부호와 도면 부호의 설명의 1:1 맵핑 처리(S93)한다. 한편, 상기 도면 부호-설명 인식 장치(200)는 1:1 대응 관계가 성립하지 않는 경우에는 도면 부호의 설명 결정 규칙을 적용한다. 상기 도면 부호-설명 인식 장치(200)는 도면 부호의 설명 중에서 최빈 도면 부호의 설명을 입수하고, 빈도 비율값을 확률값으로 처리하고 명세서 포함 도면 부호와 도면 부호의 설명의 확률 정보 포함 1:n 맵핑 처리(S94)하고, 명세서 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터(1:1 또는 1:n)를 생성(S95)하는 방식으로 프로세싱 할 수 있다.

도 15는 본 발명의 도면 부호-설명 인식 장치(200)의 명세서 포함 도면 부호를 매개로 도면 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터(1:1 또는 1:n) 생성 프로세스에 대한 일 실시예적 구현예이다.

도 15에서 예시되듯이 상기 도면 부호-설명 인식 장치(200)는 도면 포함 도면 부호를 입수(S101)하고, (마름모)도면 포함 도면 부호에 대응되는 명세서 포함 도면 부호가 존재하는가를 조회 (S102)하고, Yes 인 경우, 도면 포함 도면 부호와 명세서 포함 도면 부호의 맵핑(S103)하고, 명세서 포함 도면 부호를 매개로 도면 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터(1:1 또는 1:n) 생성(S104)하며, No 인 경우 명세서 포함 도면 부호가 존재하지 않는 도면 포함 도면 부호임을 저장하여, 이 도면 포함 도면 부호가 도면 포함 도면 부호와 도면 부호의 설명의 맵핑 처리에서 배제될 수 있도록 처리(S105)하는 방식으로 프로세싱 한다.

이어, 본 발명의 도면 부호-설명 인식 장치(200)의 데이터 생성에 대하여 예시를 들어 설명한다.

예를 들어, 하기와 같은 명세서 내용(US 특허 출원 14/249,716호의 마크업 언어 파일에서 발췌한 내용)을 예시적으로 설명한다.

상기의 도면 부호의 설명 후보 조건을 적용하는 경우, 상기 인용된 명세서 내용에서 하기 표 7과 같은 도면 부호의 설명 후보 집합을 생성할 수 있다.

상기 표 7 같은 데이터는 명세서 기반 데이터부(5220)에 저장된다.

상기 표 7에서 알 수 있듯이, 도면 부호 302, 308, 310, 312에서와 같이 동일한 도면 부호에 다른 도면 부호의 설명이 대응되는 경우가 있을 수 있다. 이러한 1:n(n은 자연수) 대응 관계는 명세서 상의 기재 불비라는 가능성과는 별도로 현실적으로 빈번하게 발생하고 있다. 이러한 이유 때문에, 명세서 상에서 명세서 포함 도면 부호에 대응되는 도면 부호의 설명을 기계적으로 확정할 수 없는 문제가 발생한다.

상기 도면 부호-설명 인식 장치(200)는 명세서 전체를 대상으로 상기 표 7과 같은 데이터를 생성하고, 명세서 포함 도면 부호 기준으로 정보 처리하면 하기 표 8과 같은 데이터를 생성한다.

상기 도면 부호-설명 인식 장치(200)는 본 발명에서는 동일 명세서 포함 도면 부호에 적어도 2 이상의 도면 부호의 설명 후보가 대응되어 있을 때 도면 부호의 설명을 결정할 때 예시적으로 다음과 같은 도면 부호의 설명 결정 규칙을 적용할 수 있다.

1) 명세서 포함 도면 부호 기준 빈도가 가장 높은 도면 부호의 설명 후보

2) 명세서 내에서 명세서 포함 도면 부호와 도면 부호의 설명 간의 맵핑 관계를 처리해 놓은 정보가 있는 경우, 그 맵핑 관계 처리 정보를 우선적으로 반영한 도면 부호의 설명 후보

3)1) 또는 2)가 없는 경우, 길이가 가장 길긴 도면 부호의 설명 후보

도면 부호의 설명 결정 규칙은 가공 규칙 데이터부(5240)에 저장될 수 있다.

상기 도면 부호-설명 인식 장치(200)는 하기 표 9와 같은 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 데이터 및 도면 부호의 설명 속성 정보를 생성한다. 하기 표 9와 같은 데이터는 본 발명의 도면 부호-설명 맵핑 정보셋 생성 프로세스(2400)이 생성하는 도면 부호-설명 맵핑 정보셋의 한 예가 된다.

상기 표 9과 같은 데이터는 명세서 기반 데이터부(5220)에 저장되며, 집계 정보는 집계 데이터부(5250)에도 저장될 수 있다.상기 구성 문자 수는 도면 부호의 설명을 배치하기 위한 도면 부호의 설명 배치 데이터를 생성하는데 중요하게 활용된다. 도면 부호의 설명이 길면 길수록 도면 부호의 설명을 표시하기 위한 공간의 크기도 커져야 하기 때문에, 긴 도면 부호의 설명의 경우에는 다른 도면 부호의 설명과 충돌/겹침이 발생할 가능성이 높기 때문에, 긴 도면 부호의 설명이 다량으로 포함되어 있는 경우에는 도면 부호의 설명 간의 배치가 아주 중요하게 된다.

도 15에서 예시되듯이 상기 도면 부호-설명 인식 장치(200)는 도면 포함 도면 부호를 입수(S101)하고, 도면 포함 도면 부호에 대응되는 명세서 포함 도면 부호가 존재하는 가를 조회 (S102)하고, Yes 인 경우, 도면 포함 도면 부호와 명세서 포함 도면 부호의 맵핑(S103)하고, 명세서 포함 도면 부호를 매개로 도면 포함 도면 부호와 도면 부호의 설명에 대한 맵핑 데이터(1:1 또는 1:n) 생성(S104)하다. 한편, 상기 도면 부호-설명 인식 장치(200)는 도면 포함 도면 부호에 대응되는 명세서 포함 도면 부호가 존재하지 않는 경우에는 명세서 포함 도면 부호가 존재하지 않는 도면 포함 도면 부호임을 저장하여, 이 도면 포함 도면 부호가 도면 포함 도면 부호와 도면 부호의 설명의 맵핑 처리에서 배제될 수 있도록 처리(S105)하는 방식으로 프로세싱 한다.

상기와 같은 방법을 통해서 도면 포함 도면 부호와 도면 부호의 설명 간의 맵핑 관계가 생성되면, 도면 부호의 설명을 도면 포함 도면 부호에 표현하는 방법을 처리할 수 있게 된다.

먼저, 도면 부호의 설명을 도면 포함 도면 부호에 표현하게 하기 위해서 도면 부호의 설명을 어떻게 도면 포함 도면 부호가 포함된 이미지에 배치할 것인가에 대한 데이터인 도면 부호의 설명 배치 데이터를 생성해야 한다. 도면 부호의 설명 배치 데이터 생성의 대 전제가 도면의 물리적 경계 조건(상하좌우) 내에서 도면 포함 도면 부호 주위에 도면 부호의 설명 또는 다른 언어로 번역된 도면 부호의 설명을 배치시킬 여백 공간을 탐색하는 것이다.

도 16은 본 발명의 배치 처리 프로세스(3100)의 도면 부호의 설명 배치 데이터 생성 프로세스에 대한 일 실시예적 구현예이다.

상기 배치 처리 프로세스(3100)는 도면 포함 도면 부호에 대한 처리 순위 정보를 입수(S111)한다. 한편, 처리 순위 정보가 없는 경우에는 랜덤으로 처리된다. 랜덤으로 처리되는 경우에도 처리의 순서는 존재하며, 처리의 순서는 처리 순위 정보가 된다. 처리 순위 정보는 명세서 포함 도면 부호(도면 포함 도면 부호와 명세서 포함 도면 부호는 같은 값임)로 상기 명세서 포함 도면 부호가 나타나는 명세서 상의 위치, 빈도 등을 기준으로 처리된 랭킹이다. 상기 배치 처리 프로세스(3100)는 처리 우선 순위가 제일 높은 제1 도면 포함 도면 부호에 대하여 제 1도면 부호의 설명의 배치를 위한 최소 필요 공간 규모를 계산(S112)한다. 상기 배치 크기 예측 프로세스(3111)가 처리하는 최소 필요 공간 규모는 도면 부호의 설명의 특정 폰트 사이즈 하에서의 길이 및 줄의 수(1줄 도는 2줄로 표시되게 할 것인 지 등)에 주로 의존한다.

상기 배치 크기 예측 프로세스(3111)는 계산된 최소 필요 공간 규모를 초과하는 여백 공간 중 최대 여백 공간을 제1 도면 부호 주위에서 탐색(S113)한다. 이어, 최대 여백 공간이 최소 필요 공간 규모보다 큰지 여부를 질의(S114)한다. 이때, 클 경우(yes) 제1 도면 포함 도면 부호에 대한 제 1도면 부호의 설명의 배치 공간 데이터값 생성(S115)하고, 아닐 경우(no) 제 1도면 부호의 설명에 대한 예외 처리(S116)를 수행한다.

이어, 배치 크기 예측 프로세스(3111)는 제n+1 도면 포함 도면 부호에 대하여 제 n도면 부호의 설명의 배치를 위한 최소 필요 공간 규모를 계산(S117)하고, 계산된 최소 필요 공간 규모를 초과하면서, 제1도면 부호의 설명부터 제 n도면 부호의 설명의 배치 공간 데이터값과 겹치지 않는, 여백 공간이 있는가를 질의(S118)한다. 여백 공간이 있는 경우(yes), 최대 여백 공간을 제n+1 도면 부호 주위에서 탐색(S119)한다. 이어, 최대 여백 공간이 최소 필요 공간 규모보다 큰가를 질의(S1110)하고, 큰 경우(yes) , 제n 도면 포함 도면 부호에 대한 제 n+1도면 부호의 설명의 배치 공간 데이터값 생성(S1111)한다. 아닌 경우(no)에는 제 n+1도면 부호의 설명에 대한 예외 처리(S1112)를 수행한다. 질의(S118)에 부정적인 경우(no), 제 n+1 도면 부호의 설명에 대한 예외 처리(S1113)를 수행한다.

한편, 상기 배치 처리 프로세스(3100)는 도면 포함 도면 부호별 도면 부호의 설명 배치 최소 공간을 탐색하고, 도면 부호의 설명 배치 최소 공간이 적어도 2 이상의 도면 포함 도면 부호에 대해 겹침이 발생하는 지를 탐색하고, 겹침이 발생하는 도면 포함 도면 부호 집합과 겹침이 발생하지 않는 도면 포함 도면 부호 집합의 분리하는 처리를 먼저 수행할 수 있다. 이어, 상기 배치 처리 프로세스(3100)는 겹침 발생하는 도면 포함 도면 부호 집합에 포함된 도면 부호의 설명 배치 전략 데이터의 생성 및 도면 부호의 설명 배치 전략 데이터를 참조하여 부호의 설명 배치 데이터를 생성하거나, 겹침 발생하지 않는 도면 포함 도면 부호 집합에 포함된 도면 부호의 설명 배치 전략 데이터 생성 및 도면 부호의 설명 배치 전략 데이터를 참조하여 부호의 설명 배치 데이터 생성하는 방식으로 프로세싱 한다.

도면 부호의 설명이 있는 경우, 상기 배치 크기 예측 프로세스(3111)는 도면 부호의 설명이 길이(총 문자의 개수)를 알 수 있으므로, 도면 부호의 설명을 표시할 폰트 및 폰트 사이즈에 따른 도면 부호의 설명을 표시하기 위한 필요 공간의 크기와 형태 정보를 계산한다. 상기 필요 공간의 크기와 형태 정보는 도면 부호의 설명을 몇 개의 행으로 표시할 것인지에 따라 유동적이게 된다.

가장 기본적인 도면 부호의 설명 배치 최소 공간의 탐색은 도면 부호의 설명마다, 상기 도면 부호의 설명을 표시하기 위한 최소 공간(예, 1개 행 및 기 설정된 폰트 및 폰트 사이즈로 계량하는 표시 공간)이 있는 지를 상기 맵핑되는 도면 표시 도면 부호 주변(오른쪽 또는 직하위 또는 직상위 등)에서 탐색하는 것이다. 만약 충분한 공간이 없는 경우, 변형 조건(폰트 크기 줄임, 2개 행 처리 등)으로 상기 도면 부호의 설명을 표시하기 위한 최소 공간의 존재를 탐색한다. 공간 탐색의 기본 방향은 도면 부호의 설명의 시작점에서 끝점 방향이 된다. 상기 도면 부호의 설명의 시작점은 도면 부호의 설명이 가상의 최소 크기의 사각형 블록 내에서 표시된다고 가정했을 때, 사각형 블록의 좌측 경계선이 된다. 물론, 상기 도면 포함 도면 부호가 도면의 우측 경계에 근접해 있을 때에는 상기 공간 탐색의 기본 방향은 도면 부호의 설명의 끝점에서 시작점 방향이 된다.

한편, 상기 배치 처리 프로세스(3100)는 상기 도면 부호의 설명 배치 최대 자유 공간을 탐색해 놓을 수도 있다. 상기 최대 자유 공간의 크기는 번역된 도면 부호의 설명의 표시 공간 탐색에 더욱 더 유용할 수 있다.

상기 최소 자유 공간과 최대 자유 공간 모두에는 도면을 구성하는 선도가 없거나 있더라도 희박한 선도 밀도인 것이 바람직할 것이다. 상기 선도 밀도는 흑백 도면일 경우, "선도가 있는 공간 크기/전체 공간 크기"로 계량할 수 있다.

이때, 상기 배치 처리 프로세스(3100)는 상기 도면 부호의 설명의 단어 수를 고려하여 단어 단위로 2행 이상으로 분절(개행 처리)하여 배치하여 겹침이 발생하는 지를 탐색하는 방법도 예비적으로 적용할 수 있다. 이러한 예비적 방법은 상기 도면 부호의 설명이 3단어 이상인 경우 아주 유용하게 활용될 수 있다. 상기 도면 부호의 설명 배치 최소 공간은 도면 부호의 설명의 길이 및 도면 부호의 설명이 표시되는 도면 부호의 설명 폰트의 크기에 의존성을 가진다. 상기 도면 부호의 설명 폰트의 크기는 도면 포함 도면 부호의 폰트 크기와 동일할 수도 있지만 더 작은 크기가 되는 것이 바람직할 것이다. 이유는 도면 부호의 설명의 길이가 도면 포함 도면 부호의 길이에 비하여 훨씬 더 큰 경우가 대부분이기 때문이다. 한편, 상기 도면 부호의 설명의 색깔은 도면 포함 도면 부호의 색깔과 일치할 수도 있지만, 일치하지 않는 것이 식별력 또는 가독성에 있어서 더욱 더 바람직할 것이다.

한편, 상기 배치 처리 프로세스(3100)는 폰트 크기의 조절이나 2행 이상의 개행 처리를 통해서도 상기 도면 부호의 설명의 충돌/겹침 현상을 피할 수 없는 경우에는 다음과 같은 3가지 중 어느 하나 이상을 적용하는 프로세스를 수행한다.

1) 충돌/겹침 현상이 발생하는 도면 부호의 설명 간의 색깔이나 폰트 종류나 폰트 크기를 달리하는 방법

2) 충돌/겹침 현상이 발생하는 도면 부호의 설명 중 어느 하나 이상을 축약 표기하는 경우(예를 들면 3단어 중 2단어만 표시하는 등과 같은 축약 표기 처리)

3) 충돌/겹침 현상이 발생하는 도면 부호의 설명 중 어느 하나 이상을 도면의 여백 공간에 표기하고, 선택적으로 여백 공간에 표기된 도면 부호의 설명과 이에 대응하는 도면 포함 도면 부호 간을 연결선으로 연결하여 도면 포함 도면 부호에 대응되는 도면 부호의 설명을 쉽게 발견할 수 있도록 처리하는 방법

한편, 도면 이미지는 대부분 흑백으로 되어 있고, 사용자 컴퓨터(910)는 칼라 디스플레이를 갖춘 것이 대부분이다. 이 점을 활용하면, 상기 배치 처리 프로세스(3100)는 도면 부호의 설명이 표시될 공간을 탐색할 때, 반드시 흰색 여백만을 대상으로 탐색할 필요는 없게 된다. 즉, 도면 이미지가 흑백일 경우에는 도면 부호의 설명은 칼라로 표시되는 것이 바람직할 것이다. 이에 따라서, 남용만 되지 않는다면, 칼라로 표시되는 도면 부호의 설명이 흑백으로 된 도면의 선 위를 가로지르는 경우가 발생하는 경우도 부분적으로 허용될 수 있다. 배치 처리 프로세스(3100)는 도면 부호의 설명의 배치 공간을 탐색할 때 흰색으로 된 공간을 우선적으로 탐색하지만, 예외적으로는 도면의 내용을 이루는 선 또는 선도를 가로지르는 공간도 탐색할 수 있다. 물론, 이 경우에도 탐색된 공간에서 선이 차지하는 부분(흑색 부분)의 밀도나 비율은 낮을수록 좋을 것이다. 도 24에서 도면 포함 도면 부호 302, 320, 306, 310, 318에 대응되는 도면 부호의 설명들은 도면 부호의 설명이 도면의 내용을 이루는 선을 가로지르고 있다.

특히, 이러한 배치 탐색이 필요한 근본적인 이유는 특허 명세서 작성자가 도면 이미지에서 도면 부호를 붙일 때 도면 부호의 설명이 배치될 것을 가정하지 않고 도면 포함 도면 부호의 위치를 정하기 때문이다. 현실적으로는 도면의 물리적 경계 근처에 위치하고 있는 도면 포함 도면 부호에 대해서 이러한 배치 탐색은 더욱 더 효과적이다. 다만, 배치 처리 프로세스(3100)가 도면 부호의 설명의 배치 공간을 탐색할 때, 서로 다른 칼라로 표시되더라도 서로 다른 도면 부호의 설명이 겹치는 것은 가능한 한 지향하는 것이 바람직할 것이다.

도 17은 본 발명의 배치 처리 프로세스(3100)의 도면 부호의 설명 배치 프로세스에 대한 다른 일 실시예적 구현예이다.

도 17에서 예시되듯이 상기 특허 도면 부호-설명 결합 서버(300)는 제n 도면 포함 도면 부호 위치 좌표, 제n 도면 부호의 설명 텍스트 입수(S121)하고, 제n 도면 부호의 설명 텍스트의 길이를 입수(S122)하고, 제n 도면 부호의 설명 텍스트의 길이를 반지름으로 하고, 제n 도면 포함 도면 부호 블록의 우측면 중심에서 제n 도면 부호의 설명 텍스트 길이를 반지름으로 하는 반원을 형성(S123)하고, 반원의 내에서 기 설정된 각도 단위로 제n 도면 부호의 설명 텍스트 공간과 제1 내지 제n-1 도면 부호의 설명 텍스트가 최소로 충돌하는 각도 결정(S124)하고, 결정된 최소 충돌 각도 데이터를 포함하여 상기 배치 정보셋에 저장(S125)하는 방식으로 프로세싱 한다.

도 18은 상기 배치 처리 프로세스(3100)의 예외 처리 방법에 대해서 설명한다. 예외 처리가 필요한 경우는 도면 이미지에서 도면 포함 도면 부호의 밀도가 특별히 높은 영역이 있는 것과 같이, 적어도 하나 이상의 특정 도면 부호의 설명을 표시하기 위한 최소 여백 공간이 도면 포함 도면 부호 주위에 없는 때에 많이 발생한다. 본 발명에서의 예외 처리는 몇 개의 도면 포함 도면 부호에 대응되는 도면 부호의 설명을 모아서, 도면 이미지의 특정 영역(1개 또는 복수 개 영역)에 배치될 수 있도록 처리하는 것을 포함한다.

상기 배치 처리 프로세스(3100)는 도면 포함 도면 부호에 대한 처리 순위 정보를 입수(S111)하고, 도면 부호의 설명에 대한 예외 처리가 필요한 N개의 도면 포함 도면 부호를 입수(S131)한다. 이때, 예외 처리가 필요한 N개의 도면 부호 및 도면 부호의 설명의 표시를 위한 최소 필요 여백 공간을 계산(S132))한다. 이렇게 N개에 대한 최소 필요 여백 공간을 계산하는 것은 가능하다면 1개의 영역에 N개의 도면 포함 도면 부호에 대응되는 도면 부호의 설명들을 모아서 표시해 주는 것이 바람직하기 때문이다. N개가 불가능하다면, n(n<N)개로 분할하여 분할된 그룹별로 모아서 표시해 줄 수 있다. 도 31에는 3개의 도면 부호 클러스터가 있고, 이들 각각에서는 도면 부호의 설명들이 모아서, "도면 포함 도면 부호:도면 부호의 설명"의 형식으로 표시되어 있다.

도 18에서 예시되듯이, 상기 배치 처리 프로세스(3100)는 N개의 표시를 위한 단일 최소 필요 여백 공간이 도면 이미지에 있는가를 판단(S133)한 다음, 긍정적인 경우(yes) , 단일 최소 필요 여백 공간을 도면 부호 및 도면 부호의 설명의 배치를 위한 배치 공간 데이터값으로 생성(S134)한다. 아닐 경우(no) 배치 처리 프로세스(3100)는 N개를 n분할(n>1)하고, n개의 분할한 도면 부호 및 도면 부호의 설명 그룹별로 그룹을 표시할 단일 최소 필요 여백 공간이 있는가를 판단(S135)하고 긍정적일 경우(yes), 단일 최소 필요 여백 공간을 그룹을 표시를 위한 도면 부호의 설명의 배치 공간 데이터값으로 생성(S136)하고, 아닐 경우(no) 도면 부호의 설명의 배치 공간 데이터 값의 생성을 포기(S137)한다.

도 19는 본 발명의 배치 처리 프로세스(3100)가 도면 포함 도면 부호들의 밀도를 계량하고, 밀도에 따른 근접 도면 포함 도면 부호 클러스터를 발굴하고 처리하는 프로세스에 대한 일 실시예적 구현예이다.

도 19에서 예시되듯이 상기 배치 처리 프로세스(3100)는 2 이상의 근접 도면 포함 도면 부호 클러스터를 발굴(S141)하고, 근접 도면 포함 도면 부호 클러스터의 표시 밀도를 계량(S142)하고, 표시 밀도가 기 설정된 수준 이상인가를 판단(S143)한다. 상기 배치 처리 프로세스(3100)는 판단 결과 밀도가 수준 이상을 경우(Yes) 도면 포함 도면 부호별 도면 부호의 설명 배치 데이터를 생성하지 않고, 도면 내에 도면 부호의 설명 그룹을 표시할 수 있는 여백 공간의 위치 정보를 탐색(S144)한다. 상기 배치 처리 프로세스(3100)는 밀도가 수준 이하일 경우(No) 도면 포함 도면 부호별로 도면 부호의 설명 배치 데이터를 생성(S145)한다.

이때, 여백 공간에 표시되는 도면 부호의 설명은 겹침/충돌이 발생하는 도면 부호의 설명을 대상으로 하며, 상대적으로 중요도가 낮은 도면 부호의 설명이 여백 공간에 표시되도록 처리하는 것이 바람직할 것이다. 상대적으로 중요도가 낮은 도면 부호의 설명의 예시는 다른 도면에서도 빈번하게 등장하는 도면 부호의 설명이거나, 반대로 상위 계층의 도면 포함 도면 부호에 대응되는 도면 부호의 설명을 들 수 있다.

상기 여백 공간의 탐색은 도면의 물리적 경계 조건(상하좌우) 하에서 탐색되어야 한다. 특히, 도면의 우측 경계 근방에 위치한 도면 포함 도면 부호의 경우, 도면 부호의 설명을 오른쪽으로 배치시킬 수 없는 문제가 발생한다. 따라서, 예시적으로 상기 배치 처리 프로세스(3100)는 도면의 우측 경계부(예를 들면, 전체 도면을 수직으로 10등분했을 때, 우측에서 0~20% 내)에 있는 도면 포함 도면 부호의 경우, 아주 짧은 도면 부호의 설명이 아닌 다음에는 도면 부호의 설명을 도면 포함 도면 부호의 좌측이 아니라 우측에 배치시키는 정보 처리를 수행한다. 따라서, 상기 배치 처리 프로세스(3100)의 도면 부호의 설명을 위한 배치 공간의 탐색은 도면 포함 도면 부호의 우측 방향 쪽으로 집중되며, 도면 부호의 설명의 배치도 도면의 물리적 우측 경계선 내에서 처리된다.

상기 배치 처리 프로세스(3100)는 도면에서 절대 여백 공간을 발굴하여, 절대 여백 공간에 기 설정된 조건에 대응되는 도면 부호의 설명을 집중적으로 배치시키는 정보 처리를 수행한다. 도면의 특정 공간에 도면 포함 도면 부호가 집중적으로 배치되거나, 도면 포함 도면 부호가 도면의 물리적 우측 경계면 주변에 몰려 있는 경우 도면 부호의 설명의 배치할 수 있는 여백 공간이 절대적으로 부족할 수 있다. 이때, 상기 배치 처리 프로세스(3100)는 도면에서 적어도 하나 이상의 절대적 여백 공간(도면 포함 도면 부호나 도면을 구성하는 선도, 색 구분, 색 흐림 등이 없는 공간)을 탐색하고, 절대적 여백 공간의 물리적 위치 및 크기를 계산한다. 통상적으로 Fig. 표현 근방이나 도면의 상단부나 하단부에 절대적 여백 공간이 많이 있다.

도 31에서 예시되는 바와 같이, 상기 특허 도면 부호-설명 결합 서버(300)는 도면 포함 도면 부호의 주변에 도면 부호의 설명을 배치시키지 못하는 도면 부호의 설명들을 모아서 절대적 여백 공간에 도면 부호의 설명을 표시할 수 있다. 이때, 상기 도면 포함 도면 부호와 도면 부호의 설명은 상당히 많이 떨어져 있으므로, 절대적 공간에 표시되는 도면 부호의 설명 앞이나 뒤에는 도면 포함 도면 부호가 함께 표시되어 있거나, 도면 포함 도면 부호와 도면 부호의 설명 사이를 색깔이 있는 연결선으로 연결하는 처리를 되는 것이 바람직할 것이다.

도면 부호-설명 결합 정보셋 처리 프로세스(3200)에 대해서 설명한다. 상기 도면 부호-설명 결합 정보셋 처리 프로세스(3200)는 배치 정보셋 입수 프로세스(3210)가 입수한 배치 정보셋을 대상으로 하기와 같은 정보를 부가하여 도면 부호-설명 결합 정보셋을 생성한다. 부가하는 정보는 도면 부호의 설명에 대한 중요도 정보 및 계열 정보가 될 수 있다.

중요도 정보는 중요도 처리 프로세스(2200)가 수행한다. 상기 중요도 처리 프로세스(2200)은 도면 부호의 설명이 나온 위치 정보 및 빈도 정보를 입수 받고 기 설정된 중요도 판단 로직에 따라, 도면 부호의 설명별 중요도를 판단한다. 예를 들면 독립항에도 나타나고 종속항에도 나타나는 도면 부호의 설명의 중요도는, 발명의 상세한 설명에만 나타나는 도면 부호의 설명보다 중요도의 가점이 높게 부여되게 된다.

한편, 많은 도면에서 상위 개념-하위 개념-세부 개념별로 계층적으로 도면 부호가 부여되는 경우가 많다. 예를 들면, 본 발명의 도면에서도 상위 개념인 특허 도면 부호-설명 결합 프로세서(3000)는 도면 부호 3000이, 하위 개념인 배치 처리 프로세스(3100)와 도면 부호-설명 결합 정보셋 처리 프로세스(3200)와 결합 처리 프로세스(3300)에는 각각 3100, 3200 및 3300이 부여되고 있다. 한편, 배치 처리 프로세스(3100)의 세부 개념인 배치 탐색 프로세스(3110) 및 배치 정보셋 생성 프로세스는 각각 3110과 3120이 부여되어 있다. 이와 같이, 상기 계열 처리 프로세스(2300)는 명세서 포함 도면 부호를 구성하는 부호 체계에서의 앞 표시 문자열의 공통성을 기준으로, 명세서 포함 도면 부호의 번호 표기 체계의 계층 구조를 인식한다. 이어, 상기 계열 처리 프로세스(2300)는 인식된 번호 표기 체계의 계층 구조를 사용하여 명세서 포함 도면 부호 전체 집합에 대하여 적어도 2 이상의 계열 그룹을 생성한다. 예를 들면, 명세서 포함 도면 부호 3000 계열에는 3100, 3200, 3300이 있고, 3100 계열에는 3110과 3120이 있게 된다. 이와 같은 방식으로 명세서 포함 도면 부호의 계열이 인식되면, 각 명세서 포함 도면 부호에 대응되는 도면 부호의 설명별로 색깔 계열이 부여될 수도 있으며, 계층 구조 상의 위치에 따라 폰트 사이즈도 다르게 부여될 수 있을 것이다. 예를 들면, 명세서 포함 도면 부호 3000 계열에 대응되는 도면 부호의 설명의 경우 색깔로 녹색이 배정될 수 있을 것이다. 그리고, 3000에 대응되는 도면 부호의 설명은 폰트 크기 60에 진한 녹색, 3100, 3200, 3300에 대응되는 도면 부호의 설명은 폰트 크기 47에 중간 녹색, 3110과 3120에 대응되는 도면 부호의 설명은 폰트 크기 30에 옅은 녹색이 배정될 수 있을 것이다.

하기 표 10은 예시적인 도면 부호의 설명에 대한 표현 데이터의 예시이며, 이러한 표현 데이터는 도면 부호-설명 결합 정보셋의 요소가 된다. 본 발명의 상기 도면 부호-설명 결합 정보셋 생성 프로세스(3230)가 처리하는 상기 도면 부호-설명 결합 정보셋에는 배치 정보셋과 하기와 같은 표현 데이터가 포함되어 있다.

상기 표 10과 같은 데이터는 도면 부호의 설명 배치 데이터부(5230) 또는 도면 기반 데이터부(5210)에 저장되며, 집계 정보는 집계 데이터부(5250)에도 저장될 수 있다.

상기 예시의 도면 부호의 설명 위치 칼럼에서 "우측"은 도면 포함 도면 부호의 문자열의 나열 방향인 우향과 같은 방향의 연장되는 위치에 도면 부호의 설명이 표시됨을 의미한다. 한편, 도면 포함 도면 부호의 문자열 나열 방향이 우향인 경우에라도 도면 부호의 설명은 도면 포함 도면 부호의 아래 또는 위에 표시될 수도 있다. 통상적인 도면 포함 도면 부호의 문자열 나열 방향은 우향인 것이 일반적이나 경우에 따라서는 상향 또는 하향 또는 일정한 각도를 가지는 방향도 있다. 이 경우에도 문자열의 나열 방향의 연장 방향에 도면 부호의 설명이 표시되는 것이 통상적으로 바람직하다.

상기 도면 부호의 설명 위치는 정확하게 지정될 필요성이 있다. 가장 보편적인 방법은 도면 부호의 설명 위치를 결정하기 위한 4개의 좌표값(도면 부호의 설명이 표시되는 직사각형 도면 부호의 설명 블록에 대응되는 4개의 꼭지점의 좌표값)을 도입하는 것이다. 도면 포함 도면 부호의 위치 정보도 4개의 좌표값으로 구성되는 것이 바람직할 것이다.

상기와 같이 중요도 및 계열을 반영하여 각각의 도면 부호의 설명이 표현되는 양식/형태를 결정하는 것은 본 발명은 표현 처리 프로세스(3220)가 수행한다.

이때, 특정한 검색 키워드를 입력한 사용자에게 검색 결과로서 특허 정보와 관련된 도면을 제공할 때, 검색 키워드와 일치하거나 검색 키워드의 전부 또는 일부가 포함되어 있는 도면 부호의 설명이 있는 경우, 그러한 도면 부호의 설명은 눈에 띄기 좋게 강조하여 표시할 필요가 있다. 이러한 정보 처리는 본 발명의 외부 정보 반응 처리 프로세스(3221)가 수행한다. 상기 외부 정보 반응 처리 프로세스(3221)는 사용자 세션별로 사용자가 입력한 검색 키워드를 저장하고 있다가, 도면 부호의 설명 리스트를 대상으로 검색 키워드를 조회하여, 일치하는 문자열이나 포함 관계가 성립하는 도면 부호의 설명이 있는 경우, 그러한 도면 부호의 설명에 대해서는 특별한 표현(예, 폰트 크기, 색깔, 음영 등)이 부가되도록 처리할 수 있다. 상기와 같은 처리는 상기 외부 정보 반응 처리 프로세스(3221)가 타 장치(900)의 한 예시인 사용자 컴퓨터(910)에 전달되는 도면 부호의 설명 데이터에, 특별한 표현이 표시될 수 있도록 처리될 수 있는 데이터를 추가/합체시키는 방식으로 수행된다.

이어, 도면 부호의 설명과 도면 이미지와의 관계, 표시 또는 결합에 대해 설명한다.

상기 도면 부호의 설명은 도면 이미지에 강한 결합(hard binding) 기반 데이터 제공 방식으로 처리되어 물리적으로 일체(단일 파일에 도면 포함 도면 부호와 도면 부호의 설명이 모두 존재하는 방식 또는 레이어 개념이 적용되지 않는 방식)로 존재할 수도 있다. 하지만, 타 장치(900)의 일례인 사용자의 컴퓨터에 도면이 표시될 때, 도면 이미지와 도면 부호의 설명 레이어 정보가 결합되어 제공되는 약한 결합(soft binding) 지향 데이터 제공 방식이 더욱 더 바람직할 수 있다.

약한 결합(soft binding) 지향 데이터 제공 방식에 대해서 더욱 더 상세하게 설명한다. 상기 특허 도면 부호-설명 결합 서버(300)는 하기와 같은 방식으로 타 장치(900)(예시적으로 사용자 컴퓨터(910))에 제공될 데이터를 생성할 수 있다.

　　　 <div style="position: absolute; top: 856px; left: 25px; font-size: 47px;"> 박막 트랜지스터 구조체들</div>

</div>

상기에서　　 <img src="http://..._pct00010.png"/>는 브라우저가 도면 이미지 파일을 읽어올 수 있도록 처리하는 구문의 예시이다.

상기와 같이 데이터를 사용자 컴퓨터(910)에 제공하면, 사용자 컴퓨터(910)의 브라우저는 " 박막 트랜지스터 구조체들"이라는 도면 부호의 설명을 도면 이미지 위에 폰트 크기 47로 지정된 좌표값에 표시될 수 있도록 처리한다. 상기와 같은 처리를 통해서 도 24에서 예시되는 바와 같이 " 박막 트랜지스터 구조체들"이라는 도면 부호의 설명이 도면 이미지 위의 지정된 위치에 표시되게 된다. 이와 같이, 특정한 도면 이미지와 독립적인 레이어에 도면 부호의 설명이 표시되도록 데이터를 생성하는 것은 본 발명의 논리적 결합 처리 프로세스(3320)가 수행한다.

사용자 컴퓨터(910)에 의해 특정한 도면 이미지가 호출될 때, 상기 특허 도면 부호-설명 결합 서버(300)는 상기 도면에 대응되는 도면 부호의 설명 데이터가 사용자 컴퓨터(910)에서 표시될 수 있도록 예시되는 바와 같이 가공 처리한 데이터를 사용자 컴퓨터(910)에 제공한다.

강한 결합(hard binding) 기반 데이터 제공 방식이 아닌, 약한 결합(soft binding) 지향 데이터 제공 방식은 몇가지 장점이 있다.

첫째, 도면 이미지 데이터는 변동성이 거의 없지만 도면 이미지 데이터에서 추출하는 도면 포함 도면 부호 및 도면 포함 도면 부호에 대응되는 도면 부호의 설명은 상대적으로 변동성이 클 수 있다. 도면 포함 도면 부호의 인식의 정확도, 도면 포함 도면 부호와 명세서 포함 도면 부호의 맵핑, 명세서에서 도면 부호의 설명 추출 및 명세서 포함 도면 부호와 도면 부호의 설명에 대한 맵핑은 정보 처리 방식이나 정책, 우선 순위 등에 따라 가변적일 수 있다. 따라서, 도면 이미지와 도면 부호의 설명을 강하게 결합하는 경우, "도면 포함 도면 부호 vs. 도면 부호의 설명"에서 변동이 발생하는 경우에는 과거에 생성되어 있던 가공 도면을 폐기해야 하는 문제가 발생할 수도 있다.

둘째, 도면 부호의 설명은 번역의 대상이 될 수 있다. 영어로 된 도면 부호의 설명을 기계 번역 등의 번역을 수행하여 자신이 원하는 언어로 표시되게 하기 위해서는 번역 기능을 제공하는 프로그램/서비스도 필요하지만 무엇보다도 도면 부호의 설명이 이미지가 아닌 텍스트로 인지될 수 있어야 한다.

셋째, 도면 부호의 설명을 표시하는 방법이 지속적으로 변동할 수도 있다. 도면 부호의 설명 배치 데이터를 구성하는 내용이 달라지거나 업데이트 되는 경우, 변경 또는 업데이트가 반영된 도면 부호의 설명이 제공될 필요가 있다.

도 20은 본 발명의 특허 도면 OCR 장치(100)의 복합 도면을 전처리 프로세스에 대한 일 실시예적 구현예이다.

도 20에서 예시되듯이 상기 특허 도면 OCR 프로세서(1000)는 도면에서 도면 번호의 개수를 식별(S151)하고, 도면 번호의 개수가 2 이상인 경우, 상기 도면을 도면 번호의 개수만큼 절단하여 독립 도면 데이터를 생성(S152)하는 방식으로 프로세싱 한다.

도면 번호의 개수는 "Fig. + 숫자"나 "도 + 숫자"와 같은 독립적인 도면 번호를 가지는 표현이 단일 도면 이미지 파일에 몇 개 존재하는 가를 파악하는 것을 말한다. 상기 특허 도면 부호-설명 결합 서버(300)는 독립적인 도면 번호를 가지는 표현 단위로 도면을 물리적으로 분할 처리하고, 분할된 도면을 대상으로 본 발명 사상을 적용할 수 있다.

도 25는 US 특허 출원 14/249,716호의 특정 도면(도 10)에 대한 본 발명 사상 적용 전의 도면에 대한 예시이다. 상대적으로 간단한 도면이나 이 도면의 도면 포함 도면 부호에는 도면 부호의 설명이 부가되어 있지 않다.

도 26은 US 특허 출원 14/249,716호의 특정 도면(도 10)에 대한 본 발명 사상 적용 후의 사용자가 체감할 수 있는 도면에 대한 예시이다.

도 25의 도면에 도면 부호의 설명이 부가된 본 발명이 적용된 도면이다.

도면 부호에 오리지널 도면 부호의 설명이 있는 경우, 기계 번역 또는 기타의 번역 과정을 통하여 번역된 도면 부호의 설명이 생성될 수 있을 것이다. 하기 표 11는 도 25와 관련된 오리지널 도면 부호의 설명과 다른 언어로 번역된 도면 부호의 설명이 쌍으로 나타나 있는 데이터의 예시가 된다.

도 27은 US 특허 출원 14/249,716호의 특정 도면(도 10)에 대한 본 발명 사상이 적용된 도면 부호의 설명 레이어에 대한 예시이다.상기의 예에서　이미지 파일을 지정하는　　 <img src="http://..._pct00010.png"/> 없이, 하기와 같은 취지의 데이터를 생성하여, 사용자 컴퓨터(910)에 제공하면, 도 27과 같이 도면 이미지 없는 도면 부호의 설명만의 레이어가 사용자에게 제시될 수 있다.<div style="position: relative;">　

　 <div style="position: absolute; top: 856px; left: 25px; font-size: 47px;"> thin-film transistor structures </div>

　　　 <div style="position: absolute; top: 437px; left: 773px; font-size: 47px;"> output terminal </div>

</div>

. . . . . .

도 28은 US 특허 출원 14/249,716호의 특정 도면에 대한 도면 부호의 설명이 오리지널 도면 부호의 설명이 아닌 번역된 도면 부호의 설명이 나타나는 일 예시이다. 도 25의 도면과 관련된 도면 부호의 설명이 다른 언어로 제공되된다. 이때, 도면 부호의 설명은 동일한 언어라도 다를 수 있다. 예를 들면, 번역기마다 다를 수 있다. 또한 특정 국가에서 특정 언어로 출원된 특허가 다른 나라에서 다른 언어로 출원된 경우, 그 다른 언어로 된 명세서에서 추출한 동일 도면 포함 도면 부호에 대응되는 도면 부호의 설명은 번역된 도면 부호의 설명과 다를 수도 있을 것이다.

상기 특허 도면 부호-설명 결합 서버(300)는 표 11와 같은 번역 데이터가 있는 경우, 하기와 같은 구문을 생성하여 사용자 컴퓨터(910)에 전송할 수 있다. 이러한 결과는 도 28에 있다.

</div>

. . . . . .

이 구문에 하기과 같은 구문을 도면 부호의 설명 해당 구문의 위쪽에 추가하면 도 29와 같은 결과가 생성된다.

도 29는 번역된 도면 부호의 설명이 적용된 사용자가 체감할 수 있는 도면에 대한 예시이다.

한편, 도 29와 같은 결과를 생성하기 위해서는 다른 방법도 있다. 도 26과 같은 결과물이 나타나 있는 사용자 브라우저에서 Google Translate와 같은 번역 API에게 화면 URL 및 번역 목적 언어를 전송하면, 태그부가 유지되고 비태그부만 번역된 결과물이 전송받을 수 있다.

도 30 내지 도 34는 US 특허 출원 14/249,716호의 다른 특정 도면(도3)에 대한 본 발명 사상 적용 전후에 대한 도면으로 각각 도 25 내지 도29에 대응된다.

도 31에는 도면 부호 64, 66, 68, 70, 74, 76이 동일한 도면 부호 클러스터를 이루고 있다. 상기와 같은 도면 부호 클러스터의 경우에는 도면 부호의 설명 옆에 도면 포함 도면 부호가 함께 나타나는 것이 바람직할 것이다. 동일한 도면 부호 클러스터를 이루를 "도면 포함 도면 부호 : 도면 부호의 설명"들은 모두 x좌표 값이 동일할 것이다. 본 발명의

하기 표 12는 US 특허 출원 14/249,716호의 다른 특정 도면(도3)에 대한 오리지널 도면 부호의 설명과 다른 언어로 된 도면 부호의 설명이 쌍으로 나타나 있는 데이터의 예시가 된다.

도 34는 US 특허 출원 14/249,716호의 특정 도면에 대한 번역된 도면 부호의 설명이 적용된 사용자가 체감할 수 있는 도면에 대한 다른 예시이다.

본 발명의 특허 정보 산업, 특허 정보 서비스 산업, 기술 정보 사업 및 기술 정보 서비스 산업에 광범위하게 활용할 수 있다.

100 : 특허 도면 OCR 장치
200 : 도면 부호-설명 인식 장치
300 : 특허 도면 부호-설명 결합 서버
400 : 도면 부호 인식 학습 장치
500 : 데이터 저장 장치
800 : 유무선 네트워크
900 : 타 장치
910 : 사용자 컴퓨터
1000 : 특허 도면 OCR 프로세서
1100 : 도면 파일 입수 프로세스
1200 : 도면 파일 파싱 프로세스
1300 : 도면 문자열 인식 프로세스
1310 : 도면 문자 분류 프로세스
1320 : 도면 문자열 합성 프로세스
1330 : 도면 부호 인식 프로세스
1331 : 합성 문자 노이즈 제거 프로세스
1332 : 합성 문자 조회 프로세스
1333 : 도면 부호 크기 예측 프로세스
1334 : 도면 부호 노이즈 제거 프로세스
1400 : 도면 부호 정보셋 생성 프로세스
100a : 특허 도면 OCR 장치 통신부
2000 : 도면 부호-설명 인식 프로세서
2100 : 명세서 입수 프로세스
2110 : 도면 부호-설명 인식 프로세스
2120 : 도면 부호의 설명 인식 프로세스
2130 : 도면 부호-설명 맵핑 프로세스
2200 : 중요도 처리 프로세스
2210 : 위치 인식 처리 프로세스
2220 : 빈도 인식 처리 프로세스
2300 : 계열 처리 프로세스
2310 : 계열 인식 프로세스
2320 : 계열 카테고리화 프로세스
2400 : 도면 부호-설명 맵핑 정보셋 생성 프로세스
200a : 도면 부호-설명 인식 장치 통신부
3000 : 특허 도면 부호-설명 결합 프로세서
3100 : 배치 처리 프로세스
3110 : 배치 탐색 프로세스
3111 : 배치 크기 예측 프로세스
3112 : 여백 인지 프로세스
3113 : 주변 탐색 프로세스
3114 : 배치 정책 반영 프로세스
3120 : 배치 정보셋 생성 프로세스
3200 : 도면 부호-설명 결합 정보셋 처리 프로세스
3210 : 배치 정보셋 입수 프로세스
3220 : 표현 처리 프로세스
3221 : 외부 정보 반응 처리 프로세스
3230 : 도면 부호-설명 결합 정보셋 생성 프로세스
3300 : 결합 처리 프로세스
3310 : I/O처리 프로세스
3320 : 논리적 결합 처리 프로세스
3330 : 물리적 결합 처리 프로세스
3331 : 물리적 결합 배치 처리 프로세스
300a : 특허 도면 부호-설명 결합 장치 통신부
4000 : 도면 부호 인식 학습 프로세서
4100 : 학습 프로세스
4110 : 하이퍼 파라미터 최적화 프로세스
4111 : training 데이터 대상 인식 모델링 학습부
4112 : validation 데이터 대상 인식 모델링 검증부
4120 : 학습 모형 파라미터 학습 프로세스
4121 : 전체 데이터 대상 인식 모델링 학습부
4100 : 학습 데이터 저장 장치
4110 : 문자별 학습 이미지 데이터부
4100 : 학습 결과 저장부
400a : 도면 부호 인식 학습 장치 통신부
5100 : 파일 저장 장치
5110 : 도면 파일 저장부
5111 : 오리지널 도면 파일 저장부
5112 : 가공 도면 파일 저장부
5120 : 명세서 파일 저장부
5200 : DB장치
5210 : 도면 기반 데이터부
5211 : 도면 부호 정보셋
5220 : 명세서 기반 데이터부
5221 : 발명의 상세한 설명 데이터
5222 : 도면 부호-설명 맵핑 정보셋
5230 : 도면 부호의 설명 배치 데이터부
5231 : 배치 정보셋
5232 : 도면 부호-설명 결합 정보셋
5240 : 가공 규칙 데이터부
5250 : 집계 데이터부
5260 : 정책 데이터부
5270 : 학습 데이터부
500a : 데이터 저장 장치 통신부

Claims

제공되는 특허 도면의 도면 부호의 주위에 도면 부호의 설명이 표시될 수 있도록 하는 처리하는 방법에 있어서,
(a) i) 특허 도면 OCR 장치에 의해 특허 식별자와 대응될 수 있는 특허 도면 식별자에 대응되는 적어도 하나 이상의 특허 도면 이미지 파일이 입수된 후, 상기 특허 도면 이미지 파일에서 적어도 하나 이상의 도면 포함 도면 부호가 인식되고, 상기 도면 포함 도면 부호 의 위치 정보를 포함하는 인식된 상기 도면 포함 도면 부호에 대응되는 도면 포함 도면 부호 정보셋이 생성되는 제1 상태; 및 ii) 도면 부호-설명 인식 장치에 의해 도면 부호와 도면 부호의 설명이 포함된 명세서 문자열이 파싱되고, 상기 명세서 문자열에 포함된 적어도 하나 이상의 명세서 포함 도면 부호와 적어도 하나 이상의 도면 부호의 설명이 인식되며, 인식된 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 관계를 포함하는 특허 식별자별 명세서 포함 도면 부호-설명 맵핑 정보셋이 생성되는 제2 상태가 수행된 상태에서, 특허 도면 부호-설명 결합 서버가, 상기 특허 식별자에 대응되는 명세서 포함 도면 부호-설명 맵핑 정보셋 및 상기 특허 도면 식별자에 대응되는 상기 도면 포함 도면 부호 정보셋을 입수하는 단계;
(b) 상기 특허 도면 부호-설명 결합 서버가, 상기 도면 포함 도면 부호 정보셋에 포함된 상기 도면 포함 도면 부호의 위치 정보와 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에 포함된 상기 명세서 포함 도면 부호에 맵핑된 도면 부호의 설명 정보로, 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되기 위한 여백 공간을 탐색하는 단계; 및
(c) 상기 특허 도면 부호-설명 결합 서버가, 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하는 단계;를 포함하는 것이며,
상기 도면 포함 도면 부호와 상기 명세서 포함 도면 부호는 동일한 문자열이거나 동일성이 인정되는 문자열인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
제 1항에 있어서,
상기 제1 상태를 달성하기 위하여 상기 도면 포함 도면 부호가 인식되는 방식은,
(i1) 수집된 문자별 문자 대응 이미지 데이터에서 샘플링이 수행되는 단계;
(i2) 샘플링 된 문자별 문자 대응 이미지 데이터를 n(n>=3인 자연수)개의 폴더(fold)로 분할하는 단계;
(i3) n-1 폴더의 문자별 문자 대응 이미지 데이터를 학습 데이터로 하여 모델을 학습하고, 나머지 폴더의 문자별 문자 대응 이미지 데이터를 테스트 데이터로 하여, 테스터 에러를 구하는 과정을 n회 수행하는 교차 검증(cross validation)을 통해 하이퍼 파라미터(hyper parameter) 최적화 하는 단계; 및
(i4) 수집된 문자별 문자 대응 이미지 데이터를 사용하고 최적화된 하이퍼 파라미터 조건 하에 학습 모형의 파라미터를 학습하는 단계;를 포함하여 수행되는 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
제 2항에 있어서,
상기 학습 모형은 판별 딥러닝(Discriminant deep learning) 모형 및 생성 딥러닝(Generative deep learning) 모형 중에서 선택되는 어느 하나 이상인 것이며,
학습 상기 하이퍼 파라미터는 레이어(layer)의 수, 잠재 변수(hidden variable)의 수, 드랍 아웃(drop out)비율, 필터 크기(filter size) 및 활성화 함수(activation function)의 종류 중에서 선택되는 어느 하나 이상인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
제 1항에 있어서,
상기 (b) 단계에서 여백 공간을 탐색하는 것은
(b1) 상기 도면 포함 도면 부호에 대해 상기 도면 포함 도면 부호에 대응되는 도면 부호의 설명이 배치될 때의 배치 크기를 예측하는 단계;
(b2) 상기 (b1) 단계에서 예측되는 도면 부호의 설명 배치 크기를 기준으로, 상기 도면 부호의 설명별 배치 크기보다 크거나 같은 여백 공간을 상기 도면 포함 도면 부호의 주변부에서 탐색하는 단계; 및
(b3) 탐색된 여백 공간이 존재하는 도면 부호의 설명에 대해서 배치 정보셋을 생성하는 단계;를 포함하는 것이며,
상기 배치 정보셋에는 상기 도면 부호의 설명이 배치될 수 있는 도면 부호의 설명 배치 공간에 대한 정보가 포함되어 있는 것인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
제 4항에 있어서,
상기 (b1) 단계 및 (b2) 단계는 도면 포함 도면 부호별로 처리되는 것인 것이며,
상기 (b2) 단계는 제1 도면 부호의 설명 배치 공간 내지 제i (i>1인 자연수) 도면 부호의 설명 배치 공간이 정해진 상태에서,
(b21) 제i+1 도면 부호의 설명 배치 공간이 상기 제1 도면 부호의 설명 배치 공간 내지 상기 제i (i>1인 자연수) 도면 부호의 설명 배치 공간 중 어느 하나와도 겹침 내지 충돌이 발생하지 않는 도면 부호의 설명 배치 공간을 탐색하는 단계;
(b22) i) 겹침 또는 충돌이 발생하지 않는 경우, 제i+1 도면 부호의 설명 배치 공간에 대한 정보로 상기 제i+1 도면 부호의 설명에 대한 배치 정보셋을 생성하고, ii) 겹침 내지 충돌이 발생하는 경우, 제i+1 도면 부호의 설명에 대해서는 예외 처리하는 단계;를 더 포함하는 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
제 4항에 있어서,
도면 부호의 설명 배치 공간을 탐색하는 방향과 위치에는 우선 순위가 존재하는 것이며,
상기 (b2) 단계는 도면 포함 도면 부호별로 우선 순위에 따라 도면 부호의 설명 배치 공간을 탐색하는 것이며,
우선 순위에 따라 도면 부호의 설명 배치 공간의 탐색 시, 도면 부호의 설명 배치 공간이 도면의 물리적 경계를 침범하는 경우에는 차선 순위를 기준으로 도면 부호의 설명 배치 공간을 탐색하는 것인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
제 1항에 있어서,
(d) 상기 특허 도면 부호-설명 결합 서버가, 상기 배치 정보셋을 사용하여 상기 도면 부호의 설명이 도면 이미지 상에 표현되는 조건 데이터를 포함하는 도면 부호-설명 결합 정보셋을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
제 7항에 있어서,
상기 도면 부호-설명 결합 정보셋에는 도면 부호의 설명별 위치 정보를 필수적으로 포함하며,
선택적으로 도면 부호의 설명별 폰트 종류 정보, 폰트 사이즈 정보, 칼라 정보, 음영, 농도, 배향 정보 중 어느 하나 이상을 포함하는 것인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
제 1항에 있어서,
상기 제1 상태를 달성하기 위해 도면 포함 도면 부호를 인식함에 있어서, 상기 제2 상태를 달성하기 위해 인식되는 도면 부호의 설명 또는 상기 제2 상태를 달성하기 위해 생성되는 명세서 포함 도면 부호-설명 맵핑 정보셋 중 어느 하나 이상이 사용되는 것인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
제 9항에 있어서,
상기 명세서 포함 도면 부호-설명 맵핑 정보셋에는 명세서 포함 도면 부호와 도면 부호의 설명에 대한 확률적 맵핑 데이터가 포함되어 있는 것이며,
선택적으로 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에는 도면 부호의 설명에 대한 중요도 및 계열 처리 정보가 포함되어 있는 것인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버의 데이터 처리 방법.
제공되는 특허 도면의 도면 부호의 주위에 도면 부호의 설명이 표시될 수 있도록 하는 처리하는 특허 도면 부호-설명 결합 서버에 있어서,
상기 특허 도면 부호-설명 결합 서버는
i) 특허 도면 OCR 장치에 의해 특허 식별자와 대응될 수 있는 특허 도면 식별자에 대응되는 적어도 하나 이상의 특허 도면 이미지 파일이 입수된 후, 상기 특허 도면 이미지 파일에서 적어도 하나 이상의 도면 포함 도면 부호가 인식되고, 상기 도면 포함 도면 부호 의 위치 정보를 포함하는 인식된 상기 도면 포함 도면 부호에 대응되는 도면 포함 도면 부호 정보셋이 생성되는 제1 상태; 및 ii) 도면 부호-설명 인식 장치에 의해 도면 부호와 도면 부호의 설명이 포함된 명세서 문자열이 파싱되고, 상기 명세서 문자열에 포함된 적어도 하나 이상의 명세서 포함 도면 부호와 적어도 하나 이상의 도면 부호의 설명이 인식되며, 인식된 명세서 포함 도면 부호와 도면 부호의 설명의 맵핑 관계를 포함하는 특허 식별자별 명세서 포함 도면 부호-설명 맵핑 정보셋이 생성되는 제2 상태가 수행된 상태에서, 상기 특허 식별자에 대응되는 명세서 포함 도면 부호-설명 맵핑 정보셋 및 상기 특허 도면 식별자에 대응되는 상기 도면 포함 도면 부호 정보셋을 입수하는 통신부;
(I) 상기 도면 포함 도면 부호 정보셋에 포함된 상기 도면 포함 도면 부호의 위치 정보와 상기 명세서 포함 도면 부호-설명 맵핑 정보셋에 포함된 상기 명세서 포함 도면 부호에 맵핑된 도면 부호의 설명 정보로, 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되기 위한 여백 공간을 탐색하는 프로세스;및 (II) 탐색된 여백 공간을 사용하여 상기 도면 부호의 설명이 상기 도면 이미지 상에 표시되도록 처리되기 위한 위치 정보를 포함하는 배치 정보셋을 생성하는 프로세스;를 수행하는 프로세서를 포함하는 것이며,
상기 도면 포함 도면 부호와 상기 명세서 포함 도면 부호는 동일한 문자열이거나 동일성이 인정되는 문자열인 것을 특징으로 하는 특허 도면 부호-설명 결합 서버.