KR102197501B1 - 고정 서식 문서에서의 동아시아 레이아웃 특징들의 검출 및 재구성 - Google Patents

고정 서식 문서에서의 동아시아 레이아웃 특징들의 검출 및 재구성 Download PDF

Info

Publication number
KR102197501B1
KR102197501B1 KR1020157028313A KR20157028313A KR102197501B1 KR 102197501 B1 KR102197501 B1 KR 102197501B1 KR 1020157028313 A KR1020157028313 A KR 1020157028313A KR 20157028313 A KR20157028313 A KR 20157028313A KR 102197501 B1 KR102197501 B1 KR 102197501B1
Authority
KR
South Korea
Prior art keywords
text
vertical
runs
page
format document
Prior art date
Application number
KR1020157028313A
Other languages
English (en)
Other versions
KR20150128921A (ko
Inventor
드라젠 자릭
밀란 세섬
밀로스 라자레빅
밀로스 라스코빅
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority to KR1020207035472A priority Critical patent/KR102291479B1/ko
Publication of KR20150128921A publication Critical patent/KR20150128921A/ko
Application granted granted Critical
Publication of KR102197501B1 publication Critical patent/KR102197501B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G06F40/129—Handling non-Latin characters, e.g. kana-to-kanji conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/263—Language identification
    • G06K9/00463—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Document Processing Apparatus (AREA)
  • Machine Translation (AREA)
  • Character Input (AREA)

Abstract

동아시아 레이아웃 특징들의 검출 및 동아시아 레이아웃 특징들의 재구성이 제공된다. 고정 서식 문서에서의 세로 쓰기된 텍스트가 검출되고 레이아웃 분석을 위해 회전된다. 레이아웃 분석 후에, 회전된 텍스트가 유동 서식 문서에서 다시 회전되어 재구성된다. 복수의 문자들이 세로 텍스트 라인에 가로 쓰기되어 있을 때, 세로 내 가로 텍스트(horizontal-in-vertical text)라고 지칭되는 세로로 중첩하는 텍스트 런들이 검출되고, 유동 서식 문서에 세로 내 가로 텍스트로서 재구성된다. 텍스트 라인들이 루비 라인의 속성들이 있는지 분석되고, 루비 베이스 라인에 있는 대응하는 텍스트와 연관된 루비 텍스트로서 지정되고, 유동 서식 문서에서 루비 텍스트로서 재구성된다. 유동 서식 문서에서 언어에 대한 글꼴이 지정되도록 특정의 동아시아 언어의 검출을 위해 고정 서식 문서에서의 텍스트가 분석된다.

Description

고정 서식 문서에서의 동아시아 레이아웃 특징들의 검출 및 재구성{DETECTION AND RECONSTRUCTION OF EAST ASIAN LAYOUT FEATURES IN A FIXED FORMAT DOCUMENT}
본 발명은 고정 서식 문서에서의 동아시아 레이아웃 특징들의 검출 및 재구성(detection and reconstruction of east asian layout features in a fixed format document)에 관한 것이다.
유동 서식 문서(flow format documen)들 및 고정 서식 문서(fixed format document)들이 널리 사용되고 상이한 목적들을 가진다. 유동 서식 문서들은 섹션, 단락, 열(column), 및 표와 같은 복잡한 논리적 서식 설정 객체(logical formatting object)들을 사용하여 문서를 구성한다. 그 결과, 유동 서식 문서들은 유연성 및 용이한 수정을 제공하여, 빈번히 업데이트되거나 상당한 편집이 이루어지는 문서들을 수반하는 작업들에 적합하게 된다. 이와 달리, 고정 서식 문서들은 원본의 모습을 유지하기 위해 텍스트 런(text run), 경로(path), 및 영상과 같은 기본적인 물리적 레이아웃 요소들을 사용하여 문서를 구성한다. 고정 서식 문서들은 일관성 있고 정확한 서식 레이아웃(format layout)을 제공하여, 빈번히 또는 광범위하게 변경되지 않는 또는 균일성이 요망되는 문서들을 수반하는 작업들에 적합하게 된다. 이러한 작업들의 예는 상업적 출판 및 인쇄를 위한 문서 보관(document archival), 고품질 재현, 및 소스 파일을 포함한다. 고정 서식 문서들은 종종 유동 서식 소스 문서들로부터 생성된다. 고정 서식 문서들은 또한 물리적(즉, 종이) 문서들의 디지털 재현(예컨대, 스캔 및 사진)을 포함한다.
고정 서식 문서의 편집이 요망되지만 유동 서식 소스 문서가 이용가능하지 않은 상황들에서, 고정 서식 문서가 유동 서식 문서로 변환될 수 있다. 변환은 고정 서식 문서를 파싱하는 것 및 고정 서식 문서로부터의 기본적인 물리적 레이아웃 요소들을 유동 서식 문서에서 사용되는 보다 복잡한 논리적 요소들로 변환하는 것을 수반한다.
일부 동아시아 언어들은 가로로 또는 세로로 써질 수 있다. 예를 들어, 중국어, 일본어, 및 한국어 활자(script)들(때때로 본 명세서에서 CJK 활자들이라고 지칭됨)은 가로 또는 세로 방향으로 배향될 수 있다. 어떤 경우들에서, 세로 쓰기된 텍스트(vertically written text)는, 하나의 세로 문자(vertical character)를 위해 예비된 영역에 다수의 문자들이 가로로 디스플레이될 수 있는, 세로 내 가로 텍스트(horizontal-in-vertical text)를 포함할 수 있다. 현재, 세로 텍스트를 갖는 고정 서식 문서를 유동 서식 문서로 변환할 때, 세로 내 가로 텍스트를 포함하는 세로 쓰기된 텍스트가 인식되지 않을 수 있고, 따라서 올바르게 재구성되지 않을 수 있다.
그에 부가하여, 가로 쓰기된 동아시아 활자 및 세로 쓰기된 동아시아 활자 둘 다에서, 단어의 발음을 나타내는 문자들을 비롯한, 읽는 데 도움을 주는 것(reading aid)이 포함될 수 있다. 가로 텍스트에서는, 루비 텍스트(ruby text)가 텍스트 라인의 위쪽에 위치될 수 있는 반면, 세로 텍스트에서는, 루비 텍스트가 텍스트 라인의 우측에 위치될 수 있다. 현재, 고정 서식 문서를 유동 서식 문서로 변환할 때, 루비 텍스트가 정규의 텍스트 흐름(regular text flow)으로 인식될 수 있고, 올바르게 재구성되어 대응하는 베이스 텍스트와 연관되지 않을 수 있다.
게다가, 다양한 동아시아 언어들은 어떤 범위의 유니코드(Unicode) 값들을 공유하고, 그의 그래픽 표현들은 사용되고 있는 특정의 글꼴에 의존할 수 있다. 그에 따라, 동아시아 언어(예컨대, 중국어, 일본어, 또는 한국어)로 작성된 문서를 재구성할 때, 특정의 언어의 결정이 그 언어에 대한 적절한 글꼴을 제공하기 위해 수행될 수 있다.
이 고려사항들 및 다른 고려사항들과 관련하여 본 발명이 이루어졌다.
이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 일련의 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 요약은 청구된 발명 요지의 주요 특징들 또는 필수적인 특징들을 확인하기 위한 것이 아니며, 청구된 발명 요지의 범주를 정하는 데 보조 수단으로 사용되기 위한 것도 아니다.
본 발명의 실시예들은 고정 서식 문서를 유동 서식 문서로 변환할 때 고정 서식 문서에서의 세로 텍스트의 검출 및 세로 텍스트의 재구성을 제공하는 것에 의해 이상의 문제점들 및 다른 문제점들을 해결한다.
본 발명의 실시예들은 고정 서식 문서를 유동 서식 문서로 변환할 때 고정 서식 문서에서의 루비 텍스트의 검출 및 루비 텍스트의 재구성을 제공하는 것에 의해 이상의 문제점들 및 다른 문제점들을 해결한다.
본 발명의 실시예들은 고정 서식 문서를 유동 서식 문서로 변환할 때 고정 서식 문서에서의 세로 내 가로 텍스트의 검출 및 세로 내 가로 텍스트의 재구성을 제공하는 것에 의해 이상의 문제점들 및 다른 문제점들을 해결한다.
본 발명의 실시예들은 고정 서식 문서를 유동 서식 문서로 변환할 때 고정 서식 문서에서의 특정의 동아시아 언어의 검출 및 특정의 동아시아 언어의 재구성을 제공하는 것에 의해 이상의 문제점들 및 다른 문제점들을 해결한다.
하나 이상의 실시예들의 상세들이 첨부 도면들 및 이하의 발명을 실시하기 위한 구체적인 내용에 기재되어 있다. 이 특징들 및 장점들과 다른 특징들 및 장점들이 이하의 발명을 실시하기 위한 구체적인 내용을 읽어보고 관련 도면들을 살펴보면 명백하게 될 것이다. 이하의 발명을 실시하기 위한 구체적인 내용이 설명을 위한 것에 불과하고 청구된 발명을 제한하지 않는다는 것을 잘 알 것이다.
본 개시 내용에 포함되어 그의 일부를 구성하는 첨부 도면들은 본 발명의 다양한 실시예들을 나타내고 있다.
도 1은 문서 변환기(document converter)를 포함하는 시스템의 하나의 실시예의 블록도.
도 2는 문서 처리기(document processor)의 하나의 실시예의 동작 흐름을 나타낸 블록도.
도 3a는 세로 텍스트를 갖는 고정 서식 문서의 페이지를 나타낸 도면.
도 3b는 페이지의 좌표 원점 및 텍스트 런의 좌표들을 보여주는 도 3a의 페이지를 나타낸 도면.
도 4는 고정 서식 문서에서의 세로 텍스트를 검출하는 방법의 플로우차트.
도 5a는 도 3a에서의 세로 텍스트가 시계 반대 방향으로 90° 회전된 페이지를 나타낸 도면.
도 5b는 원래의 좌표들이 변환된 도 5a의 회전된 페이지를 나타낸 도면.
도 5c는 좌표 원점이 회전된 페이지의 좌측 상부 코너로 이동된 도 5a 및 도 5b의 회전된 페이지를 나타낸 도면.
도 6은 루비 텍스트를 나타낸 도면.
도 7a 및 도 7b는 고정 서식 문서에서의 루비 텍스트를 검출하는 방법의 플로우차트.
도 8은 고정 서식 문서에 디스플레이되는 루비 텍스트를 나타낸 도면.
도 9는 세로 내 가로 텍스트를 포함하는 세로 텍스트를 나타낸 도면.
도 10은 세로 내 가로 텍스트를 검출하는 방법의 플로우차트.
도 11은 텍스트 런들 및 버킷들로 분리되는 세로 텍스트를 나타낸 도면.
도 12는 일본어, 한국어, 및 중국어에 대한 유니코드 범위들을 나열하는 표를 나타낸 도면.
도 13은 일본어에 고유한 문자들 및 공유 문자들을 포함하는 단락을 나타낸 도면.
도 14는 고정 서식 문서에서의 동아시아 언어들을 검출하는 방법의 플로우차트.
도 15는 본 발명의 실시예들이 실시될 수 있는 컴퓨팅 디바이스의 예시적인 물리적 구성요소들을 나타낸 블록도.
도 16a 및 도 16b는 본 발명의 실시예들이 실시될 수 있는 모바일 컴퓨팅 디바이스의 간략화된 블록도.
도 17은 본 발명의 실시예들이 실시될 수 있는 분산 컴퓨팅 시스템의 간략화된 블록도.
앞서 간략히 기술한 바와 같이, 본 발명의 실시예들은 고정 서식 문서를 유동 서식 문서로 변환할 때 고정 서식 문서에서의 세로 텍스트의 검출 및 세로 텍스트의 재구성을 제공하는 것에 관한 것이다. 세로 쓰기된 텍스트의 검출 시에, 세로 텍스트가 레이아웃 분석을 위해 처리될 수 있도록 회전될 수 있다. 세로 쓰기된 텍스트는 가로 런(horizontal run)이 세로 텍스트 라인에 포함될 수 있는 세로 내 가로 텍스트와 같은, 특정의 특징들을 유입시킬 수 있다. 본 발명의 실시예들은 고정 서식 문서를 유동 서식 문서로 변환할 때 고정 서식 문서에서의 세로 라인 내에서 가로 쓰기된 텍스트 단편들의 검출 및 세로 내 가로 텍스트의 재구성을 제공한다.
본 발명의 실시예들은 또한 고정 서식 문서를 유동 서식 문서로 변환할 때 고정 서식 문서에서의 대응하는 루비 베이스 텍스트(ruby base text)와 연관된 루비 텍스트의 검출 및 루비 텍스트의 재구성을 제공하는 것에 관한 것이다.
그에 부가하여, 본 발명의 실시예들은 고정 서식 문서를 유동 서식 문서로 변환할 때 고정 서식 문서에서의 특정의 동아시아 언어의 검출 및 검출된 언어에서의 텍스트에 대해 어느 글꼴을 사용할지를 결정하는 것에 관한 것이다.
이하의 발명을 실시하기 위한 구체적인 내용은 첨부 도면들을 참조한다. 가능한 경우, 도면들 및 이하의 설명에서 동일하거나 유사한 요소들을 지칭하기 위해 동일한 참조 번호들이 사용된다. 본 발명의 실시예들가 기술될 수 있지만, 수정들, 개조들 및 다른 구현들이 가능하다. 예를 들어, 도면들에 예시된 요소들에 대해 치환들, 추가들 또는 수정들이 행해질 수 있고, 본 명세서에 기술된 방법들은 개시된 방법들에 대해 단계들을 치환, 재정렬 또는 추가하는 것에 의해 수정될 수 있다. 그에 따라, 이하의 발명을 실시하기 위한 구체적인 내용은 본 발명을 제한하지 않고, 그 대신에, 본 발명의 적절한 범주가 첨부된 청구범위에 의해 한정된다.
이제부터, 유사한 참조 번호들이 유사한 요소들을 나타내고 있는 도면들을 참조하여, 다양한 실시예들이 기술될 것이다. 도 1은 동아시아 레이아웃 엔진(118)을 포함하는 시스템(100)의 하나의 실시예를 나타낸 것이다. 예시된 실시예에서, 동아시아 레이아웃 엔진(118)은 컴퓨팅 디바이스(104) 상에서 실행되는 문서 변환기(102)의 일부로서 동작한다. 문서 변환기(102)는 파서(110), 문서 처리기(112), 및 직렬화기(114)를 사용하여 고정 서식 문서(106)를 유동 서식 문서(108)로 변환시킨다. 파서(110)는 고정 서식 문서(106)를 읽고 그로부터 데이터를 추출한다. 고정 서식 문서로부터 추출된 데이터는 문서 처리기(112) 및 직렬화기(114)에 의해 액세스 가능한 데이터 저장소(116)에 기입된다. 문서 처리기(112)는 하나 이상의 검출 및/또는 재구성 엔진들[예컨대, 본 발명의 동아시아 레이아웃 엔진(118)]을 사용해 데이터를 분석하여 유동 가능 요소(flowable element)들로 변환한다. 마지막으로, 직렬화기(114)는 유동 가능 요소들을 유동 가능 문서 서식(flowable document format)(예컨대, 워드 프로세싱 서식)으로 작성한다.
도 2는 문서 처리기(112)의 동작 흐름의 하나의 실시예를 더 상세히 나타낸 것이다. 문서 처리기(112)는 선택적인 광학 문자 인식(optical character recognition)(OCR) 엔진(202), 레이아웃 분석 엔진(204), 및 의미 분석 엔진(206)을 포함한다. 데이터 저장소(116)에 포함된 데이터는 물리적 레이아웃 객체들(208) 및 논리적 레이아웃 객체들(210)을 포함한다. 일부 실시예들에서, 물리적 레이아웃 객체들(208) 및 논리적 레이아웃 객체들(210)은 그룹들(즉, 데이터 객체들)의 트리 같은 어레이로 계층적으로 배열된다. 다양한 실시예들에서, 페이지는 물리적 레이아웃 객체들(208)에 대한 최상위 레벨 그룹인 반면, 섹션은 논리적 레이아웃 객체들(210)에 대한 최상위 레벨 그룹이다. 고정 서식 문서(106)로부터 추출되는 데이터는 일반적으로 고정 서식 문서(106)에서의 포함 페이지(containing page)에 의해 구성되는 물리적 레이아웃 객체들(208)로서 저장된다. 기본적인 물리적 레이아웃 객체들(208)은 텍스트 런, 영상, 및 경로를 포함한다. 텍스트 런은 고정 서식 문서를 디스플레이할 때 문자들이 드로잉되는 위치들을 명시하는 페이지 콘텐츠 스트림 내의 텍스트 요소이다. 영상은 고정 서식 문서(106)에 저장되는 라스터 영상(즉, 사진)이다. 경로는 벡터 그래픽을 구성하는 데 사용되는 선, 곡선[예컨대, 3차 베지에 곡선(cubic Bezier curve)], 및 텍스트 윤곽선과 같은 요소들을 기술한다. 논리적 레이아웃 객체들(210)은 섹션, 단락, 열, 표, 및 목록과 같은 유동 가능 요소들을 포함한다.
어디에서 처리가 시작되는지는 파싱되는 고정 서식 문서(106)의 유형에 의존한다. 유동 서식 소스 문서로부터 직접 생성된 네이티브 고정 서식 문서(native fixed format document)(106A)는 기본적인 물리적 레이아웃 요소들 중 일부 또는 전부를 포함한다. 포함된 데이터 객체(embedded data object)들이 파서에 의해 추출되고 문서 변환기에 의해 즉각 사용될 수 있지만; 어떤 경우들에서, 데이터를 구성하거나 표준화하기 위해 사소한 서식 재설정(reformatting) 또는 다른 사소한 처리가 적용된다. 이와 달리, 물리적 문서를 디지털적으로 이미징하는 것(예컨대, 스캔하는 것 또는 촬영하는 것)에 의해 생성되는 이미지 기반 고정 서식 문서(106B)에서의 모든 정보는 부가 데이터(즉, 텍스트 런 또는 경로)를 갖지 않는 일련의 페이지 이미지들로서 저장된다. 이 경우에, 선택적인 광학 문자 인식 엔진(202)은 각각의 페이지 이미지를 분석하여 대응하는 물리적 레이아웃 객체들을 생성한다. 물리적 레이아웃 객체들(208)이 이용 가능하면, 레이아웃 분석 엔진(204)은 고정 서식 문서의 레이아웃을 분석한다. 레이아웃 분석이 완료된 후에, 의미 분석 엔진(206)은 물리적 레이아웃 객체들 및/또는 논리적 레이아웃 객체들의 분석으로부터 획득된 의미 정보(semantic information)로 논리적 레이아웃 객체들을 보강(enrich)한다.
앞서 간략히 기술된 바와 같이, 중국어, 일본어, 및 한국어와 같은, 많은 동아시아 활자들은 가로 또는 세로 방향으로 배향될 수 있다. 이제 도 3a를 참조하면, 세로 텍스트(304)를 포함하는 예시적인 페이지(302)가 태블릿 컴퓨팅 디바이스(312) 상에 디스플레이된 것으로 도시되어 있다. 또한, 세로 텍스트(304)의 읽는 순서(306)가 도시되어 있다. 예시된 바와 같이, 세로 방향으로 배향되어 있을 때, CJK 활자들의 읽는 순서(306)는 위로부터 아래로 그리고 우측으로부터 좌측으로일 수 있다. 실시예들에 따르면, 고정 서식 문서(106)를 유동 서식 문서(108)로 변환할 때, 예를 들어, 텍스트가 쓰여 있는 방향이 인식될 수 있고, 따라서 레이아웃 분석 엔진(204)의 거동이 그에 따라 적응될 수 있다. 세로 쓰기된 문서의 재구성을 지원하기 위해, 세로 텍스트 검출이 제공될 수 있다.
도 3b는 고정 서식 문서(106)에서의 세로 텍스트(304)에 대한 레이아웃 분석을 위해 시스템에 의해 이용될 수 있는 좌표들(320, 322, 324, 326)의 위치 결정을 보여주는 도 3a의 예시적인 페이지(302)를 나타낸 것이다. 예시된 바와 같이, 페이지 좌표 원점(324)은 페이지(302)의 좌측 상부 코너에 위치될 수 있다. 그에 부가하여, 예시적인 텍스트 런(328)은 (x, y) = (100, 200)의 텍스트 런 좌표 원점(326)으로 나타내어져 있다.
도 4는 동아시아 레이아웃 엔진(118)에 의해 실행되는 세로 텍스트 검출 방법(400)의 하나의 실시예를 나타낸 플로우차트이다. 방법(400)은 시작 동작(405)에서 시작하고, 분석하기 위해 그리고 세로 텍스트(304)를 검출하기 위해 그리고 세로 텍스트(304)가 유동 서식 문서(108)에서 재구성될 수 있는 경우 고정 서식 문서(106)를 유동 서식 문서(108)로 재구성하기 위해 고정 서식 문서(106)가 수신되는 동작(410)으로 진행한다.
동작(415)에서, 임의의 머리글들(308) 및/또는 바닥글들(310)을 검출하여 수신된 고정 서식 문서(106)의 나머지 문서 본문(314)으로부터 분리시키기 위해 머리글 및 바닥글 검출이 수행될 수 있다. 머리글들(308) 및 바닥글들(310)을 분석하여 그들의 내용을 나머지 문서 본문(314)으로부터 분리시킨 후에, 방법(400)은 동아시아 레이아웃 엔진(118)에 의해 문서(106)가 중국어, 일본어, 또는 한국어 텍스트를 포함하는지에 관한 결정이 행해지는 동작(420)으로 진행할 수 있다. 하나의 실시예에 따르면, 이 결정은 CJK 언어들의 유니코드 범위 내의 임의의 문자들이 발견되는지를 결정하기 위해 페이지(302)를 분석하는 것에 의해 행해진다. 기술 분야에 공지된 바와 같이, 유니코드는 전세계에 있는 표기 체계(writing system)들의 대부분을 커버하는 문자들의 순서화된 문자 집합(ordered character set)으로서, 다수의 표기 체계들이 하나의 데이터 파일에 공존할 수 있게 한다. 유니코드를 인식하는 시스템들은 많은 언어들로부터의 데이터를 일관성 있게 읽고 처리할 수 있다. 유니코드 값들은 언어의 각각의 문자와 연관되어 있을 수 있고, 유니코드 값들은 그 언어에 고유한 범위 또는 몇 개의 언어들 간에 공유되는 범위 내에 속한다.
CJK 언어들의 유니코드 범위 내의 문자가 페이지(302) 상에서 발견되지 않는 경우, 방법(400)은 동작(495)에서 종료될 수 있다. 대안적으로, 페이지(302)가 CJK 언어들의 유니코드 범위 내의 문자를 포함하는 경우, 방법(400)은 각각의 텍스트 런에 대한 라인 방향을 결정하기 위해 텍스트 런들이 분석될 수 있는 동작(425)으로 진행할 수 있다. 일 실시예에 따르면, 세로 라인들에서 및 가로 라인들에서 텍스트 런들이 분석될 수 있고, 서로에 상대적인 그들의 위치들에 의해 분석될 수 있다. 텍스트 런이 가로 시퀀스(horizontal sequence)에 부합되는 경우, 텍스트 런에 대한 라인 방향이 가로인 것으로 결정될 수 있고, 텍스트 런이 세로 시퀀스(vertical sequence)에 부합되는 경우, 텍스트 런에 대한 라인 방향이 세로인 것으로 결정될 수 있다.
일 실시예에 따르면, 텍스트 런(328)이 가로 라인에 속하는지 세로 라인에 속하는지를 검출할 때, 텍스트 런들(328)의 2 가지 속성들이 관찰될 수 있다. 세로 라인의 식별 정보가 글꼴에 설정될 수 있다 - 예컨대, 그 글꼴로 쓰여진 텍스트 런들(328)이 세로 라인들에 속한다는 것을 암시하는 "isVertical 플래그"가 텍스트 런(328)의 글꼴에 설정될 수 있다 -. 각각의 텍스트 런(328)에 대한 라인 방향을 결정하기 위해 식별 정보가 검출되고 추출될 수 있다. 식별 정보가 글꼴에 설정되지 않을 수 있다. 이 경우에, 추가 정보가 관찰될 수 있다. 일 실시예에 따르면, 텍스트 런들(328)이 화면 상에 드로잉되는 순서(즉, 렌더링 순서)가 관찰될 수 있다. 대체로, 텍스트 런들(328)의 렌더링 순서는 텍스트 런들(328)의 읽는 순서(306)에 대응할 수 있다.
식별 정보 및/또는 렌더링 순서를 이용하여, 텍스트 런들(328)이 라인들로 그룹화될 수 있다. 텍스트 런들(328)의 렌더링 순서에 의해 부과된 순서로 텍스트 런들(328)에 걸쳐 반복하여, 텍스트 런(328)이 세로인 것으로 관찰되는 경우[즉, isVertical 플래그가 참(true)으로 설정되어 있음], 텍스트 런(328)이 이전에 검출된 세로 라인의 연속인지를 결정하기 위해 텍스트 런(328)이 분석될 수 있다. 일 실시예에 따르면, 텍스트 런(328)이 이전에 검출된 세로 라인에 기하학적으로 부합하는지를 알아보기 위해 텍스트 런(328)이 분석될 수 있다. 예를 들어, 텍스트 런(328)이 이전에 검출된 세로 라인에서의 마지막 문자 아래에 배치되어 있는지 및 텍스트 런(328)이 이전에 검출된 세로 라인으로부터 가로 방향으로 미리 결정된 양 초과만큼 오프셋되어 있지 않은지에 관한 결정이 행해질 수 있다. 텍스트 런(328)이 세로 라인의 연속이 아닌 것으로 결정되는 경우, 텍스트 런(328)은 새로운 세로 라인의 시작인 것으로 결정될 수 있다.
텍스트 런들(328)에 걸쳐 반복할 때, 텍스트 런(328)의 추출된 식별 정보가 텍스트 런(328)이 세로가 아니라는 것을 암시하는 경우[즉, isVertical 플래그가 거짓(false)으로 설정되어 있는 경우], 텍스트 런(328)이 세로 라인 및 가로 라인 둘 다를 비롯하여 이전에 검출된 마지막 라인의 연속인지를 결정하기 위해 텍스트 런(328)이 분석될 수 있다. 즉, 텍스트 런(328)이 이전에 검출된 가로 또는 세로 라인에 기하학적으로 부합하는지에 관한 결정이 행해질 수 있다. 이전에 검출된 마지막 라인이 세로인 경우, 텍스트 런(328)이 그 라인에서의 마지막 문자의 아래쪽에 배치되고 그 라인으로부터 미리 결정된 양 초과만큼 가로 방향으로 오프셋되어 있지 않다면 텍스트 런(328)이 이전에 검출된 마지막 세로 라인의 연속인 것으로 결정될 수 있다. 이전에 검출된 마지막 라인이 가로인 경우, 텍스트 런(328)이 그 라인에서의 마지막 문자의 오른쪽에 배치되고 그 라인으로부터 미리 결정된 양 초과만큼 세로 방향으로 오프셋되어 있지 않다면 텍스트 런(328)이 이전에 검출된 마지막 가로 라인의 연속인 것으로 결정될 수 있다. 텍스트 런(328)이 이전에 검출된 마지막 가로 라인의 연속이 아닌 것으로 결정되는 경우, 텍스트 런(328)은 새로운 가로 라인의 시작인 것으로 결정될 수 있다.
방법(400)은 페이지(302)에 대한 텍스트 방향을 결정하기 위해 텍스트 런들의 가로 및 세로 라인들이 추가로 분석될 수 있는 동작(430)으로 진행할 수 있다. 일 실시예에 따르면, 가로 라인들에서의 문자들이 계수될 수 있고, 세로 라인들에서의 문자들이 계수될 수 있다. 결정 동작(435)에서, 세로 라인들에 더 많은 문자들이 있는지 가로 라인들에 더 많은 문자들이 있는지를 결정하는 것에 의한 페이지(302)에 대한 텍스트 방향이 가로인지 세로인지에 관한 결정이 동아시아 레이아웃 엔진(118)에 의해 행해진다. 예를 들어, 세로 라인들에서 더 많은 문자들이 계수되는 경우, 페이지(302)에 대한 텍스트 방향이 세로(304)인 것으로 결정될 수 있다.
페이지(302)에 대한 텍스트 방향이 세로(304)인 것으로 결정되는 경우, 방법(400)은 페이지(302) 및 그의 내용[즉, 문서 본문(314)에 있는 텍스트 런들(328)]이 시계 반대 방향(CCW)으로 90도(90°) 회전되고, 세로축을 따라 아래로 페이지 폭만큼 이동될 수 있는 동작(440)으로 진행할 수 있다. 그에 따라, 세로 텍스트(304)가 가로 텍스트(504)로서 디스플레이될 수 있고, 읽는 순서(306)는 좌측으로부터 우측으로 진행하며 후속 행들이 위로부터 아래로 있게 된다. 시스템(100)에 의해 내부적으로 사용되는 좌표계(도 3b에 예시됨)의 위치 결정을 위해 변환(translation)이 수행될 수 있다. 페이지(302) 및 그의 내용을 시계 반대 방향(CCW)으로 90도(90°) 회전시킨 후에, 도 5b에 예시된 바와 같이, 원래 페이지의 좌표 원점(324)이 회전된 페이지(302)의 좌측 하부 코너로부터 시작되는 것으로 관찰될 수 있다. 회전된 페이지(302)의 좌측 상부 코너에 페이지 좌표 원점(324)을 갖기 위해, 페이지(302) 및 그의 내용이 세로축(320)을 따라 아래로 원래 페이지 폭(318)만큼 이동될 수 있다. 즉, 원래 페이지 폭(318)이 페이지(302) 상의 모든 요소[예컨대, 텍스트 런들(328)]의 y 좌표에 가산될 수 있다. 이것은, 도 5c에 도시된 바와 같이, 페이지(302)의 내용이 세로축(320)을 따라 아래로 이동된 것처럼 보일 수 있다.
도 5c는 페이지(302) 및 그의 내용이 세로축(320)을 따라 아래로 원래 페이지 폭(318)만큼 이동된 후의 페이지(302)를 나타낸 것이다. 예시된 바와 같이, 페이지 좌표 원점(324)이 이제는 회전된 페이지(302)의 좌측 상부 코너에 위치되고, 텍스트 런 좌표들(326)이 회전 후의 (x, y)=(200, -100)으로부터 이동 후의 (x, y)=(200, 원래 페이지 폭 - 100)으로 변하였다.
다시 도 4를 참조하면, 유럽 언어들에서와 같이, 세로 텍스트(304)가 이제는 가로 텍스트(504)로 회전되고 읽는 순서(306)가 좌측으로부터 우측으로 진행하며 후속 행들이 위로부터 아래로 있게 된 상태에서, 방법(400)은 고정 서식 문서(106)에서의 모든 페이지들(302)에 대해 레이아웃 분석이 실행될 수 있는 동작(445)으로 진행한다. 고정 서식 문서(106)의 레이아웃을 분석하기 위해 레이아웃 분석이 수행될 수 있다. 레이아웃 분석은 공백 검출 동작, 벡터 그래픽 분류 엔진, 영역 검출 동작, 라인 검출 동작, 라인별 단어들(words-per-line) 검출 동작, 기본 그래픽 집계 확장(basic graphic aggregation expansion) 동작, 영역 후처리(region post-processing) 동작, 아래 첨자/위 첨자(subscript/superscript) 검출 동작, 테두리 없는 표(borderless table) 검출 동작, 페이지 열(page column) 검출 동작, 영역내 단락(in-region paragraph) 검출 동작, 각주/미주(footnote/endnote) 검출 동작, 및 페이지 여백 검출 동작 중 하나 이상을 포함할 수 있다. 레이아웃 분석에 관한 추가 정보를 위해, 2012년 7월 10일자로 출원된, 발명의 명칭이 "고정 서식 문서 변환 엔진(Fixed Format Document Conversion Engine)"인 미국 특허 출원 제13/521,378호를 참고하기 바란다.
레이아웃 분석이 완료된 후에, 방법(400)은 세로인 것으로 검출되어 동작(440)에서 회전된 모든 페이지들(302)이 다시 그의 원래 배향으로 회전될 수 있는 동작(450)으로 진행할 수 있다. 일 실시예에 따르면, 페이지(302) 상의 요소들이 세로축을 따라 위로 페이지 높이(316)만큼 이동될 수 있고, 문서 본문(314)이 시계 방향(CW)으로 90도(90°) 회전될 수 있다. 이동 동작은 도 3b, 도 5b, 및 도 5c와 관련하여 앞서 기술된 바와 같이, 레이아웃 분석이 수행된 후에 역순으로, 페이지(302) 및 내용을 이동시키는 것을 포함할 수 있다. 페이지(302) 및 내용은 그의 원래 좌표들(320, 322, 324, 326)로 되돌아갈 수 있다. 방법(400)은 동작(495)에서 종료된다.
본 발명의 실시예들은 루비 텍스트 검출을 제공한다. 동아시아 텍스트들에서는 종종, 문자들에 대한 발음 안내서로서 루비 텍스트가 제공될 수 있다. 예를 들어, 루비 텍스트는 이름들의 발음에 대해 읽는 사람을 돕기 위해, 다른 언어로부터의 문자들의 발음을 돕기 위해, 또는 아이들 또는 학습자의 자료에서, 드물거나, 비표준이거나, 모호한 단어들을 명확히 하는 데 사용될 수 있다. 루비 텍스트의 재구성을 지원하기 위해, 루비 텍스트 검출이 제공될 수 있다.
이제 도 6을 참조하면, 루비 텍스트(604)의 일례가 예시되어 있다. 예시된 바와 같이, 세로 텍스트(304) 및 가로 텍스트(504) 둘 다에서 루비 텍스트(604)가 사용될 수 있다. 세로 텍스트(304)에서 사용될 때, 루비 텍스트(604)는 대응하는 루비 베이스 텍스트(602)[즉, 루비 텍스트(604)가 제공되어 있는 문자, 단어, 또는 문구]의 우측에 위치될 수 있다. 가로 텍스트(504)에서 사용될 때, 루비 텍스트(604)는 대응하는 루비 베이스 텍스트(602)의 위쪽에 위치될 수 있다. 도 6에 예시된 예시적인 루비 베이스 텍스트(602)에는 다음과 같은 2 개의 간지(kanji) 문자들을 사용하여 쓰여 있는 단어 "kanji"가 써져 있다: 漢(kan, 루비 텍스트(604)에 히라가나로 かん이라고 쓰여 있음), 및 字(ji, 루비 텍스트(604)에 히라가나로 じ라고 쓰여 있음).
도 7a 및 도 7b는 고정 서식 문서(106)에서의 루비 텍스트(604)를 검출하기 위해 그리고 연관된 유동 서식 문서(108)에서의 루비 텍스트(604)를 재구성하기 위해 동아시아 서식 엔진(118)에 의해 실행되는 루비 텍스트 검출 및 재구성 방법(700)의 하나의 실시예를 나타내는 플로우차트를 나타낸 것이다. 고정 서식 문서(106)에서의 루비 텍스트(604)를 예시하는 도 8을 참조할 수 있다. 방법(700)은 시작 동작(705)에서 시작하고, 분석하기 위해 그리고 루비 텍스트(604)를 검출하기 위해 그리고 루비 텍스트(604)가 유동 서식 문서(108)에서 재구성될 수 있는 경우 고정 서식 문서(106)를 유동 서식 문서(108)로 재구성하기 위해 텍스트 라인들을 가지는 고정 서식 문서(106)가 수신되는 동작(710)으로 진행한다. 일 실시예에 따르면, 고정 서식 문서(106)가 수신되기 전에 라인 검출 엔진에 의해 라인 검출이 수행될 수 있다. 본 명세서에 기술된 바와 같이, 라인 검출은 고정 서식 문서(106)를, 루비 텍스트(604)를 검출하기 위해 추가로 분석될 수 있는 하나 이상의 개별 라인들로 분리시킬 수 있다.
방법(700)은 루비 라인(ruby line)(804)의 속성들이 있는지 라인들이 분석될 수 있는 동작(715)으로 진행할 수 있고, 여기서 루비 라인(804)은 루비 텍스트(604) 및 루비 베이스 라인(ruby base line)(802)의 속성들을 포함하는 텍스트 라인이고, 여기서 루비 베이스 라인(802)은 루비 베이스 텍스트(602)를 포함하는 텍스트 라인이다. 결정 동작(720)에서, 루비 라인(804) 후보로 간주될 수 있는 라인이 비어 있거나 공백 문자들로만 이루어져 있는지에 관한 결정이 행해진다. 라인이 비어 있거나 공백 문자들로만 이루어져 있는 경우, 방법(700)은 라인이 루비 라인(804) 후보에서 제외될 수 있는 동작(725)으로 진행할 수 있다. 대안적으로, 라인이 비어 있지 않고 공백 문자 이외의 하나 이상의 문자들로 이루어져 있는 경우, 방법(700)은 루비 베이스 라인(802) 후보로 간주될 수 있는 라인이 비어 있거나 공백 문자들로만 이루어져 있는지에 관한 결정이 행해지는 결정 동작(730)으로 진행할 수 있다.
라인이 비어 있거나 공백 문자들로만 이루어져 있는 경우, 방법(700)은 라인이 루비 베이스 라인(802) 후보에서 제외될 수 있는 동작(725)으로 진행할 수 있다. 대안적으로, 라인이 비어 있지 않고 공백 문자 이외의 하나 이상의 문자들로 이루어져 있는 경우, 방법(700)은 루비 라인(804) 후보가 후속 라인[즉, 루비 베이스 라인(802) 후보]을 넘어 미리 결정된 거리를 초과하여 뻗어 있는지에 관한 결정이 행해지는 결정 동작(735)으로 진행할 수 있다. 가로 텍스트(504)의 경우에, 후속 라인[즉, 루비 베이스 라인(802) 후보]은 루비 라인(804) 후보의 아래쪽에 있을 수 있고, 세로 텍스트(304)의 경우에, 후속 라인[즉, 루비 베이스 라인(802) 후보]은 루비 라인(804) 후보의 왼쪽에 있을 수 있다. 일 실시예에 따르면, 루비 라인(804) 후보가 루비 베이스 라인(802) 후보의 좌측 또는 우측으로 페이지(304) 상의 문자의 평균 폭을 초과하여 뻗어 있는지에 관한 결정이 행해질 수 있다.
루비 라인(804) 후보가 루비 베이스 라인(802) 후보의 좌측 또는 우측으로 미리 결정된 양을 초과하여 뻗어 있는 것으로 결정되는 경우, 방법(700)은 라인이 루비 라인(804) 후보에서 제외될 수 있는 동작(725)으로 진행할 수 있다. 대안적으로, 루비 라인(804) 후보가 루비 베이스 라인(802) 후보의 좌측 또는 우측으로 미리 결정된 양을 초과하여 뻗어 있지 않은 경우, 방법(700)은 루비 라인(804) 후보가 후속 라인[즉, 루비 베이스 라인(802) 후보]보다 더 많은 빈 공간(즉, 연속적인 단어들 사이의 공간)을 포함하는지에 관한 결정이 행해질 수 있는 결정 동작(740)으로 진행할 수 있다.
루비 라인(804) 후보가 루비 베이스 라인(802) 후보보다 연속적인 단어들 사이에 더 많은 공간을 포함하지 않는 것으로 결정되는 경우, 방법(700)은 라인이 루비 라인(804) 후보에서 제외될 수 있는 동작(725)으로 진행할 수 있다. 대안적으로, 루비 라인(804) 후보가 루비 베이스 라인(802) 후보보다 더 많은 빈 공간을 포함하는 경우, 방법(700)은 루비 라인(804) 후보에서의 텍스트의 글꼴 크기가 후속 라인[즉, 루비 베이스 라인(802) 후보]에서의 텍스트의 글꼴 크기보다 더 작은지에 관한 결정이 행해질 수 있는 결정 동작(745)으로 진행할 수 있다.
루비 라인(804) 후보에서의 텍스트의 글꼴 크기가 루비 베이스 라인(802) 후보에서의 텍스트의 글꼴 크기보다 더 작지 않은 것으로 결정되는 경우, 방법(700)은 라인이 루비 라인(804) 후보에서 제외될 수 있는 동작(725)으로 진행할 수 있다. 대안적으로, 루비 라인(804) 후보에서의 텍스트의 글꼴 크기가 루비 베이스 라인(802) 후보에서의 텍스트의 글꼴 크기보다 더 작은 것으로 결정되는 경우, 방법(700)은 루비 라인(804) 후보와 후속 라인[즉, 루비 베이스 라인(802) 후보] 사이의 거리가 미리 결정된 양보다 더 작은지에 관한 결정이 행해질 수 있는 결정 동작(750)으로 진행할 수 있다. 일 실시예에 따르면, 루비 라인(804) 후보와 루비 베이스 라인(802) 후보 사이의 거리가 루비 라인(804) 후보의 높이보다 작은지에 관한 결정이 행해질 수 있다.
루비 라인(804) 후보와 루비 베이스 라인(802) 후보 사이의 거리가 미리 결정된 양보다 큰 것으로 결정되는 경우, 방법(700)은 라인이 루비 라인(804) 후보에서 제외될 수 있는 동작(725)으로 진행할 수 있다. 대안적으로, 루비 라인(804) 후보와 루비 베이스 라인(802) 후보 사이의 거리가 미리 결정된 양보다 작은 경우, 방법(700)은 루비 라인(804) 후보가 동아시아 유니코드 범위에 속하는 문자들을 포함하는지에 관한 결정이 행해질 수 있는 결정 동작(755)으로 진행할 수 있다. 동아시아 유니코드 범위들(1202, 1204)의 표가 도 12에 예시되어 있다.
루비 라인(804) 후보가 동아시아 유니코드 범위(1202, 1204)에 속하는 문자들을 포함하지 않는 것으로 결정되는 경우, 방법(700)은 라인이 루비 라인(804) 후보에서 제외될 수 있는 동작(725)으로 진행할 수 있다. 대안적으로, 루비 라인(804) 후보가 동아시아 유니코드 범위(1202, 1204)에 속하는 문자들을 포함하는 경우, 방법(700)은 루비 라인(804) 후보가 루비 라인(804)인 것으로 결정되고 후속 라인이 루비 베이스 라인(802)인 것으로 결정되는 동작(760)으로 진행할 수 있다.
방법(700)은 루비 라인(804)의 내용이 하나 이상의 루비 텍스트(604) 후보들로 분할될 수 있는 동작(765)으로 진행한다. 결정 동작(770)에서, 루비 텍스트(604) 후보에서의 2 개의 연속적인 문자들 사이의 거리가 미리 결정된 거리 미만인지에 관한 결정이 행해질 수 있다. 일 실시예에 따르면, 루비 텍스트(604) 후보에서의 2 개의 연속적인 문자들 사이의 거리가 문자의 폭 이하인지에 관한 결정이 행해질 수 있다.
루비 텍스트(604) 후보에서의 2 개의 연속적인 문자들 사이의 거리가 미리 결정된 거리 이하인 것으로 결정되는 경우, 방법(700)은 2 개의 문자들이 동일한 루비 텍스트(604)에 있는 것으로 결정될 수 있는 동작(775)으로 진행할 수 있다. 대안적으로, 루비 텍스트(604) 후보에서의 2 개의 연속적인 문자들 사이의 거리가 미리 결정된 거리 초과인 것으로 결정되는 경우, 방법(700)은 2 개의 문자들이 상이한 루비 텍스트들(604)에 있는 것으로 결정될 수 있는 동작(780)으로 진행할 수 있다.
동작(785)에서, 루비 텍스트(604)가 대응하는 루비 베이스 텍스트(602)에 할당될 수 있다. 일 실시예에 따르면, 루비 텍스트(604)의 아래쪽에 있는 문자들이 대응하는 루비 베이스 텍스트(602)로서 할당될 수 있다. 방법(700)은 동작(795)에서 종료된다.
때때로 텍스트가 세로 쓰기되어 있을 때(304), 하나의 세로 문자를 위해 예비된 영역에 다수의 문자들이 가로로 디스플레이될 수 있다. 이것은 세로 내 가로 텍스트(902)라고 지칭될 수 있고, 도 9에 예시되어 있다. 예를 들어, 숫자들 및/또는 참조 부호(reference mark)들이 세로 내 가로 텍스트(902)로서 쓰여 있을 수 있다. 실시예들은, 세로 내 가로 텍스트(902)를 갖는 고정 서식 문서(106)를 유동 서식 문서(108)로 변환할 때, 세로 내 가로 텍스트(902)가 인식되고 그에 따라 올바르게 재구성될 수 있도록 세로 내 가로 텍스트 검출 및 재구성을 제공한다.
도 10은 고정 서식 문서(106)에서의 세로 내 가로 텍스트(902)를 검출하기 위해 그리고 연관된 유동 서식 문서(108)에서의 세로 내 가로 텍스트(902)를 재구성하기 위해 동아시아 서식 엔진(118)에 의해 실행되는 세로 내 가로 텍스트(902) 검출 및 재구성 방법(1000)의 하나의 실시예를 보여주는 플로우차트를 나타낸 것이다. 방법(1000)은 시작 동작(1005)에서 시작하고, 분석하기 위해 그리고 세로 내 가로 텍스트(902)를 검출하기 위해 그리고 세로 내 가로 텍스트(902)가 유동 서식 문서(108)에서 재구성될 수 있는 경우 고정 서식 문서(106)를 유동 서식 문서(108)로 재구성하기 위해 세로 텍스트 라인들(304)을 가지는 고정 서식 문서(106)가 수신되는 동작(1010)으로 진행한다. 일 실시예에 따르면, 고정 서식 문서(106)가 수신되기 전에 라인 검출 엔진에 의해 라인 검출이 수행될 수 있다. 본 명세서에 기술된 바와 같이, 라인 검출은 고정 서식 문서(106)를, 세로 내 가로 텍스트(902)를 검출하기 위해 추가로 분석될 수 있는 하나 이상의 개별 라인들로 분리시킬 수 있다. 고정 서식 문서(106)가 수신되기 전에 텍스트 런 검출이 또한 수행될 수 있다. 일 실시예에 따르면, 숫자들, 문자들, 참조 부호들, 문장 부호(punctuation mark)들 등을 포함할 수 있는 텍스트 런이 하나의 라인으로서 검출될 수 있다.
세로 내 가로 텍스트(902)에서의 문자들이 동일한 텍스트 런에 있는지 또는 세로 내 가로 텍스트(902)가 복수의 텍스트 런들로 분할되는지를 구별하는 결정. 이 결정을 하기 위해, 방법(1000)은 텍스트 런들(1104)이 그들과 라인(1108)의 시작 사이의 거리(1112)별로 분류될 수 있는 동작(1015)으로 진행할 수 있다. 이제 도 11을 참조하면, 세로 텍스트 라인(304)이 도시되어 있다. 예를 들어, 세로 텍스트 라인(304)이 고정 서식 문서(106)에 포함되어 있을 수 있다. 이 예시적인 경우로서, 세로 텍스트 라인(304)은 몇 개의 텍스트 런들(1104)을 포함하고, 세로 내 가로 텍스트(902)는 복수의 텍스트 런들(1104A, 1104B, 1104C)로 분할된다.
도 10을 다시 참조하면, 텍스트 런들(1104)이 그들과 라인(1108)의 시작 사이의 거리(1112)별로 분류되면, 방법(1000)은 텍스트 런(1104)이 다른 텍스트 런과 세로 중첩(vertical overlap)을 가지는지에 관한 결정이 행해질 수 있는 결정 동작(1020)으로 진행할 수 있다. 텍스트 런들(1104)이 세로 중첩을 가지는 것으로 결정이 행해지는 경우, 동작(1025)에서, 텍스트 런들(1104)이 동일한 버킷(1106)에 할당될 수 있다. 텍스트 런들(1104)이 세로 중첩을 갖지 않는 것으로 결정이 행해지는 경우, 동작(1030)에서, 텍스트 런들(1104)이 상이한 버킷들(1106)에 할당될 수 있다. 예를 들어, 도 11에 예시된 바와 같이, 세로 텍스트(304)의 최상단 라인이 복수의 텍스트 런들(1104A, 1104B, 1104C)로 된다. 3 개의 텍스트 런들(1104A, 1104B, 1104C)이 세로 중첩을 가지는 것으로 결정이 행해질 수 있고, 그에 따라 동일한 버킷(1106A)에 할당될 수 있다. 예시적인 세로 텍스트(304)가 다음과 같은 3 개의 버킷들(1106)을 포함할 수 있다: 브라켓들을 포함하는 2 개의 텍스트 런들(1104A, 1104C) 및 숫자들을 포함하는 하나의 텍스트 런(1104B)을 포함하는 제1 버킷(1106A); "ひらがな" 또는 "히라가나"라고 읽는 일본어 텍스트의 텍스트 런(1104D)을 포함하는 제2 버킷(1106B); 및 "かたかな" 또는 "가타카나"라고 읽는 일본어 텍스트의 텍스트 런(1104E)을 포함하는 제3 버킷(1106C).
다시 도 10을 참조하면, 방법(1000)은 버킷들(1106)이 분석될 수 있는 동작(1035)으로 진행할 수 있다. 결정 동작(1040)에서, 버킷(1106)이 다수의 텍스트 런들(1104)을 포함하는지에 관한 결정이 행해질 수 있다. 버킷(1106)이 다수의 텍스트 런들(1104)을 포함하는 경우, 동작(1045)에서, 세로 텍스트(304)가 세로 내 가로 텍스트(902)를 포함하는 것으로 결정될 수 있다. 버킷(1106)이 단일의 텍스트 런(1104)을 가지는 경우, 방법(1000)은 텍스트 런(1104)이 세로 중첩을 갖는 복수의 글리프(glyph)들을 포함할 수 있는지에 관한 결정이 행해지는 결정 동작(1050)으로 진행할 수 있다.
텍스트 런(1104)이 세로 중첩을 갖는 복수의 글리프들을 포함하는 경우, 동작(1045)에서, 세로 텍스트(304)가 세로 내 가로 텍스트(902)를 포함하는 것으로 결정될 수 있다. 그에 따라, 고정 서식 문서(106)를 유동 서식 문서(108)로 변환할 때 세로 내 가로 텍스트(902)가 올바르게 재구성될 수 있다. 대안적으로, 텍스트 런(1104)이 세로 중첩을 갖는 복수의 글리프들을 포함하지 않는 경우, 방법(1000)은 세로 텍스트(304)가 세로 내 가로 텍스트(902)를 포함하지 않는 것으로 결정이 행해질 수 있는 동작(1055)으로 진행할 수 있다. 방법(1000)은 동작(1095)에서 종료된다.
동아시아 언어(예컨대, 중국어, 일본어, 또는 한국어)로 작성된 고정 서식 문서(106)를 유동 서식 문서(108)로 변환할 때, 올바른 글꼴을 선택하는 것은, 문서(106)가 재구성될 때, 텍스트가 특정의 언어로 디스플레이될 수 있도록 보장할 수 있다. 공지된 바와 같이, 중국어, 일본어, 및 한국어는 어떤 범위의 유니코드 문자들(1204)을 공유한다. 도 12에 예시된 표(1200)는 중국어, 일본어, 및 한국어에서 사용되는 다양한 유니코드 범위들(1202, 1204)을 열거하고 있다. 예를 들어, 일본어에 고유한 유니코드 값들의 범위는 유니코드 값들 U+3040 내지 U+309F(히라가나)(1202A) 및 U+30A0 내지 U+30FF(가타카나)(1202B)를 포함할 수 있다. 한국어에 고유한 유니코드 값들의 범위는 유니코드 값들 U+1100 내지 U+11FF(한글 자모)(1202C) 및 U+AC00 내지 U+D7AF(한글 모음)(1202D)를 포함할 수 있다. CJK 언어들에 대한 공통된 문자들은 간지(유니코드 값들 U+4E00 내지 U+9FCF)(1204A), 표의 문자(유니코드 값들 U+F900 내지 U+FAFF)(1204B), 및 부수(radical)(유니코드 값들 U+2F00 내지 U+2FDF)(1204C)를 포함할 수 있다.
동아시아 언어들은 어떤 범위의 유니코드 값들을 공유하고, 그의 그래픽 표현들은 어떤 글꼴이 사용되고 있는지에 의존한다. 각각의 글꼴에서의 문자들을 분석하는 것에 의해 언어를 검출하는 것은 이상적인 방법이 아닐 수 있는데, 그 이유는 문서가 상이한 유니코드 범위들에 대해 상이한 글꼴들을 포함할 수 있기 때문이다. 예를 들어, 도 13을 참조하면, 상이한 유니코드 범위들에 대해 상이한 글꼴들을 포함하는 단락(1300)이 예시되어 있다. 도시된 바와 같이, 문서는 일본어에 고유한 문자들[히라가나(1202A) 또는 가타카나(1202B)로 쓰여 있음] 및 CJK 언어들에 공통인 문자들(1204)을 포함할 수 있다. 예시를 위해, 일본어 텍스트(1202A, 1202B)는 문자들 주위에 드로잉된 상자로 나타내어져 있고, CJK 언어들에 대해 공통인 문자들(1204)은 밑줄이 그어진 것으로 나타내어져 있다. 언어를 검출하기 위해 간단한 글꼴별 분석이 수행되는 경우, 문자들 주위에 드로잉된 상자로 표시된 글꼴은 일본어로서 검출될 수 있지만; 밑줄이 그어진 것으로 표시된 글꼴의 언어는 결정될 수 없을지도 모른다.
실시예들은 고정 서식 문서(106)에서의 동아시아 언어 검출을 제공한다. 간단한 글꼴별 분석을 수행하는 대신에, 글꼴로부터의 문자들이 사용되는 문맥을 포함하는 각각의 글꼴에 대한 통계가 추출될 수 있다. 예를 들어, 문서에서의 각각의 단락(1300)을 개별적으로 분석하는 것에 의해 문맥이 결정될 수 있다. 문서에서 발견되는 각각의 글꼴에 대해, 특정의 글꼴이 사용되는 단락들(1300)에서 사용되는 일본어, 한국어, 그리고 다른 CJK 및 비CJK 문자들의 수가 추적될 수 있다. 통계 및 다른 임계값들에 기초하여, 텍스트의 언어의 결정이 행해질 수 있다.
도 14는 고정 서식 문서(106)에서의 동아시아 언어를 검출하기 위해 그리고 연관된 유동 서식 문서(108)에서의 동아시아 언어를 재구성하기 위해 동아시아 서식 엔진(118)에 의해 실행되는 동아시아 언어 검출 방법(1400)의 하나의 실시예를 나타낸 플로우차트이다. 방법(1400)은 시작 동작(1405)에서 시작하고, 분석하기 위해 그리고 글꼴에 대한 동아시아 언어를 검출하기 위해 그리고 결정된 동아시아 언어에 대한 글꼴이 유동 서식 문서(108)에서 재구성될 수 있는 경우 고정 서식 문서(106)를 유동 서식 문서(108)로 재구성하기 위해 CJK 문자들을 가지는 고정 서식 문서(106)가 수신되는 동작(1410)으로 진행한다. 일 실시예에 따르면, 고정 서식 문서(106)가 수신되기 전에 단락 검출 엔진에 의해 단락 검출이 수행될 수 있다. 본 명세서에 기술된 바와 같이, 단락 검출은 고정 서식 문서(106)를, 동아시아 언어를 검출하기 위해 추가로 분석될 수 있는 하나 이상의 단락들(1300)로 분리시킬 수 있다.
방법(1400)은 단락(1300)에서 사용되는 각각의 글꼴이 검출되고 추출되는 동작(1415)으로 진행할 수 있다. 동작(1420)에서, 단락(1300)에서의 일본어 문자들(1202A, 1202B), 한국어 문자들(1202C, 1202D), 다른 CJK 문자들(1204A, 1204B, 1204C), 및 비CJK 문자들의 수가 검출되고 계수될 수 있다. 예를 들어, 문자에 대한 유니코드 값들이 검출될 수 있고, 각각의 문자에 대한 언어 유형(예컨대, 일본어, 한국어, 다른 CJK, 또는 비CJK)이 할당될 수 있다. 동작(1420)에서 결정되는 수가 저장되고, 동작(1425)에서 통계 정보를 업데이트하는 데 사용될 수 있다. 실시예들에 따르면, 세 번째 이전의 단락에서 기술된 바와 같이 간단한 글꼴별 문자 계수의 단점들을 해결하는 데 도움을 줄 수 있는, 각각의 특정의 글꼴로 된 문맥을 포착하기 위해, 각각의 단락(1300)에 대해 동작(1420)에서 획득된 숫자들에 기초하여 각각의 글꼴에 대한 통계가 계산될 수 있다. 각각의 글꼴에 대해, 각각의 문자 유형(일본어, 한국어, CJK, 및 비CJK)의 수치값들이 그 특정의 글꼴이 사용된 각각의 단락(1300)[즉, 그 글꼴로 쓰여진 적어도 하나의 문자를 포함하는 단락들(1300)]으로부터의 해당 숫자들을 집계하는 것에 의해 계산될 수 있다. 동작(1430)에서, 글꼴에 대한 CJK 문자들의 비율(즉, CJK 문자들의 수를 문자들의 총수로 나눈 것)이 훈련 집합으로부터 추출된 임계값과 비교될 수 있다.
방법(1400)은 글꼴이 CJK 글꼴인지에 관한 결정이 행해지는 결정 동작(1435)으로 진행한다. 예를 들어, 어떤 글꼴로 된 CJK 문자들의 비율이 임계값을 초과하는 경우, 그 글꼴이 CJK 글꼴인 것으로 결정이 행해질 수 있다. 글꼴이 CJK 글꼴이 아닌 것으로 결정되는 경우, 방법(1400)은 동작(1495)에서 종료될 수 있다. 대안적으로, 글꼴이 CJK 글꼴인 것으로 결정되는 경우, 방법(1400)은, 일본어 문자들(1202A, 1202B)의 수를 CJK 문자들의 총수로 나누는 것에 의해, 그 글꼴로 된 일본어 문자들(1202A, 1202B)의 비율이 결정될 수 있는 동작(1440)으로 진행할 수 있다.
결정 동작(1445)에서, 그 글꼴로 된 일본어 문자들(1202A, 1202B)의 비율을 임계값과 비교하는 것에 의해 그 글꼴이 일본어인지에 관한 결정이 행해진다. 그 비율이 임계값을 충족시키거나 초과하는 경우, 그 글꼴이 일본어 글꼴인 것으로 결정될 수 있다. 동작(1450)에서, 일본어 글꼴인 것으로 결정된 그 글꼴에 대한 글꼴 이름이 일본어 글꼴에 대한 기본 글꼴로 대체될 수 있다. 결정 동작(1445)에서, 그 글꼴이 일본어가 아닌 것으로 결정되는 경우, 방법(1400)은, 한국어 문자들(1202C, 1202D)의 수를 CJK 문자들의 총수로 나누는 것에 의해, 그 글꼴로 된 한국어 문자들(1202C, 1202D)의 비율이 결정될 수 있는 동작(1455)으로 진행할 수 있다.
결정 동작(1460)에서, 그 글꼴로 된 한국어 문자들(1202C, 1202D)의 비율을 임계값과 비교하는 것에 의해 그 글꼴이 한국어인지에 관한 결정이 행해진다. 그 비율이 임계값을 충족시키거나 초과하는 경우, 그 글꼴이 한국어 글꼴인 것으로 결정될 수 있다. 동작(1465)에서, 한국어 글꼴인 것으로 결정된 그 글꼴에 대한 글꼴 이름이 한국어 글꼴에 대한 기본 글꼴로 대체될 수 있다. 결정 동작(1460)에서, 그 글꼴이 한국어가 아닌 것으로 결정되는 경우, 방법(1400)은 그 글꼴이 중국어인 것으로 결정될 수 있는 동작(1470)으로 진행할 수 있다.
중국어 간체와 중국어 번체 사이의 구별이 유니코드 값들을 살펴보는 것에 의해 행해질 수 없을지도 모른다. 그에 따라, 동작(1475)에서, 설치된 편집 언어가 검사될 수 있고, 결정 동작(1480)에서, 중국어 번체가 존재하는지에 관한 결정이 행해진다. 중국어 번체가 존재하는 경우, 방법(1400)은 그 글꼴이 중국어 번체인 것으로 결정되고 중국어 번체 글꼴인 것으로 결정된 그 글꼴에 대한 글꼴 이름이 중국어 번체 글꼴에 대한 기본 글꼴로 대체될 수 있는 동작(1485)으로 진행할 수 있다. 대안적으로, 중국어 번체가 존재하지 않는 경우, 방법(1400)은 그 글꼴이 중국어 간체인 것으로 결정되고 중국어 간체 글꼴인 것으로 결정된 그 글꼴에 대한 글꼴 이름이 중국어 간체 글꼴에 대한 기본 글꼴로 대체될 수 있는 동작(1490)으로 진행할 수 있다. 방법(1400)은 문서로부터 추출되는 각각의 글꼴에 대해 동작(1430)으로 되돌아갈 수 있다. 방법(1400)은 동작(1495)에서 종료된다.
본 발명이 일반적으로 컴퓨터에서 운영 체제 상에서 실행되는 애플리케이션 프로그램과 관련하여 실행되는 프로그램 모듈들과 관련하여 기술되어 있지만, 통상의 기술자라면 본 발명이 또한 다른 프로그램 모듈들과 관련하여 구현될 수 있다는 것을 잘 알 것이다. 일반적으로, 프로그램 모듈들은 특정의 작업들을 수행하거나 특정의 추상 데이터 형식들을 구현하는 루틴들, 프로그램들, 구성요소들, 데이터 구조들, 및 다른 유형의 구조들을 포함한다.
본 명세서에 기술된 실시예들 및 기능들은 데스크톱 컴퓨터 시스템, 유선 및 무선 컴퓨팅 시스템, 모바일 컴퓨팅 시스템[예컨대, 휴대폰, 넷북, 태블릿 또는 슬레이트(slate) 유형 컴퓨터, 노트북 컴퓨터, 및 랩톱 컴퓨터], 핸드헬드 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램 가능 가전 제품, 미니컴퓨터, 및 메인프레임 컴퓨터(이들로 제한되지 않음)를 비롯한 다수의 컴퓨팅 시스템들에서 동작할 수 있다.
그에 부가하여, 본 명세서에 기술된 실시예들 및 기능들은 분산 시스템들(예컨대, 클라우드 기반 컴퓨팅 시스템들)에 걸쳐 동작할 수 있고, 여기서 애플리케이션 기능, 메모리, 데이터 저장소 그리고 검색 및 다양한 처리 기능들이 인터넷 또는 인트라넷과 같은 분산 컴퓨팅 네트워크에 걸쳐 서로로부터 멀리 떨어져 동작될 수 있다. 다양한 유형의 사용자 인터페이스들 및 정보가 온보드 컴퓨팅 디바이스 디스플레이들을 통해 또는 하나 이상의 컴퓨팅 디바이스들과 연관된 원격 디스플레이 유닛들을 통해 디스플레이될 수 있다. 예를 들어, 다양한 유형의 사용자 인터페이스들 및 정보가 투사되는 벽 표면 상에서, 다양한 유형의 사용자 인터페이스들 및 정보가 디스플레이되고 그와 상호작용할 수 있다. 본 발명의 실시예들이 실시될 수 있는 다수의 컴퓨팅 시스템들과의 상호작용은 키스트로크 입력, 터치 스크린 입력, 음성 또는 다른 오디오 입력, 연관된 컴퓨팅 디바이스가 컴퓨팅 디바이스의 기능을 제어하기 위한 사용자 제스처들을 포착하고 해석하기 위한 검출(예컨대, 카메라) 기능을 갖추고 있는 경우의 제스처 입력 등을 포함한다.
도 15 내지 도 17 및 연관된 설명들은 본 발명의 실시예들이 실시될 수 있는 각종의 운영 환경들에 대한 논의를 제공한다. 그렇지만, 도 15 내지 도 17과 관련하여 예시되고 논의되는 디바이스들 및 시스템들은 예시 및 설명을 위한 것이며, 본 명세서에 기술된 본 발명의 실시예들을 실시하기 위해 이용될 수 있는 엄청난 수의 컴퓨팅 디바이스 구성들을 제한하는 것이 아니다.
도 15는 본 발명의 실시예들이 실시될 수 있는 컴퓨팅 디바이스(1500)의 물리적 구성요소들(즉, 하드웨어)을 나타낸 블록도이다. 이하에서 기술되는 컴퓨팅 디바이스 구성요소들은 앞서 기술된 컴퓨팅 디바이스들에 적당할 수 있다. 기본적인 구성에서, 컴퓨팅 디바이스(1500)는 적어도 하나의 처리 유닛(1502) 및 시스템 메모리(1504)를 포함할 수 있다. 컴퓨팅 디바이스의 구성 및 유형에 따라, 시스템 메모리(1504)는 휘발성 저장소(예컨대, 랜덤 액세스 메모리), 비휘발성 저장소(예컨대, 판독 전용 메모리), 플래시 메모리, 또는 이러한 메모리들의 임의의 조합을 포함할 수 있지만, 이들로 제한되지 않는다. 시스템 메모리(1504)는 운영 체제(1505) 그리고 동아시아 레이아웃 엔진(118), 문서 처리기(112), 파서(110), 문서 변환기(102), 및 직렬화기(114)와 같은 소프트웨어 애플리케이션들을 실행하는 데 적당한 하나 이상의 프로그램 모듈들(1506)을 포함할 수 있다. 운영 체제(1505)는, 예를 들어, 컴퓨팅 디바이스(1500)의 동작을 제어하는 데 적당할 수 있다. 게다가, 본 발명의 실시예들은 그래픽 라이브러리, 다른 운영 체제, 또는 임의의 다른 애플리케이션 프로그램과 관련하여 실시될 수 있고, 임의의 특정의 애플리케이션 또는 시스템으로 제한되지 않는다. 이 기본적인 구성이 도 15에서 파선(1508) 내의 그 구성요소들로 나타내어져 있다. 컴퓨팅 디바이스(1500)는 부가의 특징들 및 기능을 가질 수 있다. 예를 들어, 컴퓨팅 디바이스(1500)는 또한, 예를 들어, 자기 디스크, 광 디스크 또는 테이프와 같은 부가의 데이터 저장 디바이스들(이동식 및/또는 비이동식)을 포함할 수 있다. 이러한 부가의 저장소는 도 15에서 이동식 저장 디바이스(1509) 및 비이동식 저장 디바이스(1510)로 나타내어져 있다.
앞서 언급한 바와 같이, 다수의 프로그램 모듈들 및 데이터 파일들이 시스템 메모리(1504)에 저장될 수 있다. 처리 유닛(1502) 상에서 실행될 때, 프로그램 모듈들(1506)[예컨대, 동아시아 레이아웃 엔진(118), 파서(110), 문서 처리기(112), 및 직렬화기(114)]은 도 4, 도 7a, 도 7b, 도 10 및 도 14에 예시된 방법들(400, 700, 1000, 및 1400)의 단계들 중 하나 이상(이들로 제한되지 않음)을 비롯한 프로세스들을 수행할 수 있다. 본 발명의 실시예들에 따라 사용될 수 있는 다른 프로그래밍 모듈들은 전자 메일 및 연락처 애플리케이션, 워드 프로세싱 애플리케이션, 스프레드시트 애플리케이션, 데이터베이스 애플리케이션, 슬라이드 프레젠테이션 애플리케이션, 드로잉(drawing) 또는 컴퓨터 보조(computer-aided) 애플리케이션 프로그램 등을 포함할 수 있다.
게다가, 본 발명의 실시예들이 개별 전자 요소들을 포함하는 전기 회로, 논리 게이트(logic gate)들을 포함하는 패키징된 또는 집적된 전자 칩, 마이크로프로세서를 이용하는 회로, 또는 전자 요소들 또는 마이크로프로세서들을 포함하는 단일 칩에서 실시될 수 있다. 예를 들어, 본 발명의 실시예들은 도 15에 예시된 구성요소들 각각 또는 그 중 다수가 단일의 집적 회로 상에 집적될 수 있는 SOC(system-on-a-chip)를 통해 실시될 수 있다. 이러한 SOC는 하나 이상의 처리 유닛들, 그래픽 유닛들, 통신 유닛들, 시스템 가상화 유닛들 및 다양한 애플리케이션 기능 - 이들 모두가 칩 기판 상에 단일의 집적 회로로서 집적[또는 "버닝(burn)"]되어 있음 - 을 포함할 수 있다. SOC를 통해 동작할 때, 동아시아 레이아웃 엔진(118), 파서(110), 문서 처리기(112), 및 직렬화기(114)와 관련하여 본 명세서에 기술된 기능이 단일의 집적 회로(칩) 상에 컴퓨팅 디바이스(1500)의 다른 구성요소들과 통합된 주문형 로직(application-specific logic)을 통해 동작될 수 있다. 본 발명의 실시예들은 또한, 예를 들어, AND, OR 및 NOT과 같은 논리적 연산들을 수행할 수 있는 다른 기술들(기계 기술, 광학 기술, 유체 기술 및 양자 기술을 포함하지만, 이들로 제한되지 않음)을 사용하여 실시될 수 있다. 그에 부가하여, 본 발명의 실시예들은 범용 컴퓨터 내에서 또는 임의의 다른 회로들 또는 시스템들에서 실시될 수 있다.
컴퓨팅 디바이스(1500)는 또한 키보드, 마우스, 펜, 사운드 입력 디바이스, 터치 입력 디바이스 등과 같은 입력 디바이스(들)(1512)를 가질 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 디바이스(들)(1514)가 또한 포함될 수 있다. 전술한 디바이스들은 일례이며, 다른 디바이스들이 사용될 수 있다. 컴퓨팅 디바이스(1500)는 다른 컴퓨팅 디바이스들(1518)과의 통신을 가능하게 하는 하나 이상의 통신 연결들(1516)을 포함할 수 있다. 적당한 통신 연결들(1516)의 예들은 RF 송신기, 수신기, 및/또는 송수신기 회로; USB(universal serial bus), 병렬, 또는 직렬 포트들, 및 적용 가능한 컴퓨터 판독 가능 매체에 사용하기에 적절한 다른 연결들을 포함하지만, 이들로 제한되지 않는다.
본 발명의 실시예들이, 예를 들어, 컴퓨터 프로세스(방법), 컴퓨팅 시스템, 또는 제조 물품(컴퓨터 프로그램 제품 또는 컴퓨터 판독 가능 매체 등)으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독 가능하고 컴퓨터 프로세스를 실행하기 위한 명령어들의 컴퓨터 프로그램을 인코딩하는 컴퓨터 저장 매체일 수 있다.
컴퓨터 판독 가능 매체라는 용어는, 본 명세서에서 사용되는 바와 같이, 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보를 저장하기 위해 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다. 시스템 메모리(1504), 이동식 저장 디바이스(1509), 및 비이동식 저장 디바이스(1510)가 모두 컴퓨터 저장 매체 예(즉, 메모리 저장소)이다. 컴퓨터 저장 매체로는 RAM, ROM, EEPROM(electrically erasable programmable read-only memory), 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 정보를 저장하는 데 사용될 수 있고 컴퓨팅 디바이스(1500)에 의해 액세스될 수 있는 임의의 다른 매체가 있을 수 있지만, 이들로 제한되지 않는다. 임의의 이러한 컴퓨터 저장 매체가 컴퓨터 디바이스(1500)의 일부일 수 있다.
통신 매체는 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터에 의해 반송파 또는 다른 전송 메커니즘과 같은 피변조 데이터 신호(modulated data signal)에 구현될 수 있고 임의의 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는 신호의 하나 이상의 특성들이 정보를 그 신호에 인코딩하는 방식으로 설정되거나 변경된 신호를 말하는 것일 수 있다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 연결(direct-wired connection)과 같은 유선 매체와, 음향, RF(radio frequency), 적외선 및 다른 무선 매체와 같은 무선 매체를 포함할 수 있다.
도 16a 및 도 16b는 본 발명의 실시예들이 실시될 수 있는 모바일 컴퓨팅 디바이스(1600)(예를 들어, 휴대폰, 스마트폰, 태블릿 개인용 컴퓨터, 랩톱 컴퓨터 등)를 나타낸 것이다. 도 16a를 참조하면, 실시예들을 구현하기 위한 모바일 컴퓨팅 디바이스(1600)의 하나의 실시예가 예시되어 있다. 기본적인 구성에서, 모바일 컴퓨팅 디바이스(1600)는 입력 요소들 및 출력 요소들을 가지는 핸드헬드 컴퓨터이다. 모바일 컴퓨팅 디바이스(1600)는 전형적으로 사용자가 모바일 컴퓨팅 디바이스(1600)에 정보를 입력할 수 있게 하는 하나 이상의 입력 버튼들(1610) 및 디스플레이(1605)를 포함한다. 모바일 컴퓨팅 디바이스(1600)의 디스플레이(1605)는 또한 입력 디바이스(예컨대, 터치 스크린 디스플레이)로서도 기능할 수 있다. 포함되는 경우, 선택적인 측면 입력 요소(1615)가 추가적인 사용자 입력을 가능하게 한다. 측면 입력 요소(1615)는 회전식 스위치(rotary switch), 버튼, 또는 임의의 다른 유형의 수동 입력 요소일 수 있다. 대안의 실시예들에서, 모바일 컴퓨팅 디바이스(1600)는 더 많거나 더 적은 입력 요소들을 포함할 수 있다. 예를 들어, 디스플레이(1605)는, 일부 실시예들에서, 터치 스크린이 아닐 수 있다. 또 다른 대안의 실시예에서, 모바일 컴퓨팅 디바이스(1600)는 셀룰러폰(cellular phone)과 같은 휴대 전화 시스템(portable phone system)이다. 모바일 컴퓨팅 디바이스(1600)는 또한 선택적인 키패드(1635)를 포함할 수 있다. 선택적인 키패드(1635)는 물리적 키패드 또는 터치 스크린 디스플레이 상에 발생되는 "소프트" 키패드일 수 있다. 다양한 실시예들에서, 출력 요소들은 그래픽 사용자 인터페이스(GUI)를 보여주기 위한 디스플레이(1605), 시각적 표시기(1620)(예컨대, 발광 다이오드), 및/또는 오디오 트랜스듀서(1625)(예컨대, 스피커)를 포함한다. 일부 실시예들에서, 모바일 컴퓨팅 디바이스(1600)는 사용자에게 촉각적 피드백을 제공하기 위한 진동 트랜스듀서를 포함한다. 또 다른 실시예에서, 모바일 컴퓨팅 디바이스(1600)는 외부 디바이스로 신호들을 송신하거나 그로부터 신호들을 수신하기 위한, 오디오 입력(예컨대, 마이크 잭), 오디오 출력(예컨대, 헤드폰 잭), 및 비디오 출력(예컨대, HDMI 포트)과 같은 입력 및/또는 출력 포트들을 포함한다.
도 16b는 모바일 컴퓨팅 디바이스의 하나의 실시예의 아키텍처를 나타낸 블록도이다. 즉, 모바일 컴퓨팅 디바이스(1600)는 일부 실시예들을 구현하는 시스템(즉, 아키텍처)(1602)을 포함할 수 있다. 하나의 실시예에서, 시스템(1602)은 하나 이상의 애플리케이션들(예컨대, 브라우저, 이메일, 일정 관리, 연락처 관리자, 메시징 클라이언트, 게임, 및 미디어 클라이언트/플레이어)을 실행할 수 있는 "스마트폰"으로서 구현된다. 일부 실시예들에서, 시스템(1602)은 일체형 PDA(personal digital assistant) 및 무선 전화와 같은, 컴퓨팅 디바이스로서 통합된다.
하나 이상의 애플리케이션 프로그램들(1667)이 메모리(1662)에 로드되어 운영 체제(1664) 상에서 또는 그와 관련하여 실행될 수 있다. 애플리케이션 프로그램들의 예는 전화 걸기(phone dialer) 프로그램, 이메일 프로그램, PIM(personal information management) 프로그램, 워드 프로세싱 프로그램, 스프레드시트 프로그램, 인터넷 브라우저 프로그램, 메시징 프로그램 등을 포함한다. 시스템(1602)은 또한 메모리(1662) 내의 비휘발성 저장 영역(1668)을 포함한다. 비휘발성 저장 영역(1668)은 시스템(1602)의 전원이 꺼져 있는 경우 손실되어서는 안되는 영속적 정보를 저장하는 데 사용될 수 있다. 애플리케이션 프로그램들(1667)은 이메일 애플리케이션 등에 의해 사용되는 이메일 또는 다른 메시지들과 같은 정보를 사용하고 비휘발성 저장 영역(1668)에 저장할 수 있다. 동기화 애플리케이션(도시 생략)이 또한 시스템(1602) 상에 존재하고, 비휘발성 저장 영역(1668)에 저장된 정보를 호스트 컴퓨터에 저장된 대응하는 정보와 동기화된 채로 유지하기 위해 호스트 컴퓨터 상에 존재하는 대응하는 동기화 애플리케이션과 상호작용하도록 프로그램되어 있다. 잘 알 것인 바와 같이, 본 명세서에 기술된 동아시아 레이아웃 엔진(118), 파서(110), 문서 처리기(112), 및 직렬화기(114)를 비롯한 다른 애플리케이션들이 메모리(1662)에 로드되고 모바일 컴퓨팅 디바이스(1600) 상에서 실행될 수 있다.
시스템(1602)은 하나 이상의 배터리들로서 구현될 수 있는 전원(1670)을 가진다. 전원(1670)은 배터리를 보완하거나 재충전하는 AC 어댑터 또는 전원 도킹 크레이들(powered docking cradle)과 같은 외부 전원을 추가로 포함할 수 있다.
시스템(1602)은 또한 무선 주파수 통신을 전송 및 수신하는 기능을 수행하는 무선부(radio)(1672)를 포함할 수 있다. 무선부(1672)는, 통신 사업자 또는 서비스 공급자를 통해, 시스템(1602)과 "외부 세계" 사이의 무선 연결을 용이하게 한다. 무선부(1672)로의 전송 및 그로부터의 전송은 운영 체제(1664)의 제어 하에서 수행된다. 환언하면, 무선부(1672)에 의해 수신되는 통신은 운영 체제(1664)를 통해 애플리케이션 프로그램들(1667)로 전달될 수 있고, 그 반대일 수 있다.
무선부(1672)는 시스템(1602)이, 네트워크 등을 통해, 다른 컴퓨팅 디바이스들과 통신할 수 있게 한다. 무선부(1672)는 통신 매체의 하나의 예이다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터에 의해 반송파 또는 다른 전송 메커니즘과 같은 피변조 데이터 신호에 구현될 수 있고 임의의 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는 신호의 특성들 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정되거나 변경된 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 연결(direct-wired connection)과 같은 유선 매체와, 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함한다. 컴퓨터 판독 가능 매체라는 용어는, 본 명세서에서 사용되는 바와 같이, 저장 매체 및 통신 매체 둘 다를 포함한다.
시스템(1602)의 이 실시예는 시각적 통지들을 제공하는 데 사용될 수 있는 시각적 표시기(1620) 및/또는 오디오 트랜스듀서(1625)를 통해 청각적 통지들을 생성하는 오디오 인터페이스(1674)를 사용하여 통지들을 제공한다. 예시된 실시예에서, 시각적 표시기(1620)는 발광 다이오드(LED)이고, 오디오 트랜스듀서(1625)는 스피커이다. 이 디바이스들은, 활성화될 때 프로세서(1660) 및 다른 구성요소들이 배터리 전원을 절감하기 위해 꺼져 있을 수 있더라도 통지 메커니즘에 의해 지시된 기간 동안 켜진 채로 있도록, 전원(1670)에 직접 결합되어 있을 수 있다. LED는 디바이스의 전원 켜짐 상태(powered-on status)를 나타내기 위해 사용자가 조치를 취할 때까지 무기한으로 켜진 채로 있도록 프로그램될 수 있다. 오디오 인터페이스(1674)는 사용자에게 가청 신호를 제공하고 사용자로부터 가청 신호를 수신하기 위해 사용된다. 예를 들어, 오디오 트랜스듀서(1625)에 결합된 것에 부가하여, 오디오 인터페이스(1674)는 또한, 전화 대화를 용이하게 하는 것 등을 위해, 가청 입력을 수신하기 위해 마이크에 결합되어 있을 수 있다. 본 발명의 실시예들에 따르면, 마이크는 또한 통지들의 제어를 용이하게 하기 위해 오디오 센서로서 역할할 수 있고, 이에 대해서는 이하에서 기술될 것이다. 시스템(1602)은 정지 영상, 비디오 스트림 등을 기록하기 위해 온보드 카메라(1630)의 동작을 가능하게 하는 비디오 인터페이스(1676)를 추가로 포함할 수 있다.
시스템(1602)을 구현하는 모바일 컴퓨팅 디바이스(1600)는 부가의 특징들 또는 기능을 가질 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스(1600)는 또한 자기 디스크, 광 디스크 또는 테이프와 같은 부가의 데이터 저장 디바이스들(이동식 및/또는 비이동식)을 포함할 수 있다. 이러한 부가의 저장소가 도 6b에서 비휘발성 저장 영역(1668)으로 예시되어 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등의 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다.
모바일 컴퓨팅 디바이스(1600)에 의해 발생되거나 포착되고 시스템(1602)을 통해 저장되는 데이터/정보가, 앞서 기술된 바와 같이, 모바일 컴퓨팅 디바이스(1600) 상에 로컬적으로 저장될 수 있거나, 데이터가 무선부(1672)를 통해 또는 모바일 컴퓨팅 디바이스(1600) 및 모바일 컴퓨팅 디바이스(1600)와 연관된 별도의 컴퓨팅 디바이스(예를 들어, 인터넷과 같은 분산 컴퓨팅 네트워크에서의 서버 컴퓨터) 사이의 유선 연결을 통해 디바이스에 의해 액세스될 수 있는 임의의 수의 저장 매체 상에 저장될 수 있다. 잘 알 것인 바와 같이, 이러한 데이터/정보는 무선부(1672)를 거쳐 또는 분산 컴퓨팅 네트워크를 거쳐 디바이스를 통해 액세스될 수 있다. 이와 유사하게, 이러한 데이터/정보는, 전자 메일 및 협업적 데이터/정보 공유 시스템을 비롯한, 공지된 데이터/정보 전송 및 저장 수단에 따라 저장 및 사용을 위해 컴퓨팅 디바이스들 사이에서 용이하게 전송될 수 있다.
도 17은, 앞서 기술된 바와 같이, 고정 서식 문서(106)에서의 세로 텍스트 검출(400), 루비 텍스트 검출(700), 세로 내 가로 텍스트 검출(1000), 및 동아시아 언어 검출(1400)을 하나 이상의 클라이언트 디바이스들에 제공하는 시스템의 아키텍처의 하나의 실시예를 나타낸 것이다. 작성되는, 동아시아 레이아웃 엔진(118), 파서(110), 문서 처리기(112), 및 직렬화기(114)와 상호작용되는, 또는 그와 관련하여 편집되는 콘텐츠가 상이한 통신 채널들 또는 다른 저장 유형들에 저장될 수 있다. 예를 들어, 다양한 문서들이 디렉터리 서비스(1722), 웹 포털(1724), 우편함 서비스(1726), 인스턴트 메시징 저장소(1728), 또는 소셜 네트워킹 사이트(1730)를 사용하여 저장될 수 있다. 동아시아 레이아웃 엔진(118), 파서(110), 문서 처리기(112), 및 직렬화기(114)는, 본 명세서에 기술된 바와 같이, 데이터 이용을 가능하게 하기 위해 이 유형의 시스템들, 기타 중 임의의 것을 사용할 수 있다. 서버(1720)는 동아시아 레이아웃 엔진(118), 파서(110), 문서 처리기(112), 및 직렬화기(114)를 클라이언트들에 제공할 수 있다. 하나의 예로서, 서버(1720)는 동아시아 레이아웃 엔진(118), 파서(110), 문서 처리기(112), 및 직렬화기(114)를 웹을 통해 제공하는 웹 서버일 수 있다. 서버(1720)는 동아시아 레이아웃 엔진(118), 파서(110), 문서 처리기(112), 및 직렬화기(114)를 네트워크(1714)를 거쳐 웹을 통해 클라이언트들에 제공할 수 있다. 예로서, 클라이언트 컴퓨팅 디바이스(1718)는 컴퓨팅 디바이스(1500)로서 구현되고 개인용 컴퓨터(1718a), 태블릿 컴퓨팅 디바이스(1718b) 및/또는 모바일 컴퓨팅 디바이스(1718c)(예컨대, 스마트폰)에 구현될 수 있다. 클라이언트 컴퓨팅 디바이스(1718)의 이 실시예들 중 임의의 것은 저장소(1716)로부터 콘텐츠를 획득할 수 있다.
본 발명의 실시예들은, 예를 들어, 본 발명의 실시예들에 따른 방법들, 시스템들, 및 컴퓨터 프로그램 제품들의 블록도들 및/또는 동작 설명들을 참조하여 이상에 기술되어 있다. 블록들에 표시된 기능들/동작들이 임의의 플로우차트에 도시된 것과 순서와 다르게 행해질 수 있다. 예를 들어, 관여된 기능/동작들에 따라, 연속하여 도시된 2개의 블록들이 실제로는 거의 동시에 실행될 수 있거나, 그 블록들이 때로는 정반대의 순서로 실행될 수 있다.
본 출원에 제공된 하나 이상의 실시예들의 설명 및 예시는 청구된 본 발명의 범주를 결코 제한하거나 한정하는 것으로 의도되어 있지 않다. 본 출원에 제공된 실시예들, 예들, 및 상세들은 소유권을 이전하고 다른 사람들이 청구된 발명의 최상의 실시 형태를 제조하고 사용할 수 있게 하는 데 충분한 것으로 생각된다. 청구된 발명은 본 출원에 제공된 임의의 실시예, 예, 또는 상세로 제한되는 것으로 해석되어서는 안된다. 결합하여 또는 분리되어 도시되고 기술되어 있는지에 관계없이, 다양한 특징들이 특정의 일련의 특징들을 갖는 실시예를 제조하는 데 선택적으로 포함되거나 생략되는 것으로 의도되어 있다. 본 출원의 설명 및 예시가 제공되면, 통상의 기술자는 청구된 발명의 광의적 범주를 벗어나지 않는 본 출원에 구체화된 일반 발명 원리의 광의적 양태들의 사상 내에 속하는 변형들, 수정들 및 대안의 실시예들을 예상할 수 있다.

Claims (20)

  1. 컴퓨팅 디바이스에 의하여 수행되는, 고정 서식 문서(fixed format document)에서 중국어, 일본어, 또는 한국어 텍스트를 검출하는 방법에 있어서,
    하나 이상의 페이지 상의 하나 이상의 텍스트 런(text run)을 포함하는 고정 서식 문서를 수신하는 단계;
    적어도 하나의 중국어, 일본어, 또는 한국어 문자를 발견하기 위해 페이지 상의 하나 이상의 텍스트 런을 분석하는 단계;
    상기 페이지 상에서 적어도 하나의 중국어, 일본어, 또는 한국어 문자가 발견되는 경우, 상기 페이지에 대한 텍스트 방향을 결정하기 위해 상기 페이지 상의 상기 하나 이상의 텍스트 런을 분석하는 단계로서,
    가로 라인(horizontal line)으로 그리고 세로 라인(vertical line)으로 상기 하나 이상의 텍스트 런을 분석하는 단계;
    각각의 텍스트 런에 대해, 상기 텍스트 런이 가로 텍스트 런들의 시퀀스에 부합하는지 세로 텍스트 런들의 시퀀스에 부합하는지를 결정하는 단계;
    각각의 가로 텍스트 런 및 각각의 세로 텍스트 런에 있는 문자들의 수를 계수(count)하는 단계; 및
    상기 가로 텍스트 런들에서보다 상기 세로 텍스트 런들에 더 많은 문자들이 있는 경우, 상기 페이지가 세로 텍스트를 포함하는 것으로 결정하는 단계
    를 포함하는, 상기 단계;
    상기 페이지가 세로 텍스트를 포함하는 경우, 유동 서식 문서(flow format document)에서의 재구성을 위한 레이아웃 분석을 위해 상기 페이지를 시계 반대 방향으로 90° 회전시키는 단계; 및
    상기 고정 서식 문서를 유동 서식 문서로 재구성하는 단계
    를 포함하는, 고정 서식 문서에서 중국어, 일본어, 또는 한국어 텍스트를 검출하는 방법.
  2. 제1항에 있어서, 상기 세로 텍스트를 시계 반대 방향으로 90° 회전시킨 후에, 상기 세로 텍스트를 세로축(vertical axis)을 따라 아래로 페이지 폭만큼 이동(translate)시키는 단계를 더 포함하는, 방법.
  3. 제1항에 있어서, 레이아웃 분석이 수행된 후에, 이전에 회전된 텍스트 런들을 세로축을 따라 위로 페이지 높이만큼 이동시키고 상기 이전에 회전된 텍스트 런들을 시계 방향으로 90° 회전시키는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서, 상기 적어도 하나의 중국어, 일본어, 또는 한국어 문자를 발견하기 위해 페이지 상의 하나 이상의 텍스트 런을 분석하는 단계는, 상기 하나 이상의 텍스트 런에서의 적어도 하나의 문자가 중국어, 일본어, 또는 한국어 문자에 대한 유니코드(Unicode) 범위인지 결정하는 단계를 포함하는 것인, 방법.
  5. 제1항에 있어서, 상기 적어도 하나의 중국어, 일본어, 또는 한국어 문자를 발견하기 위해 페이지 상의 하나 이상의 텍스트 런을 분석하기 전에, 상기 하나 이상의 텍스트 런을 포함하는 문서 본문으로부터 머리글 또는 바닥글을 분리하는 단계를 더 포함하는, 방법.
  6. 제1항에 있어서, 상기 세로 텍스트를 유동 서식 문서에서의 유동 서식 세로 텍스트(flow format vertical text)로서 재구성하는 단계를 더 포함하는, 방법.
  7. 제1항에 있어서,
    세로 중첩(vertical overlap)을 갖는 하나 이상의 텍스트 런을 발견하기 위해 페이지 상의 상기 하나 이상의 텍스트 런을 분석하는 단계;
    텍스트 런이 다른 텍스트 런과 세로 중첩을 가지는 경우, 세로로 중첩하는 텍스트 런들을 버킷(bucket)에 할당하는 단계;
    텍스트 런이 다른 텍스트 런과 세로 중첩을 갖지 않는 경우, 텍스트 런들을 개별적인 버킷들에 할당하는 단계;
    복수의 텍스트 런들을 발견하기 위해 버킷들을 분석하는 단계; 및
    버킷이 복수의 텍스트 런들을 포함하는 경우, 상기 복수의 텍스트 런들을 세로 내 가로 텍스트(horizontal-in-vertical text)로서 지정하는 단계를 더 포함하는, 방법.
  8. 제7항에 있어서,
    하나 이상의 텍스트 런이 세로 중첩을 갖는 글리프(glyph)들을 포함하는지 여부를 결정하는 단계; 및
    하나 이상의 텍스트 런이 세로 중첩을 갖는 글리프들을 포함하는 경우, 상기 하나 이상의 텍스트 런을 세로 내 가로 텍스트로서 지정하는 단계를 더 포함하는, 방법.
  9. 제7항에 있어서, 상기 세로 내 가로 텍스트를 유동 서식 문서에서의 유동 서식 세로 내 가로 텍스트로서 재구성하는 단계를 더 포함하는, 방법.
  10. 컴퓨팅 디바이스에 의하여 수행되는, 고정 서식 문서에서 중국어, 일본어, 또는 한국어 텍스트를 검출하는 방법에 있어서,
    하나 이상의 페이지 상의 하나 이상의 텍스트 런을 포함하는 고정 서식 문서를 수신하는 단계;
    적어도 하나의 중국어, 일본어, 또는 한국어 문자를 발견하기 위해 페이지 상의 하나 이상의 텍스트 런을 분석하는 단계로서, 적어도 하나의 중국어, 일본어, 또는 한국어 문자를 발견하기 위해 페이지 상의 하나 이상의 텍스트 런을 분석하기 전에, 상기 하나 이상의 텍스트 런을 포함하는 문서 본문으로부터 머리글 또는 바닥글을 분리하는 것인, 상기 단계;
    상기 페이지 상에서 적어도 하나의 중국어, 일본어, 또는 한국어 문자가 발견되는 경우, 상기 페이지에 대한 텍스트 방향을 결정하기 위해 상기 페이지 상의 상기 하나 이상의 텍스트 런을 분석하는 단계;
    상기 페이지가 세로 텍스트를 포함하는 경우, 유동 서식 문서에서의 재구성을 위한 레이아웃 분석을 위해 상기 페이지를 시계 반대 방향으로 90° 회전시키는 단계; 및
    상기 고정 서식 문서를 유동 서식 문서로 재구성하는 단계
    를 포함하는, 고정 서식 문서에서 중국어, 일본어, 또는 한국어 텍스트를 검출하는 방법.
  11. 제10항에 있어서, 상기 세로 텍스트를 시계 반대 방향으로 90° 회전시킨 후에, 상기 세로 텍스트를 세로축을 따라 아래로 페이지 폭만큼 이동시키는 단계를 더 포함하는, 방법.
  12. 제10항에 있어서, 레이아웃 분석이 수행된 후에, 이전에 회전된 텍스트 런들을 세로축을 따라 위로 페이지 높이만큼 이동시키고 상기 이전에 회전된 텍스트 런들을 시계 방향으로 90° 회전시키는 단계를 더 포함하는, 방법.
  13. 제10항에 있어서, 상기 세로 텍스트를 유동 서식 문서에서의 유동 서식 세로 텍스트로서 재구성하는 단계를 더 포함하는, 방법.
  14. 컴퓨팅 디바이스에 의하여 수행되는, 고정 서식 문서에서 중국어, 일본어, 또는 한국어 텍스트를 검출하는 방법에 있어서,
    하나 이상의 페이지 상의 하나 이상의 텍스트 런을 포함하는 고정 서식 문서를 수신하는 단계;
    적어도 하나의 중국어, 일본어, 또는 한국어 문자를 발견하기 위해 페이지 상의 하나 이상의 텍스트 런을 분석하는 단계;
    상기 페이지 상에서 적어도 하나의 중국어, 일본어, 또는 한국어 문자가 발견되는 경우, 상기 페이지에 대한 텍스트 방향을 결정하기 위해 상기 페이지 상의 상기 하나 이상의 텍스트 런을 분석하는 단계;
    상기 페이지가 세로 텍스트를 포함하는 경우, 유동 서식 문서에서의 재구성을 위한 레이아웃 분석을 위해 상기 페이지를 시계 반대 방향으로 90° 회전시키는 단계;
    레이아웃 분석이 수행된 후에, 이전에 회전된 텍스트 런들을 세로축을 따라 위로 페이지 높이만큼 이동시키고 상기 이전에 회전된 텍스트 런들을 시계 방향으로 90° 회전시키는 단계; 및
    상기 고정 서식 문서를 유동 서식 문서로 재구성하는 단계
    를 포함하는, 고정 서식 문서에서 중국어, 일본어, 또는 한국어 텍스트를 검출하는 방법.
  15. 제14항에 있어서, 상기 세로 텍스트를 시계 반대 방향으로 90° 회전시킨 후에, 상기 세로 텍스트를 세로축을 따라 아래로 페이지 폭만큼 이동시키는 단계를 더 포함하는, 방법.
  16. 제14항에 있어서, 상기 적어도 하나의 중국어, 일본어, 또는 한국어 문자를 발견하기 위해 페이지 상의 하나 이상의 텍스트 런을 분석하는 단계는, 상기 하나 이상의 텍스트 런에서의 적어도 하나의 문자가 중국어, 일본어, 또는 한국어 문자에 대한 유니코드 범위인지 결정하는 단계를 포함하는 것인, 방법.
  17. 제14항에 있어서, 상기 세로 텍스트를 유동 서식 문서에서의 유동 서식 세로 텍스트로서 재구성하는 단계를 더 포함하는, 방법.
  18. 제14항에 있어서,
    세로 중첩을 갖는 하나 이상의 텍스트 런을 발견하기 위해 페이지 상의 상기 하나 이상의 텍스트 런을 분석하는 단계;
    텍스트 런이 다른 텍스트 런과 세로 중첩을 가지는 경우, 세로로 중첩하는 텍스트 런들을 버킷에 할당하는 단계;
    텍스트 런이 다른 텍스트 런과 세로 중첩을 갖지 않는 경우, 텍스트 런들을 개별적인 버킷들에 할당하는 단계;
    복수의 텍스트 런들을 발견하기 위해 버킷들을 분석하는 단계; 및
    버킷이 복수의 텍스트 런들을 포함하는 경우, 상기 복수의 텍스트 런들을 세로 내 가로 텍스트로서 지정하는 단계를 더 포함하는, 방법.
  19. 제17항에 있어서,
    하나 이상의 텍스트 런이 세로 중첩을 갖는 글리프들을 포함하는지 여부를 결정하는 단계; 및
    하나 이상의 텍스트 런이 세로 중첩을 갖는 글리프들을 포함하는 경우, 상기 하나 이상의 텍스트 런을 세로 내 가로 텍스트로서 지정하는 단계를 더 포함하는, 방법.
  20. 제17항에 있어서, 상기 세로 내 가로 텍스트를 유동 서식 문서에서의 유동 서식 세로 내 가로 텍스트로서 재구성하는 단계를 더 포함하는, 방법.
KR1020157028313A 2013-03-11 2014-02-28 고정 서식 문서에서의 동아시아 레이아웃 특징들의 검출 및 재구성 KR102197501B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207035472A KR102291479B1 (ko) 2013-03-11 2014-02-28 고정 서식 문서에서의 동아시아 레이아웃 특징들의 검출 및 재구성

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/794,541 US9330070B2 (en) 2013-03-11 2013-03-11 Detection and reconstruction of east asian layout features in a fixed format document
US13/794,541 2013-03-11
PCT/US2014/019646 WO2014163981A2 (en) 2013-03-11 2014-02-28 Detection and reconstruction of east asian layout features in a fixed format document

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207035472A Division KR102291479B1 (ko) 2013-03-11 2014-02-28 고정 서식 문서에서의 동아시아 레이아웃 특징들의 검출 및 재구성

Publications (2)

Publication Number Publication Date
KR20150128921A KR20150128921A (ko) 2015-11-18
KR102197501B1 true KR102197501B1 (ko) 2020-12-31

Family

ID=50390199

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157028313A KR102197501B1 (ko) 2013-03-11 2014-02-28 고정 서식 문서에서의 동아시아 레이아웃 특징들의 검출 및 재구성
KR1020207035472A KR102291479B1 (ko) 2013-03-11 2014-02-28 고정 서식 문서에서의 동아시아 레이아웃 특징들의 검출 및 재구성

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207035472A KR102291479B1 (ko) 2013-03-11 2014-02-28 고정 서식 문서에서의 동아시아 레이아웃 특징들의 검출 및 재구성

Country Status (6)

Country Link
US (2) US9330070B2 (ko)
EP (1) EP2972990B1 (ko)
KR (2) KR102197501B1 (ko)
CN (1) CN105247509B (ko)
TW (1) TWI595366B (ko)
WO (1) WO2014163981A2 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013110286A1 (en) * 2012-01-23 2013-08-01 Microsoft Corporation Paragraph property detection and style reconstruction engine
CA2863522C (en) 2012-01-23 2018-08-28 Microsoft Corporation Formula detection engine
WO2014005609A1 (en) 2012-07-06 2014-01-09 Microsoft Corporation Paragraph alignment detection and region-based section reconstruction
US9330070B2 (en) 2013-03-11 2016-05-03 Microsoft Technology Licensing, Llc Detection and reconstruction of east asian layout features in a fixed format document
US9645985B2 (en) * 2013-03-15 2017-05-09 Cyberlink Corp. Systems and methods for customizing text in media content
US9483694B2 (en) * 2014-01-26 2016-11-01 Sang Hun Kim Image text search and retrieval system
US9183636B1 (en) * 2014-04-16 2015-11-10 I.R.I.S. Line segmentation method
US9727797B2 (en) * 2015-03-05 2017-08-08 International Business Machines Corporation Techniques for rotating language preferred orientation on a mobile device
JP6578696B2 (ja) * 2015-03-26 2019-09-25 コニカミノルタ株式会社 文書画像管理装置及び文書画像管理プログラム
JP6676955B2 (ja) * 2015-12-18 2020-04-08 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP6812141B2 (ja) 2016-05-31 2021-01-13 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN106407976B (zh) * 2016-08-30 2019-11-05 百度在线网络技术（北京）有限公司 图像字符识别模型生成和竖列字符图像识别方法和装置
JP6536828B2 (ja) * 2016-08-30 2019-07-03 京セラドキュメントソリューションズ株式会社 画像形成装置および文字描画プログラム
JP6536829B2 (ja) * 2016-08-30 2019-07-03 京セラドキュメントソリューションズ株式会社 画像形成装置および文字描画プログラム
CN106844565B (zh) * 2016-12-30 2020-07-07 上海帝联信息科技股份有限公司 数据行之间的字符比较方法及装置
JP6963728B2 (ja) * 2018-02-26 2021-11-10 京セラドキュメントソリューションズ株式会社 画像処理装置
CN108399623A (zh) * 2018-03-12 2018-08-14 山东超越数控电子股份有限公司 一种基于空白背景以及连通域的版面分析方法
JP6781905B1 (ja) * 2019-07-26 2020-11-11 株式会社Ｆｒｏｎｔｅｏ 情報処理装置、自然言語処理システム、制御方法、および制御プログラム
CN110865859B (zh) * 2019-10-29 2021-10-22 维沃移动通信有限公司 图片显示方法、装置、电子设备及介质
US11087163B2 (en) * 2019-11-01 2021-08-10 Vannevar Labs, Inc. Neural network-based optical character recognition
US11042338B2 (en) * 2019-11-08 2021-06-22 Vmware, Inc. Font processing during printer redirection in virtual desktop environments
US20230206670A1 (en) * 2020-06-12 2023-06-29 Microsoft Technology Licensing, Llc Semantic representation of text in document
CN111832476A (zh) * 2020-07-13 2020-10-27 上海肇观电子科技有限公司 版面分析方法、阅读辅助设备、电路和介质
US11367296B2 (en) * 2020-07-13 2022-06-21 NextVPU (Shanghai) Co., Ltd. Layout analysis
US11494139B1 (en) 2021-06-04 2022-11-08 Vmware, Inc. Print content auditing during printer redirection in virtual desktop environments
CN113657361A (zh) * 2021-07-23 2021-11-16 阿里巴巴（中国）有限公司 页面异常检测方法、装置及电子设备
WO2023233204A1 (en) * 2022-06-03 2023-12-07 Apple Inc. Automatic text recognition with layout preservation
CN117115844B (zh) * 2023-10-19 2024-01-12 安徽科大国创智信科技有限公司 用于实体文档的智能数据录入方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6525749B1 (en) 1993-12-30 2003-02-25 Xerox Corporation Apparatus and method for supporting the implicit structure of freeform lists, outlines, text, tables and diagrams in a gesture-based input system and editing system
US20120102393A1 (en) 2010-10-21 2012-04-26 Takeshi Kutsumi Document generating apparatus, document generating method, computer program and recording medium
EP1703444B1 (en) 2005-03-17 2012-05-23 Ricoh Company, Ltd. Detecting an orientation of characters in a document image
US8942489B2 (en) 2012-01-23 2015-01-27 Microsoft Corporation Vector graphics classification engine

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6257069A (ja) 1985-09-06 1987-03-12 Fujitsu Ltd 文字列抽出方式
US5212769A (en) 1989-02-23 1993-05-18 Pontech, Inc. Method and apparatus for encoding and decoding chinese characters
US6370269B1 (en) 1997-01-21 2002-04-09 International Business Machines Corporation Optical character recognition of handwritten or cursive text in multiple languages
JPH10224789A (ja) 1997-02-07 1998-08-21 Matsushita Electric Ind Co Ltd 画像データ処理装置および画像データ処理方法
JPH11259477A (ja) 1998-03-13 1999-09-24 Toshiba Corp 文書処理システムおよび記録媒体
US6081381A (en) * 1998-10-26 2000-06-27 Polametrics, Inc. Apparatus and method for reducing spatial coherence and for improving uniformity of a light beam emitted from a coherent light source
US6757870B1 (en) 2000-03-22 2004-06-29 Hewlett-Packard Development Company, L.P. Automatic table detection method and system
US6915484B1 (en) * 2000-08-09 2005-07-05 Adobe Systems Incorporated Text reflow in a structured document
JP4181310B2 (ja) 2001-03-07 2008-11-12 昌和 鈴木 数式認識装置および数式認識方法
JP2003256679A (ja) 2002-02-27 2003-09-12 Tomiko Maruta ネット販売システム
US20040205568A1 (en) * 2002-03-01 2004-10-14 Breuel Thomas M. Method and system for document image layout deconstruction and redisplay system
AU2002952711A0 (en) 2002-11-18 2002-11-28 Typefi Systems Pty Ltd A method of formatting documents
JP4390523B2 (ja) 2002-11-22 2009-12-24 オセ−テクノロジーズ・ベー・ヴエー 最小領域による合成画像の分割
TWI273443B (en) * 2003-12-09 2007-02-11 Hon Hai Prec Ind Co Ltd System and method for converting file's format
US20050183033A1 (en) 2004-02-18 2005-08-18 Yaniv Feinberg Apparatus and methods for displaying dialog box text messages including languages having different reading orders
US8661332B2 (en) 2004-04-30 2014-02-25 Microsoft Corporation Method and apparatus for document processing
US20060001667A1 (en) 2004-07-02 2006-01-05 Brown University Mathematical sketching
US7561737B2 (en) 2004-09-22 2009-07-14 Microsoft Corporation Mathematical expression recognition
US7447360B2 (en) 2004-09-22 2008-11-04 Microsoft Corporation Analyzing tabular structures in expression recognition
EP1739574B1 (en) 2005-07-01 2007-09-12 PDFlib GmbH Method of identifying words in an electronic document
US8249344B2 (en) 2005-07-01 2012-08-21 Microsoft Corporation Grammatical parsing of document visual structures
GB2428114A (en) 2005-07-08 2007-01-17 William Alan Hollingsworth Data Format Conversion System
US20070079236A1 (en) 2005-10-04 2007-04-05 Microsoft Corporation Multi-form design with harmonic composition for dynamically aggregated documents
US7853869B2 (en) 2005-12-14 2010-12-14 Microsoft Corporation Creation of semantic objects for providing logical structure to markup language representations of documents
US8064696B2 (en) 2007-04-10 2011-11-22 Microsoft Corporation Geometric parsing of mathematical expressions
GB0717067D0 (en) 2007-09-03 2007-10-10 Ibm An Apparatus for preparing a display document for analysis
US8280892B2 (en) 2007-10-05 2012-10-02 Fujitsu Limited Selecting tags for a document by analyzing paragraphs of the document
CN101593278B (zh) * 2008-05-27 2013-01-16 佳能株式会社 文档图像的语言判别方法和系统
CN101329731A (zh) 2008-06-06 2008-12-24 南开大学 图像中数学公式的自动识别方法
US8121412B2 (en) 2008-06-06 2012-02-21 Microsoft Corporation Recognition of tabular structures
US8285049B2 (en) 2008-06-06 2012-10-09 Microsoft Corporation Corrections for recognizers
US8261186B2 (en) 2009-01-02 2012-09-04 Apple Inc. Methods for efficient cluster analysis
US8249356B1 (en) 2009-01-21 2012-08-21 Google Inc. Physical page layout analysis via tab-stop detection for optical character recognition
US8209600B1 (en) 2009-05-26 2012-06-26 Adobe Systems Incorporated Method and apparatus for generating layout-preserved text
US8271873B2 (en) 2009-10-30 2012-09-18 International Business Machines Corporation Automatically detecting layout of bidirectional (BIDI) text
US8922582B2 (en) 2009-11-16 2014-12-30 Martin J. Murrett Text rendering and display using composite bitmap images
CN102131161B (zh) * 2010-01-14 2014-10-08 华为技术有限公司 一种短消息的编码方法、装置及系统
CN101777124A (zh) * 2010-01-29 2010-07-14 北京新岸线网络技术有限公司 一种提取视频文本信息的方法及装置
US8594422B2 (en) 2010-03-11 2013-11-26 Microsoft Corporation Page layout determination of an image undergoing optical character recognition
WO2012012911A1 (en) 2010-07-28 2012-02-02 Hewlett-Packard Development Company, L.P. Producing web page content
US8340425B2 (en) 2010-08-10 2012-12-25 Xerox Corporation Optical character recognition with two-pass zoning
CN102375988B (zh) * 2010-08-17 2013-12-25 富士通株式会社 文件图像处理方法和设备
US9710435B2 (en) 2010-10-29 2017-07-18 P. Karl Halton Object-field-based mathematics system
US8543911B2 (en) 2011-01-18 2013-09-24 Apple Inc. Ordering document content based on reading flow
US20120185788A1 (en) 2011-01-19 2012-07-19 Microsoft Corporation User interface with vertical text elements for an east-asian defined layout
US8910039B2 (en) 2011-09-09 2014-12-09 Accenture Global Services Limited File format conversion by automatically converting to an intermediate form for manual editing in a multi-column graphical user interface
CN102411707A (zh) * 2011-10-31 2012-04-11 世纪龙信息网络有限责任公司 一种图片中文本的识别方法及识别装置
US9098471B2 (en) 2011-12-29 2015-08-04 Chegg, Inc. Document content reconstruction
CA2863522C (en) 2012-01-23 2018-08-28 Microsoft Corporation Formula detection engine
US8559718B1 (en) * 2012-04-27 2013-10-15 Abbyy Development Llc Defining a layout of text lines of CJK and non-CJK characters
US9471550B2 (en) 2012-10-16 2016-10-18 Linkedin Corporation Method and apparatus for document conversion with font metrics adjustment for format compatibility
US9460089B1 (en) * 2012-11-07 2016-10-04 Amazon Technologies, Inc. Flow rendering of annotation characters
US20140258852A1 (en) 2013-03-11 2014-09-11 Microsoft Corporation Detection and Reconstruction of Right-to-Left Text Direction, Ligatures and Diacritics in a Fixed Format Document
US9330070B2 (en) 2013-03-11 2016-05-03 Microsoft Technology Licensing, Llc Detection and reconstruction of east asian layout features in a fixed format document
KR101702212B1 (ko) * 2014-12-11 2017-02-13 김정호 말풍선 편집 방법 및 이를 수행하는 전자 기기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6525749B1 (en) 1993-12-30 2003-02-25 Xerox Corporation Apparatus and method for supporting the implicit structure of freeform lists, outlines, text, tables and diagrams in a gesture-based input system and editing system
EP1703444B1 (en) 2005-03-17 2012-05-23 Ricoh Company, Ltd. Detecting an orientation of characters in a document image
US20120102393A1 (en) 2010-10-21 2012-04-26 Takeshi Kutsumi Document generating apparatus, document generating method, computer program and recording medium
US8942489B2 (en) 2012-01-23 2015-01-27 Microsoft Corporation Vector graphics classification engine

Also Published As

Publication number Publication date
EP2972990B1 (en) 2018-12-19
WO2014163981A3 (en) 2015-07-02
KR102291479B1 (ko) 2021-08-18
TW201447609A (zh) 2014-12-16
US10127221B2 (en) 2018-11-13
KR20150128921A (ko) 2015-11-18
CN105247509B (zh) 2018-11-23
US9330070B2 (en) 2016-05-03
US20140257789A1 (en) 2014-09-11
CN105247509A (zh) 2016-01-13
EP2972990A2 (en) 2016-01-20
WO2014163981A2 (en) 2014-10-09
US20160246774A1 (en) 2016-08-25
TWI595366B (zh) 2017-08-11
KR20200141539A (ko) 2020-12-18

Similar Documents

Publication Publication Date Title
KR102197501B1 (ko) 고정 서식 문서에서의 동아시아 레이아웃 특징들의 검출 및 재구성
US9928225B2 (en) Formula detection engine
US9384172B2 (en) Multi-level list detection engine
US9946690B2 (en) Paragraph alignment detection and region-based section reconstruction
US9990347B2 (en) Borderless table detection engine
US20130191732A1 (en) Fixed Format Document Conversion Engine
US10025979B2 (en) Paragraph property detection and style reconstruction engine
US9703759B2 (en) Footnote zone detection in a fixed format document using number of paragraphs in footnote description
US20140258852A1 (en) Detection and Reconstruction of Right-to-Left Text Direction, Ligatures and Diacritics in a Fixed Format Document
US10360286B2 (en) Color coding of layout structure elements in a flow format document
US20140258851A1 (en) Table of Contents Detection in a Fixed Format Document

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent