KR101927064B1

KR101927064B1 - 전자책 또는 전자노트에 대한 요약 데이터 생성 장치 및 방법

Info

Publication number: KR101927064B1
Application number: KR1020110116962A
Authority: KR
Inventors: 박정완; 황성택; 김정림
Original assignee: 삼성전자주식회사
Priority date: 2011-07-26
Filing date: 2011-11-10
Publication date: 2018-12-10
Also published as: US20130031473A1; KR20130014707A; US10152472B2

Abstract

본 발명은 전자책 또는 전자노트에 대한 요약 데이터 생성 장치 및 방법에 관한 것이다.
이를 위해 본 발명은 입력 데이터가 수신되면 수신된 입력 데이터의 타입을 인식하고, 인식된 입력 데이터의 타입에 따라 전자책 또는 전자노트내 문자 영역을 추출한 후 추출된 문자 영역에 대한 페이지 정보를 저장하고, 요약 데이터 생성 요청 시 문자 영역에 대한 페이지 정보를 이용하여 요약 데이터를 생성함으로써 사용자가 기록한 전자책 또는 전자노트에 대한 요약 내용을 한눈에 파악할 수 있게 된다.

Description

전자책 또는 전자노트에 대한 요약 데이터 생성 장치 및 방법{APPARUS AND METHOD FOR GENERATING SUMMARY DATA ABOUT E-BOOK}

본 발명은 전자책 또는 전자노트를 제공하는 장치에 관한 것으로, 특히 전자책 또는 전자노트에서 사용자의 메모 또는 밑줄과 같은 표시자가 지시하는 내용을 취합한 요약 데이터를 생성하기 위한 장치 및 방법에 관한 것이다.

일반적으로 JPG와 같은 영상으로 구성된 전자책들은 사용자의 요청에 따라 이동 가능한 단말의 화면에 영상으로 디스플레이된다. 이러한 전자책 또는 전자노트를 보면서 사용자들은 특정 페이지의 중요한 부분의 문장 밑줄(Under-line)을 그어 인덱스(index)를 하거나 메모를 한다. 이에 따라, 전자 책 또는 전자노트을 실행한 단말은 사용자가 해당 전자책 또는 전자노트에 인덱스를 해둔 부분의 페이지, 문단 번호들을 데이터 베이스에 저장하고, 이후 사용자가 인덱스를 해둔 곳을 선택하는 경우 해당 인덱스된 전자책 또는 전자노트 내 페이지로 이동하도록 구성되어 있다. 이러한 전자책 또는 전자노트들은 인덱스로 구성된 페이지의 링크에 대응하는 해당 페이지의 내용을 화면에 표시하도록 하여 사용자가 선택에 따라 링크된 페이지를 확인할 수 있다.

상기와 같이 종래의 전자책 또는 전자노트는 필기 또는 밑줄 친 페이지의 인덱스를 구성하여 바로가기 용도로 사용하기 때문에 해당 전자책 또는 전자노트의 요약을 파악하기 쉽지 않다는 문제점이 있다.

또한, 종래에는 인덱스를 통한 바로가기를 해야만 해당 페이지의 내용을 파악할 수 있는 불편함이 있었다.

따라서, 본 발명은 사용자가 기록한 요약 내용으로 전자책 또는 전자노트의 내용을 한눈에 파악할 수 있도록 하기 위해 요약 데이터를 생성하기 위한 장치 및 방법을 제공한다.

상술한 바를 달성하기 위한 본 발명은 전자책 또는 전자노트에 대한 요약 데이터를 생성하기 위한 장치에 있어서, 입력 데이터의 타입을 인식하는 입력 데이터 인식부와, 상기 인식된 입력 데이터의 타입에 따라 전자책 또는 전자노트 내 문자 영역을 추출하는 문자 영역 추출부와, 상기 문자 영역이 포함된 요약데이터를 생성하는 요약 데이터 생성부와, 상기 입력 데이터 인식부에 의해서 인식된 입력 데이터의 타입에 따라 상기 문자 영역 추출부에 의해서 추출된 문자 영역에 대한 페이지 정보를 저장하고, 상기 요약 데이터 생성 요청 시 상기 문자 영역에 대한 페이지 정보를 이용하여 상기 요약 데이터를 생성하도록 상기 요약 데이터 생성부를 제어하는 제어부를 포함하는 것을 특징으로 한다.

또한, 본 발명은 전자책 또는 전자노트에 대한 요약 데이터를 생성하기 위한 방법에 있어서, 입력 데이터가 수신되면 상기 수신된 입력 데이터의 타입을 인식하는 과정과, 상기 인식된 입력 데이터의 타입에 따라 전자책 또는 전자노트 내 문자 영역을 추출하는 과정과, 상기 추출된 문자 영역에 대한 페이지 정보를 저장하는 과정과, 상기 요약 데이터 생성 요청 시 상기 문자 영역에 대한 페이지 정보를 이용하여 상기 요약 데이터를 생성하는 과정을 포함함을 특징으로 한다.

본 발명은 전자책 또는 전자노트의 사용자가 기록한 내용을 요약 데이터로 생성하여 사용자가 기록한 요약 내용으로 전자책 또는 전자노트의 내용을 한눈에 파악할 수 있을 뿐 아니라 사용자의 요약 데이터에 대응하는 페이지의 위치 정보를 저장하여 요약 데이터 내의 특정 영역을 선택하는 것으로 쉽게 바로가기 및 내용을 파악할 수 있다는 이점이 있다.

도 1은 본 발명의 실시 예에 따른 요약 데이터 생성 장치에 대한 구성도를 나타내는 도면,
도 2는 본 발명의 실시 예에 따라 표시자 데이터의 위치에 매칭되는 위치에 있는 문자를 포함하는 문자 영역을 설명하기 위한 예시도,
도 3은 본 발명의 실시 예에 따라 표시자 데이터의 위치와 매칭되는 위치에 있는 문장을 포함하는 문자 영역을 설명하기 위한 예시도,
도 4는 본 발명의 실시 예에 따라 요약 데이터를 생성하기 위한 과정을 나타내는 흐름도,
도 5 내지 도 6은 본 발명의 실시 예에 따라 요약 데이터를 생성하는 과정을 설명하기 위한 예시도들,
도 7은 본 발명의 실시 예에 따라 요약 데이터를 생성하기 위해 표시자 데이터에 대응하는 문장 영역에 대한 정보를 저장하는 과정을 나타내기 위한 흐름도,
도 8은 본 발명의 실시 예에 따라 요약 데이터를 생성하기 위해 표시자 데이터에 대응하는 문장 영역에 대한 정보를 저장하는 과정을 설명하기 위한 예시도들.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 1은 본 발명의 실시 예에 따른 요약 데이터 생성 장치에 대한 구성도를 나타내는 도면이다.

본 발명의 요약 데이터 생성 장치는 제어부(100), 입력부(110), 디스플레이부(120), 메모리부(130), 입력 데이터 인식부(140), 문자 영역 추출부(150), 요약 데이터 생성부(160)를 포함한다.

먼저, 제어부(100)는 요약 데이터 생성 장치의 전반적인 동작을 제어하는데, 특히 제어부(100)는 입력부를 통해서 전자책 또는 전자노트와 같은 전자 페이퍼에 대한 기능 실행 요청이 있으면 전자 페이퍼 기능을 실행한다.

제어부(100)는 입력부(110)를 통해서 요약 데이터 생성을 위한 사용자 입력 데이터가 수신되면 입력 데이터 인식부(140)를 통해서 수신된 사용자 입력 데이터를 인식하여 필기 데이터인지 표시자 데이터인지를 판단한다. 이때, 본 발명에서는 요약 데이터 생성을 위한 사용자 입력 데이터와 페이지 넘김과 같은 일반적인 전자 페이퍼 기능을 수행하기 위한 사용자 입력 데이터를 구분하기 위해서 요약 데이터 생성을 위한 별도의 기능 키 입력이 수신된 후 입력되는 사용자 입력 데이터를 요약 데이터 생성을 위한 사용자 입력 데이터로 인식할 수 있다. 또한, 요약 데이터 생성을 위한 사용자 입력 데이터와 페이지 넘김과 같은 일반적인 전자 페이퍼 기능을 수행하기 위한 사용자 입력 데이터를 구분하기 위한 다른 방법으로는 필기 제스쳐를 활용하는 방법도 있다. 즉, 요약 데이터 생성을 위한 사용자 입력 데이터임을 구분하기 위해 특정 필기 제스쳐를 저장해 놓은 후, 해당 필기 제스쳐를 실행하면 요약 데이터 생성을 위한 사용자입력임을 확인하여 인식하는 방법이다.

제어부(100)는 사용자 입력 데이터가 필기 데이터로 판단되면 인식된 필기 데이터에 대응하는 필기 영역을 추출하고, 추출된 필기 영역에 대한 정보를 메모리부(130)에 저장한다. 이때, 필기 영역에 대한 정보는 필기 영역이 추출된 전자 페이퍼의 페이지 번호 및 페이지 상의 위치 정보를 포함한다.

제어부(100)는 사용자 입력 데이터가 라인과 같은 표시자 데이터로 판단되면 문자 영역 추출부(150)를 통해서 전자 페이퍼의 페이지상에서 인식된 표시자 데이터에 대응하는 문자 영역을 추출한다. 이때, 표시자 데이터에 대응하는 문자 영역은 페이지상에 표시자 데이터의 위치와 매칭되는 위치에 있는 문자를 포함하는 영역이 될 수 있고, 표시자 데이터의 위치와 매칭되는 위치에 있는 문장을 포함하는 영역이 될 수도 있다.

제어부(100)는 문자 영역 추출부(150)를 통해서 추출된 문자 영역에 대한 정보를 메모리부(130)에 저장한다. 이때, 문자 영역에 대한 정보는 문자 영역이 추출된 전자 페이퍼의 페이지 번호 및 페이지 상의 위치 정보를 포함한다.

제어부(100)는 요약 데이터 표시 요청이 있으면 요약 데이터 생성부(160)를 통해서 전자 페이퍼 내 문자 영역 정보에 대응하는 문자 이미지를 캡쳐하고, 필기 영역 정보에 대응하는 필기 이미지를 캡쳐한 후 캡쳐된 문자 이미지와 필기 이미지를 포함하는 요약 데이터를 생성한다. 이때, 요약 데이터는 전자책 또는 전자노트의 페이지에 대한 레이아웃 구조에 맞도록 배치되어 하나의 이미지로 합성된다. 만약, 요약 이미지가 페이지에 대한 레이아웃의 높이보다 더 큰 경우에는 페이지를 분할하여 멀티 페이지로 구성할 수도 있다.

이후 제어부(100)는 디스플레이부(120)를 통해서 생성된 요약 데이터를 표시한다. 이때, 표시된 요약 데이터에 대한 화면은 적어도 하나의 문자 이미지를 포함하거나 적어도 하나의 문자 이미지 및 적어도 하나의 필기 이미지를 포함할 수 있다.

뿐만 아니라, 본 발명에서는 요약 데이터 내 각 문자 이미지에 또는 필기 이미지 대응하여 문자 이미지가 캡쳐된 전자 페이퍼 내 페이지를 바로 표시하기 위한 바로 가기 기능을 설정할 수 있다. 이에 따라 사용자가 입력부(110)를 통해서 화면 상의 특정 문자 이미지를 선택한 경우 제어부(100)는 선택된 문자 이미지에 대응하여 설정된 바로가기 기능을 수행하여 선택된 문자 이미지에 대응하는 전자 페이퍼 내 페이지를 디스플레이부(120)를 통해서 표시한다.

또한, 본 발명에서는 요약 데이터를 생성할 시 이미지가 아닌 문서로 생성할 수도 있다. 예를 들어, 제어부(100)는 요약 데이터를 문서로 생성하기 위한 요청이 있으면 저장된 문자 영역 정보에 대응되는 문자 영역 내 문자를 문자 인식부(151)를 통해서 인식하고, 필기 영역 정보에 대응되는 필기 영역 내 필기를 필기 인식부(141)를 통해서 인식한다. 이후 제어부(100)는 요약 데이터 생성부(160)를 통해서 상기에서 인식된 문자와 필기를 문서화하여 요약 문서를 생성한다.

입력부(110)는 전자책 또는 전자노트 기능을 실행하기 위한 키와, 요약 데이터의 표시를 요청하기 위한 키를 포함하고, 해당 키에 대응하는 키 신호를 출력한다. 또한, 입력부(110)는 사용자의 필기와 같은 사용자 데이터를 입력하기 위한 터치 패드 또는 터치 스크린과 같은 터치 디스플레이 장치 또는 필기 데이터를 이미지화할 수 있는 타블렛(Tablet) 장치로 구성된다.

디스플레이부(120)는 전자책 또는 전자노트에 대한 화면을 표시하고, 입력부(110)를 통해서 입력된 입력 데이터를 해당 전자 페이퍼 화면에 함께 표시한다. 또한, 디스플레이부(120)는 요약 데이터 표시 요청에 따라 요약 데이터를 표시한다.

메모리부(130)는 전자책 또는 전자노트에 대한 기능을 수행하는 어플리케이션을 저장하고, 추출된 문자 영역에 대한 정보와 추출된 필기 영역에 대한 정보를 저장한다.

입력 데이터 인식부(140)는 필기 인식부(141)와 표시자 인식부(142)를 포함하고, 입력 데이터에 대한 스트로크(stroke)의 포인트 정보를 기록하여 메모리부(130)에 저장하고, 저장된 포인트 정보에 따라 입력 데이터가 필기 데이터인지 표시자 데이터인지 판단하여 판단 결과를 출력한다.

이때, 필기 인식부(141)는 기록된 포인트 정보에 따라 획 입력 순서와 입력된 필기 궤적에 따른 문자 형태를 판단하여 필기 문자를 인식한다. 다시 말해서, 필기 인식부(141)는 일반적인 필기 문자 인식 방법을 이용하여 필기 문자를 인식하는데, 예를 들면, 사용자의 입력 궤적에 따라 입력된 신호를 샘플링하여 2차원 좌표 값으로 발생시키고, 발생된 2차원 좌표 값과 이에 대응되는 획의 입력 순서에 따른 시간성을 바탕으로 획 특징들을 추출한다. 이후 추출된 획 특징들을 이용하여 HMM(Hidden Markov Model)과 같은 확률 모델 분류기를 통해 미리 설정된 인식 대상 문자들 중에서 가장 인식될 확률이 높은 문자를 인식 결과로 출력하게 된다.

또한, 표시자 인식부(142)는 기록된 포인트 정보에 따라 필기 궤적에 해당하는 형태를 판단하여 판단된 형태를 표시자 데이터로 출력한다. 예를 들어, 표시자는 밑줄과 같이 직선 형태 또는 물결 형태를 가지는 선으로 표현될 수 있다.

문자 영역 추출부(150)는 문자 인식부(151)를 포함하고, 인식된 표시자 데이터에 대응하는 문자들을 문자 인식부(151)를 통해서 인식하고, 인식된 문자들이 포함된 문자 영역을 추출한다. 이에 대해서 구체적으로 도 2 및 도 3을 참조하여 살펴보면 다음과 같다.

도 2는 본 발명의 실시 예에 따라 표시자 데이터의 위치에 매칭되는 위치에 있는 문자를 포함하는 문자 영역을 설명하기 위한 예시도이고, 도 3은 본 발명의 실시 예에 따라 표시자 데이터의 위치와 매칭되는 위치에 있는 문장을 포함하는 문자 영역을 설명하기 위한 예시도이다.

도 2와 같이 제1 표시자(300)와 제2 표시자(310)가 인식되면 문자 영역 추출부(150)는 인식된 제1 표시자(300)의 위치에 매칭되는 위치에 해당하는 문자를 문자 인식부(151)를 통해서 인식한다. 이때, 제1 표시자(300)의 위치에 대응되어 인식된 문자는 “표시된 화면은”이 되고, 제2 표시자(310)의 위치에 대응되어 인식된 문자는 “터치 스크린 또는 타블렛의 입출력”이 된다.

이후 문자 영역 인식부(150)는 제1 표시자(300)와 대응되어 인식된 문자들을 포함하는 제1 문자 영역(301)을 추출하고, 제2 표시자(310)와 대응되어 인식된 문자들을 포함하는 제2 문자 영역(311)을 추출한다.

또한, 도 3과 같이 제3 표시자(400) 및 제4 표시자(401)가 인식되면 문자 영역 추출부(150)는 인식된 제3 표시자(400) 및 제4 표시자(401)의 위치에 대응하는 문장을 문자 인식부(151)를 통해서 인식한다. 이때, 문자 인식부(151)는 문장의 맨 끝을 나타내는 ‘다’, ‘까’, ‘.(마침표)’, ‘?(물음표)’, ‘!(느낌표)’와 같은 문자 다음에 위치한 문자를 문장의 맨 앞으로 인식하고, 문장의 맨 끝을 나타내는 ‘다’, ‘까’, ‘.(마침표)’, ‘?(물음표)’, ‘!(느낌표)’와 같은 문자를 문장의 맨 끝으로 인식한다. 여기서, 인식된 문장은 “여기서, 필기 데이터가 표시된 화면은 입력부가 터치 스크린 또는 타블렛과 같은 입출력 화면 표시가 능한 장치인 경우 터치 스크린 또는 타블렛의 입출력 화면이거나 입력 터치 패널과 출력 표시 화면이 별개로 구성된 경우 출력 표시 화면이 될 수 있다.”가 된다.

이후 문자 영역 추출부(150)는 인식된 문장의 맨 앞 문자와 문장의 맨 끝 문자를 포함하는 제3 문자 영역(410)을 추출한다.

요약 데이터 생성부(160)는 요약 데이터를 화면에 표시하기 위한 요청이 있으면 메모리부(130)에 저장된 문자 영역에 대응하는 문자 이미지를 전자 페이퍼 상에서 캡쳐하고, 저장된 필기 영역에 대응하는 필기 이미지를 전자 페이퍼 상에서 캡쳐한다. 이후 요약 데이터 생성부(160)는 캡쳐된 문자 이미지와 필기 이미지를 하나의 페이지 내 레이아웃에 맞도록 배치하여 요약 데이터를 생성한다. 이때. 요약 데이터는 전자책 또는 전자노트의 레이아웃 크기에 따라 멀티 페이지로 구성될 수 있다.

이와 같이 본 발명은 사용자가 기록한 내용을 요약 이미지 또는 문서와 같은 요약 데이터로 생성하여 전자책 또는 전자노트에 대한 내용을 한눈에 파악할 수 있게 된다.

도 4는 본 발명의 실시 예에 따라 요약 데이터를 생성하기 위한 과정을 나타내는 흐름도이다.

본 발명의 실시 예에서는 표시자 및 필기가 입력되고, 요약 이미지를 생성하는 것을 가정하여 설명하도록 한다.

500단계에서 제어부(100)는 입력부를 통해서 전자책 또는 전자노트와 같은 전자 페이퍼에 대한 기능 실행 요청이 있으면 전자 페이퍼 기능을 실행한다.

501단계에서 입력부(110)를 통해서 요약 데이터 생성을 위한 사용자 입력이 있는지 판단하여 사용자 입력이 있으면 502단계로 진행하고, 그렇지 않으면 501단계에서 사용자 입력이 있는지 계속적으로 판단한다.

502단계에서 제어부(100)는 수신된 사용자 입력 데이터를 인식하고, 503단계에서 필기 데이터인지 표시자 데이터인지를 판단하여 표시자로 판단되면 506단계로 진행하고, 필기로 판단되면 504단계로 진행하여 인식된 필기 데이터에 대응하는 필기 영역을 추출한다.

505단계에서 제어부(100)는 추출된 필기 영역에 대한 페이지 정보를 메모리부(130)에 저장한다. 이때, 필기 영역에 대한 페이지 정보는 필기 영역이 추출된 전자 페이퍼의 페이지 번호 및 페이지 상의 위치 정보를 포함한다.

503단계에서 506단계로 진행한 제어부(100)는 문자 영역 추출부(150)를 통해서 전자 페이퍼의 페이지상에서 인식된 표시자 데이터에 대응하는 문자 영역을 추출한다. 이때, 표시자 데이터에 대응하는 문자 영역은 페이지상에 표시자 데이터의 위치와 매칭되는 위치에 있는 문자를 포함하는 영역이 될 수 있고, 표시자 데이터의 위치와 매칭되는 위치에 있는 문장을 포함하는 영역이 될 수도 있다.

507단계에서 제어부(100)는 문자 영역 추출부(150)를 통해서 추출된 문자 영역에 대한 정보를 메모리부(130)에 저장한다. 이때, 문자 영역에 대한 정보는 문자 영역이 추출된 전자 페이퍼의 페이지 번호 및 페이지 상의 위치 정보를 포함한다.

508단계에서 제어부(100)는 요약 데이터 표시 요청이 있는지 판단하여 요청이 있으면 509단계로 진행하고, 그렇지 않으면 508단계에서 요약 데이터 표시 요청이 있는지 계속적으로 판단한다.

509단계에서 제어부(100)는 요약 데이터 생성부(160)를 통해서 전자 페이퍼 내 문자 영역 정보에 대응하는 문자 이미지를 캡쳐하고, 필기 영역 정보에 대응하는 필기 이미지를 캡쳐한다.

510단계에서 제어부(100)는 캡 포함하는 요약 데이터를 생성한다. 이때, 요약 데이터는 전자책 또는 전자노트의 페이지에 대한 레이아웃 구조에 맞도록 배치되어 하나의 이미지로 합성된다. 만약, 요약 이미지가 페이지에 대한 레이아웃의 높이보다 더 큰 경우에는 페이지를 분할하여 멀티 페이지로 구성할 수도 있다.

510단계에서 제어부(100)는 디스플레이부(120)를 통해서 생성된 요약 데이터를 표시한다. 이때, 표시된 요약 데이터에 대한 화면은 적어도 하나의 문자 이미지를 포함하거나 적어도 하나의 문자 이미지 및 적어도 하나의 필기 이미지를 포함할 수 있다.

도 5 내지 도 6은 본 발명의 실시 예에 따라 요약 데이터를 생성하는 과정을 설명하기 위한 예시도들이다.

도 5에 따르면, 본 발명은 사용자가 도면부호 600과 같이 전자책의 제1 페이지를 보다가 601과 같이 터치 입력을 통해서 밑줄을 입력하고, 602와 같이 다음 제2 페이지를 보다가 603과 같이 터치 입력을 통해서 밑줄을 입력한 후 604과 같이 제3 페이지를 보다가 605과 같이 필기를 입력한다.

이후 본 발명은 606과 같이 입력된 밑줄에 대응하는 문자가 포함된 문자 영역과 입력된 필기에 대응하는 필기 영역을 각 이미지로 캡쳐한 후 하나의 요약 데이터를 생성하여 606과 같이 화면에 표시하며, 특정 문자 이미지를 선택하는 터치 입력이 있으면 607과 같이 해당 문자 이미지에 해당하는 페이지를 바로 보여줄 수 있다.

또한, 도 6에 따르면, 본 발명은 사용자가 도면부호 700과 같이 전자책의 제1 페이지를 보다가 701과 같이 터치 입력을 통해서 밑줄을 입력하고, 702와 같이 다음 제2 페이지를 보다가 703과 같이 터치 입력을 통해서 밑줄을 입력한 후 704과 같이 제3 페이지를 보다가 705과 같이 필기를 입력한다.

이후 본 발명은 606과 같이 입력된 밑줄이 포함된 문장을 포함하는 문자 영역과 입력된 필기에 대응하는 필기 영역을 각 이미지로 캡쳐한 후 하나의 요약 데이터를 생성하여 706과 같이 화면에 표시하며, 특정 문자 이미지를 선택하는 터치 입력이 있으면 707과 같이 해당 문자 이미지에 해당하는 페이지를 바로 보여줄 수 있다.

도 7은 본 발명의 실시 예에 따라 요약 데이터를 생성하기 위해 표시자 데이터에 대응하는 문장 영역에 대한 정보를 저장하는 과정을 나타내기 위한 흐름도이다.

800단계에서 제어부(100)는 요약 데이터 생성을 위한 사용자 입력이 있는지 판단하여 사용자 입력이 있으면 801단계로 진행하고, 사용자 입력이 없으면 800단계에서 사용자 입력이 있는지 계속적으로 판단한다. 여기서, 사용자 입력은 밑줄 입력이 될 수 있다.

801단계에서 제어부(100)는 사용자 입력에 대응하는 문자 영역을 검출한다. 이때, 검출되는 문자 영역은 화면에 디스플레이된 전자 책 또는 전자 노트의 페이지 상에 문자 영역이 될 수 있다.

802단계에서 제어부(100)는 검출된 문자 영역 내에서 필기 획이 검출되는지 여부를 판단하여 필기 획이 검출되면 803단계로 진행하여 필기 데이터 인식을 수행하고, 필기 획이 검출되지 않으면 804 단계에서 텍스트 데이터 인식을 수행한다. 이때, 텍스트 데이터 인식은 OCR 인식과 같은 문자 인식 방법을 포함한다.

805단계에서 제어부(100)는 페이지 내 전체 문자 영역에 대응하는 전체 라인 영역을 검출한다.

806단계에서 제어부(100)는 검출된 전체 라인 영역 중 사용자 입력에 대응하는 라인 영역을 검출한다. 이때, 사용자 입력에 대응하는 라인 영역은 밑줄이 존재하는 문자 영역에 해당하는 라인 영역을 의미한다.

807단계에서 제어부(100)는 검출된 사용자 입력에 대응하는 라인 영역에 문장 마침 영역을 포함하는지 판단하여 문장 마침 영역을 포함하면 808단계로 진행하여 검출된 사용자 입력에 대응하는 라인 영역에 대한 페이지 정보를 저장하고, 문장 마침 영역을 포함하지 않으면 809단계로 진행한다. 여기서, 제어부(100)는 사용자 입력에 대응하는 라인 영역에 대한 문자 인식 결과를 확인하여 ‘다’, ‘까’, ‘.(마침표)’, ‘?(물음표)’, ‘!(느낌표)’와 같은 특수 기호, ‘합니다’, ‘합니까’와 같은 문장의 말미에 존재하는 말미 문구가 인식되었는지를 판단한다.

809단계에서 제어부(100)는 페이지 상 전체 라인 영역 내에서 문자 마침 영역을 탐색한다. 이때, 제어부(100)는 전체 라인 영역 내에서 사용자 입력에 대응하는 라인 영역의 주변에 존재하는 라인 영역에 대한 문자 인식 결과를 확인하여 문장 마침 영역을 탐색한다. 예를 들어, 문장 마침 영역을 판단하는 방법은 라인 영역 내에 ‘다’, ‘까’, ‘.(마침표)’, ‘?(물음표)’, ‘!(느낌표)’와 같은 특수 기호를 확인하는 방법, ‘합니다’, ‘합니까’와 같은 문장의 말미에 존재하는 말미 문구를 확인하는 방법, 획의 입력 시간을 기준으로 획 간의 입력 시간이 미리 설정된 임계 시간보다 크면 문장의 말미로 판단하는 방법이 있다.

810단계에서 제어부(100)는 탐색된 문장 마침 영역을 포함하도록 사용자 입력에 대응하는 라인 영역을 재검출한다. 이때, 재검출된 라인 영역은 밑줄을 포함하는 문장이 될 수 있다.

811단계에서 제어부(100)는 재검출된 라인 영역에 대한 페이지 정보를 저장한다.

도 8은 본 발명의 실시 예에 따라 요약 데이터를 생성하기 위해 표시자 데이터에 대응하는 문장 영역에 대한 정보를 저장하는 과정을 설명하기 위한 예시도들이다.

전자 책 또는 전자 노트 기능이 실행되면 제어부(100)는 도면부호 900과 같이 특정 페이지를 화면에 표시한다.

도면부호 910과 같이 사용자로부터 밑줄(911)과 같은 사용자 입력 데이터가 입력되면 제어부(100)는 사용자 입력 데이터에 대응하는 문자 영역을 검출하고, 검출된 문자 영역에 대한 필기 데이터 또는 텍스트 데이터를 인식한다.

제어부(100)는 도면부호 920과 같이 페이지 내 전체 라인 영역(921)을 검출하고, 도면부호 930과 같이 사용자 입력 데이터에 대응하는 라인 영역(931)을 검출한다.

이후 제어부(100)는 검출된 라인 영역(931)에 문자 마침 영역이 포함되는지를 판단하여 문장 마침 영역이 포함된 라인 영역(941)을 재검출한다. 제어부(100)는 재검출된 라인 영역(941)에 대한 페이지 정보를 저장하고, 요약 데이터 생성 요청 시 저장된 라인 영역(941)에 대한 페이지 정보를 이용하여 요약 데이터를 생성하여 제공한다.

이와 같이 본 발명은 사용자가 기록한 내용을 요약 이미지 또는 문서와 같은 요약 데이터로 생성하여 사용자가 기록한 전자책 또는 전자노트에 대한 요약 내용을 한눈에 파악할 수 있게 된다.

100: 제어부
110: 입력부
120: 디스플레이부
130: 메모리부
140: 입력 데이터 인식부
141: 필기 인식부
142: 표시자 인식부
150: 문자 영역 추출부
151: 문자 인식부
160: 요약 데이터 생성부

Claims

표시되는 문서에 대한 요약 데이터를 생성하기 위한 장치에 있어서,
적어도 하나의 페이지를 포함하는 문서를 표시하고, 제1 입력을 수신하는 터치 스크린;
메모리; 및
제어부를 포함하고,
상기 제어부는,
상기 표시되는 문서 상에 상기 제1 입력에 대응하는 필기 문자 또는 표시자를 표시하도록 상기 터치 스크린을 제어하고,
상기 문서에서 상기 제1 입력에 대응하는 영역을 추출하고,
상기 메모리에 상기 추출된 영역에 대한 정보를 저장하고, - 상기 정보는 상기 문서에서 상기 추출된 영역에 대응하는 위치 정보 및 페이지 정보를 포함함-
상기 문서에 대한 요약 데이터를 요청하는 제2 입력 수신에 응답하여, 상기 저장된 정보에 기초하여 캡쳐된 적어도 하나의 이미지를 이용하여 상기 문서에 대한 요약 데이터를 생성하고,
상기 문서에 대한 요약 데이터가 표시되도록 상기 터치 스크린을 제어하고,
상기 문서에 대한 요약 데이터 내의 상기 적어도 하나의 이미지로부터 제1 이미지를 선택하는 제3 입력의 수신에 응답하여, 상기 선택된 제1 이미지에 대응하는 상기 문서의 페이지를 표시하도록 상기 터치 스크린을 제어하고,
상기 제어부는, 상기 문서의 레이아웃 크기에 맞도록 상기 저장된 정보에 기초하여 캡쳐된 상기 적어도 하나의 이미지를 배치함으로써 상기 문서에 대한 요약 데이터를 생성하는, 요약 데이터 생성 장치.
제1항에 있어서,
상기 제어부는,
상기 제1 입력의 수신에 응답하여, 상기 제1 입력이 상기 문서에 대한 요약 데이터 생성을 위해 이용되는지 여부를 결정하는, 요약 데이터 생성 장치.
제2항에 있어서,
상기 제어부는,
미리 설정된 입력이 수신된 후에 상기 제1 입력이 수신되면, 상기 제1 입력이 상기 문서에 대한 요약 데이터 생성을 위해 이용되는 것으로 결정하고,
상기 미리 설정된 입력은, 상기 문서에 대한 요약 데이터 생성을 위한 미리 설정된 필기 제스쳐 입력 또는 미리 설정된 기능 키 입력인, 요약 데이터 생성 장치.
제1항에 있어서,
상기 제어부는,
상기 제1 입력의 획에 대한 포인트 정보에 기초하여, 상기 제1 입력의 타입이 표시자 타입인지 필기 타입인지 여부를 결정하는, 요약 데이터 생성 장치.
제4항에 있어서,
상기 제어부는,
상기 제1 입력의 타입이 상기 표시자 타입인 것으로 결정되면, 상기 표시되는 문서 상에 상기 제1 입력에 대응하는 상기 표시자를 표시하도록 상기 터치 스크린을 제어하고,
상기 제1 입력의 타입이 상기 필기 타입인 것으로 결정되면, 상기 표시되는 문서 상에 상기 제1 입력에 대응하는 상기 필기 문자를 표시하도록 상기 터치 스크린을 제어하는, 요약 데이터 생성 장치.
제4항에 있어서,
상기 추출된 영역은,
상기 제1 입력의 타입이 상기 표시자 타입인 것으로 결정되면, 상기 제1 입력에 대응하는 표시자의 위치와 매칭되는 위치에서의 문자들을 포함하는 문자 영역을 포함하고,
상기 제1 입력의 타입이 상기 필기 타입인 것으로 결정되면, 상기 제1 입력에 대응하는 상기 필기 문자를 포함하는 필기 영역을 포함하는, 요약 데이터 생성 장치.
제6항에 있어서,
상기 적어도 하나의 이미지는,
상기 제1 입력의 타입이 상기 표시자 타입인 것으로 결정되면, 상기 제1 입력에 대응하는 상기 표시자의 위치와 매칭되는 위치에서의 상기 문자들에 대한 이미지를 포함하고,
상기 제1 입력의 타입이 상기 필기 타입인 것으로 결정되면, 상기 제1 입력에 대응하는 상기 필기 문자에 대한 이미지를 포함하는, 요약 데이터 생성 장치.
삭제
삭제
제1항에 있어서,
상기 제어부는,
상기 저장된 정보에 기초하여 캡쳐된 상기 적어도 하나의 이미지에 포함된 문자들을 인식하고,
상기 인식된 문자들을 이용하여 상기 문서에 대한 요약 데이터를 생성하는, 요약 데이터 생성 장치.
장치에 표시되는 문서에 대한 요약 데이터를 생성하기 위한 방법에 있어서,
적어도 하나의 페이지를 포함하는 문서를 표시하는 과정;
제1 입력을 수신하는 과정;
상기 표시되는 문서 상에 상기 제1 입력에 대응하는 필기 문자 또는 표시자를 표시하는 과정;
상기 문서에서 상기 제1 입력에 대응하는 영역을 추출하는 과정;
상기 추출된 영역에 대한 정보를 저장하는 과정, - 상기 정보는 상기 문서에서 상기 추출된 영역에 대응하는 위치 정보 및 페이지 정보를 포함함-;
상기 문서에 대한 요약 데이터를 요청하는 제2 입력 수신에 응답하여, 상기 저장된 정보에 기초하여 캡쳐된 적어도 하나의 이미지를 이용하여 상기 문서에 대한 요약 데이터를 생성하는 과정;
상기 문서에 대한 요약 데이터를 표시하는 과정; 및
상기 문서에 대한 요약 데이터 내의 상기 적어도 하나의 이미지로부터 제1 이미지를 선택하는 제3 입력의 수신에 응답하여, 상기 문서에 대한 요약 데이터 내의 상기 선택된 제1 이미지에 대응하는 상기 문서의 페이지를 표시하는 과정을 포함하고,
상기 문서에 대한 요약 데이터를 생성하는 과정은, 상기 문서의 레이아웃 크기에 맞도록 상기 저장된 정보에 기초하여 캡쳐된 상기 적어도 하나의 이미지를 배치하는 과정을 포함하는, 요약 데이터 생성 방법.
제11항에 있어서,
상기 제1 입력의 수신에 응답하여, 상기 제1 입력이 상기 문서에 대한 요약 데이터 생성에 이용되는지 여부를 결정하는 과정
을 더 포함하는 요약 데이터 생성 방법.
제12항에 있어서,
상기 제1 입력이 상기 문서에 대한 요약 데이터 생성에 이용되는지 여부를 결정하는 과정은,
미리 설정된 입력이 수신된 후에 상기 제1 입력이 수신되면, 상기 제1 입력이 상기 문서에 대한 요약 데이터 생성을 위해 이용되는 것으로 결정하는 과정
을 포함하고,
상기 미리 설정된 입력은,
상기 문서에 대한 요약 데이터 생성을 위한 미리 설정된 필기 제스쳐 입력 또는 미리 설정된 기능 키 입력인, 요약 데이터 생성 방법.
제11항에 있어서,
상기 제1 입력의 획에 대한 포인트 정보에 기초하여, 상기 제1 입력의 타입이 표시자 타입인지 필기 타입인지 여부를 결정하는 과정
을 더 포함하는 요약 데이터 생성 방법.
제14항에 있어서,
상기 표시되는 문서 상에 상기 제1 입력에 대응하는 필기 문자 또는 표시자를 표시하는 과정은,
상기 제1 입력의 타입이 상기 표시자 타입인 것으로 결정되면, 상기 표시되는 문서 상에 상기 제1 입력에 대응하는 상기 표시자를 표시하는 과정; 및
상기 제1 입력의 타입이 상기 필기 타입인 것으로 결정되면, 상기 표시되는 문서 상에 상기 제1 입력에 대응하는 상기 필기 문자를 표시하는 과정
을 포함하는, 요약 데이터 생성 방법.
제14항에 있어서,
상기 추출된 영역은,
상기 제1 입력의 타입이 상기 표시자 타입인 것으로 결정되면, 상기 제1 입력에 대응하는 표시자의 위치와 매칭되는 위치에서의 문자들을 포함하는 문자 영역을 포함하고,
상기 제1 입력의 타입이 상기 필기 타입인 것으로 결정되면, 상기 제1 입력에 대응하는 상기 필기 문자를 포함하는 필기 영역을 포함하는, 요약 데이터 생성 방법.
제16항에 있어서,
상기 적어도 하나의 이미지는,
상기 제1 입력의 타입이 상기 표시자 타입인 것으로 결정되면, 상기 제1 입력에 대응하는 상기 표시자의 위치와 매칭되는 위치에서의 상기 문자들에 대한 이미지를 포함하고,
상기 제1 입력의 타입이 상기 필기 타입인 것으로 결정되면, 상기 제1 입력에 대응하는 상기 필기 문자에 대한 이미지를 포함하는, 요약 데이터 생성 방법.
삭제
삭제
제11항에 있어서,
상기 문서에 대한 요약 데이터를 생성하는 과정은,
상기 저장된 정보에 기초하여 캡쳐된 상기 적어도 하나의 이미지에 포함된 문자들을 인식하는 과정; 및
상기 인식된 문자들을 이용하여 상기 문서에 대한 요약 데이터를 생성하는 과정
을 포함하는 요약 데이터 생성 방법.