KR102352683B1 - 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법 - Google Patents

촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법 Download PDF

Info

Publication number
KR102352683B1
KR102352683B1 KR1020177022740A KR20177022740A KR102352683B1 KR 102352683 B1 KR102352683 B1 KR 102352683B1 KR 1020177022740 A KR1020177022740 A KR 1020177022740A KR 20177022740 A KR20177022740 A KR 20177022740A KR 102352683 B1 KR102352683 B1 KR 102352683B1
Authority
KR
South Korea
Prior art keywords
image
note
photographed object
terminal device
user
Prior art date
Application number
KR1020177022740A
Other languages
English (en)
Other versions
KR20170116049A (ko
Inventor
리구오젠
장리
구오샨
왕얀
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170116049A publication Critical patent/KR20170116049A/ko
Application granted granted Critical
Publication of KR102352683B1 publication Critical patent/KR102352683B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Abstract

촬영된 물체에 대한 노트 정보를 촬영된 물체의 이미지에 반영하여 디스플레이하기 위한 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법을 개시한다.

Description

촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법
본 개시(present disclosure)는 멀티미디어 기술, 더욱 자세하게는 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법에 관한 것이다.
기술의 계속된 발전에 따라, 스마트 폰, 태블릿 컴퓨터와 같은 모바일 단말들은 더욱 더 대중화되고 있다. 모바일 단말들의 더욱 더 많은 기술들 또한 나타나고 있다. 사람들은 매우 편리한 모바일 단말들을 이용하여, 서로 대화를 가고, 사진을 찍고(또는 비디오를 촬영하고), 음악을 듣고, 게임을 하고, 인터넷 서핑을 할 수 있다.
모바일 단말의 카메라 기능을 활용하여, 사람은 그가 좋아하거나 필요한 물체(object)를 매우 편리하게 촬영할 수 있다. 예를 들어, 책을 읽는 사람은 보통 도서관에서 책에 필기하거나 임의로 책을 집에 가져갈 수 없고, 페이지들 또한 찢을 수 없다. 그러므로, 도서관에서 책을 읽을 때, 책을 읽는 사람은 모바일 단말의 카메라 기능을 이용하여 중요한 콘텐트의 페이지들을 촬영하고, 차후 확인을 위해, 모바일 단말에서 촬영된 페이지를 저장할 수 있다. 수기 방식과 비교하면, 모바일 단말을 이용한 중요한 콘텐트의 촬영이 더 편리하고, 사용자의 작업을 가능하게 한다.
그러나, 책을 읽는 사람은 중요한 콘텐트의 촬영을 통해서 관련 페이지들의 이미지만 획득할 수 있다. 이와 같은 이미지에서는 어떤 콘텐트들이 사용자가 기록하고자 하는 것인지 명확하지 않다. 즉, 책의 콘텐트에 노트를 하기 위한 사용자의 욕구는 모바일 단말을 이용하여 관련 페이지를 단순히 촬영하는 것만으로 충족될 수 없다.
다른 예를 들어, 책을 아끼는 사용자는 새 책을 받는다. 그는 새 책에 아무것도 쓰지 않기를 원하고, 새 책이 깨끗하기를 바라지만, 그 또한 새 책의 일부 흥미로운 콘텐트에 노트 하기를 원한다. 이때, 새 책의 소유자는 그의 뜻에 반하여 새 책에 필기를 하거나 그 흥미로운 콘텐트에 노트하는 것을 포기한다.
책을 읽는 사람은 노트 하기 위해 책에 필기하는 것이 허락된 경우일지라도, 그가 만든 노트를 확인하기 위해 책을 펼쳐야 한다. 만약, 책을 읽는 사람이 책을 가지고 있지 않다면, 그가 만든 노트를 확인하는 것은 거의 불가능하다.
그러므로, 노트를 하고, 만들어진 노트를 사용자가 확인할 수 있도록, 사람들의 욕구를 만족시킬 수 있는 해결책이 제공되는 것이 필요하다.
촬영된 물체에 대한 노트 정보를 촬영된 물체의 이미지에 반영하여 디스플레이하기 위한 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법을 제공하는 것이다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 개시는 책에 노트를 하고자 하는 사용자의 욕구를 만족시키고 사용자가 노트 정보를 볼 수 있게 하기 위해서, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법를 제공한다.
본 개시의 제 1 측면에 따라, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치는, 촬영된 물체의 이미지를 획득하는 촬영부, 상기 촬영된 물체에 관한 사용자의 노트 작업을 검출하여, 상기 촬영된 물체에 대한 노트 정보를 획득하는 프로세서, 및 상기 획득한 노트 정보가 반영된, 상기 촬영된 물체의 이미지를 디스플레이하는 디스플레이부를 포함한다.
또한, 상기 프로세서는 상기 촬영된 물체 또는 상기 촬영된 물체가 표시되는 화면에 대한 상기 사용자의 노트 작업을 검출하고, 상기 검출된 노트 작업에 대응되는 상기 촬영된 물체에 대한 상기 노트 정보를 결정할 수 있다.
또한, 상기 프로세서는 손끝 또는 필기 도구의 펜촉의 위치를 추적하여, 상기 촬영된 물체에 대한 상기 손끝 또는 상기 펜촉의 작업을 상기 노트 작업으로써 검출할 수 있다.
또한, 상기 프로세서는 촬영된 물체의 이미지 프레임들 간의 증분의 정보를 상기 노트 작업으로써 검출할 수 있다.
또한, 상기 프로세서는 상기 촬영된 물체에 대한 상기 노트 정보의 위치를 결정하고, 상기 결정된 노트 정보의 위치에 기초하여, 상기 촬영된 물체의 이미지에 상기 노트 정보의 콘텐트를 반영하며, 상기 디스플레이부는 상기 노트 정보가 반영된, 상기 촬영된 물체의 이미지를 디스플레이할 수 있다.
또한, 상기 상기 프로세서는 촬영된 물체의 글로벌 이미지와 로컬 이미지를 획득하고, 상기 글로벌 이미지와 상기 로컬 이미지 각각에 대해 문자 인식을 수행하며, 상기 글로벌 이미지와 상기 로컬 이미지 각각에 대한 문자 인식 결과에 기초하여, 상기 글로벌 이미지의 콘텐트에 대한 상기 노트 정보의 상대적 위치를 상기 촬영된 물체에 대한 상기 노트 정보의 위치로써 결정할 수 있다.
또한, 상기 프로세서는 상기 촬영된 물체의 떨림, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치의 떨림, 및 필기 도구의 떨림 중 적어도 하나의 떨림이 감지되면, 상기 노트 정보에 편차 교정(deviation calibration) 처리를 수행할 수 있다.
또한, 상기 프로세서는 콘텐트 조정 명령에 따라, 상기 노트 정보에 기초하여, 상기 촬영된 물체의 이미지의 콘텐트를 조정하고, 상기 디스플레이부는 상기 콘텐트가 조정된, 상기 촬영된 물체의 이미지를 디스플레이할 수 있다.
또한, 상기 프로세서는 검색 명령에 따라, 지정된 정보에 기초하여, 상기 촬영된 물체의 이미지의 콘텐트를 검색하고, 상기 디스플레이부는 상기 촬영된 물체의 이미지에 검색 결과가 드러나도록 디스플레이하는할 수 있다.
또한, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치는 상기 노트 정보를 실시간 촬영을 통해 획득된 촬영된 물체의 이미지, 상기 실시간 촬영을 통해 획득된 상기 촬영된 이미지의 문자 인식 결과, 및 상기 촬영된 물체에 대한 상기 노트 정보의 상대적 위치 중 적어도 하나와 연관지어 저장하는 스토리지를 더 포함할 수 있다.
본 개시의 제 2 측면에 따라, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법은, 촬영된 물체의 이미지를 획득하는 단계, 상기 촬영된 물체에 관한 사용자의 노트 작업을 검출하여, 상기 촬영된 물체에 대한 노트 정보를 획득하는 단계, 및 상기 촬영된 물체의 이미지에 상기 획득한 노트 정보를 반영하여 디스플레이하는 단계를 포함한다.
또한, 상기 노트 정보를 획득하는 단계는, 상기 촬영된 물체 또는 상기 촬영된 물체가 표시되는 화면에 대한 상기 사용자의 노트 작업을 검출하는 단계 및 상기 검출된 노트 작업에 대응되는 상기 촬영된 물체에 대한 상기 노트 정보를 결정하는 단계를 포함할 수 있다.
또한, 상기 노트 작업을 검출하는 단계는, 손끝 또는 필기 도구의 펜촉의 위치를 추적하여, 상기 촬영된 물체에 대한 상기 손끝 또는 상기 펜촉의 작업을 상기 노트 작업으로써 검출할 수 있다.
또한, 상기 노트 작업을 검출하는 단계는, 촬영된 물체의 이미지 프레임들 간의 증분의 정보를 상기 노트 작업으로써 검출할 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 촬영된 물체에 대한 상기 노트 정보의 위치를 결정하는 단계, 상기 결정된 노트 정보의 위치에 기초하여, 상기 촬영된 물체의 이미지에 상기 노트 정보의 콘텐트를 반영하는 단계, 및 상기 노트 정보가 반영된, 상기 촬영된 물체의 이미지를 디스플레이하는 단계를 포함할 수 있다.
또한, 상기 노트 정보의 위치를 결정하는 단계는, 상기 촬영된 물체의 글로벌 이미지와 로컬 이미지를 획득하는 단계, 상기 글로벌 이미지와 상기 로컬 이미지 각각에 대해 문자 인식을 수행하는 단계, 및 상기 글로벌 이미지와 상기 로컬 이미지 각각에 대한 문자 인식 결과에 기초하여, 상기 글로벌 이미지의 콘텐트에 대한 상기 노트 정보의 상대적 위치를 상기 촬영된 물체에 대한 상기 노트 정보의 위치로써 결정하는 단계를 포함할 수 있다.
또한, 상기 촬영된 물체의 떨림, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치의 떨림, 및 필기 도구의 떨림 중 적어도 하나의 떨림이 감지되면, 상기 노트 정보에 편차 교정(deviation calibration) 처리를 수행하는 단계를 더 포함한다.
또한, 콘텐트 조정 명령에 따라, 상기 노트 정보에 기초하여, 상기 촬영된 물체의 이미지의 콘텐트를 조정하는 단계를 더 포함하고, 상기 디스플레이하는 단계는, 상기 콘텐트가 조정된, 상기 촬영된 물체의 이미지를 디스플레이할 수 있다.
또한, 검색 명령에 따라, 지정된 정보에 기초하여, 상기 촬영된 물체의 이미지의 콘텐트를 검색하는 단계를 더 포함하고, 상기 디스플레이하는 단계는, 상기 촬영된 물체의 이미지에 검색 결과가 드러나도록 디스플레이할 수 있다.
본 개시의 제 3 측면에 따른, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체는 상기 촬영된 물체의 이미지에 노트 정보를 입력하는 방법을 컴퓨터에서 실행시키기 위한 프로그램으로 기록한다.
본 개시에 의해 제공되는 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법에서, 장치는 상기 촬영된 물체를 실시간으로 촬영할 때 상기 촬영된 물체에 상기 사용자에 의해 만들어진 상기 노트 정보를 획득하고, 상기 노트 정보와 상기 촬영된 물체를 연관지어 디스플레이한다. 그것은 책과 같은 촬영된 물체에 노트 하기 위한 사용자의 욕구를 만족시킨다. 특히 책을 가져갈 수 없거나 책에 필기하는 것이 허락되지 않는 때, 상기 사용자는 여전히 노트를 편리하게 할 수 있다. 노트 하는 것을 위한 편리함은 훨씬 증대되었다. 게다가, 상기 사용자는 사용자에게 큰 편의를 주는, 상기 단말 디바이스를 이용하여 만들어진 노트를 편리하게 볼 수 있다.
본 개시의 다른 관점 및 이점은 본 개시의 다음의 상세한 설명 또는 본 개시의 구현에 따라 명백해 질 것이다.
촬영된 물체에 노트를 하기 위한 사용자의 욕구를 만족시킨다. 책을 가져갈 수 없거나 책에 필기를 하도록 허락된 경우가 아니더라도, 사용자는 사용자에게 큰 편의를 주는 노트를 편리하게 하고, 추후에 만들어진 노트를 볼 수 있다.
본 개시의 이상 및/또는 다른 관점과 이점은 다음의 상세한 설명과 수반하는 다음의 도면들의 검토에 따라 명백해 질 것이다.
도 1은 본 개시의 제 1 실시예에 따라, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법을 설명하는 흐름도이다.
도 2a는 본 개시의 제 1 실시예에 따라, 실시간 노트 트리거 명령이 버튼인 예를 설명하는 개략도이다.
도 2b는 본 개시의 제 1 실시예에 따라, 실시간 노트 트리거 명령이 외부의 컨트롤러로부터 오는 예를 설명하는 개략도이다.
도 3a는 본 개시의 제 1 실시예에 따라, 미리 등록된 연필의 형태(shape)를 설명하는 개략도이다.
도 3b는 본 개시의 제 1 실시예에 따라, 미리 등록된 스타일러스 펜의 형태를 설명하는 개략도이다.
도 4a 및 도 4b는 본 개시의 제 1 실시예에 따라, 촬영된 물체의 이미지에서 필기 도구의 펜촉 위치를 각각 보여주는 개략도이다.
도 5a는 본 개시의 제 1 실시예에 따라, t번째 이미지 프레임으로부터 획득된 노트 정보를 설명하는 개략도이다.
도 5b는 본 개시의 제 1 실시예에 따라, t번째 이미지 프레임과 비교되는 (t+1)번째 이미지 프레임의 증분의(incremental) 정보를 설명하는 개략도이다.
도 5c는 본 개시의 제 1 실시예에 따라, (t+1)번째 이미지 프레임의 노트 정보를 설명하는 개략도이다.
도 5d는 본 개시의 제 1 실시예에 따라, 노트 정보를 획득하기 위해 각각의 이미지 프레임의 증분의 정보의 조합(combination)을 설명하는 개략도이다.
도 6은 본 개시의 제 1 실시예에 따라, 사용자가 촬영된 물체에 노트한 예를 설명하는 개략도이다.
도 7은 본 개시의 제 2 실시예에 따라, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법을 설명하는 흐름도이다.
도 8은 본 개시의 제 2 실시예에 따라, 사용자가 화면에 노트한 예를 설명하는 개략도이다.
도 9는 본 개시의 제 3 실시예에 따라, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법을 설명하는 흐름도이다.
도 10a는 본 개시의 제 3 실시예에 따라, 사용자에 의해 선택된 로컬 영역들을 보여주는 개략도이다.
도 10b는 본 개시의 제 3 실시예에 따라, 로컬 영역이 레이아웃 정보에 따라 조정되는 예를 각각 보여주는 개략도이다.
도 11a는 본 개시의 제 3 실시예에 따라, 사용자에 의해 화면에 노트를 하기 위해 로컬 영역들의 선택을 설명하는 개략도이다.
도 11b는 본 개시의 제 3 실시예에 따라, 사용자가 음성 노트 추가하기를 선택하는 예를 각각 설명하기 위한 개략도이다.
도 11c는 본 개시의 제 3 실시예에 따라, 사용자에 의해 입력된 음성이 마이크로폰과 같은 오디오 데이터 수집 디바이스를 통해 수집되는 예를 각각 설명하기 위한 개략도이다.
도 11d는 본 개시의 제 3 실시예에 따라, 음성 노트 재생 식별자의 디스플레잉을 설명하는 개략도이다.
도 11e는 본 개시의 제 3 실시예에 따라, 사용자가 음성 노트 재생 식별자를 트리거한 후 단말 디바이스가 음성 노트를 재생하는 예를 각각 설명하기 위한 개략도이다.
도 12a는 본 개시의 제 4 실시예에 따라, 실시간 촬영에 의해 획득되는 캡쳐된(captured) 물체를 설명하는 개략도이다.
도 12b는 본 개시의 제 4 실시예에 따라, 이미지에 대한 레이아웃 분석을 설명하는 개략도이다.
도 12c는 본 개시의 제 4 실시예에 따라, 이미지에 대한 문자 분할(segmentation)을 설명하는 개략도이다.
도 13a은 본 개시의 제 4 실시예에 따라, 노트 하기 위해 사용자에 의해 선택된 로컬 영역을 설명하는 개략도이다.
도 13b는 본 개시의 제 4 실시예에 따라, 수기의 콘텐트와 사용자가 노트하기를 원하는 로컬 영역을 화살표를 통해 연관 짓는 것을 설명하는 개략도이다.
도 13c는 본 개시의 제 4 실시예에 따라, 로컬 영역 주변에 삽입된 수기의 콘텐트의 디스플레잉을 설명하는 개략도이다.
도 13d는 본 개시의 제 4 실시예에 따라, 로컬 영역 주변에 수기의 문자들로부터 변환된 인쇄(printed) 문자의 디스플레잉을 설명하는 개략도이다.
도 14는 본 개시의 제 4 실시예에 따라, 다이내믹(dynamic) 촬영에 의해 노트 정보를 획득하는 것을 설명하는 개략도이다.
도 15a는 본 개시의 제 4 실시예에 따라, 촬영된 물체의 떨림(vibration)을 설명하는 개략도이다.
도 15b는 본 개시의 제 4 실시예에 따라, 단말 디바이스의 떨림을 설명하는 개략도이다.
도 15c는 본 개시의 제 4 실시예에 따라, 필기 도구의 떨림을 설명하는 개략도이다.
도 15d는 본 개시의 제 4 실시예에 따라, 사용자가 촬영된 물체에 노트를 할 때, 필기 도구가 떨리는 예를 설명하는 개략도이다.
도 15e는 본 개시의 제 4 실시예에 따라, 편차 교정(deviation calibration) 작업 후의 노트 정보를 설명하는 개략도이다.
도 15f는 본 개시의 제 4 실시예에 따라, 사용자가 촬영된 물체에 노트를 할 때, 촬영된 물체의 떨림을 설명하는 개략도이다.
도 15g는 본 개시의 제 4 실시예에 따라, 편차 교정 작업 후의 노트 정보를 설명하는 개략도이다.
도 15h는 본 개시의 제 4 실시예에 따라, 사용자가 촬영된 물체에 노트를 할 때, 단말 디바이스의 떨림을 설명하는 개략도이다.
도 15i는 본 개시의 제 4 실시예에 따라, 편차 교정 작업 후의 노트 정보를 설명하는 개략도이다.
도 15j은 본 개시의 제 4 실시예에 따라, 사용자가 화면에 노트를 할 때, 단말 디바이스의 떨림을 설명하는 개략도이다.
도 15k은 본 개시의 제 4 실시예에 따라, 편차 교정 작업 후의 노트 정보를 설명하는 개략도이다.
도 16a는 본 개시의 제 5 실시예에 따라, 적응적 레이아웃을 적용함이 없이 디스플레이된 이미지를 바로 디스플레이한 예를 보여주는 개략도이다.
도 16b는 본 개시의 제 5 실시예에 따라, 디스플레이된 이미지에 적응적 레이아웃을 적용한 후 디스플레이된 이미지를 설명하는 개략도이다.
도 16c 및 도 16e는 본 개시의 제 5 실시예에 따라, 디스플레이된 이미지에 적응적 레이아웃을 적용하기 전에 사용자에 의해 만들어진 노트 정보를 설명하는 개략도이다.
도 16d 및 도 16f는 본 개시의 제 5 실시예에 따라, 디스플레이된 이미지와 노트 정보에 적응적 레이아웃을 적용하는 것을 설명하는 개략도이다.
도 16g는 본 개시의 제 5 실시예에 따라, 수기의 문자가 인쇄 문자로 변환된 후에 디스플레이된 이미지와 노트 정보에 적응적 레이아웃을 적용하는 것을 설명하는 개략도이다.
도 17a는 본 개시의 제 6 실시예에 따라, 주밍 동작(operation)을 하기 전에 사용자에 의해 만들어진 노트 정보를 설명하는 개략도이다.
17b는 본 개시의 제 6 실시예에 따라, 별 심볼과 관련된 콘텐트에 대한 주밍 동작을 설명하는 개략도이다.
도 17c는 본 개시의 제 6 실시예에 따라, 도 17a에서 물결선과 관련된 콘텐트에 주밍 동작을 수행한 예를 설명하는 개략도이다.
도 17d는 본 개시의 제 6 실시예에 따라, 단말 디바이스에 의해 지정된 영역에 대한 주밍 동작을 설명하는 개략도이다.
도 17e는 본 개시의 제 6 실시예에 따라, 주밍 동작이 수행될, 사용자에 의해 선택된 지정된 영역을 설명하는 개략도이다.
도 17f는 본 개시의 제 6 실시예에 따라, 지정된 콘텐트에 대한 주밍 동작 후의 프레임을 설명하는 개략도이다.
도 17g은 본 개시의 제 6 실시예에 따라, 조정된 프레임을 설명하는 개략도이다.
도 18a는 본 개시의 제 6 실시예에 따라, 사용자에 의해 만들어진 노트 정보를 설명하는 개략도이다.
도 18b는 본 개시의 제 6 실시예에 따라, 노트 정보에 관련된 콘텐트를 지우는 것을 설명하는 개략도이다.
도 19a는 본 개시의 제 6 실시예에 따라, 화면 회전(rotation) 동안 레이아웃 재배열(rearrangement)을 설명하는 개략도이다.
도 19b는 본 개시의 제 6 실시예에 따라, 화면의 회전(rotation) 전에 사용자에 의해 만들어진 노트 정보를 설명하는 개략도이다.
도 19c는 본 개시의 제 6 실시예에 따라, 화면의 회전(rotation) 후에 노트 정보에 적응적 레이아웃을 적용하는 것을 설명하는 개략도이다.
도 20a는 본 개시의 제 6 실시예에 따라, 사용자에 의해 만들어진 편집 정보를 설명하는 개략도이다.
도 20b는 본 개시의 제 6 실시예에 따라, 편집 정보에 따라 조정된 콘텐트를 설명하는 개략도이다.
도 21a는 본 개시의 제 6 실시예에 따라, 단지 문자들 또는 그래픽이 디스플레이된 예를 각각 설명하는 개략도이다.
도 21b는 본 개시의 제 6 실시예에 따라, 주석을 숨기는 것을 설명하는 개략도이다.
도 22a는 본 개시의 제 6 실시예에 따라, 사용자가 타입이 조정될 노트 정보를 선택하는 예를 설명하는 개략도이다.
도 22b는 본 개시의 제 6 실시예에 따라, 단말 디바이스가 사용자에게 가상 버튼 또는 노트 타입을 변경하기 위한 UI 를 제공하는 예를 설명하는 개략도이다.
도 22c는 본 개시의 제 6 실시예에 따라, 단말 디바이스가 UI에 대한 사용자 통계(statistics)에 따라 미리 정해진 노트 타입에 대응되는 가상 버튼을 제공하는 예를 설명하는 개략도이다.
도 22d는 본 개시의 제 6 실시예에 따라, 단말 디바이스가 사용자의 선택에 따라 노트 정보의 노트 타입을 조정하는 예를 각각 설명하는 개략도이다.
도 22e는 본 개시의 제 6 실시예에 따라, 노트 편집을 위해 UI에 제공된 가상 버튼의 예를 설명하는 개략도이다.
도 22f는 본 개시의 제 6 실시예에 따라, 노트 영역을 확장 및 노트 영역을 축소하기 위해 UI에 제공된 가상 버튼의 예를 설명하는 개략도이다.
도 22g 및 도 22i은 본 개시의 제 6 실시예에 따라, 사용자가 노트 영역을 확장 및 축소하기 위해 가상 버튼을 클릭한 예를 설명하는 개략도이다.
도 22h 및 도 22j은 본 개시의 제 6 실시예에 따라, 사용자가 화면에 슬라이딩-업 또는 슬라이딩-다운 동작을 통해 노트 영역을 확장하거나 축소한 예를 설명하는 개략도이다.
도 22k는 본 개시의 제 6 실시예에 따라, UI에 문자 포맷을 변환하는 가상 버튼의 예를 설명하는 개략도이다.
도 22l는 본 개시의 제 6 실시예에 따라, 수기의 문자에서 인쇄 문자로의 변환을 설명하는 개략도이다.
도 23a는 본 개시의 제 6 실시예에 따라, 검색어가 볼드체 문자일 때 검색 결과를 설명하는 개략도이다.
도 23b는 본 개시의 제 6 실시예에 따라, 검색 결과를 설명하는 개략도이다.
도 24는 본 개시의 제 7 실시예에 따라, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치의 구조를 설명하는 개략도이다.
도 25는 본 개시의 제 7 실시예에 따라, 단말 디바이스의 구조를 설명하는 개략도이다.
도 26은 본 개시의 제 8 실시예에 따라, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법을 설명하는 흐름도이다.
발명의 실시를 위한 최선의 형태
본 개시의 제 1 측면에 따라, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치는, 촬영된 물체의 이미지를 획득하는 촬영부, 상기 촬영된 물체에 관한 사용자의 노트 작업을 검출하여, 상기 촬영된 물체에 대한 노트 정보를 획득하는 프로세서, 및 상기 획득한 노트 정보가 반영된, 상기 촬영된 물체의 이미지를 디스플레이하는 디스플레이부를 포함한다.
발명의 실시를 위한 형태
본 개시는 동일한 부품을 지칭하는 참조 부호가 있는 첨부된 도면들을 참조하여 이하에서 더 상세하게 설명될 것이다. 다음 실시예들은 단지 본 개시의 일부 실시예들이나, 본 개시의 모든 실시예들을 형성하지 않는다.
단수 "a", "an", "the", "said"는 문맥이 명확하게 달리 지시하지 않는 한 복수의 대상을 포함하며, 편견없이, 당해 분야에서 통상의 지식을 가진 자에 의해 이해되어야 한다. 또한, 본 개시에서 "포함하다(include)"라는 용어는 특징, 정수, 단계, 동작, 요소 및/또는 부품에 한정하지 하지 않고 포함하는 것을 의미하며, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 부품들 및/또는 그들의 조합도 포함될 수 있다. 하나의 요소가 다른 요소와 "연결된(connected)" 또는 "결합된(coupled)" 것이라고 언급될 때, 이와 같은 요소들이 직접적으로 또는 중간 요소를 통해 연결되거나 결합된 것일 수 있다. 또한, 이하에서 사용된 "연결(connection)" 또는 "결합(coupling)"은 무선 연결 또는 무선 결합을 지칭할 수 있다. "및/또는(and/or)"이라는 용어는 모든 또는 어느 하나 또는 나열된 관련 항목들(items)의 어느 조합을 포함한다.
당업자는 다르게 정의되지 않는 한, 모든 용어들(기술적이거나 과학적인 용어들 포함)이 본 발명이 속하는 분야의 통상의 지식과 동일한 의미에서 일반적인 이해를 가지고 있다는 것을 알 수 있다. 사전에서 정의된 것과 같은 일반적인 용어들은 선행 기술의 컨택스트(context)와 일치하는 의미로서 이해되어야 하고, 여기 정의가 없는 한, 이상적이거나 과도하게 형식적인 의미가 아니다.
당업자는 여기 사용된 "단말(terminal)"과 "인텔리전트 디바이스(intelligent device)"를 무선 신호 수신기를 갖는 디바이스, 즉, 전송 기능이 없는 단지 무선 신호 수신기를 포함할 뿐만 아니라, 양방향 통신 링크에서 양방향 수신과 전송을 수행하는 수신 및 전송 하드웨어 모두를 포함하는 디바이스를 포함하는 것으로 이해할 것이다. 이러한 디바이스는 단선 디스플레이(single line display) 또는 다중 회선 디스플레이(multi-line display)를 포함하거나 다중 회선 디스플레이를 포함하지 않는 휴대 또는 다른 통신 장치; 음성, 데이터 처리, 팩스 및/또는 데이터 통신 기능들을 포함할 수 있는 PCS(personal Communication Service); 무선 주파수 수신기(radio frequency receiver), 페이저(pager), 인터넷/인트라넷 방문, 네트워크 브라우저, 노트북 캘린더(notebook calendar) 및/또는 GPS(Global Positioning System) 수신기를 포함할 수 있는 PDA(Personal Digital Assistant); 종래의 랩톱 및/또는 팜 컴퓨터(palm computer) 또는 무선 주파수 수신기를 장착한 다른 디바이스들을 포함할 수 있다. 여기에서 사용된 "단말(terminal)"과 "인텔리전트 디바이스(intelligent device)"는 휴대할 수 있고, 수송 가능하며, 차량(항공, 해상, 및/또는 육지)에 장착될 수 있거나, 지역적으로 동작 및/또는 지구 및/또는 우주의 어느 위치에서 분산 방식으로 동작하도록 구성 및/또는 적용될 수 있다. 여기에서 사용된 "단말(terminal)"과 "인텔리전트 디바이스(intelligent device)"는 통신 단말, 인터넷 단말, 음악/비디오 재생 단말, 예를 들어, PDA, MID(Moblie Internet Device), 및/또는 음악/비디오 재생 기능을 가지는 모바일 폰, 또는 인텔리전트 글래시스, 스마트 팔찌, 스마트 시계 등일 수 있다.
본 개시의 발명자는 사람들이 항상 휴대폰과 같은 카메라가 장착된 단말 디바이스를 가지고 다닌다는 것을 발견한다. 따라서, 발명자는 사용자가 책과 같은 촬영된 물체에 사용자가 쓴 노트 정보를 획득하기 위해 단말 디바이스의 카메라를 이용하여 실시간으로 촬영을 할 수 있다는 것을 고려한다. 그리고, 단말 디바이스는 책과 같은 촬영된 물체와 획득한 노트 정보를 연관 지어 단말 디바이스의 화면에 그것들을 디스플레이한다. 그러므로, 책과 같은 촬영된 물체에 노트 하고자 하는 사용자의 욕구는 충족된다. 특히 책을 가져갈 수 없거나 책에 필기하는 것이 허락되지 않을 때, 사용자는 여전히 노트를 편리하게 할 수 있다. 노트 하는 것을 위한 편리함은 훨씬 증대되었다. 게다가, 사용자는 사용자에게 큰 편의를 주는, 상기 단말 디바이스를 이용하여 만들어진 노트를 편리하게 볼 수 있다.
이제 본 개시의 기술적 해결책이 첨부된 도면들을 참조하여 설명된다.
본 개시에서, 노트 정보는 마크 심볼(mark symbol) 및/또는 편집 정보를 포함할 수 있다.
마크 심볼은 배경 색상, 밑줄(underline), 점선(dotted line), 물결선(wavy line), 직사각형(rectangle), 글머리 기호(bullet points), 괄호(brackets), 삼각형 심볼(triangle symbol), 별, 별 심볼(star symbol), 및 숫자 심볼(numeric symbol) 중 적어도 하나를 포함할 수 있다.
편집 정보는 삽입된 콘텐트(inserted content), 삽입 심볼(insertion symbol), 삭제 심볼(delete symbol), 위치 조정 심볼(position adjustment symbol), 강조 심볼(emphasis symbol), 주석(annotation) 중 적어도 하나를 포함할 수 있다.
사용자가 촬영된 물체에 작업하기(operating), 화면에 작업하기, 및 음성을 입력하기 중 어느 하나를 통해 책과 같은 촬영된 물체에 노트 할 수 있음이 본 개시에서 제공된다. 단말 디바이스는 사용자의 상기 작업들을 통해 촬영된 물체에 사용자에 의해 만들어진 노트 정보를 획득할 수 있고, 노트 정보와 촬영된 물체를 연관시켜 표시할 수 있다.
게다가, 사용자는 먼저 촬영된 물체에 노트를 할 수도 있다. 사용자가 실시간으로 촬영된 물체를 촬영할 때, 단말 디바이스는 사용자에 의해 만들어진 노트를 인식하고 노트 정보를 획득한다.
제 1 실시예(Embodiment 1)
본 개시의 제 1 실시예에서, 단말 디바이스는 필기 도구를 통한 사용자의 작업을 실시간으로 추척함으로서 노트 정보를 획득할 수 있다. 이때, 필기 도구를 통한 사용자의 작업은 촬영된 물체에 대한 작업과 화면에 대한 작업을 포함할 수 있다. 본 개시의 제 1 실시예는 촬영된 물체에 대한 사용자의 작업을 실시간으로 추적함으로써 촬영된 물체의 이미지에 노트 정보를 입력하는 방법을 설명한다. 도 1에 도시된 바와 같이, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법은 다음의 S101 내지 S103 블록들을 포함한다.
블록 S101에서, 단말 디바이스는 실시간으로 물체를 촬영한다.
본 개시의 실시예들에서, 단말 디바이스는 휴대 전화와 같이 카메라를 가지는 모바일 단말 디바이스, 태블릿 컴퓨터, 웨어러블 디바이스(예로, 인텔리전트 글래시즈), 또는 카메라에 연결된 고정형 단말 디바이스를 포함할 수 있다. 촬영된 물체는 책, 신문, 잡지, 비즈니스 카드, 웹 페이지 등과 같이 문자 정보 또는 그래픽 정보를 가지는 물체일 수 있다.
단말 디바이스는 실시간 노트 트리거 명령을 수신한 후 비디오 기능 또는 카메라 기능을 시작할 수 있다. 본 개시의 실시예들에서, 단말 디바이스의 카메라 기능과 비디오 기능은 일반적인 촬영일 수 있다. 단말 디바이스는 사용자의 노트 정보를 획득하기 위해 카메라와 같은 촬영 도구를 통해 노트가 된 물체를 실시간으로 촬영한다.
실시간 노트 트리거 명령은 음성, 버튼, 제스쳐, 증강 현실의 사람과 컴퓨터 상호작용 인터페이스, 및 외부의 컨트롤러(예로, 단말 디바이스와 관련된 스타일러스 펜과 같이 원격 제어 기능을 가지는 디바이스) 중 적어도 하나를 포함하는, 다양한 방식으로 생성될 수 있다.
예를 들어, 실시간 노트 트리거 명령이 음성인 경우, 사용자가 "실시간으로 노트 하기 시작(start to take note in real-time)" 음성 명령을 내리면, 단말 디바이스는 음성 명령이 실시간 노트 트리거 명령임을 결정할 수 있도록, 음성 명령을 수신하여음성 명령에 음성 인식을 시작한다. 따라서, 단말 디바이스는 실시간 촬영 작업을 시작한다. 음성 명령과 실시간 노트 트리거 명령 간의 대응되는 관계는 중국어 또는 영어 또는 다른 어느 언어로 "실시간으로 노트 하기 시작(start to take note in real-time)", "실시간 노트 시작(real-time note starts)", 및 다른 명령들과 같은 이상의 음성 명령들과 실시간 노트 트리거 명령을 연관 짓기 위해, 대응 테이블과 같은 형태로 단말 디바이스에 저장될 수 있다. 물론, 음성 명령들은 이상의 예들로 제한되지 않는다. 사용자와 단말 디바이스가 어느 정보가 실시간 노트 트리거 명령에 대응되는 음성 명령임을 아는 경우에, 그 정보는 사용자에 의해 미리 구성된 다른 정보일 수 있다.
실시간 노트 트리거 명령이 버튼을 통해 트리거되는 경우, 버튼은 단말 디바이스의 하드웨어 버튼, 예를 들어, 홈 버튼, 소리 조절 버튼, 전원 버튼(power button), 프로그램 조정 버튼, 새롭게 추가된 버튼일 수 있다. 도 2a에 도시된 바와 같이, 단말 디바이스는 인텔리전트 글래시즈일 수 있다. 버튼은 단말 디바이스의 사용자 인터페이스(UI)에 있는 가상 버튼일 수 있다. 만약 사용자가 미리 정의된 방식에 따라 버튼을 누르면, 단말 디바이스는 실시간 노트 트리거 명령이 수신되었는지를 판단한다. 미리 정의된 방식은 짧게 누르기, 길게 누르기, 미리 정해진 시간동안 짧게 누르기, 짤게 누르기와 길게 누르기를 번갈아 하기 등을 포함할 수 있다.
실시간 노트 트리거 명령이 제스쳐인 경우, 제스쳐는 한손 또는 두손으로 구현될 수 있다. 제스쳐는 손 흔들기, 원 그리기, 직사각형 그리기, 삼각형 그리기, 별 그리기 등을 포함할 수 있다. 단말 디바이스는 제스쳐 검출 디바이스를 이용하여 제스쳐를 검출하고 인식할 수 있다.
실시간 노트 트리거 명령이 외부의 컨트롤러로부터 오는 경우, 예를 들어, 실시간으로 물체를 촬영하는 단말 디바이스가 스타일러스 펜과 연결된 때, 단말 디바이스가 스타일러스 펜으로부터 실시간 촬영을 위한 명령을 수신하면, 단말 디바이스는 실시간으로 물체를 촬영한다. 이와 같은 연결은 물리적 연결(도 2b에 도시된 바와 같이, 단말 디바이스가 인텔리전트 글래시즈일 때)이거나 블루투스, 울트라-와이드밴드, 지그비(Zigbee), 와이파이(WiFi), 매크로 네트워크 등과 같은 이상의 네트워크들 중 적어도 하나를 통한 무선 연결일 수 있다. 명령은 적외선 명령 또는 외부의 컨트롤러에 의해 전송되는 메시지일 수 있다.
본 개시의 실시예들에서, 실시간 노트 트리거 명령은 사용되지 않을 수도 있다. 단말 디바이스는 노트 정보를 획득하기 위해 항상 실시간으로 물체를 촬영할 수 있는 상태일 수 있다.
실시간 촬영 동안, 단말 디바이스는 촬영된 물체에 사용자에 의해 만들어진 노트 정보를 획득하기 위해 촬영된 물체의 이미지를 실시간으로 분석할 필요가 있을 수 있으므로, 단말 디바이스는 촬영된 물체의 촬영된 이미지를 고속으로 처리(cache)할 수 있다.
단말 디바이스가 비디오 기능을 시작하면, 단말 디바이스는 촬영된 물체의 촬영된 비디오에서 각 이미지 프레임을 고속으로 처리하고, 사용자에 의해 만들어진 노트 정보를 획득하기 위해서 각 이미지 프레임을 실시간으로 분석할 수 있다.
단말 디바이스가 실시간 프리뷰 기능을 시작하면, 단말 디바이스의 카메라는 프리뷰 상태가 된다. 본 개시의 제 1 실시예에서, 단말 디바이스의 카메라가 프리뷰 상태일 때, 단말 디바이스는 카메라에 의해 수집된 촬영된 물체의 이미지를 고속으로 처리할 수도 있다. 단말 디바이스는 미리 정의된 고속 처리 시간 간격에 따라 카메라에 의해 수집된 촬영된 물체의 이미지를 실시간으로 처리할 수 있다. 이때, 고속 처리 시간 간격은 카메라가 촬영하기 위해 사용될 때 이미지들을 고속으로 처리하기 위한 시간 간격과 일치하거나 단말 디바이스의 처리 자원(processing resources)에 따라 구성될 수 있다. 예를 들어, 많은 중복 처리 자원들(redundant processing resources)이 있는 경우, 작은 시간 간격이 구성될 수 있다. 단말 디바이스가 적은 중복된 처리 자원들을 가지는 경우, 큰 시간 간격이 구성될 수 있다.
블록 S102에서, 단말 디바이스는 촬영된 물체에 대한 사용자의 작업 추적을 통해 촬영된 물체에 사용자에 의해 만들어진 노트 정보를 획득한다.
촬영된 물체에 대한 사용자의 작업은 추적 불가한 작업이거나 추적 가능한 작업일 수 있다. 추적 불가한 작업은 촬영된 물체에 글씨(handwriting)와 같은 흔적을 남기지 않는 작업일 수 있다. 추적 가능한 작업은 촬영된 물체에 글씨와 같은 흔적을 남기는 작업일 수 있다.
본 개시의 제 1 실시예에서, 사용자는 손가락 또는 스타일러스 펜과 같은 추적 불가한 필기 도구를 통해 촬영된 물체에 추적 불가한 작업을 수행할 수 있다. 예를 들어, 사용자는 그의 손가락 또는 스타일러스 펜을 이용하여 책내의 문자들(characters)의 라인 아래에 물결선을 그릴 수 있다. 이와 같은 그리기 작업은 촬영된 물체에 글씨와 같은 흔적을 남기지 않으므로, 추적 불가한 작업이다. 게다가, 사용자는 추적 가능한 필기 도구(연필이나 볼펜과 같은)를 이용할 때 추적 불가한 작업을 수행할 수 있다. 특히, 사용자가 촬영된 물체에 추적 가능한 필기 도구를 이용하여 노트를 할 때, 추적 가능한 필기 도구는 촬영된 물체에 닿지 않고 플로팅(floating) 상태에 있다. 이때, 사용자가 추적 가능한 필기 도구를 이용하여 촬영된 물체에 노트를 하더라도, 촬영된 물체에는 글씨와 같은 흔적이 남지 않는다. 그러므로, 이와 같은 작업은 추적 불가한 작업이다.
사용자는 추적 가능한 필기 도구(연필이나 볼펜과 같은)를 통해 촬영된 물체에 추적 가능한 작업을 수행할 수 있다. 예를 들어, 사용자는 그의 연필을 이용하여 책내의 문자들의 라인 아래에 물결선을 그릴 수 있다. 이와 같은 그리기 작업은 책에 필기와 같은 흔적을 남기므로, 추적 가능한 작업이다. 게다가, 사용자는 추적 불가한 필기 도구(손가락이나 스타일러스 펜과 같은)를 이용할 때 추적 가능한 작업을 수행할 수 있다. 특히, 촬영된 물체가 터치될 때 흔적이 생기는 재료(material)로 만들어진 경우, 사용자가 추적 불가한 필기 도구를 이용하여 노트를 하더라도, 촬영된 물체에는 흔적이 남는다. 그러므로, 이와 같은 작업은 추적 가능한 작업이다.
필기 도구는 필기면(writing surface)에 필기를 위해 사용되는 도구이다. 추적 가능한 필기 도구는 연필, 만년필, 볼펜 등을 포함한다. 추적 불가한 필기 도구는 손가락, 스타일러스 펜 등을 포함한다. 글씨는 특정 길이, 두께, 그리고 색상을 가지는 라인들 또는 필기면에 필기할 때 필기 도구에 의해 생성되는 라인들의 집합일 수 있다. 이와 같은 라인들은 직선이거나 곡선일 수 있다. 필기면은 필기 도구가 쓸 수 있는 어떠한 표면, 예를 들어, 종이가 될 수 있다. 본 개시의 실시예들에서, 필기면은 촬영된 물체의 표면 또는 화면의 표면일 수 있다.
본 개시의 제 1 실시예에서, 촬영된 물체를 실시간으로 촬영할 때, 단말 디바이스는 촬영에 의해 획득된 촬영된 물체의 이미지를 고속으로 처리하고 고속으로 처리된 이미지를 분석한다. 단말 디바이스는 실시간으로 촬영된 이미지들의 연속적인 분석을 통해 촬영된 물체에 사용자에 의해 만들어진 노트 정보를 획득할 수 있다.
1. 촬영된 물체에 대한 사용자의 작업이 추적 불가한 작업인 경우, 단말 디바이스는 필기 도구의 펜촉의 위치를 추적하고, 노트 정보를 획득하기 위해 촬영된 물체에 대한 펜촉의 작업을 검출할 수 있다. 필기 도구의 펜촉은 마킹 작업을 위해 사용되는 필기 도구의 끝, 예를 들어, 손끝, 연필끝 등일 수 있다.
제한없이, 단말 디바이스는 다음의 세 가지 방식을 통해 필기 도구의 펜촉 위치를 결정할 수 있다. 이하, 세 가지 방식을 설명한다.
펜촉 위치를 결정하는 제 1 방식에서, 필기 도구의 펜촉은 미리 등록된 필기 도구의 형태에 따라 실시간으로 촬영된 이미지로부터 인식되고, 필기 도구의 펜촉 위치는 필기 도구의 인식된 펜촉에 따라 결정된다. 연필의 형태가 미리 등록된 것을 보여주는 도 3a에 도시된 바와 같이, 직사각형 안의 영역은 연필의 펜촉이다. 스타일러스 펜의 형태가 미리 등록된 것을 보여주는 도 3b에 도시된 바와 같이, 직사각형 안의 영역은 스타일러스 펜의 펜촉이다.
펜촉 위치를 결정하는 제 2 방식에서, 촬영된 물체를 실시간으로 촬영할 때, 단말 디바이스는 필기 도구를 포함하지 않는 촬영된 물체의 이미지를 기준 이미지(reference image)로 할 수 있다. 그후, 사용자는 필기 도구를 이용하여 촬영된 물체에 노트를 할 수 있다. 단말 디바이스는 실시간으로 촬영된 현재 이미지에서 필기 도구의 펜촉을 실시간으로 인식할 수 있도록, 실시간으로 촬영된 현재 이미지를 필기 도구를 포함하지 않는 기준 이미지와 비교하고, 그후, 인식된 필기 도구의 펜촉에 따라 필기 도구의 펜촉 위치를 결정한다.
이와 같은 방식에서, 실시간으로 노트할 때, 사용자는 단말 디바이스를 이용하여 노트가 만들어지는 촬영된 물체를 먼저 촬영한다. 즉, 단말 디바이스는 필기 도구를 포함하지 않는 기준 이미지를 획득할 수 있다. 그후 사용자는 필기 도구를 이용하여 촬영된 물체에 노트를 한다. 단말 디바이스는 실시간으로 촬영된 이미지를 기준 이미지와 비교를 통해 각 이미지 프레임으로부터 필기 도구의 펜촉 위치를 검출할 수 있다.
기준 이미지는 필기 도구의 이미지를 포함하지 않는다. 사용자가 실시간 촬영 동안 필기 도구를 이용하여 촬영된 물체에 노트한 경우, 실시간 촬영에 의해 획득된 이미지는 필기 도구의 이미지를 포함한다. 이때, 기준 이미지와 비교되는 실시간으로 촬영된 이미지의 차이 부분은 필기 도구의 이미지를 포함한다. 단말 디바이스는 필기 도구의 펜촉 위치를 결정하기 위해서 추가된 차이 부분 분석을 통해 필기 도구의 펜촉을 획득할 수 있다.
구현에 있어서, 단말 디바이스는 손의 펜 잡는 자세의 도움 아래 펜촉을 인식할 수 있다. 예를 들어, 기준 이미지와 비교되는 실시간으로 촬영된 이미지의 추가된 차이 부분은 펜을 쥐고 있는 손의 이미지를 포함할 수 있다. 단말 디바이스는 위의 차이 부분으로부터 손의 쥐는 방향을 인식하고, 이 방향에 따라 펜촉 같은 물체를 찾는다. 펜촉 같은 물체가 필기 도구의 펜촉이다. 또는, 필기 과정 동안 사람들의 일반적인 펜 잡는 습관은 통계, 예를 들어, 펜의 쥐는 위치와 펜촉 간의 거리 범위 수집을 통해 획득될 수 있다. 단말 디바이스는 기준 이미지와 비교되는 실시간으로 촬영된 이미지의 추가된 차이 부분으로부터 손가락들이 펜을 쥐는 위치를 인식하고, 그후, 미리 결정된, 손가락들의 쥐는 위치와 필기 도구의 펜촉 간의 거리에 따라 필기 도구의 펜촉 위치를 획득한다. 이와 같은 방식은 펜촉을 검출하기 위한 영역을 감소시키고 필기 도구의 펜촉의 성공적인 인식이 가능하게 한다.
펜촉 위치를 결정하는 제 3 방식에서, 스마트 팔찌나 스마트 시계와 같은 웨어러블 디바이스가 펜촉 위치의 위치 잡이를 도와주는데 이용될 수 있다. 예를 들어, 사용자 A의 펜 잡는 습관은 사용자의 손목의 스마트 팔찌 또는 스마트 시계와 같은 웨어러블 디바이스의 위치가 펜촉으로부터 7cm의 거리를 가지고, 손목과 쓰기 면 간의 각도가 35도임이 검출될 수 있다. 필기 과정 동안, 손목은 오른쪽으로 이동한다. 따라서, 스마트 팔찌 또는 스마트 시계와 같은 웨어러블 디바이스의 위치가 검출된 후, 쓰기 면에 대한 펜촉의 위치가 결정될 수 있다.
이상의 방식들을 통해, 단말 디바이스는 도 4a 및 도 4b에 도시된 바와 같이 실시간 촬영을 통해 획득된 촬영된 물체의 각 이미지 프레임에서 필기 도구의 펜촉 위치를 결정할 수 있고, 촬영된 물체에 사용자에 의해 만들어진 노트 정보를 획득하기 위해서 각 이미지 프레임에서 필기 도구의 펜촉 위치 추적을 통해 촬영된 물체에 대한 펜촉의 작업을 검출 할 수 있다. 단말 디바이스는 촬영된 이미지 분석을 통해 필기 도구의 펜촉 위치를 획득한다. 펜촉 위치는 촬영된 물체의 촬영된 이미지에서 필기 도구의 펜촉의 위치이므로, 단말 디바이스의 화면에 디스플레이될 때 펜촉의 위치로 여겨질 수 있다. 이와 같은 위치는 단말 디바이스의 화면에 디스플레이된 때 펜촉의 픽셀들의 좌표들일 수 있다.
본 개시의 제 1 실시예에서, 사용자들이 필기 도구를 이용하여 촬영된 물체에 노트할 때, 필기 도구의 펜촉의 이동 궤적 내에서 궤적 부분 또는 일부 궤적 점들은 촬영된 물체에 대한 펜촉의 작업에 대응된다. 예를 들어, 사용자는 필기 도구를 이용하여 촬영된 물체의 문자들의 N번째 라인 아래에 물결선을 그리고, 그후 문자들의 M 번째 라인 아래까지 필기 도구의 펜촉을 이동시켜, 문자들의 M번째 라인 아래에 물결선을 그린다. 이동 궤적으로부터, 문자들의 N번째 라인 아래에서 작업과 문자들의 M번째 라인 아래에서 작업은 촬영된 물체에 대한 작업이라고 보여진다. N번째 라인부터 M번째 라인까지의 펜촉의 이동 작업은 촬영된 물체에 대한 작업이 아니다. 그러므로, 필기 도구의 펜촉의 이동 궤적에서, 단지 문자들의 N번째 라인 아래에 물결선 그리기의 궤적 부분과 문자들의 M번째 라인 아래에 물결선 그리기의 궤적 부분이 촬영된 물체에 대한 펜촉의 작업에 대응된다.
이상의 관점에서, 촬영된 물체에 대한 펜촉의 작업을 검출할 때, 단말 디바이스는 펜촉의 이동 궤적으로부터 촬영된 물체에 대한 펜촉의 작업에 대응되는 궤적 부분 또는 궤적 점들을 인식하는 것이 필요하다. 본 개시의 제 1 실시예에서, 사용자가 필기 도구를 이용하여 촬영된 물체에 작업을 수행할 때, 단말 디바이스는 펜촉의 필기 시작 위치와 필기 종료 위치를 인식할 수 있고, 시작 위치와 필기 종료 위치에 따라 촬영된 물체에 대한 펜촉의 작업에 대응되는 궤적 부분 또는 궤적 점들을 획득할 수 있다. 단말 디바이스는 펜촉의 필기 시작을 검출한 후에 펜촉의 현재 위치를 필기 시작 위치로 할 수 있고, 펜촉의 위치를 추적할 수 있다. 단말 디바이스는 실시간 촬영을 통해 획득된 각 이미지 프레임을 분석할 수 있고, 각 이미지 프레임에서 펜촉 위치를 결정할 수 있다. 펜촉의 필기 종료가 검출된 후에, 펜촉의 현재 위치는 필기 종료 위치가 된다. 이때, 촬영된 물체에 대한 펜촉의 하나의 작업이 종료된 것으로 여겨진다. 단말 디바이스는 다음 번의 필기 시작이 검출되지 않는 한, 펜촉의 위치를 더 이상 추적하지 않을 수 있다. 이상에서의 필기 시작 위치는 촬영된 물체에 대한 펜촉의 작업에 대응되는 궤적 부분 또는 궤적 점들의 시작 지점이다. 이상에서의 필기 종료 위치는 촬영된 물체에 대한 펜촉의 작업에 대응되는 궤적 부분 또는 궤적 점들의 종료 지점이다.
펜촉 위치를 추적할 때, 단말 디바이스는 소정의 시간 간격마다 펜촉의 현재 위치를 기록할 수 있거나 펜촉이 미리 정의된 거리를 넘어갈 때마다 펜촉의 현재 위치를 기록할 수 있다. 따라서, 단말 디바이스는 필기 시작 위치와 필기 종료 위치 간의 몇몇의 궤적 점들의 위치들을 획득할 수 있다. 촬영된 물체에 대한 펜촉의 작업에 대응되는 궤적 부분 또는 궤적 점들은 필기 시작 위치, 필기 종료 위치, 및 몇몇의 궤적 점들의 위치들에 따라 획득될 수 있다. 필기 시작 위치, 필기 종료 위치, 및 몇몇의 궤적 점들의 위치들은 화면에 디스플레이된 위치들, 예를 들어, 화면에 디스플레이된 픽셀들의 좌표일 수 있다.
더욱이, 본 개시의 제 1 실시예에서, 단말 디바이스는 제스쳐 인식 방식을 통해 펜촉의 필기 시작과 필기 종료를 검출할 수 있다. 특히, 필기 시작과 필기 종료는 사전에 정의될 수 있다. 사용자는 펜촉을 이용한 필기 전에 사전에 정의된 필기 시작 행위(action)를 수행할 수 있다. 필기 시작 행위를 검출 후, 단말 디바이스는 필기가 시작되었음을 결정하고, 펜촉의 현재 위치를 필기 시작 위치로 할 수 있다. 그 후, 단말 디바이스는 펜촉의 위치를 추적한다. 필기 종료 후, 단말 디바이스는 필기 종료를 결정하고, 필기 종료 행위 전의 펜촉의 위치를 필기 종료 위치로 할 수 있다.
예를 들어, 미리 정의된 필기 시작 행위는 사용자에 의해 공중에 원 그리기일 수 있고, 필기 종료 행위는 사용자에 의해 공중에 삼각형 그리기일 수 있다. 사용자가 문자들의 특정 라인 아래에 물결선을 그리고자 할 때, 물결선 그리기 시작 전에, 사용자는 공중에 원을 그릴수 있다. 단말 디바이스는 원을 그리는 사용자 행위를 검출한 후 필기 시작을 결정할 수 있고, 펜촉의 현재 위치(즉, 사용자가 공중에 원을 그린 후 펜촉의 위치)를 필기 시작 위치로 할 수 있다. 단말 디바이스는 펜촉의 위치를 추적한다. 사용자가 물결선을 그린 후, 사용자는 공중에 삼각형을 그릴 수 있다. 삼각형을 그리는 행위를 검출 후, 단말 디바이스는 필기가 종료되었음을 결정하고, 삼각형을 그리기 전의 펜촉의 위치를 필기 종료 위치로 할 수 있다. 이상의 필기 시작 위치, 필기 종료 위치, 및 몇몇의 궤적 점들의 위치들은 펜촉 위치를 추적할 때 단말 디바이스에 의해 기록될 수 있고, 촬영된 물체 위의 펜촉에 의해 그려진 물결선의 위치가 획득될 수 있다.
사용자는 다른 필기 시작 행위와 필기 종료 행위를 구성할 수도 있고, 같은 필기 시작 행위와 필기 종료 행위를 구성할 수도 있다. 이때, 단말 디바이스는 (2n+1)번째 시간 동안 미리 정의된 행위를 검출할 때 필기가 시작됐다는 것을 결정할 수 있고, (2n+2)번째 시간 동안 미리 정의된 행위를 검출할 때 필기가 끝났다는 것을 결정할 수 있다. 이때, n은 0 또는 양의 정수일 수 있다.
2. 촬영된 물체에 대한 사용자의 작업이 추적 불가한 작업인 경우, 단말 디바이스는 이하 두 가지 방식에 제한되지 않고 촬영된 물체에 사용자에 의해 만들어진 노트 정보를 획득할 수 있다.
제 1 획득 방식에서, 필기 도구의 펜촉 위치는 추적되고, 노트 정보를 획득하기 위해 촬영된 물체에 대한 펜촉의 작업이 검출된다. 필기 도구의 펜촉은 마킹 작업을 위해 사용되는 필기 도구의 끝, 예를 들어, 손끝, 연필끝 등일 수 있다.
사용자가 촬영된 물체에 대해 추적 가능한 작업을 수행할 때 필기 도구의 펜촉 위치 추적을 통해 단말 디바이스가 노트 정보를 획득하는 방식은 촬영된 물체에 대해 추적 불가한 작업을 수행할 때의 방식과 같으며, 이하 반복하지 않는다.
제 2 획득 방식에서, 단말 디바이스는 촬영 도구에 의해 촬영된 현재 이미지 프레임의 증분의 정보를 검출할 수 있고 증분의 정보에 따라 촬영된 물체에 사용자에 의해 만들어진 노트 정보를 결정할 수 있다. 특히, 단말 디바이스는 이하 두 방식 중 어느 하나를 통해 촬영된 물체 위에 노트 정보를 획득할 수 있다.
(1) 현재의 이미지 프레임은 이전의 이미지 프레임과 비교되고, 이전의 이미지 프레임과 비교된 현재 이미지 프레임의 증분의 정보를 결정하며, 현재 이미지 프레임의 증분의 정보는 촬영된 물체에 대한 노트 정보를 획득하기 위해 조합된다.
본 개시의 제 1 실시예는, 단말 디바이스가 글씨 색상에 따라 현재 이미지 프레임의 증분의 정보를 검출할 수 있다. 일 구현예에서, 단말 디바이스는 사전에 등록된 필기 도구의 글씨 색상 정보에 따라 이전의 이미지 프레임과 비교된 현재 이미지 프레임의 증분의 정보를 조회할 수 있다.
예를 들어, 필기 도구의 글씨 색상이 사전에 빨간색으로 등록된다. 이전의 이미지 프레임과 비교하여, 빨간색의 "good"이라는 콘텐트가 현재 이미지 프레임에 추가된다. 단말 디바이스는 빨간색의 "good"이라는 글씨를 사용자의 노트 정보로 할 수 있다.
실제 응용에 있어서, 이진화 방식은 현재 이미지 프레임으로부터 증분의 정보를 조회하는데 이용될 수 있다. 예를 들어, 현재 이미지 프레임에서 필기 도구의 글씨 색상 정보와 같은 색상의 픽셀은 1로 식별하고, 다른 픽셀들은 0으로 식별한다. 사용자의 노트 정보를 획득하기 위해서, 현재 이미지의 이진화된 이미지내에 1로 식별된 모든 픽셀이 조회되고, 기준 이미지 프레임과 비교된 현재 이미지 프레임의 증분의 정보로 될 수 있다.
이 실시예에서, 증분의 정보는 글씨 색상 정보에 따라 조회되므로, 사용자에 의해 만들어진 노트가 촬영된 물체의 콘텐트와 차별화되는 경우에만, 사용자는 기존의 필기 도구를 이용하여 촬영된 물체에 필기할 수 있다. 이것은 단말 디바이스가 사용자의 노트 정보를 인식하는 것을 가능하게 하고 사용자의 경험을 향상시킨다.
본 개시의 제 1 실시예에서, 각 이미지 프레임을 분석할 때, 단말 디바이스가 이전의 이미지 프레임과 비교된 현재 이미지 프레임의 증분의 정보를 획득하면, 단말 디바이스는 현재 이미지 프레임의 노트 정보를 획득하기 위해, 증분의 정보를 이전의 이미지 프레임을 분석할 때 조합을 통해 획득된 노트 정보와 결합할 수 있다. 다시 말해서, 각 이미지 프레임에 대하여, 단말 디바이스는 실시간 노트 정보를 획득하기 위해서, 증분의 정보를 조회하는 것과 노트를 결합하는 것을 포함하는 작업을 수행하는 것이 필요하다. 도 5a에서, t번째 이미지 프레임을 분석할 때 단말 디바이스에 의해 획득된 노트 정보를 보여준다. 증분의 정보를 도 5a에 도시된 바와 같은 노트 정보와 결합을 통해, 도 5c에 도시된 바와 같은 (t+1)번째 이미지 프레임의 노트 정보가 획득된다.
게다가, 단말 디바이스는 사용자의 현재 노트 정보를 획득하기 위해 이러한 이미지 프레임들의 증분의 정보를 획득한 후 몇몇의 이미지 프레임들의 증분의 정보를 조합할 수도 있다. 단말 디바이스는 촬영된 물체에 사용자에 의해 만들어진 노트 정보를 획득하기 위해 몇몇의 이미지 프레임들의 증분의 정보의 시간 순서에 따라 각 이미지 프레임의 증분의 정보를 차례차례 결합할 수 있다.
증분의 정보의 시간 순서는 이미지 프레임을 분석할 때 각 이미지 프레임의 타임스탬프를 기록하고 각 이미지 프레임의 타임스탬프에 따라 다양한 이미지 프레임들의 증분의 정보 간의 시간 순서 관계를 결정함으로써 획득될 수 있다.
도 5d에 도시된, 각각의 직사각형은 이미지 프레임을 나타낸다. 사용자는 왼쪽에서 오른쪽으로 쓴다. 단말 디바이스는 시간 순서대로 다수의 이미지 프레임들을 획득하기 위해 왼쪽에서 오른쪽으로 촬영하고 각 이미지 프레임의 타임스탬프를 기록한다. 예를 들어, 왼쪽에서 첫번째 프레임의 타임스탬프는 2014년 10월31일 14:10:04로 기록되고, 왼쪽에서 두번째 프레임의 타임스탬프는 2014년 10월 31일 14:10:06으로 기록된다. 이와 같이 모든 이미지 프레임들의 타임스탬프가 획득된다. 그후, 이미지 프레임들의 타임스탬프의 순서에 따라, 이미지 프레임들의 증분의 글씨가 결합된다.
게다가, 증분의 정보의 시간 순서는 상대적인 정보에 의해 표시될 수 있다. 예를 들어, 도 5d의 다양한 이미지 프레임들에 대하여, 사용자는 왼쪽에서 오른쪽으로 쓴다. 단말 디바이스는 시간 순서대로 다수의 이미지 프레임들을 왼쪽에서 오른쪽으로 촬영한다. 단말 디바이스는 이미지 프레임들의 인덱스의 오름 차순 또는 내림 차순에 따라 왼쪽에서 오른쪽으로 각 이미지 프레임의 시간 순서 정보를 기록할 수 있다. 예를 들어, 왼쪽에서 첫번째 이미지 프레임의 인덱스가 1로 기록되고, 왼쪽에서 두번째 이미지 프레임의 인덱스가 2로 기록될 수 있다. 모든 이미지 프레임의 타임스탬프가 획득된다. 그후, 인덱스에 표시된 이미지 프레임의 순서에 따라, 각 이미지 프레임의 증분의 글씨가 결합된다.
(2) 현재의 이미지 프레임이 최초의 이미지 프레임과 비교되고, 최초의 이미지 프레임과 비교된 현재 이미지 프레임의 증분의 정보를 촬영된 물체에 대한 노트 정보로 할 수 있다. 최초의 이미지 프레임은 단말 디바이스에 의해 실시간으로 촬영된, 촬영된 물체의 첫번째 이미지 프레임일 수 있다.
단말 디바이스는 글씨 색상 정보에 따라 최초의 이미지 프레임과 비교된 현재 이미지 프레임의 증분의 이미지를 검출할 수 있다. 상세한 검출 방식은 방식 (1)과 유사하므로 이하 기술하지 않는다.
블록 S102를 통해 이상에서 본 대로, 단말 디바이스는 촬영 과정동안 촬영된 물체에 사용자에 의해 만들어진 노트 정보, 즉, 노트 정보의 콘텐트뿐만 아니라 사용자가 촬영된 물체의 이미지내에 노트 정보를 만든 위치, 즉, 촬영된 물체의 이미지에서 노트 정보의 절대적인 위치까지도 획득한다. 예를 들어, 촬영된 물체는 책이다. 사용자는 현재 페이지에 문자들의 특정 라인 아래에 물결선을 그린다. 블록 S102를 통해, 단말 디바이스는 현재 페이지에 사용자에 의해 만들어진 노트 정보가 물결선임을 알 수 있고, 물결선의 라인 두께와 색상과 같은 정보를 알 수 있다. 단말 디바이스는 현재 촬영된 이미지에서 사용자에 의해 그려진 물결선의 각 궤적 점의 위치를 획득할 수도 있다.
블록 S103에서, 단말 디바이스는 촬영된 물체와 획득한 노트 정보를 연관 지어 디스플레이한다.
단말 디바이스가 촬영된 물체를 실시간으로 촬영할 때, 사용자는 필기 도구를 이용하여 촬영된 물체에 노트를 한다. 단말 디바이스는 실시간으로 획득한 노트 정보를 화면에 디스플레이하는 것이 필요하다. 동시에, 단말 디바이스는 실시간으로 촬영된, 촬영된 물체의 이미지를 화면에 디스플레이하는 것이 필요하다. 그러므로, 단말 디바이스는 촬영된 물체와 노트 정보를 연관 지어 디스플레이하는 것이 필요하다.
도 6은 사용자가 촬영된 물체에 직접 노트하는 예를 설명하는 개략도이다. 사용자는 손가락과 같은 필기 도구를 이용하여 책에 노트를 할 수 있음을 알 수 있다. 단말 디바이스는 촬영된 물체의 콘텐트와 노트 정보를 연관지어 화면에 디스플레이한다.
제 2 실시예 (Embodiment 2)
본 개시의 제 2 실시예는 화면에 대한 사용자의 실시간 작업들의 추적을 통해 촬영된 물체의 이미지에 노트 정보를 입력하는 과정을 설명한다. 도 7에 도시된 바와 같이, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법은 다음의 블록 S701 내지 S703을 포함한다.
블록 S701에서, 단말 디바이스는 촬영된 물체를 실시간으로 촬영한다.
단말 디바이스는 실시간 노트 트리거 명령을 수신 후 카메라와 같은 카메라 툴(tool)의 카메라 기능을 실행할 수 있다. 실시간 노트 트리거 명령의 트리거 방식은 제 1 실시예의 것과 유사하며, 이하 반복하지 않는다.
블록 S702에서, 단말 디바이스는 화면에 대한 사용자의 작업 추적을 통해 촬영된 물체에 사용자에 의해 만들어진 노트 정보를 획득할 수 있다.
화면에 대한 사용자의 작업은 손가락 또는 스타일러스 펜을 통해 사용자에 의해 수행된 작업을 포함할 수 있다. 예를 들어, 단말 디바이스는 책을 실시간으로 촬영하고, 현재의 촬영된 이미지는 화면에 실시간으로 디스플레이된다. 사용자는 화면에 표시된 문자들의 특정 라인 아래에 물결선을 그리기 위해 그의 손가락 또는 스타일러스 펜을 슬라이드한다. 단말 디바이스는 화면에 대한 사용자의 슬라이드 작업을 획득할 수 있다.
특히, 단말 디바이스는 화면에 대한 사용자의 손가락 또는 스타일러스펜의 작업을 검출 후, 단말 디바이스는 손가락 또는 스타일러스 펜의 이동 궤적에 따라 촬영된 물체에 사용자에 의해 만들어진 노트 정보를 획득한다. 단말 디바이스에 의해 화면에 대한 손가락 또는 스타일러스 펜의 작업의 검출은 종래 기술의 것과 유사하며 이하 설명하지 않는다.
사용자가 화면에 노트를 할 때, 사용자는 노트의 색상 또는 라인 두께를 선택할 수 있다. 단말 디바이스는 사용자의 선택에 따라 화면에 노트 정보를 표시한다. 게다가, 노트의 라인 두께와 글씨 색상과 같은 정보는 사용자가 필기 도구를 사용하는 압력에 따라 결정될 수도 있다. 예를 들어, 단말 디바이스가 압력 센서를 통해 화면에 대한 사용자의 필기 도구의 압력이 상대적으로 크다는 것을 검출하면, 단말 디바이스는 사용자의 글씨는 상대적으로 두껍고 색상은 상대적으로 어두움을 결정할 수 있다. 단말 디바이스가 압력 센서를 통해 사용자의 필기 도구의 압력이 상대적으로 작다는 것을 검출하면, 단말 디바이스는 글씨는 상대적으로 가늘고 색상은 상대적으로 밝음을 결정할 수 있다.
화면에 대한 사용자의 작업 검출을 통해, 단말 디바이스는 필기 도구를 통해 화면에 사용자에 의해 만들어진 노트 정보, 즉, 노트 정보의 콘텐트를 획득할 수 있을 뿐만 아니라, 촬영된 물체의 이미지에서 노트 정보의 위치, 즉, 화면에 디스플레이될 때 노트 정보의 위치도 획득할 수 있다. 이와 같은 위치는 노트 정보가 단말 디바이스의 화면에 디스플레이될 때 각각의 대응 궤적 점의 픽셀 좌표일 수 있다.
예를 들어, 사용자가 단말 디바이스를 이용하여 책을 실시간으로 촬영할 때, 실시간으로 촬영된 현재 페이지의 콘텐트는 화면에 디스플레이된다. 사용자는 그의 손가락을 이용하여 화면에 표시된 문자들의 특정 라인 아래에 물결선을 그릴 수 있다. 단말 디바이스는 화면에 대한 손가락의 이동 궤적을 실시간으로 검출한다. 단말 디바이스는 화면에 사용자에 의해 만들어진 노트 정보가 물결선임을 알 수 있고, 물결선의 색상과 라인 두께와 같은 정보도 알 수 있다. 단말 디바이스는 현재 촬영된 이미지에서 사용자에 의해 그려진 물결선의 각 궤적 점의 위치도 알 수 있다.
블록 S703에서, 단말 디바이스는 촬영된 물체와 획득한 노트 정보를 연관 지어 디스플레이한다.
단말 디바이스가 실시간으로 촬영할 때, 사용자는 필기 도구를 이용하여 화면에 노트한다. 단말 디바이스는 실시간으로 획득된 노트 정보를 화면에 디스플레이하는 것이 필요하다. 동시에, 단말 디바이스는 실시간으로 촬영된, 촬영된 물체의 이미지를 화면에 디스플레이하는 것이 필요하다. 그러므로, 단말 디바이스는 촬영된 물체와 노트 정보를 연관 지어 디스플레이하는 것이 필요하다.
도 8은 사용자가 단말 디바이스의 화면에 노트한 예를 설명하는 개략도이다. 단말 디바이스가 실시간으로 촬영할 때, 사용자는 손가락과 같은 필기 도구를 이용하여 화면에 노트한다. 단말 디바이스는 촬영된 물체의 콘텐트와 노트 정보를 연관지어 화면에 디스플레이한다.
제 3 실시예(Embodiment 3)
본 개시의 제 3 실시예에서, 노트 정보를 획득할 때, 단말 디바이스는 촬영된 물체에 대한 노트 정보의 위치와 노트 정보의 콘텐트를 각각 결정할 수 있고, 그후 촬영된 물체에 대한 노트 정보의 위치와 노트 정보의 콘텐트에 따라 촬영된 물체에 대한 노트 정보를 획득할 수 있다. 도 9에 도시된 바와 같이, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법은 다음의 블록 S901 내지 S904를 포함한다.
블록 S901에서, 단말 디바이스는 촬영된 물체에 대한 노트 정보의 위치를 결정한다.
단말 디바이스는 다음의 두 가지 방식 중 어느 하나를 통해 촬영된 물체에 대한 노트 정보의 위치를 결정할 수 있다.
위치를 결정하는 제 1 방식에서, 사용자는 노트 하기 위한 위치를 선택하기 위해서, 필기 도구로 촬영된 물체 또는 단말 디바이스의 화면에 대해 노트 위치 선택 작업을 수행할 수 있다. 이와 같은 위치는 위치 점(position point) 또는 로컬 영역일 수 있다.
실시예에서, 촬영된 물체에 필기 도구로 사용자에 의해 수행된 작업은 추적 가능한 작업 또는 추적 불가한 작업일 수 있다.
단말 디바이스는 다음의 적어도 하나를 통해 로컬 영역을 선택할 수 있다.
제 1 구현에서(in a first implementation), 사용자는 커서 드래깅을 통해 로컬 영역을 선택할 수 있다. 예를 들어, 사용자는 화면에 길게 누르기(long press) 작업을 수행할 수 있다. 길게 누르기 작업 검출 후, 단말 디바이스는 길게 누르기 작업의 커서의 시작과 끝 좌표를 결정하고, 커서의 시작과 끝 좌표 간의 콘텐트를 사용자에 의해 선택된 콘텐트로 결정할 수 있다. 이러한 로컬 영역 선택 방식은 종래 기술에서 텍스트 선택 방식과 유사하다. 양자 모두 커서 드래깅을 통해 선택을 실현한다.
제 2 구현에서, 위치 점 또는 로컬 영역은 사용자의 클릭 작업을 통해 선택될 수 있다. 예를 들어, 사용자는 화면에 디스플레이된 콘텐트 내에 싱글 클릭 작업(즉, 화면을 한번 클릭)을 수행할 수 있다. 싱글 클릭 작업 수신 후, 단말 디바이스는 좌표 평면에서 싱글 클릭 이벤트의 클릭 점을 결정하고, 좌표 평면에서의 그 점은 선택된 위치 점이다. 또는, 사용자는 화면에 디스플레이된 콘텐트 내에 더블 클릭 작업(즉, 화면을 두번 클릭)을 수행할 수 있다. 더블 클릭 작업 수신 후, 단말 디바이스는 더블 클릭 이벤트의 클릭 좌표들이 속한 문자를 결정하고, 문자가 속한 문장이 선택된 로컬 영역의 콘텐트로서 선택된다. 또는, 사용자는 화면에 디스플레이된 콘텐트 내에 트리플 클릭 작업(즉, 화면을 세번 클릭)을 수행할 수 있다. 트리플 클릭 작업 수신 후, 단말 디바이스는 트리플 클릭 이벤트의 클릭 좌표들이 속한 문자를 결정하고, 문자가 속한 단락(paragraph)을 선택된 로컬 영역의 콘텐트로 한다.
제 3 구현에서, 사용자는 영역 선택 프레임의 에지들 드래깅을 통해, 로컬 영역을 선택할 수 있다. 영역 선택 프레임은 직사각형, 오각형, 원 또는 다른 형태들일 수 있다.
제 4 구현에서, 로컬 영역은 사용자의 슬라이드 작업을 통해 선택될 수 있다. 예를 들어, 사용자는 필기 도구로 화면에 원을 그린다. 단말 디바이스는 슬라이드 작업을 검출하고, 그후 슬라이드 작업에 의해 둘러진 영역을 사용자에 의해 선택된 로컬 영역으로 결정한다.
본 개시의 제 3 실시예에서, 단말 디바이스는 상기의 방식으로 사용자에 의해 선택된 로컬 영역을 노트가 만들어지는 로컬 영역으로 바로 할 수 있다.
게다가, 단말 디바이스는 레이아웃 정보를 획득하기 위해 실시간으로 촬영된, 촬영된 물체의 이미지에 문자 인식을 수행할 수 있고, 선택된 로컬 영역을 조정하며, 조정된 영역을 노트가 만들어지는 로컬 영역으로 결정할 수 있다.
이미지에 대한 문자 인식을 통해 획득되는 레이아웃 정보는 텍스트 영역의 단락들과 라인들의 좌표들, 단락들과 라인들의 순서, 각 문자의 좌표들, 그래프 영역의 좌표와 텍스트 주위의 모드(text surrounding mode), 그리고 배경, 페이지 마진, 단락 간격, 줄 간격, 문자 간격, 정렬 방식(alignment manner) 등을 포함한다. 이미지에 대한 문자 인식은 본 개시의 제 4 실시예를 참조하여 이하에서 상세히 설명한다.
특히, 사용자에 의해 선택된 로컬 영역 검출 후, 단말 디바이스는 위의 레이아웃 정보에 따라 선택된 로컬 영역이 완전한 문장 또는 단락을 포함하는지 아닌지 결정한다. 만약 아니라면, 단말 디바이스는 조정된 로컬 영역이 완전한 문장 또는 단락을 포함하도록 선택된 로컬 영역을 조정한다.
도 10a는 사용자에 의해 선택된 로컬 영역들을 보여준다. 도 10b는 단말 디바이스가 레이아웃 정보에 따라 도 10a에서 보여준 로컬 영역을 조정한 후 조정된 로컬 영역을 보여준다.
본 개시의 제 3 실시예에서, 사용자에 의해 선택된 로컬 영역은 어떠한 형태, 즉, 직사각형, 오각형, 자유로 그려진 불규칙 폐쇄 영역 등이 될 수 있다. 단말 디바이스에 의한 조정 후 조정된 로컬 영역은 직사각형, 오각형 등이 될 수 있다.
노트가 만들어지는 로컬 영역 결정 후, 단말 디바이스는 배경 색상 추가 또는 프레임 추가를 통해 로컬 영역에서 정보를 강조한다. 사용자는 그가 선택하기 원한 일부 콘텐트가 선택되어 지지 않았거나 그가 선택하고 싶지 않은 일부 컨텐트가 선택되었음을 알게 된 경우, 사용자는 지정된 영역의 프레임의 위치 드래깅을 통해 로컬 영역을 조절할 수 있다.
위치를 결정하기 위한 두 번째 방식에서, 촬영된 물체 위의 노트 정보의 위치는 입력된 음성에 대한 음성 인식 수행 후에 출력된 정보에 따라 결정된다. 음성에 대한 음성 인식 수행 후에 출력된 정보는 텍스트 정보 또는 텍스트 정보에 대해 의미 분석을 수행한 후의 정보일 수 있다.
단말 디바이스를 이용하여 촬영된 물체를 실시간으로 촬영할 때, 사용자는 노트 정보와 관련된 어떤 음성을 입력할 수 있다. 본 개시의 제 3 실시예에서, 단말 디바이스는 촬영된 물체를 실시간으로 촬영하기 위한 단말 디바이스와 오디오 데이터를 수집하기 위한 단말 디바이스는 같거나 다른 디바이스들일 수 있다.
단말 디바이스가 마이크로폰과 같은 오디오 데이터를 수집할 수 있는 디바이스를 포함하는 경우, 단말 디바이스는 촬영된 물체를 실시간으로 촬영할 때 오디오 데이터를 실시간으로 수집할 수 있고, 오디오 데이터로부터 사용자에 의해 입력된 음성을 조회할 수 있다. 예를 들어, 사용자 A는 노트가 만들어지는 촬영된 물체를 스마트 폰을 이용하여 실시간으로 촬영하고 스마트 폰을 사용하여 실시간으로 오디오 데이터를 수집한다.
단말 디바이스가 비디오 기능을 이용하여 촬영된 물체를 실시간으로 촬영할 때, 단말 디바이스는 촬영된 물체의 이미지를 수집하는 것이 필요하고 마이크로폰과 같은 디바이스를 통해 오디오 데이터도 수집하는 것이 필요하다. 단말 디바이스는 카메라 기능을 이용하여 촬영된 물체를 실시간으로 촬영할 때, 카메라는 실시간 프리뷰 상태이다. 동시에, 사용자는 단말 디바이스에 오디오 데이터를 수집할 것을 명령하는 것이 필요하다. 본 개시의 제 3 실시예에서, 사용자는 오디오 데이터 수집 트리거 명령을 통해 오디오 데이터를 수집하는 것을 시작하기 위해 단말 디바이스를 트리거할 수 있다.
단말 디바이스는 다른 디바이스와 연결될 수 있다. 단말 디바이스가 촬영된 물체를 실시간으로 촬영할 때, 연결된 다른 디바이스는 오디오 데이터를 실시간으로 수집하고 수집된 오디오 데이터를 단말 디바이스에 전송한다. 단말 디바이스는 오디오 데이터로부터 사용자에 의해 입력된 음성을 조회한다. 또는, 연결된 다른 디바이스는 수집된 오디오 데이터로부터 사용자에 의해 입력된 음성을 조회하고 조회된 음성을 단말 디바이스에 전송한다. 예를 들어, 사용자 A는 인텔리전트 글래시즈와 스마트 폰 모두를 가진다. 그는 인텔리전트 글래시즈를 이용하여 촬영된 물체를 실시간으로 촬영할 수 있고 스마트 폰을 이용하여 오디오 데이터를 수집한다. 동시에, 스마트 폰은 수집된 오디오 데이터를 인텔리전트 글래시즈에 실시간으로 전송한다.
본 개시의 제 3 실시예에서, 실시간 촬영을 위한 단말 디바이스와 오디오 데이터를 수집하기 위한 단말 디바이스가 다른 디바이스인 경우, 사용자는 오디오 수집 트리거 명령을 통해 오디오 데이터 수집을 시작하기 위해 오디오 데이터를 수집하기 위한 단말 디바이스를 트리거할 수 있다.
이하 오디오 수집 트리거 명령에 의해 오디오 데이터 수집을 트리거하는 방식에 대하여 설명한다.
오디오 수집 트리거 명령은 다양한 방식으로 생성될 수 있다. 이와 같은 방식은 음성, 버튼, 제스쳐, 증강 현실의 사람과 컴퓨터 상호작용 인터페이스, 및 외부의 콘트롤러(예를 들어, 인텔리전트 글래시즈에 관련된 휴대폰과 같은 외부 제어 기능을 갖는 디바이스) 중 적어도 하나를 포함할 수 있다.
예를 들어, 사용자가 "소리 기록 시작(start sound recording)" 음성 명령을 내리면, 음성 명령 수신 후, 단말 디바이스는 음성 명령이 오디오 수집 트리거 명령이라는 것을 결정할 수 있도록, 음성 명령을 인식하고, 오디오 데이터를 수집한다. 단말 디바이스는 음성 명령과 오디오 수집 트리거 명령 간에 대응되는 관계를 저장할 수 있다. 예를 들어, "소리 기록 시작해(start sound recording)", "소리 기록을 시작한다(sound recordings starts)", "음성 기록해(record voice)", 및 다른 중국어 또는 영어 명령들 또는 다른 언어로된 명령어들과 같은 이상의 음성 명령은 대응 테이블을 통해 오디오 수집 트리거 명령에 연관될 수 있다. 물론, 음성 명령은 이상의 예들에 제한되지 않는다. 사용자와 단말 디바이스가 오디오 수집 트리거 명령에 대응되는 음성 명령임을 아는 경우에는, 음성 명령은 사전에 사용자에 의해 구성된 다른 정보일 수 있다.
다른 예를 들어, 오디오 수집 트리거 명령이 버튼으로 트리거되면, 버튼은 단말 디바이스 상의 하드웨어 버튼, 예를 들어, 홈 버튼, 소리 조절 버튼, 전원 버튼, 프로그램 조정 버튼, 새롭게 추가된 버튼, 또는 단말 디바이스 상의 가상 버튼일 수 있다. 가상 버튼은 마이크로폰 아이콘 또는 음성 노트 아이콘 등일 수 있다. 사용자가 미리 정의된 방식에 따라 버튼을 클릭하면, 단말 디바이스는 오디오 수집 트리거 명령이 수신됨을 결정한다. 미리 정의된 방식은 짧게 누르기, 길게 누르기, 미리 정해진 시간동안 짧게 누르기, 짤게 누르기와 길게 누르기를 번갈아 하기 등을 포함할 수 있다.
또 다른 예를 들어, 오디오 수집 트리거 명령이 제스쳐에 의해 입력되는 경우, 제스쳐는 한 손 또는 두손으로 행해질 수 있다. 제스쳐는 손 흔들기, 원 그리기, 직사각형 그리기, 삼각형 그리기 등을 포함할 수 있다. 단말 디바이스는 제스쳐 검출 디바이스를 이용하여 제스쳐를 검출하고 인식할 수 있다.
실시간 촬영을 위한 단말 디바이스와 오디오 데이터 수집을 위한 단말 디바이스가 다른 디바이스이면, 실시간 촬영을 위한 단말 디바이스는 오디오 수집 트리거 명령을 수신 후 실시간으로 오디오 데이터 수집을 시작하는 것을 오디오 데이터 수집을 위한 단말 디바이스에 명령할 수 있다. 실시간 촬영을 위한 단말 디바이스와 오디오 데이터 수집을 위한 단말 디바이스 간의 연결은 물리적 연결이거나 블루투스, 울트라-와이드밴드, 지그비(Zigbee), 와이파이(WiFi), 매크로 네트워크 등과 같은 이상의 네트워크들 중 적어도 하나를 통한 무선 연결일 수 있다.
추가로, 오디오 수집 트리거 명령은 사용되지 않을 수 있다. 오디오 데이터를 수집하기 위한 단말 디바이스가 항상 오디오 데이터를 수집하는 상태일 수 있다.
본 개시의 제 3 실시예에서, 사용자는 입력된 음성에서 노트 정보의 위치, 즉, 노트가 만들어진 촬영된 물체의 위치를 나타낼 수 있다. 단말 디바이스는 사용자에 의해 입력된 음성을 획득한 후 입력된 음성에 음성 인식을 수행하고, 인식된 정보에 대해 의미 분석을 수행하며, 의미 분석 결과에 따라 음성을 통해 사용자에 의해 나타난 촬영된 물체 위에 노트 정보의 위치를 결정한다.
예를 들어, 사용자는 단말 디바이스에 "'현재 스마트 폰은 일반적으로 터치 스크린 기술을 채택한다' 라는 문장에 밑줄 긋기 (underline the sentence 'current smart phone usually adopts touch screen techniques')"라는 음성 부분(segment)을 입력한다. 단말 디바이스는 먼저 이와 같은 음성 부분에 음성 인식을 수행하고, 인식된 텍스트 정보에 대해 의미 분석을 수행하며, 텍스트 정보에 따라 노트 정보가 마크 심볼들에서 밑줄임을 결정하고, 촬영된 물체 상의 밑줄의 위치를 결정한다.
다른 예를 들어, 사용자는 단말 디바이스에 "'우리는 집에 가야한다' 라는 문장을 삭제(delete the sentence 'we shall go home')"라는 음성 부분을 입력한다. 단말 디바이스는 먼저 이와 같은 음성 부분에 음성 인식을 수행하고, 인식된 텍스트 정보에 대해 의미 분석을 수행하며, 노트 정보가 편집 정보에서 삭제 심볼임을 결정하고, 촬영된 물체 상의 삭제 심볼의 위치를 결정한다.
블록 S902에서, 단말 디바이스는 촬영된 물체에 만들어진 노트 정보의 콘텐트를 결정한다.
노트 정보의 콘텐트는 노트 정보의 노트 타입을 포함할 수 있고, 라인 두께 및 노트 정보의 글씨 색상을 더 포함할 수 있다. 노트가 비수기 문자들(non-handwritten characters)(시스템에 의해 지원된 글씨체로 인쇄 문자들과 같은)를 포함하는 경우, 노트 정보의 콘텐트는 글씨체, 폰트 크기, 및 문자들의 대응되는 코드와 같은 정보를 더 포함할 수 있다.
단말 디바이스는 촬영된 물체에 만들어진 노트 정보의 노트 타입을 먼저 결정하고, 그후 결정된 노트 타입에 따라 촬영된 물체에 만들어진 노트 정보의 콘텐트를 결정한다.
사용자는 사용자 입력 음성, 버튼, 제스쳐, 증강 현실의 사람과 컴퓨터 상호작용 인터페이스, 및 외부의 컨트롤러(예로, 단말 디아비스와 관련된 스타일러스 펜과 같은 원격 제어 기능을 가지는 디바이스) 이상의 방식 중 적어도 하나(이에 제한 되지 않음)에 따라, 노트 정보의 노트 타입을 단말 디바이스에 통지한다.
단말 디바이스가 음성으로 노트 타입을 통지받은 경우, 단말 디바이스는 사용자에 의해 입력된 음성을 수신한다. 이때, 단말 디바이스에 의해 사용자로부터 입력된 음성의 수신은 블록 S901에서 설명한 내용과 유사하므로, 이하 반복하지 않는다. 단말 디바이스는 수신된 음성에 음성 인식을 수행하고, 그후 음성 분석을 하며, 음성 분석의 결과에 따라 노트 정보의 타입을 결정한다.
예를 들어, 단말 디바이스가 책을 실시간으로 촬영할 때, 사용자는 "X 단락에서 Y줄에 밑줄긋기(underline line Y in paragraph X)" 라는 콘텐트의 음성을 입력한다. 음성 분석을 통해, 음성 부분에서 "X 단락에서 Y줄에 밑줄긋기"가 노트 정보의 위치를 나타내는데 이용됨을 알게 되고, 노트 정보의 노트 타입이 밑줄임을 인식할 수도 있다.
단말 디바이스가 버튼으로 노트 타입을 통지받은 경우, 버튼은 단말 디바이스 상의 하드웨어 버튼, 예를 들어, 홈 버튼, 소리 조절 버튼, 전원 버튼, 프로그램 조정 버튼, 새롭게 추가된 버튼, 또는 단말 디바이스 상의 가상 버튼일 수 있다. 단말 디바이스는 사용자에 의해 주로 이용되는 타입에 관해 사전에 통계를 수집할 수 있다. 그리고나서 노트 정보의 위치를 결정한 후, 단말 디바이스는 사용자에 의해 주로 이용된 노트 타입의 가상 버튼을 제공한다. 사용자는 단말 디바이스에 통지하기 위해 노트 타입에 대응되는 가상 버튼을 클릭할 수 있다. 예를 들어, 사용자가 노트 위치를 선택한 후, 단말 디바이스는 UI에 문자들을 추가하기 위해 가상 버튼을 제공할 수 있다. 사용자가 가상 버튼을 클릭하면, 단말 디바이스는 노트 타입이 주석임을 결정할 수 있다. 다른 예를 들어, 상요자가 노트 위치를 선택한 후, 단말 디바이스는 UI에 음성 노트를 추가하기 위해 가상 버튼을 제공할 수 있다. 사용자가 가상 버튼을 클릭하면, 다말 디바이스는 노트 타입이 음성 노트임을 결정할 수 있다.
단말 디바이스가 제스쳐로 노트 타입을 통지받은 경우, 제스쳐는 한손 또는 두손으로 구현될 수 있다. 제스쳐는 손 흔들기, 원 그리기, 직사각형 그리기, 삼각형 그리기, 별 그리기 등을 포함할 수 있다. 단말 디바이스는 제스쳐 검출 디바이스를 이용하여 제스쳐를 검출하고 인식할 수 있다.
단말 디바이스가 외부의 컨트롤러로 노트 타입을 통지받은 경우, 외부의 컨트롤로는 스타일러스 펜과 같은 필기 도구가 될 수 있으나 이에 제한되지 않는다.
구현에 있어, 통계는 사용자에 의해 주로 이용된 노트 타입에 대하여 수집될 수 있다. 그후, 주로 이용된 노트 타입에 대응되는 버튼이 필기 도구 상에 구성되거나, 필기 도구 상의 종래 버튼이 주로 이용된 노트 타입에 대응되는 것으로 구성될 수 있다. 따라서, 사용자는 필기 도구 상의 노트 타입에 대응되는 버튼을 누르는 것을 통해 단말 디바이스에 노트 타입을 알려줄 수 있다. 사용자가 필기 도구 상의 버튼을 노를 때, 필기 도구는 단말 디바이스에 버튼에 대응되는 식별자를 전송한다. 단말 디바이스는 사전에(in advance) 필기 도구의 각 버튼의 식별자와 노트 타입 간의 대응 테이블을 저장한다. 필기 도구에 의해 전송된 버튼의 식별자 수신 후, 단말 디바이스는 대응 테이블 검색을 통해 사용자가 만들려고한 노트 정보의 노트 타입을 결정할 수 있다.
예를 들어, 통계에 따라, 사용자에 의해 주로 이용된 노트 타입이 물결선과 밑줄이다. 스타일러스 펜은 두 개의 버튼들로 구성된다. 두 개의 버튼들은 두 개의 노트 타입들에 각각 대응되도록 구성될 수 있다. 사용자가 촬영된 물체의 문자들의 특정 단락 아래에 물결선을 그리고자 할 때, 사용자는 스타일러스 펜을 이용하여 문자들의 특정 단락이 위치한 로컬 영역을 원으로 선택할 수 있고, 그후 스타일러스 펜 상의 물결선의 노트 타입에 대응되는 버튼을 누를 수 있다. 스타일러스 펜은 버튼의 식별자를 단말 디바이스에 통지한다. 단말 디바이스는 사용자가 만들고자 한 노트 정보의 노트 타입이 물결선임을 결정할 수 있고, 필기 도구에 의해 원으로 그려진 로컬 영역에 따라 물결선이 아래에 그려진 문자들을 알 수 있다.
사용자에 의해 만들어진 노트가 비문자 노트, 예를 들어, 밑줄, 물결선, 및 점선 등인 경우, 단말 디바이스는 라인 두께와 노트의 색상과 같은 정보를 사전에 구성할 수 있다. 위의 방식에 따라 노트 타입이 획득된 후, 단말 디바이스는 사전에 구성된 라인 두께와 색상에 따라 대응되는 식별자를 찾을 수 있다. 게다가, 사용자에 의해 만들어진 노트가 삼각형, 별, 또는 별 심볼일 때, 단말 디바이스는 대응되는 사진을 노트의 콘텐트로서 할 수도 있다. 예를 들어, 사용자에 의해 선택된 노트 타입이 별 심볼이다. 단말 디바이스는 저장된 사진들에서 별 심볼에 대응되는 사진을 찾을 수 있고, 찾은 사진을 노트의 콘텐트로서 할 수 있다.
사용자에 의해 만들어진 노트가 주석과 같은 문자 타입인 경우, 단말 디바이스는 노트 타입을 결정한 후 사용자가 추가하기 원하는 콘텐트를 더 획득할 수 있다.
제 1 구현에서, 단말 디바이스는 사용자에 의해 입력된 음성을 사용자가 추가하기 원하는 콘텐트로, 즉, 사용자에 의해 입력된 음성을 음성 노트로 할 수 있다.
예를 들어, 단말 디바이스가 책을 실시간으로 촬영할 때, 사용자는 마이크로폰으로 현재 페이지의 단락에 대해 콘텐트가 "이 섹션의 설명은 매우 엄격하다(the description of this section is very rigorous)"인 주석 음성을 입력한다. 이때, 단말 디바이스는 입력된 음성을 바로(directly) 사용자에 의해 만들어진 주석의 콘텐트로서 할 수 있다.
사용자가 노트 위치를 선택한 후, 단말 디바이스는 UI에 음성 노트를 추가하기 위한 가상 버튼을 제공할 수 있다. 사용자가 가상 버튼을 클릭하면, 단말 디바이스는 노트 타입이 주석임을 결정한다. 이때, 단말 디바이스는 사용자에 의해 입력된 음성을 실시간으로 수집하기 위해, 마이크로폰과 같은 오디오 데이터 수집 디바이스를 시작할 수 있다. 사용자가 음성 노트가 종료되었는지 확인한 후, 단말 디바이스는 음성 노트의 추가를 종료하기 위해서 마이크로폰과 같은 오디오 데이터 수집 디바이스를 끌 수 있다.
제 2 구현에서, 단말 디바이스는 촬영된 물체 상의 노트 정보의 노트 콘텐트를 음성 인식을 수행한 후 출력된 정보부터 입력된 음성까지 조회한다.
사용자에 의해 입력된 음성의 전체 콘텐트가 사용자의 노트 정보의 콘텐트인 경우, 단말 디바이스는 음성 인식으로 획득한 텍스트 정보를 촬영된 물체에 대한 노트 정보의 콘텐트로 할 수 있다. 예를 들어, 사용자에 의해 입력된 음성에 대해 음성 인식을 수행하여 획득한 텍스트 정보가 "이 섹션의 설명은 매우 엄격하다(the description of this section is very rigorous)"인 경우, 음성 인식으로 획득한 위의 텍스트 정보는 사용자에 의해 만들어진 주석이 될 수 있다.
게다가, 사용자에 의해 입력된 음성의 콘텐트 일부분만 사용자에 의해 만들어진 노트 정보의 노트 콘텐트이고, 콘텐트의 다른 부분은 노트 정보의 위치를 나타내는데 이용될 수 있다. 이때, 단말 디바이스는 입력된 음성에 먼저 음성 인식을 수행하고, 그후 의미 분석을 수행하며, 의미 분석 결과에 따라 노트 정보의 노트 콘텐트를 획득한다. 단말 디바이스는 입력된 음성으로부터 노트 정보에 대응되는 음성 부분을 인터셉트하고, 그 음성 부분을 사용자의 노트 정보의 노트 콘텐트로 하거나 음성 인식으로 획득한 텍스트 정보로부터 노트 정보에 대응되는 텍스트 정보를 조회하고, 조회된 텍스트 정보를 사용자에 의해 만들어진 노트 정보의 노트 콘텐트로 할 수 있다.
예를 들어, 단말 디바이스가 책을 실시간으로 촬영할 때, 사용자는 마이크로폰으로 음성 "X 단락의 Y 줄 옆에 주석을 추가하라. 주석의 콘텐트는 매우 엄격하다 이다(add an annotation beside line Y of paragraph X, the content of the annotation is: very rigorous)"를 입력한다. 의미 분석 후, 음성에서 "X 단락의 Y 줄"은 노트 정보의 위치를 나타내는데 이용된다는 것을 획득한다. 단말 디바이스는 음성으로부터 "매우 엄격하다"라는 음성 부분을 노트 정보의 노트 콘텐트로 인터셉트하거나 텍스트 정보 "매우 엄격하다"를 노트 정보의 노트 콘텐트로서 할 수 있다.
제 3 구현에서, 사용자는 필기 도구를 이용하여 촬영된 물체 또는 화면 위에 필기를 통해 수기의 문자들을 입력할 수 있다. 이때, 단말 디바이스는 수기의 문자들을 노트 정보의 콘텐트로 할 수 있다. 예를 들어, 사용자는 노트 위치를 선택한 후, 단말 디바이스는 UI에 문자들을 추가하기 위해 가상 버튼을 제공할 수 있다. 사용자가 가상 버튼을 클락하면, 단말 디바이스는 노트 타입이 주석임을 결정한다. 사용자는 필기 도구를 이용하여 수기의 작업을 통해 촬영된 물체 또는 화면에 수기의 문자들을 추가할 수 있다.
제 4 구현에서, 사용자는 시스템내에서 입력 방식(예를 들어, 시스템에 의해 지원된 글씨체로 인쇄 문자들)으로 비수기 문자들을 입력할 수 있다. 예를 들어, 사용자가 노트 위치를 선택한 후, 단말 디바이스는 UI에 대한 문자들을 추가하기 위해 가상 버튼을 제공할 수 있다. 사용자가 가상 버튼을 클릭하면, 단말 디바이스는 노트 타입이 주석임을 결정할 수 있다. 사용자는 시스템의 입력 수식을 이용하여 인쇄 문자들을 추가할 수 있다. 사용자는 문자들의 추가가 종료되었음을 확인하고, 단말 디바이스는 촬영된 물체의 이미지에서 추가된 문자들을 디스플레이할 수 있다.
블록 S903에서, 촬영된 물체 위에 만들어진 노트 정보는 촬영된 물체의 노트 정보의 위치와 노트 정보의 콘텐트에 따라 결정된다.
촬영된 물체 위의 노트 정보의 위치와 노트 정보의 콘텐트에 따라, 단말 디바이스는 촬영된 물체 위 어디 및 어떤 노트 정보가 사용자에 의해 만들어졌는지 알 수 있다. 예를 들어, 단말 디바이스는 촬영된 물체 위의 노트 정보의 위치가 X 단락의 Y줄이고, 노트 정보의 노트 타입이 밑줄임을 결정한다. 라인 두께와 노트의 색상과 같은 정보는 사전에 구성된다. 그러므로, 단말 디바이스는 사용자가 X 단락의 Y줄에 밑줄긋기를 하고자 한 것을 결정할 수 있다.
블록 S904에서, 촬영된 물체와 노트 정보는 연관되어 디스플레이된다.
단말 디바이스가 실시간으로 촬영할 때, 사용자는 필기 도구를 이용하여 촬영된 물체 위에 노트를 할 수 있다. 단말 디바이스는 실시간으로 획득한 노트 정보를 화면에 디스플레이하는 것이 필요하다. 이때, 단말 디바이스는 실시간으로 촬영한, 촬영된 물체의 이미지를 화면에 디스플레이하는 것이 필요하다. 따라서, 단말 디바이스는 촬영된 물체와 노트 정보를 연관 지어 디스플레이하는 것이 필요하다.
사용자가 실시간 촬영 과정 동안 또는 노트 정보의 추후 보기 동안 음성 노트(음성으로된 콘텐트를 가지는 노트)를 듣기 용이하게 하기 위해서, 단말 디바이스는 음성 노트와 관련된 콘텐트 옆에 음성 노트 재생 식별자를 표시할 수 있다. 특정 방식으로 음성 노트 재생 식별자를 트리거한 후, 사용자는 음성 노트를 들을 수 있다. 예를 들어, 음성 노트의 콘텐트는 "이 부분의 설명은 매우 엄격하다(the description of this section is very rigorous)"이다. 촬영된 물체 상의 음성 노트의 위치는 X 단락의 Y줄이다. 즉, X 단락의 Y 줄 상의 콘텐트는 음성 노트와 관련된 콘텐트이다. 그러므로, 단말 디바이스는 X 단락의 Y 줄의 콘텐트 옆에 음성 노트 재생 식별자를 디스플레이한다. 특정 방식으로 음성 노트 재생 식별자를 트리거한 후, 사용자는 음성 노트를 들을 수 있다.
음성 재생 식별자는 아이콘, 문자들, 애니메이션, 색상, 글씨체 등일 될 수 있으나 이에 제한되지 않는다. 트리거링 방식은 사용자의 클릭, 슬라이드(slide), 공중 제스쳐(air gesture), 안구 응시(eyeball gazing) 등이 될 수 있으나 이에 제한되지 않는다. 사용자는 한번에 복수 개의 음성 노트 재생 식별자들을 트리거할 수 있다. 예를 들어, 사용자의 손가락이 복수 개의 음성 노트 재생 식별자들 위를 슬라이드한다. 이때, 시스템은 식별자들이 트리거된 시간 순서에 따라 음성 노트들을 재생한다. 사용자가 동시에 복수 개의 식별자들을 트리거하는 경우, 예를 들어, 사용자가 문서에서 복수 개의 식별자들을 선택하기 위해 제스쳐를 이용하여 원을 그리는 경우, 음성 노트들은 음성 노트들에 관련된 콘텐트들의 위치들 또는 콘텐트에서 식별자들의 위치들에 따라서 재생된다.
도 11a는 사용자가 노트를 위해 로컬 영역을 선택한 예를 설명하는 개략도이다.
도 11b는 사용자가 음성 노트 추가하기를 선택한 예를 설명하는 개략도이다.
도 11c는 단말 디바이스가 마이크로폰과 같은 오디오 데이터 수집 디바이스로 사용자에 의해 입력된 음성을 수집하는 예를 설명하는 개략도이다.
도 11d는 단말 디바이스가 음성 노트 재생 식별자를 디스플레이한 예를 설명하는 개략도이다.
도 11e는 사용자가 음성 노트 재생 식별자를 트리거 한 후 단말 디바이스가 음성 노트를 재생하는 예를 설명하는 개략도이다.
제 1 실시예 내지 제 3 실시예에 의해 제공된 촬영된 물체의 이미지에 노트 정보를 입력하는 방식에서의 노트 정보를 획득하는 방식 외에, 단말 디바이스는 사전에 촬영된 물체에 만들어진 노트를 실시간으로 촬영된 이미지로부터 인식하고, 인식된 노트를 노트 정보로 할 수도 있다.
실시간으로 촬영된 이미지로부터 인식된 노트는 사전에 촬영된 물체 상에 사용자에 의해 만들어진 노트 또는 촬영된 물체 상에 다른 사용자들에 의해 만들어진 노트일 수 있다.
단말 디바이스는 문자 인식 기술과 글씨 인식 기술에 따라 노트 콘텐트, 예를 들어, 물결선, 밑줄, 주석 등을 실시간으로 촬영된 이미지로부터 인식할 수 있다.
제 4 실시예(Embodiment 4)
단말 디바이스가 촬영된 물체와 노트 정보를 연관 지어 디스플레이하는 과정을 이하 설명한다.
본 개시의 제 4 실시예에서, 단말 디바이스는 촬영된 물체에 사용자에 의해 만들어진 노트 정보의 위치에 따라 촬영된 물체와 노트 정보를 연관지을 수 있다. 다시 말해, 단말 디바이스는 촬영된 물체의 이미지에 노트 정보를 반영하여 디스플레이할 수 있다.
한 구현에서, 단말 디바이스는 실시간으로 촬영된, 촬영된 물체의 이미지에서 노트 정보의 절대적 위치를 촬영된 물체 상의 노트 정보의 위치로 할 수 있다. 특히, 단말 디바이스는 사용자가 만든 노트 정보가 촬영된 물체의 이미지의 어떤 위치인지 알 수 있다. 예로, 단말 디바이스는 촬영된 물체의 이미지에서 노트 정보의 절대적인 위치, 예로, 단말 디바이스의 화면에 디스플레이되는 노트 정보의 위치를 알 수 있다. 이와 같은 위치는 노트 정보가 단말 디바이스의 화면에 표시될 때 궤적 점에 각각 대응되는 픽셀 좌표들이 될 수 있다. 단말 디바이스는 각 궤적 점의 픽셀 좌표들에 따라 화면에 노트 정보를 디스플레이한다.
예를 들어, 촬영된 물체는 책이다. 사용자는 현재 페이지의 문자들의 특정 라인 아래에 물결선을 그린다. 물결선은 촬영된 물체에 사용자가 만든 노트 정보이다. 블록 S102을 통해, 물결선이 단말 디바이스의 화면에 표시될 때, 단말 디바이스는 각 궤적 점의 픽셀 좌표들을 획득할 수 있다. 그후, 각 궤적 점의 픽셀 좌표들에 따라, 단말 디바이스는 화면에 물결선을 표시한다.
다른 구현에서, 단말 디바이스는 실시간으로 촬영된, 촬영된 물체의 이미지에 대해 문자 인식을 수행하고, 문자 인식 결과에 따라 촬영된 물체의 콘텐트에 대하여 노트 정보의 상대적인 위치를 결정하며, 결정된 상대적인 위치를 촬영된 물체 상의 노트 정보의 위치로 한다.
OCR(Optical Character Recongnition) 기술은 더 나은 방해 저항 능력(예로, 저 해상도, 흐릿함, 기울어짐 또는 왜곡, 그늘짐 또는 빛 반사 등)을 가지고, 다수 종류의 복잡한 이미지들에 대해 문자 인식을 지원하기 때문에, 본 개시의 제 4 실시예에서, OCR 기술은 촬영된 물체의 이미지에 대해 문자 인식을 수행하기 위해 채택된다.
OCR 기술을 이용하여 촬영된 물체의 이미지에 대해 문자 인식을 수행할 때, 먼저 촬영된 물체의 이미지에 전처리(pre-processing)가 수행될 수 있다. 기울어짐 또는 왜곡이 있으면, 교정이 수행된다. 이미지의 품질이 낮으면, 향상 처리(enhancement processing)가 이미지에 수행된다. 그후, 단말 디바이스는 촬영된 물체의 이미지에 레이아웃 분석을 수행하고, 이진화(binarization), 블록 분할(block segmentation), 라인 분할 및 문자 분할과 같은 처리를 통해 레이아웃 정보를 획득한다. 레이아웃 정보는 단락들의 좌표들과 텍스트 영역의 라인들, 단락과 라인들의 순서, 각 문자의 좌표, 그래프 영역의 좌표들과 텍스트 주위 모드, 및 배경을 포함하고, 페이지 마진, 단락 간격, 줄 간격, 문자 간격, 정렬 방식 등을 더 포함할 수 있다. 그후, 레이아웃 정보에 따라, 문자 정보를 획득하기 위해 문자 인식이 수행된다. 이때, 문자 정보는 글씨체, 폰트 사이즈, 및 각 문자에 대응되는 코드를 포함한다.
예를 들어, 도 12a는 실시간으로 단말 디바이스에 의해 촬영된, 촬영된 물체의 개략도를 보여준다. 도 12b는 도 12a에 도시된 바와 같은 이미지들에 레이아웃 분석이 수행된 개략도를 보여준다. 도 12c는 각 문자의 좌표들을 획득하기 위해 도 12a에 도시된 이미지들에 문자 분할이 수행된 개략도이다.
본 개시의 제 4 실시예에서, 촬영된 물체를 실시간으로 촬영할 때, 단말 디바이스는 촬영에 의해 획득된 각 이미지 프레임에 실시간 문자 인식을 수행하고, 문자 인식 결과와 현재 이미지 프레임 내에서 노트 정보의 절대적인 위치에 따라 촬영된 물체의 콘텐트에 대해 사용자에 의해 만들어진 노트 정보의 상대적인 위치를 결정하며, 상대적인 위치에 따라 촬영된 물체와 노트 정보를 연관시켜 디스플레이한다. 문자 인식 결과는 위에서 말한 레이아웃 정보와 문자 정보를 포함한다. 촬영된 물체에 대한 노트 정보의 상대적인 위치는 노트 정보가 위치한 단락의 단락 번호, 관련 문자들, 이와 같은 문자들로부터 거리 등을 포함한다.
예를 들어, 촬영된 물체는 책이다. 사용자는 현재 페이지 상의 문자들의 특정 라인 아래에 물결선을 그린다. 물결선은 사용자에 의해 만들어진 노트 정보이다. 단말 디바이스는 어떤 단락, 어떤 라인, 및 어떤 문자 아래에 물결선이 그려졌는지 판단할 수 있고, 레이아웃 정보와 현재 페이지의 이미지의 문자 인식에 의해 획득된 문자 정보에 따라 물결선과 문자들 간의 거리를 판단할 수 있으며, 그후 위의(above) 정보에 따라 화면상에 물결선을 디스플레이한다.
본 개시의 제 4 실시예에서, 단말 디바이스는 실시간으로 촬영된 이미지의 문자 인식으로 획득된 문자 인식 결과를 고속으로 처리할 수 있다. 단말 디바이스는 실시간으로 획득한 노트 정보의 콘텐트와 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적 위치를 고속으로 처리할 수도 있다.
노트 정보와 촬영된 물체를 연관 지어 디스플레이하는 구현예에서, 단말 디바이스는 촬영된 물체의 콘텐트에 대하여 노트 정보의 상대적인 위치를 결정하므로, 촬영된 물체의 콘텐트가 나중에 변하더라도(예를 들어 레이아웃이 변경됨), 단말 디바이스는 노트 정보와 촬영된 물체를 연관지어 디스플레이하기 위해, 위의(above) 상대적인 위치에 따라 변경된 콘텐트에서 노트 정보의 위치를 결정할 수 있다.
본 개시의 제 4 실시예에서, 노트가 밑줄, 물결선, 및 점선 등과 같은 비문자(non-character) 타입인 경우, 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적인 위치는 촬영된 물체의 콘텐트에 대한 노트의 각 궤적 점의 상대적인 위치일 수 있다. 궤적 점과 콘텐트 간의 상대적인 위치는 궤적 점이 위치한 단락의 단락 번호, 궤적 점이 위치한 라인의 라인 번호, 관련된 문자들, 문자들로부터 거리 등을 포함한다. 노트가 문자 타입, 예로, 주석 및 문자들이 수기의 문자들인 경우, 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적인 위치는 촬영된 물체의 콘텐트에 대한 노트의 각 궤적의 상대적인 위치일 수 있다. 노트가 삼각형, 별, 별 심볼인 경우, 단말 디바이스는 대응되는 사진을 노트의 콘텐트로 한다. 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적인 위치는 촬영된 물체 내에서 대응되는 사진의 위치일 수 있다. 노트가 문자 타입, 예로, 주석 및 문자들이 비수기(non-handwritten)의 문자들인 경우, 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적인 위치는 문자들과 촬영된 콘텐트 간의 상대적인 위치, 즉, 촬영된 물체의 콘텐트 내에서 문자들의 좌표들일 수 있다.
단말 디바이스가 본 개시의 제 3 실시예에 따라 촬영된 물체의 이미지에 노트 정보를 입력하는 방법에서 노트 정보를 획득하는 경우, 즉, 촬영된 물체 상의 노트 정보의 위치와 노트 정보의 콘텐트 각각을 획득하는 경우, 사용자가 문자들의 특정 단락에 주석을 삽입하기를 원할 때, 문자들의 단락 주위의 빈 영역(blank area)은 상대적으로 작을 수 있다. 사용자가 필기 도구를 이용하여 그 작은 영역에 수기의 콘텐트를 삽입하는 것은 어렵다. 이때, 본 개시의 제 4 실시예에 따라, 사용자가 노트하기를 원하는 곳을 사용자가 선택한 후, 촬영된 물체의 어떠한 위치라도 수기의 콘텐트를 삽입하는 것이 가능하다. 삽입된 수기의 콘텐트를 디스플레이할 때, 촬영된 물체의 콘텐트에 대한 수기의 콘텐트의 상대적 위치를 획득하기 위해서, 단말 디바이스는 촬영된 물체의 문자 인식 결과에 따라 노트할 위치 주변의 빈 영역의 사이즈를 획득하고, 빈 영역의 사이즈에 따라 표시될 때 수기의 콘텐트의 위치와 사이즈를 결정한다. 촬영된 물체의 콘텐트에 대한 수기의 콘텐트의 상대적 위치는 촬영된 물체의 콘텐트에 대한 수기의 콘텐트의 각 궤적 점의 상대적인 위치일 수 있다. 단말 디바이스는 삽입된 수기의 콘텐트를 상대적인 위치에 따라 디스플레이한다. 노트할 위치 주변의 빈 영역이 상대적으로 크면, 단말 디바이스에 의해 디스플레이되는 수기의 콘텐트도 상대적으로 크다. 노트할 위치 주변의 빈 영역이 상대적으로 작으면, 단말 디바이스에 의해 디스플레이되는 수기의 콘텐트도 상대적으로 작다.
특히, 사용자는 수기의 콘텐트와 노트할 위치를 수동적으로 연관 지을 수 있다. 사용자의 연관 작업을 검출 후, 수기의 콘텐트를 디스플레잉할 때, 단말 디바이스는 디스플레잉 위치와 수기의 콘텐트의 사이즈를 자동으로 조정할 수 있다. 예를 들어, 사용자는 수기의 콘텐트와 노트할 위치를 화살표와 같은 심볼로 연관지을 수 있다. 화살표의 시작 점은 수기의 콘텐트의 위치이고, 화살표는 노트 하기 위해 사용자에 의해 선택된 위치를 가리킨다. 또는, 화살표의 시작 점은 노트 하기 위해 사용자에 의해 선택된 위치이고, 화살표는 수기의 콘텐트를 가리킨다. 도 13a에 도시된 바와 같이, 노트 하기 위해 사용자에 의해 선택된 로컬 영역은 도 13a에서 원의 영역이고, 사용자에 의해 입력된 수기의 콘텐트는 "주: 2014년 매출 206조원,영업이익 24조원"이다. 도 13b에 도시된 바와 같이, 사용자는 수기의 콘텐트와 노트 하기 위한 로컬 영역을 화살표로 연관 짓는다. 단말 디바이스는 로컬 영역의 콘텐트에 대한 수기의 콘텐트의 상대적인 위치를 획득하기 위해서, 로컬 영역 주변의 빈 영역의 사이즈에 따라 로컬 영역 옆에 표시될 때 수기의 콘텐트의 위치와 사이즈를 결정한다. 도 13c에 도시된 바와 같이, 단말 디바이스는 결정된 상대적 위치에 따라 로컬 영역 옆에 삽입된 수기의 콘텐트를 디스플레이한다.
단말 디바이스는 삽입된 수기의 문자들의 콘텐트를 인식하고, 수기의 문자들을 시스템에서 지원하는 글씨체의 인쇄 문자들로 변환하며, 로컬 영역 옆에 변환된 인쇄 문자들을 디스플레이할 수도 있다. 도 13d에 도시된 바와 같이, 수기의 문자들로부터 변환된 인쇄 문자들이 로컬 영역 옆에 디스플레이된 개략도이다.
게다가, 단말 디바이스는 수기의 콘텐트의 디스플레잉 위치와 사이즈를 자동으로 조정하는 것이 요구되는지 자동으로 검출할 수도 있다. 예를 들어, 노트 하기 위해 로컬 영역을 선택 후, 단말 디바이스는 촬영된 물체에 수기의 콘텐트를 삽입한다. 단말 디바이스는 수기의 콘텐트의 위치가 노트 하기 위한 로컬 영역으로부터 너무 멀리 떨어져 있음을 검출한 경우,(미리 정의된 거리 임계값보다 큰 경우), 디스플레이 된 때 수기의 콘텐트의 위치와 사이즈를 조정할 필요가 있다고 여긴다.
위에서 본 바와 같이, 사용자가 수기의 정보를 입력할 때, 사용자는 촬영된 물체의 어떠한 위치에도 입력할 수 있다. 수기의 콘텐트를 디스플레이할 때, 단말 디바이스는 수기의 콘텐트를 입력하기 위한 사용자의 편의를 매우 증가시키는, 촬영된 물체의 문자 인식 결과에 따라 수기의 콘텐트의 위치와 사이즈를 자동으로 조정할 수 있다.
실제 응용에 있어서, 촬영된 물체는 상대적으로 큰 영역을 가진 책 페이지, 예로, 잡지의 페이지일 수 있다. 전체 페이지가 노트 정보를 획득하기 위해 실시간으로 촬영되는 경우, 촬영된 이미지에서 문자들은 확인하기에 너무 작을 수 있다. 그러므로, 한 실시예에서, 사용자는 다이나믹 촬영 방식으로 노트 정보를 획득할 수 있다.
특히, 사용자가 단말 디바이스를 이용하여 촬영된 물체의 글로벌 이미지(global image)를 획득할 수 있다. 단말 디바이스는 문자 인식 결과를 획득하기 위해 글로벌 물체에 대해 문자 인식을 수행한다. 그후, 사용자는 로컬 이미지 내에서 문자들이 적절한 폰트 사이즈를 갖고 명확해지도록, 카메라의 초점을 촬영된 물체의 로컬 영역에 가까이 이동시킨다. 동시에, 단말 디바이스는 문자 인식 결과를 획득하기 위해 현재 촬영된 로컬 영역에 문자 인식을 수행한다. 단말 디바이스는 로컬 이미지의 문자 인식 결과와 글로벌 이미지의 문자 인식 결과에 따라 글로벌 이미지 내에 로컬 이미지의 위치를 결정한다. 글로벌 이미지 내에서 로컬 영역의 위치와 로컬 영역의 콘텐트에 대한 노트 정보의 상대적 위치에 따라, 단말 디바이스는 글로벌 이미지의 콘텐트에 대한 노트 정보의 상대적 위치, 즉, 글로벌 이미지 내에서 노트 정보의 위치를 결정할 수 있다. 단말 디바이스는 이와 같은 상대적 위치에 따라 촬영된 물체와 노트 정보를 연관 지어 디스플레이한다.
구현에 있어서, 다이나믹 노트 애플리케이션은 실시간 노트 애플리케이션으로 구성될 수 있다. 사용자는 다이나믹 노트 애플리케이션을 시작할 때, 단말 디바이스는 사용자에게 글로벌 이미지를 먼저 촬영할 것을 일러준다. 이때, 사용자는 카메라가 촬영된 물체의 완전히 콘텐트를 수집할 수 있도록, 카메라를 글로벌 영역에 초점을 맞춘다. 사용자는 촬영을 확인하기 위해 하드웨어 버튼 또는 가상 버튼을 클릭한다. 단말 디바이스는 현재의 촬영 이미지를 글로벌 이미지로 결정한다. 그후, 사용자는 카메라를 노트 하기 위한 로컬 영역 가까이에 초점을 맞춘다. 단말 디바이스가 글로벌 이미지를 획득한 후, 실시간으로 나중에 촬영된 각 이미지 프레임은 로컬 이미지가 된다.
글로벌 이미지와 로컬 이미지의 문자 인식 동안, 획득된 문자 인식 결과는 레이아웃 정보와 문자 정보를 포함한다. 단말 디바이스는 로컬 이미지와 글로벌 이미지에서 문자 정보에 따라 글로벌 이미지 내의 로컬 이미지의 위치를 결정할 수 있다. 예를 들어, 단말 디바이스는 로컬 이미지들 내의 문자들을 위해 글로벌 이미지 내의 문자들을 검색한다. 검색 결과에 따라, 단말 디바이스는 글로벌 이미지 내의 로컬 이미지의 위치를 결정할 수 있다.
단말 디바이스는 로컬 이미지와 글로벌 이미지의 레이아웃 정보에 따라 글로벌 이미지 내의 로컬 이미지의 위치를 결정할 수도 있다. 예를 들어, 로컬 이미지의 레이아웃 정보로부터 로컬 이미지가 일곱 라인들을 포함하는 문자들의 특정 단락을 포함하고 있음을 알 수 있다. 그리고 글로벌 이미지의 레이아웃 정보로부터 글로벌 이미지 내에 일곱 라인들을 포함하는 하나의 단락이 있음을 알 수 있다. 그러므로, 단말 디바이스는 글로벌 이미지 내의 단락의 위치와 로컬 이미지 내의 그 단락의 위치에 따라 글로벌 이미지 내의 로컬 이미지의 위치를 결정할 수 있다.
게다가, 단말 디바이스는 로컬 이미지와 글로벌 이미지 내에서의 레이아웃 정보와 문자 정보에 따라 글로벌 이미지 내의 로컬 이미지의 위치를 결정할 수도 있다. 예를 들어, 로컬 이미지의 레이아웃 정보에 따라 로컬 이미지가 5 라인들을 포함하는 단락을 포함함을 알 수 있다. 그리고, 글로벌 이미지의 레이아웃 정보에 따라 글로벌 이미지 내에 5 라인들을 포함하는 두 개의 단락들이 있음을 알 수 있다. 더욱이, 로컬 이미지의 문자 정보에 따라 이 단락 내에 문자들이 폰트 사이즈 3임을 알 수 있다. 글로벌 이미지의 문자 정보에 따라 5 라인들을 포함하는 단락들에서 그 중 하나의 문자들이 폰트 사이즈 3이고 나머지 하나의 문자들은 폰트 사이즈 4임을 알 수 있다. 그러므로, 단말 디바이스는 글로벌 이미지 내의 폰트 사이즈 3인 단락의 위치와 로컬 이미지 내의 단락의 위치에 따라 글로벌 이미지 내의 로컬 이미지의 위치를 결정할 수 있다.
본 개시의 제 4 실시예에서, 단말 디바이스는 단말 디바이스의 카메라의 초점을 맞추기 위해 촬영된 물체의 로컬 영역에 가까이 단말 디바이스를 이동시키는 것과 단말 디바이스의 카메라의 주밍 팩터(zooming factor)를 변경하는 것 중 적어도 하나를 통해 카메라를 촬영된 물체의 로컬 영역에 가까이 초점을 맞출 수 있다.
도 14는 다이나믹 촬영 방식을 이용하여 노트 정보를 획득하는 것을 설명하는 개략도이다. 사용자는 카메라의 위치를 이동하는 것 및/또는 카메라의 주밍 팩터를 변경하는 것을 통해 촬영 영역을 변경할 수 있다. 도 14에 도시된 바와 같이, 사용자는 ①에 의해 표시된 로컬 영역을 먼저 촬영할 수 있고, 그후 ②에 의해 표시된 로컬 영역을 촬영할 수 있으며, 그후 ③에 의해 표시된 로컬 영역을 촬영할 수 있고, 다른 로컬 이미지들 내에 각각 노트할 수 있다. 따라서, 단말 디바이스는 단말 디바이스가 촬영된 물체와 노트 정보를 연관 지어 디스플레이할 수 있도록, 로컬 이미지의 콘텐트에 대한 사용자가 만든 노트 정보의 상대적인 위치와 글로벌 이미지 내의 로컬 이미지의 위치, 예를 들어, 글로벌 이미지의 콘텐트에 대한 노트 정보의 상대적 위치에 따라, 글로벌 이미지 내에서 노트 정보의 위치를 결정할 수 있다.
사용자의 손은 핸드폰과 같은 단말 디바이스를 이용하여 촬영된 물체를 촬영할 때 살짝 떨릴 수 있고, 이에 따라 단말 디바이스도 떨릴 수 있다. 게다가, 단말 디바이스에 의해 촬영되는, 촬영된 물체도 떨릴 수 있다. 사용자가 필기 도구를 이용하여 촬영된 물체 상에 노트를 할 때, 필기 도구도 떨릴 수 있다. 단말 디바이스 또는 필기 도구가 떨릴 때, 사용자의 노트 정보는 편차를 가질 수 있다.
그러므로, 본 개시의 제 4 실시예에서, 단말 디바이스는 실시간으로 떨림을 검출할 수 있다. 이와 같은 떨림은 촬영된 물체의 떨림, 단말 디바이스의 떨림, 및 필기 도구의 떨림 중 적어도 하나를 포함한다. 단말 디바이스가 떨림을 검출하면, 편차 교정 작업이 디스플레이된 노트 정보에 수행될 수 있다.
단말 디바이스는 아래 방식에 따라 떨림을 검출할 수 있다.
촬영된 물체의 콘텐트가 화면에 디스플레이되는 위치가 미리 정의된 떨림 조건을 만족하는 변화(shift)가 있는 경우, 촬영된 물체가 떨리거나 단말 디바이스가 떨리는 것임을 판단할 수 있다.
필기 도구의 펜촉의 위치가 촬영된 물체의 콘텐트에 대해서 미리 정의된 떨림 조건을 만족하는 변화가 있고, 촬영된 물체의 콘텐트가 화면에 디스플레이되는 위치는 미리 정의된 떨림 조건을 만족하는 변화를 가지지 않는 경우(즉, 촬영된 물체와 단발 디바이스는 떨리지 않음), 필기 도구가 떨린다는 것을 결정할 수 있다.
위의(above) 떨림은 촬영된 물체, 단말 디바이스 또는 필기 도구의 사건 변화(incident shift)로 여겨질 수 있다. 변화의 지속 시간은 상대적으로 길지 않고 변화의 속도는 상대적으로 빠르다. 그러므로, 떨림 조건은 위의 내용에 따라 구성될 수 있다. 예를 들어, 떨림 조건은 떨림 지속 시간이 미리 정의된 시간 임계치보다 작고 떨림 동안 이동 속도는 미리 정의된 속도 임계치보다 높다는 것이다.
사용자가 실시간으로 노트할 때 촬영된 물체가 떨리면, 도 15a에 도시된 바와 같이, 촬영된 물체의 콘텐트가 화면에 디스플레이되는 위치가 변경된다.
사용자가 실시간으로 노트할 때 단말 디바이스가 떨리면, 도 15b에 도시된 바와 같이, 촬영된 물체의 콘텐트가 화면에 디스플레이되는 위치가 변경된다.
사용자가 실시간으로 노트할 때 필기 도구가 떨리면, 도 15c에 도시된 바와 같이, 촬영된 물체에 대한 필기 도구의 펜촉의 위치가 편차를 가진다.
본 개시의 제 4 실시예에서, 촬영된 물체의 떨림과 단말 디바이스의 떨림을 구별하기 위해, 단말 디바이스는 센서를 이용하여 보조적인 검출을 수행할 수도 있다. 촬영된 물체의 콘텐트가 화면에 디스플레이되는 위치가 미리 정의된 떨림 조건을 만족하는 변화를 가짐을 단말 디바이스가 검출할 때, 단말 디바이스가 동시에 변화를 가짐을 검출할 수 있고, 그것은 단말 디바이스가 떨리는 것이라고 간주될 수 있다. 단말 디바이스가 움직이지 않음을 검출한 경우, 그것은 촬영된 물체가 떨리는 것이라고 간주될 수 있다. 단말 디바이스는 가속 센서와 같은 검출 장치(이에 제한되지 않음)를 이용하여 단말 디바이스가 움직였는지 판단할 수 있다.
본 개시의 제 4 실시예에서, 단말 디바이스는 디스플레이된 노트 정보에 대해 다음의 편차 교정 작업을 수행할 수 있다.
떨림 전에 촬영된 물체 상의 노트 정보의 위치, 떨림 방향 및 떨림 거리에 따라 떨림 후에 촬영된 물체 상의 노트 정보의 위치를 판단하기, 그리고 떨림 후에 촬영된 물체 상의 노트 정보의 위치에 따라 노트 정보에 대한 편차 교정 작업을 수행하기.
Case 1: 사용자가 촬영된 물체 상에 작업을 통해 노트를 할 때, 필기 도구가 떨린다.
필기 도구가 떨린 후, 필기 도구의 펜촉의 위치는 촬영된 물체의 콘텐트에 대해 벗어난다. 사용자가 그 편차를 발견하면, 사용자는 필기 도구의 펜촉을 정확한 위치로 이동시킨다. 이때, 편차는 떨림이 일어난 후와 사용자가 필기 도구의 펜촉을 이동시키기 전 시간 동안 사용자에 의해 만들어진 노트 정보에만 발생할 수 있다. 이때, 단지 단말 디바이스는 이러한 시간 동안 사용자에 의해 만들어진 노트 정보에 대해 편차 교정 작업을 수행하는 것이 필요하다. 사용자에 의해 수행된 필기 도구의 펜촉의 움직임이 미리 정의된 조건을 만족하는 경우, 단말 디바이스는 사용자가 필기 도구의 펜촉을 정확한 위치로 이동시킴을 결정한다. 미리 정의된 조건은 사용자가 필기 도구의 펜촉을 이동시킨 방향이 떨림의 방향과 반대이고, 움직인 거리와 떨림 거리 간의 차이가 미리 정의된 임계치 보다 크지 않는 것일 수 있다.
도 15d에 도시된 바와 같이, 떨림 전에, 사용자는 필기 도구를 이용하여 촬영된 물체 상에 작업을 하고, "연간 매출"아래에 물결선을 그린다. 사용자가 필기 도구를 쥘 때 떨림이 발생하고, 필기 도구의 펜촉이 문자들 "1조 원 감소했다"의 라인 아래로 이동하며, 사용자는 관성으로 인해 떨림 후에 물결선을 그린다. 도 15d에 도시된 바와 같이, 물결선은 "감소했다" 아래에 그려진다. 이때, 사용자는 떨림을 발견하고, 물결선을 계속 그리기 위해 필기 도구의 펜촉을 "영업이익"으로 이윽고(in time) 이동시킨다. 단지 "감소했다" 아래 물결선이 편차 교정 작업이 요구됨을 알 수 있다. 즉, 단말 디바이스는 떨림이 일어난 후와 사용자가 필기 도구의 펜촉을 정확한 위치로 이동시키기 전 시간 동안 사용자에 의해 만들어진 노트 정보에 편차 교정 작업을 수행하는 것이 단지 필요하다.
편차 교정 작업이 요구되는 노트 정보 내의 각 궤적 점에 대하여, 단말 디바이스는 떨림 전 촬영된 물체의 이미지 내의 궤적 점의 위치, 떨림 방향 및 떨림 거리에 따라 떨림이 일어난 후 촬영된 물체의 이미지 내에 궤적 점이 위치하여야 할 위치를 결정할 수 있다. 그후, 단말 디바이스는 현재 위치로부터 결정된 위치까지 궤적 점의 위치를 교정한다.
도 15e는, 도 15d 내의 "감소했다" 아래에 물결선에 대해 단말 디바이스에 의해 수행된 편차 교정 작업을 설명하는 개략도이다.
Case 2: 사용자가 촬영된 물체 상에 작업을 통해 노트를 할 때, 촬영된 물체가 떨린다.
촬영된 물체가 떨린 후, 촬영된 물체의 콘텐트가 화면에 디스플레이되는 위치가 벗어난다. 필기 도구가 떨리지 않으면, 필기 도구의 펜촉의 위치는 촬영된 물체의 콘텐트에 대해 벗어난다. 사용자가 그 편차를 발견하면, 사용자는 필기 도구의 펜촉을 정확한 위치로 이동시킨다. 이때, 편차는 떨림이 일어난 후와 사용자가 필기 도구의 펜촉을 이동시키기 전 시간 동안 사용자에 의해 만들어진 노트 정보에만 발생할 수 있다. 이때, 단지 단말 디바이스는 이러한 시간 동안 사용자에 의해 만들어진 노트 정보에 대해 편차 교정 작업을 수행하는 것이 필요하다. 사용자에 의해 수행된 필기 도구의 펜촉의 움직임이 미리 정의된 조건을 만족하는 경우, 단말 디바이스는 사용자가 필기 도구의 펜촉을 정확한 위치로 이동시킴을 결정한다. 미리 정의된 조건은 사용자가 필기 도구의 펜촉을 이동시킨 방향이 떨림의 방향과 반대이고, 움직인 거리와 떨림 거리 간의 차이가 미리 정의된 임계치 보다 크지 않는 것일 수 있다.
도 15f에 도시된 바와 같이, 떨림 전에, 사용자는 촬영된 물체 상에 필기 도구의 작업을 통해 "연간 매출"아래에 물결선을 그린다. 촬영된 물체의 떨림으로 인하여, 필기 도구의 펜촉이 문자들 "증가했고, 영업이익은 전분기 7조원"의 라인으로 이동하고, 사용자의 작업의 관성으로 인해, 떨림 후에 물결선의 부분을 그리는 것을 계속하며, 도 15f에 도시된 바와 같이, 물결선은 "영업이익은" 아래에 그려진다. 이때, 사용자는 떨림을 발견하고, 물결선을 계속 그리기 위해 필기 도구의 펜촉을 "영업이익 26조원"으로 이윽고(in time) 이동시킨다. 단지 "영업이익은" 아래 물결선이 편차 교정 작업이 요구됨을 알 수 있다. 즉, 단말 디바이스는 떨림이 일어난 후와 사용자가 필기 도구의 펜촉을 정확한 위치로 이동시키기 전 시간 동안 사용자에 의해 만들어진 노트 정보에 편차 교정 작업을 수행하는 것이 단지 필요하다.
편차 교정 작업이 요구되는 노트 정보 내의 각 궤적 점에 대하여, 단말 디바이스는 떨림 전 촬영된 물체의 이미지 내의 궤적 점의 위치, 떨림 방향 및 떨림 거리에 따라 떨림이 일어난 후 촬영된 물체의 이미지 내에 궤적 점이 위치하여야 할 위치를 결정할 수 있다. 그후, 단말 디바이스는 현재 위치로부터 결정된 위치까지 궤적 점의 위치를 교정한다.
도 15g는, 도 15f 내의 "영업이익은" 아래에 물결선에 대해 단말 디바이스에 의해 수행된 편차 교정 작업을 설명하는 개략도이다,
Case 3: 사용자가 촬영된 물체 상에 작업을 통해 노트를 할 때, 단말 디바이스가 떨린다.
단말 디바이스가 떨린 후, 화면에 디스플레이되는, 촬영된 물체의 콘텐트의 위치가 벗어난다. 따라서, 떨림 전의 사용자에 의해 만들어진 노트 정보가 화면에 디스플레이되는 위치 또한 변경된다. 사용자는 필기 도구를 이동시킬 필요가 없다. 이때, 떨림 전에 사용자에 의해 만들어진 노트 정보만이 표시될 때 편차를 가지므로, 단지 단말 디바이스는 이러한 노트 정보에 대해서 편차 교정 작업을 수행하는 것이 필요하다.
편차 교정 작업이 요구되는 노트 정보 내의 각 궤적 점에 대하여, 단말 디바이스는 떨림 전 촬영된 물체의 이미지 내의 궤적 점의 위치, 떨림 방향 및 떨림 거리에 따라 떨림이 일어난 후 촬영된 물체의 이미지 내에 궤적 점이 위치하여야 할 위치를 결정할 수 있다. 그후, 단말 디바이스는 현재 위치로부터 결정된 위치까지 궤적 점의 위치를 교정한다.
게다가, 본 발명의 제 4 실시예에서, 단말 디바이스가 촬영된 물체의 이미지에 대해 문자 인식을 수행해왔고, 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적 위치에 따라 노트 정보와 촬영된 물체를 연관 지어 디스플레이해온 경우, 단말 디바이스는 떨림 전에 만들어진 노트 정보에 대해 편차 교정을 수행하지 않을 수 있다. 단말 디바이스는 떨림 후에 실시간으로 획득한 촬영된 이미지에 대한 문자 인식 수행을 통해 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적 위치를 획득할 수 있고, 상대적 위치에 따라 노트 정보와 촬영된 물체를 연관지어 디스플레잉하는 것을 통해 정확한 위치에 떨림 전에 만들어진 노트 정보를 디스플레이할 수 있다.
도 15h에 도시된 바와 같이, 떨림 전에, 사용자는 촬영된 물체 상에 작업을 통해 "연간 매출"아래에 물결선을 그린다. 단말 디바이스의 떨림으로 인하여, 단말 디바이스는 거리 d만큼 위로 이동한다. 떨림이 발생한 후, 떨림 전에 사용자에 의해 그려진 물결선은 명백한 편차를 가지며 "증가했고" 아래에 디스플레이된다. 이때, 단말 디바이스는 떨림 전에 사용자에 의해 그려진 물결선에 대해 편차 교정을 수행하는 것이 필요하다.
도 15i는, 도 15h 내의 "증가했고" 아래에 물결선에 대해 단말 디바이스가 편차 교정 작업을 수행한 후 개략도이다.
Case 4: 사용자가 화면 상에 작업을 통해 노트를 할 때, 필기 도구가 떨린다.
필기 도구가 떨린 후, 필기 도구의 펜촉의 위치는 촬영된 물체의 콘텐트에 대해 벗어난다. 사용자가 그 편차를 발견하면, 사용자는 필기 도구의 펜촉을 정확한 위치로 이동시킨다. 이때, 편차는 떨림이 일어난 후와 사용자가 필기 도구의 펜촉을 이동시키기 전 시간 동안 사용자에 의해 만들어진 노트 정보에만 발생할 수 있다. 이때, 단지 단말 디바이스는 이러한 시간 동안 사용자에 의해 만들어진 노트 정보에 대해 편차 교정 작업을 수행하는 것이 필요하다. 사용자에 의해 수행된 필기 도구의 펜촉의 움직임이 미리 정의된 조건을 만족하는 경우, 단말 디바이스는 사용자가 필기 도구의 펜촉을 정확한 위치로 이동시킴을 결정한다. 미리 정의된 조건은 사용자가 필기 도구의 펜촉을 이동시킨 방향이 떨림의 방향과 반대이고, 움직인 거리와 떨림 거리 간의 차이가 미리 정의된 임계치 보다 크지 않는 것일 수 있다.
편차 교정 작업이 요구되는 노트 정보 내의 각 궤적 점에 대하여, 단말 디바이스는 떨림 전 촬영된 물체의 이미지 내의 궤적 점의 위치, 떨림 방향 및 떨림 거리에 따라 떨림이 일어난 후 촬영된 물체의 이미지 내에 궤적 점이 위치하여야 할 위치를 결정할 수 있다. 그후, 단말 디바이스는 현재 위치로부터 결정된 위치까지 궤적 점의 위치를 교정한다.
Case 5: 사용자가 화면 상에 작업을 통해 노트를 할 때, 촬영된 물체가 떨린다.
촬영된 물체가 떨린 후, 촬영된 물체의 콘텐트가 화면에 디스플레이되는 위치가 벗어난다. 필기 도구가 떨리지 않으면, 필기 도구의 펜촉의 위치는 촬영된 물체의 콘텐트에 대해 벗어난다. 사용자가 그 편차를 발견하면, 사용자는 필기 도구의 펜촉을 정확한 위치로 이동시킨다. 이때, 편차는 떨림이 일어난 후와 사용자가 필기 도구의 펜촉을 이동시키기 전 시간 동안 사용자에 의해 만들어진 노트 정보에만 발생할 수 있다. 이때, 단지 단말 디바이스는 이러한 시간 동안 사용자에 의해 만들어진 노트 정보에 대해 편차 교정 작업을 수행하는 것이 필요하다. 사용자에 의해 수행된 필기 도구의 펜촉의 움직임이 미리 정의된 조건을 만족하는 경우, 단말 디바이스는 사용자가 필기 도구의 펜촉을 정확한 위치로 이동시킴을 결정한다. 미리 정의된 조건은 사용자가 필기 도구의 펜촉을 이동시킨 방향이 떨림의 방향과 반대이고, 움직인 거리와 떨림 거리 간의 차이가 미리 정의된 임계치 보다 크지 않는 것일 수 있다.
편차 교정 작업이 요구되는 노트 정보 내의 각 궤적 점에 대하여, 단말 디바이스는 떨림 전 촬영된 물체의 이미지 내의 궤적 점의 위치, 떨림 방향 및 떨림 거리에 따라 떨림이 일어난 후 촬영된 물체의 이미지 내에 궤적 점이 위치하여야 할 위치를 결정할 수 있다. 그후, 단말 디바이스는 현재 위치로부터 결정된 위치까지 궤적 점의 위치를 교정한다.
Case 6: 사용자가 화면 상에 작업을 통해 노트를 할 때, 단말 디바이스가 떨린다.
단말 디바이스가 떨린 후, 화면에 디스플레이되는, 촬영된 물체의 콘텐트의 위치가 벗어난다.
Case (1), 필기 도구의 펜촉이 단말 디바이스와 떨린다. 즉, 필기 도구의 펜촉과 화면 간의 상대적 위치 변화(shift)는 없다. 이때, 사용자가 이윽고(in time) 떨림을 발견하지 못하고 이윽고 필기 도구의 펜촉이 정확한 위치로 이동하지 않은 경우이나 화면에 노트를 계속 하는 경우, 사용자가 나중에 떨림을 발견한 후 여전히 노트하는 것이 필요한 경우, 사용자는 필기 도구의 펜촉을 정확한 위치로 이동시킬 수 있다. 이 경우, 필기 도구의 펜촉이 이동하기 전 사용자에 의해 만들어진 노트 정보는 편차를 가진다. 사용자에 의해 수행된 필기 도구의 펜촉의 이동이 미리 정의된 조건을 만족하는 경우, 단말 디바이스는 사용자가 필기 도구의 펜촉을 정확한 위치로 이동시킴을 결정한다. 미리 정의된 조건은 사용자가 필기 도구의 펜촉을 이동시킨 방향이 떨림의 방향과 반대이고, 움직인 거리와 떨림 거리 간의 차이가 미리 정의된 임계치 보다 크지 않는 것일 수 있다.
게다가, 이 경우, 사용자는 떨림을 발견하기 전에 노트 정보를 끝낼 수 있다. 그러므로, 단말 디바이스는 모든 노트 정보에 대해 편차 교정 작업을 수행하는 것이 필요하다.
도 15j에 도시된 바와 같이, 떨림 전에, 사용자는 촬영된 물체 상에 작업을 통해 "연간 매출"아래에 물결선을 그린다. 단말 디바이스의 떨림으로 인하여, 단말 디바이스는 거리 d만큼 위로 이동한다. 떨림이 발생한 후, 떨림 전에 사용자에 의해 그려진 물결선은 명백한 편차를 가지며 "증가했고"아래에 디스플레이된다. 사용자는 떨림을 발견하지 못하고 물결선을 계속해서 그린다. 이때, 단말 디바이스는 "증가했고, 영업이익은 전분기 7조 원 대"아래에 물결선에 대해 편차 교정을 수행하는 것이 필요하다.
편차 교정 작업이 요구되는 노트 정보 내의 각 궤적 점에 대하여, 단말 디바이스는 떨림 전 촬영된 물체의 이미지 내의 궤적 점의 위치, 떨림 방향 및 떨림 거리에 따라 떨림이 일어난 후 촬영된 물체의 이미지 내에 궤적 점이 위치하여야 할 위치를 결정할 수 있다. 그후, 단말 디바이스는 현재 위치로부터 결정된 위치까지 궤적 점의 위치를 교정한다.
게다가, 본 발명의 제 4 실시예에서, 단말 디바이스가 촬영에 의해 실시간으로 획득된, 촬영된 물체의 이미지에 대해 문자 인식을 수행하고, 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적 위치에 따라 노트 정보와 촬영된 물체를 연관 지어 디스플레이하는 경우, 단말 디바이스는 떨림 전에 만들어진 노트 정보에 대해 편차 교정을 수행하지 않을 수 있다. 단말 디바이스는 떨림 후에 실시간으로 획득한 촬영된 이미지에 대한 문자 인식 수행을 통해 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적 위치를 획득할 수 있고, 상대적 위치에 따라 노트 정보와 촬영된 물체를 연관지어 디스플레잉하는 것을 통해 정확한 위치에 떨림 전에 만들어진 노트 정보를 디스플레이할 수 있다.
도 15k는, 도 15l 내의 "증가했고, 영업이익은 전분기 7조 원 대" 아래에 물결선에 대해 단말 디바이스가 편차 교정 작업을 수행한 후 개략도이다.
Case (2), 필기 도구의 펜촉이 단말 디바이스와 함께 떨리지 않는다. 즉, 필기 도구의 펜촉과 화면 간의 상대적 위치 변화(shift)가 있다. 따라서, 단지 떨림 전에 사용자에 의해 만들어진 노트 정보의 디스플레이가 편차를 가진다. 이때, 단말 디바이스는 떨림 전에 사용자에 의해 만들어진 노트 정보의 디스플레이 편차에 대해 편차 교정 작업을 수행하는 것이 단지 필요하다. 단말 디바이스가 떨림 전에 사용자에 의해 만들어진 노트 정보에 대해 편차 교정 작업을 수행하는 과정은 Case 3의 과정과 유사하므로, 이하 반복하지 않는다.
떨림에 대한 위의(above) 편차 교정 작업 수행을 통해, 촬영된 물체 상에 사용자에 의해 만들어진 노트 정보는 화면에 더욱 정확히 디스플레이되고, 사용자의 경험은 향상된다.
제 5 실시예 (Embodiment 5)
노트 정보의 추후 확인을 용이하게 하기 위해서, 사용자는 노트 정보의 저장하기를 선택할 수 있다. 노트 정보 저장 명령을 수신할 때, 단말 디바이스는 촬영된 물체에 사용자에 의해 만들어진 노트 정보와 실시간으로 촬영된, 촬영된 물체의 이미지를 연관지어 저장한다.
단말 디바이스는 사용자에 의해 만들어진 노트 정보, 실시간으로 촬영된 이미지, 및 실시간으로 촬영된 이미지에 대해 문자 인식을 수행함으로써 획득된 문자 인식 결과를 연관지어 저장할 수도 있다. 게다가, 단말 디바이스는 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적 위치를 저장할 수도 있다.
단말 디바이스는 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적 위치가 노트 파일 내에 저장될 수 있는 독립적인 노트 파일에 노트 정보를 저장할 수 있다.
노트가 비문자 노트, 예를 들어, 밑줄, 물결선, 점선 등인 경우, 저장된 노트 정보는 라인 두께와 노트 정보의 색상과 같은 정보를 포함할 수 있다. 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적 위치는 촬영된 물체의 콘텐트에 대한 노트의 각 궤적 점의 상대적 위치일 수 있다. 노트가 문자 타입 노트, 예를 들어, 주석 및 문자들이 수기의 문자들인 경우, 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적인 위치는 촬영된 물체의 콘텐트에 대한 노트의 각 궤적의 상대적인 위치일 수 있다. 노트가 삼각형, 별, 별 심볼인 경우, 단말 디바이스는 대응되는 사진을 노트의 콘텐트로 할 수 있다. 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적인 위치는 촬영된 물체 내에서 대응되는 사진의 위치일 수 있다. 노트가 문자 타입, 예로, 주석 및 문자들이 비수기(non-handwritten)의 문자들인 경우, 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적인 위치는 촬영된 물체의 콘텐트에 대한 문자들의 상대적인 위치, 즉, 촬영된 물체의 콘텐트 내에서 문자들의 좌표들일 수 있다.
사용자에 의해 만들어진 노트가 음성 노트를 포함하는 경우, 저장된 노트 정보는 오디오 파일을 포함할 수 있다. 오디오 파일의 포맷은 CD, MP3, MIDI 등일 수 있다. 단말 디바이스는 오디오 파일의 스토리지 어드레스와 대응되는 음성 재생 식별자를 하이퍼 링크로(이에 제한되지 않음) 연관지을 수 있다. 사용자가 특정 방식으로 음성 재생 식별자를 트리거한 후, 단말 디바이스는 대응되는 스토리지 위치로부터 오디오 파일을 획득하고 오디오 파일을 재생한다.
게다가, 사용자는 노트 정보 내의 마크 심볼에 관련된 콘텐트를 발췌 내용으로 할 수 있다. 단말 디바이스에 의해 제공되는 원키(one-key) 발췌 기능을 통해, 관련된 발췌 콘텐트는 발췌 노트에 저장될 수 있다. 한 실시예에서, 발췌 노트가 저장될 때, 기록 시간과 같은 정보, 노트 자원(source)은 저장될 수 있다. 노트 자원은 책 이름, 저자, 발행처, 제목 등일 수 있다. 노트 자원은 종이 책의 커버 촬영과 커버에 대한 문자 인식 수행을 통해 종이 책의 커버 위의 책 이름, 저자와 같은 정보일 수 있다. 또는, 사용자는 노트 자원의 정보를 획득하기 위해 카메라와 단말 디바이스 내의 바 코드 스캐닝 소프트웨어를 통해 책의 바 코드를 스캔할 수 있다. 또는, 사용자는 노트 자원의 정보를 수동적으로 추가할 수 있고, 노트 자원의 정보와 발췌 노트를 서로 맞게 저장한다. 따라서, 사용자가 도서관 같은 곳에서 읽을 때, 사용자는 핸드폰과 같은 단말 디바이스를 이용하여 흥미로운 콘텐트 또는 중요한 콘텐트를 발췌할 수 있고, 콘텐트를 편리한 전자 발췌 노트로 저장할 수 있다.
제 6 실시예 (Embodiment 6)
단말 디바이스가 실시간으로 촬영할 때, 노트는 촬영된 물체 상에 만들어질 수 있고, 실시간으로 촬영한 이미지와 노트 정보는 연관되게 디스플레이될 수 있다.
게다가, 촬영된 물체의 이미지가 노트 정보와 대응되어 저장된 경우, 사용자가 단말 디바이스를 이용하여 실시간으로 촬영된 물체를 촬영할 때, 실시간으로 촬영된 이미지에 관련된 노트 정보가 획득될 수 있고, 실시간으로 촬영된 이미지와 노트 정보는 연관되게 디스플레이된다. 특히, 단말 디바이스는 이미지 인식 기술에 따라 실시간으로 촬영된 이미지와 저장된 이미지를 비교한다. 실시간으로 촬영된 이미지가 저장된 이미지와 관련되어 있다고 검출된 경우, 단말 디바이스는 연관되어 저장된 노트 정보와 저장된 이미지의 콘텐트에 대한 노트 정보의 상대적 위치를 획득할 수 있고, 저장된 이미지 내의 콘텐트에 대한 노트 정보의 상대적 위치, 저장된 이미지의 문자 인식 결과 및 실시간으로 촬영된 이미지의 문자 인식 결과에 따라 실시간으로 촬영된 이미지 내의 콘텐트에 대한 노트 정보의 상대적 위치를 결정할 수 있고, 결정된 상대적 위치에 따라 실시간으로 촬영된 이미지와 노트 정보를 연관되게 디스플레이할 수 있다.
본 개시의 제 6 실시예에서, 사용자는 실시간으로 촬영된 물체를 촬영할 때, 촬영된 영역은 촬영된 물체의 저장된 이미지 전체 영역이거나 촬영된 물체의 저장된 이미지의 로컬 영역일 수 있다. 단말 디바이스는 실시간으로 촬영되는 촬영된 물체의 이미지가 촬영된 물체의 저장된 이미지의 일부 콘텐트와 연관되는 것을 검출한 경우에만, 노트 정보를 보는 것을 더욱 편리하게, 실시간 촬영 동안 대응되는 노트 정보를 연관지어 디스플레이 할 수 있다.
위의(above) 상황에서, 단말 디바이스에 의해 저장된 노트 정보는 촬영된 물체에 사용자에 의해 이전에 만들어진 노트 정보이거나 다른 디바이스들로부터 수신한 노트 정보일 수 있다. 더욱이, 노트 정보는 클라우드 측으로부터 획득될 수도 있다.
예를 들어, 사용자 A는 트레이닝 수업에 참여한다. 사용자 A는 핸드폰을 이용하여 트레이닝 책에 많은 노트를 하고, 핸드폰에 노트를 저장한다. 사용자 B는 트레이닝 수업에 참여하지 않는다. 이때, 사용자 A는 휴대폰에 의해 만들어진 노트들을 B와 공유할 수 있다. 사용자 B가 실시간으로 트레이닝 책을 촬영할 때, 사용자 A에 의해 공유된 노트는 바로 로드되어 디스플레이된다. 따라서, 사용자 B는 트레이닝 책에 사용자 A에 의해 만들어진 노트들을 편리하게 볼 수 있다. 사용자의 노트가 단말 디바이스 내에 저장된 전자식 노트이므로, 노트 하기 위한 사용자의 욕구는 책에 필기 없이도 만족될 수 있다.
본 개시의 제 6 실시예에서, 사용자가 단말 디바이스를 이용하여 정지 이미지를 탐색할 때, 사용자는 정지 이미지에 노트할 수 있고, 노트 정보와 정지 이미지를 연관지어 디스플레이할 수 있다.
또는, 단말 디바이스를 이용하여 정지 이미지를 탐색할 때, 사용자가 정지 이미지에 그 자신 또는 다른 사용자에 의해 만들어진 노트 정보를 보기를 원할 때, 단말 디바이스는 로컬 스토리지, 다른 디바이스 또는 클라우드 측으로부터 정지 이미지에 관련된 노트 정보를 획득할 수 있고, 노트 정보와 정지 이미지를 화면에 연관지어 디스플레이 할 수 있다.
정지 이미지는 본 개시의 위의 실시예들에서와 같이 실시간 촬영으로 단말 디바이스에 의해 획득되는 촬영된 물체의 이미지이거나, 단말 디바이스의 로컬 스토리지에 저장된 정지 이미지이거나, 다른 디바이스 또는 클라우드 측으로부터 단말 디바이스에 의해 획득된 정지 이미지일 수 있다.
설명을 용이하게 하기 위해서, 본 개시의 제 6 실시예의 다음의 설명에서, 단말 디바이스에 의해 디스플레이되는 촬영된 이미지와 정지 이미지는 디스플레이된 이미지로 일반적으로 언급한다.
본 개시의 제 6 실시예에서, 이미지를 디스플레이할 때, 단말 디바이스는 다음의 것 중 적어도 하나를 수행할 수 있다.
적응적 레이아웃으로 디스플레이하기; 노트에 따라 콘텐트 조정하기; 강조하기; 노트의 콘텐트를 조정하기; 검색하기; 배경 디스플레이하기; 3D 모델 디스플레이하기; 그리고 썸네일 디스플레이하기.
이하, 위의 다양한 작업들을 각각 설명한다.
1. 적응적 레이아웃으로 디스플레이하기
사용자가 디스플레이된 이미지의 콘텐트를 보는 것을 용이하게 하기 위해, 단말 디바이스는 디스플레이된 이미지에 문자 인식(OCR 인식과 같은)을 수행할 수 있고, 문자 인식 결과에 따라 적응적 레이아웃으로 이미지를 디스플레이할 수 있다. 적응적 레이아웃이 디스플레이된 이미지의 콘텐트에 적용되는 경우, 디스플레이된 이미지와 관련된 노트 정보도 적응적 레이아웃으로 디스플레이될 수도 있다. 게다가 단말 디바이스는 단지 노트 정보에 대해 적응적 레이아웃을 적용할 수 있다.
적응적 레이아웃이 디스플레이된 이미지의 콘텐트에 적용된 후, 사용자는 단말 디바이스에 저장 명령을 전송하기 위해 화면 상의 저장 버튼을 클릭할 수 있다. 사용자의 저장 명령을 수신 후, 단말 디바이스는 적응적 레이아웃이 지정된 포맷, 예를 들어, txt, doc, pdf, rtf, jpg/jpeg, tif 및 bmp 등으로 적용된 후 이미지를 저장한다. 이와 같이, 사용자는 레이아웃 재배열 없이 나중에 보기 위해 저장된 이미지를 로드(load)할 수 있다.
적응적 레이아웃이 디스플레이된 이미지의 콘텐트에 적용될 때 적응적 레이아웃이 노트 정보에도 적용되는 경우, 사용자의 저장 명령을 수신 후, 단말 디바이스는 적응적 레이아웃이 적용된 후 노트 정보와 적응적 레이아웃이 적용된 후 디스플레이된 이미지를 연관지어(in association) 저장한다.
단말 디바이스가 단지 노트 정보에 적응적 레이아웃을 적용한 경우, 사용자의 저장 명령을 수신 후, 단말 디바이스는 적응적 레이아웃이 적용된 후 노트 정보와 디스플레이된 이미지를 연관지어(in association) 저장한다.
노트 정보와 디스플레이된 이미지를 연관지어 저장하는 방식은 제 5 실시예에서 설명한 것과 유사하며, 이하 반복하지 않는다.
적응적 레이아웃을 적용하는 방식은 다음의 것을 포함할 수 있으나 이에 제한되지 않는다.
1. 디스플레이된 뷰에 기초하여 적응적 레이아웃 적용하기
1) 디스플레이된 이미지의 콘텐트에 적응적 레이아웃 적용하기
단말 디바이스는 현재 디스플레이된 뷰와 디스플레이된 이미지의 사이즈와 문자 인식 결과에 따라 디스플레이된 이미지의 콘텐트에 적응적 레이아웃을 적용할 수 있고, 적응적 레이아웃이 적용된 후 이미지를 화면에 디스플레이할 수 있다. 현재 디스플레이된 뷰의 폭은 화면의 현재 폭에 제한을 받는다. 화면의 현재 폭은 세로 또는 가로 모드와 같은 화면의 디스플레잉 방식과 관련이 있다.
디스플레이된 이미지의 콘텐트가 텍스트 영역을 포함하는 경우, 적응적 레이아웃을 적용할 때, 단말 디바이스는 화면에 적응되도록, 화면에 현재 디스플레이된 뷰의 폭과 문자들의 디스플레잉 폰트 사이즈에 따라 현재 디스플레이된 뷰의 폭에 맞는 한 줄 내의 문자들의 개수(즉, 한 줄에 의해 보유되는 문자들의 개수)를 계산할 수 있고, 계산된 한 줄 내의 문자들의 개수와 문자들의 디스플레잉 폰트 사이즈에 따라 인식된 텍스트 영역 내의 문자들에 대해 적응적 레이아웃 (예를 들어, 자동 줄 바꿈(automatic word wrap)) 을 적용할 수 있다. 문자들의 디스플레잉 폰트 사이즈는 문자 인식에 의해 획득된 문자들의 폰트 사이즈, 또는 사용자에 의해 사전에 구성된 폰트 사이즈, 또는 단말 디바이스의 시스템 내에 구성된 디폴트 폰트 사이즈, 또는 사용자의 읽기 습관에 따라 단말 디바이스에 의해 결정된 폰트 사이즈일 수 있다.
한 실시예에서, 텍스트 영역 내의 인식된 문자들에 대해 적응적 레이아웃을 적용할 때, 단말 디바이스는 인식된 문자의 폰트 사이즈와 미리구성된(preconfigured) 디스플레잉 폰트 사이즈의 최대값과 최소값 간의 관계에 따라 각 문자의 디스플레잉 폰트 사이즈를 먼저 결정할 수 있다. 예를 들어, 인식된 문자에 대하여, 인식된 문자의 폰트 사이즈가 미리구성된 폰트 사이즈의 최대값보다 큰 경우, 미리구성된 폰트 사이즈의 최대값이 문자의 디스플레잉 폰트 사이즈가 된다. 인식된 문자의 폰트 사이즈가 미리구성된 폰트 사이즈의 최소값보다 작은 경우, 미리구성된 폰트 사이즈의 최소값이 문자의 디스플레잉 폰트 사이즈가 된다. 인식된 문자의 폰트 사이즈가 미리구성된 디스플레잉 폰트 사이즈의 최대값과 최소값 사이인 경우, 인식된 문자의 폰트 사이즈는 문자의 디스플레잉 폰트 사이즈가 된다. 이와 같이, 단말 디바이스는 화면에 적응되도록, 현재 디스플레이된 뷰와 결정된 문자들의 디스플레잉 폰트 사이즈에 따라 텍스트 영역 내의 문자들을 위한 적응적 레이아웃을 설정할 수 있다. 미리구성된 폰트 사이즈의 최대값과 최소값은 사용자에 의해 사전에 구성될 수 있다. 단말 디바이스는 현재 디스플레이된 뷰와 결정된 문자들의 디스플레잉 폰트 사이즈에 따라 문자들의 좌표들의 순서에 기초하여 텍스트 영역 내의 문자들을 위한 적응적 레이아웃을 설정할 수 있다.
예를 들어, 도 16a는 디스플레이된 이미지가 단지 텍스트 콘텐트을 포함할 때 단말 디바이스가 적응적 레이아웃 적용 없이 디스플레이된 이미지를 바로 디스플레이하는 개략도이다. 도 16b는 단말 디바이스가 디스플레이된 콘텐트 내의 콘텐트에 대해 적응적 레이아웃을 적용하는 개략도이다. 도 16a와 도 16b의 비교에 의해 적응적 레이아웃을 가지는 콘텐트는 더욱 읽기에 적절함을 볼 수 있다. 사용자는 빈번한 주밍 및 디스플레이된 이미지에 대한 좌/우 드래깅 작업 없이 디스프레이된 이미지 내의 콘텐트를 편안하게 읽을 수 있다.
본 개시의 실시예들에서, 적응적 레이아웃이 적용될 때, 단말 디바이스는 이미지들로 화면에 텍스트 영역 내의 문자들을 디스플레이할 수 있다. 즉, 단말 디바이스는 현재의 디스플레이된 뷰의 사이즈에 따라 텍스트 영역의 문자 인식 결과로부터 분할된 단일 문자들을 한 줄로 연결한다. 줄 바꿈이 요구되는 경우, 대응되는 문자들은 새로운 줄로 연결된다. 이러한 디스플레잉 방식은 "이동가능한 타입 프린팅(movable type printing)"과 유사하다. 이러한 디스플레잉 방식에서, 주밍 작업은 실제로 픽셀들에 적용된다.
또한, 단말 디바이스는 텍스트 영역 내의 문자들을 텍스트 파일로 변환하는 것과 동등한, 비이미지(non-image) 방식으로 화면 상에 텍스트 영역 내의 문자들을 디스플레이할 수 있다. 즉, 단말 디바이스는 대응되는 코드, 글씨체, 폰트 사이즈, 및 문자의 문자 좌표들과 같은 정보에 따라 문자들을 디스플레이한다. 이러한 디스플레잉 방식에서, 주밍 작업은 문자들의 폰트 사이즈를 변경하기 위해 실제로 수행된다. 게다가, 이러한 디스플레잉 방식내에서, 적응적 레이아웃이 텍스트 영역 내의 문자들에 적용될 때, 단말 디바이스는 미리구성된 글씨체에 따라, 또는 인식된 문자들의 글씨체에 따라 문자들을 디스플레이할 수 있다.
디스플레이된 이미지의 콘텐트가 텍스트 영역과 그래픽 영역 모두를 포함할 때, 즉, 디스프레이된 이미지가 텍스트와 그래픽 모두를 가진 이미지일 때, 한 실시예에서, 단말 디바이스는 레이아웃 재배열을 수행하고, 텍스트 주위의 모드, 정렬 모드(alignment mode), 각 그래픽 영역의 텍스트에 대한 상대적 위치, 현재 디스플레이된 뷰의 사이즈, 및 텍스트 영역 내의 각 단락의 단락 정보에 따라 텍스트 영역과 그래픽 영역 내의 문자들을 디스플레이할 수 있다. 게다가, 사용자는 그래픽 영역을 드래깅하는 것을 통해 그래픽 영역과 텍스트 영역 사이의 위치 관계를 변경할 수도 있다.
디스플레이된 이미지 내의 텍스트 영역이 컬럼들을 포함하거나 불규칙한 영역을 가지는 경우, 한 실시예에서, 디스플레이된 이미지의 문자 인식을 통해 획득된 문자 인식 결과는 컬럼 정보를 더 포함한다. 단말 디바이스는 각 컬럼의 위치 또는 불규칙한 영역의 위치에 따라 텍스트 영역 내의 컬럼들을 왼쪽으로부터 오른쪽까지, 위에서부터 아래까지의 순서대로 분리할 수 있다.
2) 노트 정보에 대해 적응적 레이아웃 적용하기
적응적 레이아웃이 디스플레이된 이미지의 콘텐트에 적용될 때, 적응적 레이아웃은 디스플레이된 이미지에 연관된 노트 정보에 적용될 수도 있다.
노트가 밑줄, 물결선, 점선 등과 같은 비문자 타입일 때, 디스플레이된 이미지의 콘텐트에 대한 노트 정보의 상대적 위치는 디스플레이된 이미지에 대한 노트의 각 궤적 점의 상대적 위치일 수 있다. 콘텐트에 대한 궤적 점의 상대적 위치는 궤적 점이 위치한 단락의 단락 번호, 궤적 점이 위치한 라인의 라인 번호, 관련된 문자들, 문자들로부터의 거리 등을 포함한다. 이러한 상황에서, 적응적 레이아웃이 적용될 때, 단말 디바이스는 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치에 따라 적응적 레이아웃으로 노트 정보를 디스플레이할 수 있도록, 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 문자 인식 결과(레이아웃 정보와 문자 정보)와 적응적 레이아웃이 적용되기 전 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적인 위치에 따라, 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치를 결정할 수 있다. 노트 내의 각 궤적 점과 디스플레이된 이미지 내의 문자들 간의 거리는 적응적 레이아웃이 적용된 후 디스플레이된 이미지 내의 문자들의 폰트 사이즈와 줄 간격(line gap)과 같은 정보에 따라 조정될 수 있다. 디스플레이된 이미지 내의 문자들의 폰트 사이즈와 줄 간격이 적응적 레이아웃이 적용된 후 증가된 경우, 노트 내의 각 궤적 점과 디스플레이된 이미지 내의 문자들 간의 거리도 이에 따라 증가한다.
노트가 삼각형, 별, 별 심볼 등인 경우, 단말 디바이스는 대응되는 사진을 노트의 콘텐트로 한다. 디스플레이된 이미지의 콘텐트에 대한 노트 정보의 상대적인 위치는 디스플레이된 이미지 내에서 대응되는 사진의 위치일 수 있다. 적응적 레이아웃이 노트 정보에 대해 적용될 때, 단말 디바이스는 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 콘텐트 내의 대응되는 사진의 위치에 따라 대응되는 사진을 디스플레이할 수 있도록, 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 문자 인식 결과와 적응적 레이아웃이 적용되기 전 디스플레이된 이미지의 콘텐트 내의 대응되는 사진의 위치에 따라, 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 콘텐트 내의 대응되는 사진의 위치를 결정할 수 있다. 대응되는 사진의 사이즈는 적응적 레이아웃이 적용된 후 디스플레이된 이미지 내의 문자들의 폰트 사이즈, 줄 간격과 같은 정보에 따라 조정될 수 있다. 예를 들어, 적응적 레이아웃이 적용된 후 디스플레이된 이미지 내의 문자들의 폰트 사이즈와 줄 간격이 증가된 경우, 확대 작업이 대응되는 사진에 적용된다.
도 16c는, 적응적 레이아웃이 디스플레이된 이미지에 대해 적용되기 전 사용자에 의해 만들어진 노트 정보를 설명하는 개략도이다. 단말 디바이스가 디스플레이된 이미지의 콘텐트에 대해 적응적 레이아웃을 적용한 후, 디스플레이된 이미지의 콘텐트 내의 각 문자의 좌표들은 변화된다. 따라서, 디스플레이된 이미지 내의 사용자에 의해 그려진 물결선 내의 각 궤적 점의 위치도 변한다. 게다가, 디스플레이된 이미지의 콘텐트 내의 별 심볼의 위치도 이에 따라 변한다. 단말 디바이스는 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 문자 인식 결과에 따라, 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 콘텐트에 대한 물결선 내의 각 궤적 점의 상대적 위치와 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 콘텐트 내의 별 심볼의 위치를 결정한다. 도 16d는 적응적 레이아웃이 디스플레이된 이미지와 노트 정보에 적용된 예를 설명하는 개략도이다. 도 16d에서 볼 수 있듯이, 디스플레이된 이미지의 콘텐트에 대해 적응적 레이아웃이 적용된 후, 적응적 레이아웃은 노트 정보에 대해서도 적용된다.
근처의 궤적 점들 간의 거리가 상대적으로 큰 경우(예로, 미리정의된 임계치보다 클 때), 적응적 레이아웃은 노트 정보에 대해 적용된 후, 노트의 라인들을 부드럽게 하기 위해, 단말 디바이스는 인터폴레이션 알고리즘에 따라 근처 궤적 점들 사이에 몇몇의 궤적 점들을 삽입할 수 있고, 적응적 레이아웃이 적용된 후 노트 정보를 획득하기 위해 궤적 점들을 차례로 연결할 수 있다.
노트가 문자 타입, 예로, 주석 및 문자들이 사용자의 수기의 문자들인 경우, 디스플레이된 이미지의 콘텐트에 대한 노트 정보의 상대적인 위치는 디스플레이된 이미지의 콘텐트에 대한 노트의 각 궤적의 상대적인 위치일 수도 있다. 주석의 콘텐트는 일반적으로 디스플레이된 이미지의 빈 영역에 위치한다. 그러므로, 단말 디바이스는 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치에 따라 적응적 레이아웃이 적용된 후 노트 정보를 디스플레이할 수 있도록, 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 문자 인식 결과에 따라 노트 주변의 빈 영역의 사이즈를 획득할 수 있고, 빈 영역의 사이즈와 적응적 레이아웃이 적용되기 전 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치에 따라, 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치를 결정할 수 있다.
도 16e는 디스플레이된 이미지에 대해 적응적 레이아웃이 적용되기 전 사용자에 의해 만들어진 노트 정보를 설명하는 개략도이다. 도 16f 적응적 레이아웃이 적용된 후 디스플레이된 이미지와 노트 정보를 설명하는 개략도이다.
게다가, 적응적 레이아웃이 노트에 적용될 때, 단말 디바이스는 사용자에 의해 입력된 수기의 문자들의 콘텐트를 인식할 수 있고, 수기의 문자들을 시스템에 의해 지원되는 글씨체의 인쇄 문자들로 변환할 수 있으며, 변환된 인쇄 문자들을 빈 영역에 적응적으로 디스플레이할 수 있다. 도 16g는, 수기의 문자들이 인쇄 문자들로 변환된 후 적응적 레이아웃이 디스플레이된 이미지와 노트 정보에 적용된 예를 설명하는 개략도이다.
노트가 문자 타입, 예를 들어, 주석 및 문자들이 비수기의 문자들, 예를 들어, 시스템에 의해 제공되는 입력 기능을 통해 사용자에 의해 입력된 인쇄 문자들 또는 수기의 문자들로부터 변환된 인쇄 문자들인 경우, 디스플레이된 이미지의 콘텐트에 대한 노트 정보의 상대적 위치는 디스플레이된 이미지의 콘텐트 내의 각 문자들의 좌표들일 수 있다. 주석의 콘텐트는 디스플레이된 이미지 내의 빈 영역 내에 일반적으로 위치한다. 그러므로, 단말 디바이스는 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 문자 인식 결과에 따라 노트 주변의 빈 영역의 사이즈를 결정할 수 있고, 빈 영역의 사이즈와 적응적 레이아웃이 적용되기 전 디스플레이된 이미지의 콘텐트 내의 노트의 각 문자의 좌표들에 따라, 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 콘텐트 내의 노트 내의 각 문자의 좌표들을 결정할 수 있다. 게다가, 적응적 레이아웃이 적용된 후 디스플레이된 이미지의 콘텐트 내의 노트의 각 문자들의 폰트 사이즈와 좌표들에 따라 적응적 레이아웃이 적용된 후 노트 정보를 디스플레이할 수 있도록, 적응적 레이아웃이 적용된 후 노트 내의 각 문자의 폰트 사이즈는 적응적 레이아웃이 적용된 후 디스플레이된 이미지 내의 빈 영역의 사이즈와 문자의 폰트 사이즈에 따라 결정된다.
디스플레이된 이미지가 추적 가능한 수기의 노트를 포함하는 경우, 노트는 이미 디스플레이된 이미지 내에 존재할 수 있으나, 사용자에 의해 만들어지지 않는다. 이와 같은 노트는 사용자에게 불필요하거나, 또는 노트의 단지 일부분이 사용자에 의해 요구될 수 있거나, 존재하는 노트들이 어질러져있을 수 있으며, 이들 모두는 사용자의 정상적인 읽기에 영향을 미친다. 위의 상황에서, 사용자는 단지 원하는 노트를 가진 깨끗한 문서를 원할 수 있다. 본 개시의 제 6 실시예에서, 단말 디바이스는 존재하는 노트를 인식하기 위해 디스플레이된 이미지에 대해 문자 인식과 수기 인식을 수행할 수 있다. 단말 디바이스는 인식된 노트 정보와 디스플레이된 이미지를 연관지어 저장할 수 있고, 디스플레이된 이미지의 콘텐트에 대한 노트 정보의 상대적 위치를 저장할 수 있다. 후에, 사용자는 디스플레이된 이미지 상의 인식된 노트 정보에 대해 주밍, 편집, 강조, 및 노트의 레이아웃 조정과 같은 작업을 할 수 있다.
존재하는 노트가 사용자에게 완전히 불필요한 경우, 디스플레이된 이미지 상의 노트는 단말 디바이스에 의해 제공되는 원키 지움 기능을 통해 지워질 수 있다. 단말 디바이스는 콘텐트의 픽셀들을 문서의 배경 이미지로 대체할 수 있다. 게다가, 사용자는 노트의 콘텐트 일부분만을 지울 수 있다. 사용자가 지울 노트의 콘텐트를 선택한 후, 단말 디바이스에 의해 제공되는 지움 기능을 통해 지움이 수행된다. 지워진 콘텐트의 픽셀들은 문서의 배경의 이미지에 의해 대체될 수 있다.
사용자가 아무런 노트가 포함되지 않은 깨끗한 문서를 가지길 바라는 경우, 단말 디바이스는 사용자의 노트 숨기기 명령 수신 후 노트 정보를 숨길 수 있고, 사용자의 노트 디스플레잉 명령을 수신후 노트 정보를 디스플레이할 수 있다.
존재하는 노트가 어질러져 있는 경우, 단말 디바이스는 수기의 문자들을 인쇄 문자들로 변환하기 위한 UI 상에 가상 버튼을 제공할 수 있다. 사용자가 가상 버튼을 클릭할 때, 단말 디바이스는 인식된 수기의 문자들을 인쇄 문자들로 변경한다.
위에서 본 바와 같이, 사용자는 디스플레이된 이미지 내의 존재하는 노트에 적응적 레이아웃 적용을 통해 사용자의 읽기 경험을 매우 향상시킬 수 있는, 필요한 노트 콘텐트를 가지는 깨끗한 문서를 볼 수 있다.
2. 주밍 작업에 대하여 적응적 레이아웃 적용하기
이미지를 주밍(줌-인/줌-아웃)할 때, 종래 기술은 오직 픽셀 레벨에서 비례하게 주밍을 수행할 수 있고, 이미지의 픽셀 사이즈에 매우 의존한다. 반면, 이미지는 크고 이미지 내의 문자들이 작은 경우, 사용자는 이미지를 줌인할 필요가 있다. 그러나, 주밍 작업이 수행될 때, 이미지 전체가 확대된다. 사용자는 이미지의 전체 콘텐트를 보기 위해, 매우 불편하게, 이미지를 앞뒤로 드래그(drag)해야 한다. 본 개시의 제 6 실시예에서, 단말 디바이스는 디스플레이된 이미지에 문자 인식(OCR 인식과 같은)을 수행할 수 있고, 문자 인식 결과에 적응적 레이아웃을 적용할 수 있다. 사용자가 주밍 작업을 수행할 때, 문자들의 코드들이 획득되므로, 문자들의 주밍은 픽셀의 주밍이 아니나, 문자들의 폰트 사이즈 변경과 자동 줄 바꿈에 의해 구현되며, 이미지를 앞뒤로 드래깅하는 것은 피할 수 있다. 완전한 콘텐트는 단지 이미지를 위와 아래로 스크롤링을 통해 읽을 수 있으며, 이미지의 해상도에 의해 제한되지 않는다.
본 개시의 제 6 실시예에서, 주밍 작업의 물체는 이미지의 전체 콘텐트, 즉, 전체 콘텐트 주밍일 수 있다. 주밍 작업의 물체는 지정된 정보일 수도 있다. 이때, 단말 디바이스는 단지 지정된 정보와 아들 콘텐트의 사이즈가 변경되지 않는 방향으로 주밍을 수행한다.
지정된 정보는 다음의 적어도 하나를 포함한다.
노트 정보;
디스플레이된 이미지의 콘텐트 내의 노트 정보에 관련된 콘텐트; 및
디스플레이된 이미지의 노트 정보와 콘텐트 내의 지정된 영역 내의 또는 지정된 타입 내의 콘텐트
노트 정보에 관련된 콘텐트는 노트 정보에 대응되는 콘텐트이다. 예를 들어, "현재 스마트폰은 일반적으로 터치 스크린 기술을 채택한다(current smart phone usually adopts touch screen techniques)"가 밑줄그어져 있는 경우, 밑줄과 관련된 콘텐트는 "현재 스마트폰은 일반적으로 터치 스크린 기술을 채택한다" 이다.
1) 전체 문서 주밍 (Whole document zooming)
전체 무서 주밍을 수행할 때, 디스플레이된 이미지는 노트 정보와 연관되어 있고, 대응되는 적응적 레이아웃이 노트 정보에 대해 적용되는 것이 필요하다.
노트는 비문자 타입, 예를 들어, 밑줄, 물결선, 점선 등인 경우, 단말 디바이스가 전체 문서 주밍 작업을 수행한 후, 디스플레이된 이미지 내의 문자들의 위치와 폰트 사이즈가 변한다. 이때, 단말 디바이스는 주밍 후 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치에 따라 적응적 레이아웃이 적용된 후 노트 정보를 디스플레이할 수 있도록, 주밍 후 디스플레이된 이미지의 문자 인식 결과와 주밍 전 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적인 위치에 따라, 주밍 후 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치를 결정할 수 있다. 노트 내의 각 궤적 점과 디스플레이된 이미지 내의 문자들 간의 거리는 주밍 후 디스플레이된 이미지 내의 문자들의 폰트 사이즈 및 줄 간격에 따라 조정된다. 예를 들어, 디스플레이된 이미지 내의 문자들의 폰트 사이즈와 줄 간격이 주밍 후 증가되면, 디스플레이된 이미지 내의 각 궤적 점과 문자들 간의 거리는 이에 따라 증가된다.
노트가 삼각형, 별, 또는 별 심볼 등이고 단말 디바이스가 대응되는 사진을 노트 콘텐트로 하는 경우, 단말 디바이스는 줌된 이미지의 콘텐트 내의 사진의 위치에 따라 이미지를 디스플레이할 수 있도록, 줌된 이미지의 문자 인식 결과와 주밍 전 디스플레이된 이미지의 콘텐트 내의 사진의 위치에 따라, 줌된 이미지의 콘텐트 내의 사진의 위치를 결정할 수 있다. 사진의 사이즈는 주밍 후 디스플레이된 이미지 내의 문자들의 폰트 사이즈와 줄 간력과 같은 정보에 따라 조정될 수 있다.
노트가 문자 타입, 예를 들어, 주석 및 문자들이 사용자의 수기의 문자들인 경우, 단말 디바이스는 주밍 후 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치에 따라 적응적 레이아웃이 적용된 후 노트 정보를 디스플레이할 수 있도록, 주밍 후 디스플레이된 이미지의 문자 인식 결과에 따라 노트 주변의 빈 영역의 사이즈를 결정할 수 있고, 빈 영역의 사이즈와 주밍 전 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치에 따라 주밍 후 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치를 결정할 수 있다. 단말 디바이스가 수기의 문자들에 적응적 레이아웃을 적용할 때, 자동 줄 바꿈은 빈 영역 내에 구현될 수 있다.
노트가 문자 타입, 예를 들어, 주석 및 문자들이 수기의 문자들이 아닌 경우, 단말 디바이스는 주밍 후 디스플레이된 이미지의 문자 인식 결과에 따라 노트 주변의 빈 영역의 사이즈를 결정할 수 있고, 빈 영역의 사이즈와 주밍 전 디스플레이된 이미지 내의 각 문자의 좌표들에 따라 주밍 후 디스플레이된 이미지의 콘텐트 내의 각 문자의 좌표들을 결정할 수 있다. 게다가, 적응적 레이아웃이 적용된 후 노트 내의 각 문자의 폰트 사이즈는 빈 영역의 사이즈와 주밍 후 디스플레이된 이미지 내의 문자들의 폰트 사이즈에 따라 결정될 수도 있다. 이와 같이, 적응적 레이아웃이 적용된 후 노트 정보는 적응적 레이아웃이 적용된 후 디스플레이된 이미지 내의 노트의 각 문자들의 좌표들과 폰트 사이즈에 따라 디스플레이 될 수 있다. 단말 디바이스가 비수기의 문자들에 적응적 레이아웃을 적용할 때, 빈 영역 내에 자동 줄 바꿈이 구현된다.
2) 노트 정보에 대하여 주밍
노트가 비문자 타입, 예를 들어, 밑줄, 물결선, 점섬 등인 경우, 단말 디바이스에 의해 수행된 노트 정보의 주밍은 노트의 라인 두께에 대해 대응되는 증가 또는 감소로 간주될 수 있다.
노트가 삼각형, 별, 별 심볼 등이고 단말 디바이스가 대응되는 사진을 노트로 하는 경우, 단말 디바이스에 의해 수행된 노트 정보의 주밍은 대응되는 사진에 대한 주밍 작업으로 간주될 수 있다.
노트가 문자 타입, 예를 들어, 주석 및 문자들이 사용자의 수기의 문자들인 경우, 단말 디바이스에 의해 수행된 노트 정보의 주밍은 빈 영역 내의 수기의 문자들에 대한 주밍 작업으로 간주될 수 있고, 빈 영역에 적응할 수 있게 수기의 문자들에 대해 자동 줄 바꿈이 수행될 수 있다. 단말 디바이스는 노트 정보의 주밍을 구현하기 위하여, 디스플레이된 이미지의 문자 인식 결과에 따라 노트 주변의 빈 영역의 사이즈를 결정하고, 빈 영역의 사이즈, 주밍 명령의 주밍 레벨과 주밍 전 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치에 따라 디스플레이된 이미지의 콘텐트에 대한 각 궤적 점의 상대적 위치를 결정하며, 상대적 위치에 따라 노트 정보를 디스플레이한다.
노트가 문자 타입, 예를 들어, 주석 및 문자들이 비수기의 문자들인 경우, 단말 디바이스에 의해 수행된 노트 정보의 주밍은 문자들의 폰트 사이즈에 대한 주밍과 빈 영역에 적응할 수 있게 문자들에 대한 자동 줄 바꿈으로 간주될 수 있다. 단말 디바이스는 주밍 명령에 의해 표시된 주밍 레벨과 주밍 전 노트 내의 각 문자의 폰트 사이즈에 따라 주밍 후 각 문자의 폰트 사이즈를 결정한다. 게다가, 디스플레이된 이미지의 콘텐트 내의 주밍 후 노트의 각 문자의 좌표는 빈 영역의 사이즈와 주밍 전 디스플레이된 이미지의 콘텐트 내의 노트 내의 각 문자의 좌표들에 따라 결정된다. 노트 정보의 주밍을 구현하기 위하여, 노트 정보는 결정된 상대적 위치와 문자의 폰트 사이즈에 따라 표시된다.
제 6 실시예에서, 단말 디바이스는 완전한 노트 정보에 대해 주밍을 수행할 수 있다. 즉, 사용자가 제스쳐, 음성 또는 버튼으로 주밍 명령을 트리거 한 후, 단말 디바이스는 디스플레이된 이미지 내의 노트 정보의 모든 것에 대해 주밍 작업을 수행한다.
게다가, 단말 디바이스는 지정된 타입 또는 지정된 노트 정보 내의 노트 정보에 대해 주밍 작업을 수행할 수도 있다. 예를 들어, 단말 디바이스는 노트 정보 내의 모든 주석에 주밍 작업을 수행하거나 특정 주석에 주밍 작업을 수행할 수 있다.
3) 노트 정보에 대응되는 콘텐트의 주밍
단말 디바이스는 노트 정보에 관련된 콘텐트에 주밍 작업을 수행할 수 있다. 주밍 작업은 노트 정보의 모든 것에 관련된 콘텐트, 또는 지정된 타입의 노트 정보에 관련된 콘텐트, 또는 지정된 노트 정보에 관련된 콘텐트에 대해 수행될 수 있다. 예를 들어, 단말 디바이스는 밑줄그어진 텍스트 모두, 또는 특정 밑줄에 대응되는 문자들에 주밍 작업을 수행할 수 있다.
도 17a는 주밍 작업을 수행하기 전 사용자의 노트 정보를 설명하는 개략도이다. 도 17b는 별 심볼에 관련된 콘텐트에 대해 사용자에 의해 수행된 주밍 작업을 설명하는 개략도이다. 도 17c는 사용자가 도 17a 내의 물결선에 관련된 콘텐트에 대해 주밍 작업을 수행한 개략도이다.
본 개시의 제 6 실시예에서, 노트 정보에 관련된 콘텐트를 향해 주밍을 수행할 때, 단말 디바이스는 노트 정보에 대해 대응되는 적응적 레이아웃을 적용할 수 있다. 노트 정보에 대해 적응적 레이아웃을 적용하는 방식은 주밍이 전체 문서에 수행될 때의 방식과 유사하므로, 이하 반복하지 않는다.
4) 지정된 영역의 주밍
사용자는 디스플레이된 이미지의 노트 정보와 콘텐트 내에 지정된 영역을 선택할 수 있다. 그러므로, 단말 디바이스는 주밍 작업을 수행하기 위해 지정된 영역을 결정할 수 있다. 사용자의 주밍 명령을 수신 후, 단말 디바이스는 지정된 영역 내의 콘텐트와 변하지 않는 다른 콘텐츠의 사이즈에 대해 주밍을 수행한다.
사용자가 지정된 영역을 선택하는 방식은 제 3 실시예에서 노트 하기 위해 사용자가 원하는 로컬 영역의 선택과 유사하므로, 이하 반복하지 않는다.
지정된 영역이 결정된 후, 단말 디바이스는 배경 색상 추가 또는 프레임 추가와 같은 방식들을 통해 지정된 영역 내의 정보를 강조할 수 있다. 사용자는 그가 선택하고자한 일부 콘텐트가 선택되지 않았거나 그가 선택하려고 하지않은 일부 콘텐트가 선택되어 있는 것을 발견하는 경우, 사용자는 지정된 영역의 프레임의 위치 드래깅을 통해 지정된 영역을 조정할 수 있다.
도 17d는 지정된 영역에 대해 단말 디바이스에 의해 수행된 주밍 작업을 설명하는 개략도이다.
본 개시의 제 6 실시예에서, 단말 디바이스는 지정된 영역 내의 콘텐트를 줌할 때, 사용자가 지정된 영역 내에 노트한 경우, 적응적 레이아웃은 노트 정보에 대해서도 적용될 수 있다. 노트 정보에 적응적 레이아웃의 적용은 전체 문서 주밍 동안의 적응적 레이아웃의 적용과 유사하므로, 이하 반복하지 않는다.
게다가, 단말 디바이스가 지정된 영역 내의 콘텐트를 향해 주밍을 수행한 후, 지정된 영역의 프레임은 또한 대응되는 조정을 필요로 한다. 단말 디바이스는 주밍 후 지정된 영역의 콘텐트에 따라 프레임을 조정한다. 도 17e는 주밍 작업을 수행하기 위해 사용자에 의해 선택된 지정된 영역을 설명하는 개략도이다. 도 17f는 지정된 콘텐트가 줌된 후 프레임을 설명하는 개략도이다. 도 17g은 조정된 프레임을 설명하는 개략도이다.
5) 지정된 타입의 콘텐트의 주밍
본 개시의 제 6 실시예에서, 지정된 타입 내의 콘텐트는 지정된 글씨체의 콘텐트, 지정된 포맷의 콘텐트, 지정된 심볼, 제목, 아웃라인, 콘텐츠 테이블, 상대적으로 높은 빈도로 나타나는 콘텐트, 텍스트 또는 그래픽일 수 있으나, 이에 제한되지 않는다.
문자 인식 기술(OCR 기술과 같은)을 통해, 단말 디바이스는 디스플레이된 이미지로부터 볼드체의 콘텐트, 이탤릭 콘텐트(italic content) 등과 같은 지정된 글씨체의 콘텐트를 자동 인식할 수 있고, 단말 디바이스는 다른 색상들의 콘텐트, 큰 문자 폰트 사이즈의 콘텐트, 강조된 콘텐트 등과 같이 지정된 포맷의 콘텐트를 자동 인식할 수 있으며, 단말 디바이스는 지정된 심볼(따옴표, 책 제목 마크), 텍스트, 그래픽 등을 인식할 수도 있다.
본 개시의 제 6 실시예에서, 스탠다드 레이아웃을 가지는 문서를 위해, 단말 디바이스는 아웃라인 또는 콘텐트의 테이블을 자동으로 조회할 수 있다. 단말 디바이스는 디스플레이된 이미지의 문자 인식을 통해 획득되는 글씨체, 폰트 사이즈, 및 정렬 모드와 같은 정보에 따라 제목, 부제목, 및 핵심 콘텐트와 같은 문서의 대략적인 구조를 인식할 수 있다. 위의 정보를 조합하는 것을 통해, 문서의 콘텐츠의 아웃라인 또는 테이블이 획득될 수 있다. 단말 디바이스는 문서의 콘텐트를 콘텐츠의 아웃라인 또는 테이블과 연관 지을 수 있다.
콘텐츠의 아웃라인 또는 테이블이 획득되므로, 많은 문자들을 가지는 디스플레이된 이미지를 읽을 때 사용자에게 매우 편리하다. 디스플레이된 이미지를 읽을 때, 사용자는 언제라도 콘텐츠의 아웃라인 또는 테이블을 호출할 수 있고, 관심있는 부분을 선택할 수 있다. 대응되는 콘텐트는 한 번에 화면에 디스플레이될 수 있어, 사용자의 읽기 효율과 경험을 향상시킨다.
게다가, 단말 디바이스는 문자 인식 기술 (예를 들어, OCR 기술)을 통해 디스플레이된 이미지 내에서 높은 빈도로 나타나는 (예를 들어, 미리구성된 빈도 임계치 보다 높은 빈도를 갖는) 콘텐트를 인식할 수도 있다. 인식된 콘텐트는 사용자가 강조하는 콘텐트일 수 있고, 그러므로 지정된 타입의 콘텐트로 될 수 있다.
단말 디바이스가 지정된 타입의 콘텐트를 향해 주밍을 수행할 때, 사용자가 지정된 타입의 콘텐트에 노트한 경우, 적응적 레이아웃은 노트 정보에 적용될 수 있다. 노트 정보에 적응적 레이아웃을 적용하는 것은 전체 문서를 향해 주밍을 수행할 때 레이아웃을 적용하는 것과 유사하므로, 이하 반복하지 않는다.
3. 편집 정보에 대하여 적응적 레이아웃
본 개시의 제 6 실시예에서, 단말 디바이스가 디스플레이된 이미지에 문자 인식 (OCR 인식과 같은)을 수행한 후, 사용자는 컷, 카피, 붙여넣기 및 지우기 같은 편집 작업들을 수행할 수 있다. 단말 디바이스는 사용자의 편집 작업에 따라 콘텐트에 대해 대응되는 편집 처리를 수행할 수 있다.
사용자가 카피 작업을 수행할 때, 단말 디바이스는 이후의 붙여넣기 작업을 위해 클립보드에 사용자에 의해 선택된 카피될 콘텐트를 카피한다.
사용자가 컷, 붙여넣기 및 지우기와 같은 작업을 수행할 때, 단말 디바이스에 의해 디스플레이된 콘텐트가 변하므로, 단말 디바이스는 디스플레이된 콘텐트에 레이아웃 재배열을 수행할 수 있다.
본 개시의 제 6 실시예에서, 단말 디바이스는 위의 지정된 정보에 편집 작업을 수행할 수 있다. 예를 들어, 도 18a는 사용자에 의해 만들어진 노트 정보를 설명하는 개략도이다. 도 18b에 도시된 바와 같이, 단말 디바이스는 도 18a 내의 "▲" 심볼의 노트 정보에 관련된 콘텐트를 단지 지운다.
부분적 지움이 디스플레이된 콘텐트에 수행될 때, 사용자는 단말 디바이스에 지우개 지움 명령(eraser erasing function)을 전송하기 위한 지우개 버튼을 클릭할 수 있다. 지우개 지움 명령을 수신 후, 화면에 사용자의 슬라이드 작업이 검출된 경우 단말 디바이스는 슬라이드 작업의 슬라이드 궤적을 결정하고, 텍스트 영역으로부터 슬라이드 궤적이 통과된 문자들을 지우며, 레이아웃을 재배열하여 남은 콘텐트를 디스플레이한다.
이미지들에 대한 기존의 지우개 지움 기능은 사용자에게 이미지 내에서 직접 지울 수 있게 허용한다. 지워진 부분은 빈 영역이 된다. 그러나, 본 개시의 제 6 실시예에서, 지움 후 레이아웃 재배열을 통해, 사용자가 읽기에 보다 보기 좋고 보다 편한하게, 지워진 문자들의 위치는 주위의 문자들에 의해 채워지고 빈 영역은 생겨나지 않는다.
4. 화면 회전 동안 적용된 적응적 레이아웃
단말 디바이스가 화면을 회전할 때, 단말 디바이스는 회전 후 화면의 폭에 따라 현재 디스플레이된 뷰의 사이즈를 다시 결정할 수 있고, 디스플레이된 이미지의 콘텐트를 재배열할 수 있으며, 현재 디스플레이된 뷰의 새롭게 결정된 사이즈와 디스프레이된 이미지의 문자 인식 결과에 따라 화면에 콘텐트를 디스플레이할 수 있다.
기존의 이미지 디스플레잉 방식에서, 단말 디바이스의 화면이 회전할 때, 단지 이미지의 디스플레이 방향만 변경한다. 화면은 가로 모드인 반면, 이미지가 종형(vertical type)인 경우, 이미지는 디폴트로 높이가 전체 화면으로 뻗도록 디스플레이된다. 이때, 사용자가 읽기 불편하게, 디스플레이된 이미지의 사이즈는 감소된다. 본 개시의 제 6 실시예에서, 화면 회전 동안, 디스플레이된 이미지의 사이즈는 다시 결정되고, 사용자의 읽기가 용이하게, 디스플레이된 콘텐트는 화면에 적응되도록 재배열된다.
도 19a는 레이아웃 재배열과 화면 회전 동안 디스플레잉을 설명하는 개략도이다.
사용자는 단말 디바이스에 회전 작업을 통해 화면의 세로 또는 가로 디스플레잉 모드를 변경할 수 있다.
본 개시의 제 6 실시예에서, 디스플레이된 이미지가 노트 정보에 연관되는 경우, 화면이 회전될 때, 디스플레이된 이미지 내의 문자들의 위치와 사이즈는 변할 수 있다. 그러므로, 적응적 레이아웃은 디스플레이된 이미지와 연관된 노트 정보에 적용될 수 있다. 단말 디바이스에 의해 노트 정보에 적응적 레이아웃의 적용은 디스플레이된 뷰에 따라 노트 정보에 적응적 레이아웃의 적용과 유사하므로, 이하 반복하지 않는다.
도 19b는 화면 회전 전 사용자에 의해 만들어진 노트 정보를 설명하는 개략도이다. 도 19c는 화면 회전 후 적응적 레이아웃이 노트 정보에 적용된 개략도이다.
2. 노트에 따라 콘텐트 조정하기
디스플레이된 이미지가 노트 정보에 관련된 경우, 사용자가 노트에 따라 디스플레이된 이미지의 콘텐트를 조정하기 원하는 경우, 콘텐트 조정 기능을 사용할 수 있다. 콘텐트 조정 명령 수신 후, 단말 디바이스는 노트 정보에 따라 디스플레이된 이미지의 콘텐트를 조정하고, 레이아웃 재배열 후 조정된 콘텐트를 디스플레이한다.
단말 디바이스는 다음의 방식들 중 적어도 하나에 따라 디스플레이된 이미지의 콘텐트를 조정할 수 있다.
디스플레이된 이미지의 콘텐트로부터 삭제 심볼과 관련된 콘텐트를 삭제하기
삽입 심볼에 의해 표시된 위치에 삽입할 콘텐트를 삽입하기
디스플레이된 이미지의 콘텐트내의 위치 조정 심볼에 관련된 콘텐트의 위치를 조정하기; 및
디스플레이된 이미지의 콘텐트 내의 강조 심볼과 관련된 콘텐트를 강조하기
도 20a는 사용자의 편집 정보를 설명하는 개략도이다. 편집 정보는 ①삽입 심볼과 삽입될 콘텐트를 포함한다. 편집 정보는 ②삭제 심볼을 포함한다. 편집 정보는 ③위치 조정 심볼을 포함한다. 사용자가 콘텐트 조정 기능을 시작한 경우, 단말 디바이스는 위의 편집 정보에 따라 이미지의 콘텐트를 조정할 수 있다. 조정 후 콘텐트는 도 20b에 도시된 바와 같다.
이상의 관점에서, 사용자는 디스플레이된 콘텐트 조정을 통해 일부 어지러운 노트 정보와 디스플레이된 콘텐트를 기대하는 디스플레잉 방식으로 조정할 수 있다. 노트 정보를 볼 수 있는 경험을 향상시킨다.
3. 강조하기
단말 디바이스는 강조 기능을 구성할 수 있다. 사용자가 강조 기능을 시작할 때, 단말 디바이스는 강조 명령을 수신 후, 지정된 정보를 강조한다. 지정된 정보는 다음의 적어도 하나를 포함한다.
노트 정보
디스플레이된 이미지의 콘텐트 내의 노트 정보에 관련된 콘텐트
지정된 영역 내의 콘텐트 또는 노트 정보 내의 지정된 타입의 콘텐트 또는 디스플레이된 이미지의 콘텐트
단말 디바이스는 강조 명령 수신 후 노트 정보의 모두, 지정된 타입의 노트 정보 또는 지정된 노트 정보를 강조할 수 있다. 예를 들어, 책을 실시간으로 촬영할 때, 사용자는 단락 옆에 "이 단락은 매우 좋다(this paragraph is very good)"는 주석을 추가한다. 강조 기능을 수신 후, 단말 디바이스는 배경 색상 추가와 같은 방식을 통해 위의 주석을 강조한다.
단말 디바이스는 강조 명령 수신 후 노트 정보 모두에 관련된 콘텐트, 지정된 타입의 노트 정보에 관련된 콘텐트, 또는 지정된 노트 정보에 관련된 콘텐트를 강조할 수 있다. 예를 들어, 책을 실시간으로 촬영할 때, 사용자는 문자들의 특정 단락에 밑줄을 긋는다. 강조 명령 수신 후, 단말 디바이스는 강조 색상으로 디스플레잉하기와 같은 방식으로 밑줄그은 문자들을 강조할 수 있다.
단말 디바이스는 강조 명령 수신 후 지정된 영역 내의 콘텐트를 강조할 수 있다. 사용자는 디스플레이된 이미지의 노트 정보와 콘텐트 내의 지정된 영역을 선택할 수 있다. 그후, 단말 디바이스는 지정된 영역 내의 콘텐트를 강조할 수 있다. 지정된 영역의 선택은 제 3 실시예에서 사용자에 의해 노트 하기 위한 로컬 영역을 선택하는 것과 유사하므로, 이하 반복하지 않는다.
단말 디바이스는 강조 명령 후 디스플레이된 이미지의 노트 정보와 콘텐트 내의 지정된 타입의 콘텐트를 강조할 수 있다. 지정된 타입의 콘텐트는 지정된 글씨체의 콘텐트, 지정된 포맷의 콘텐트, 지정된 심볼, 제목, 아웃라인, 콘텐츠의 테이블, 높은 빈도로 나타나는 콘텐트, 텍스트, 그래픽 등일 수 있으나, 이에 제한되지 않는다.
단말 디바이스는 볼드체, 증가된 폰트 사이즈, 강조 색상으로 디스플레잉, 배경 색상, 지정된 정보 외의 정보를 숨기기와 같은 방식들로 위의 지정된 정보를 강조할 수 있다.
본 개시의 제 6 실시예에서, 사용자는 단지 노트 정보 내의 일부 핵심 정보와 디스플레이된 이미지의 콘텐트에 관심을 가질 수 있다. 이때, 단말 디바이스는 단지 사용자에 의해 선택된 지정된 정보를 디스플레이할 수 있고, 지정된 정보 외의 정보를 숨길 수 있다. 예를 들어, 사용자에 의해 선택된 지정된 정보가 텍스트인 경우, 단말 디바이스는 현재 디스플레이된 뷰의 사이즈에 따라 레이아웃 재배열 후 디스플레이된 이미지의 콘텐트 내의 텍스트를 단지 디스플레이하고, 그래픽들을 숨긴다. 다른 예를 들어, 사용자에 의해 선택된 지정된 정보가 그래픽인 경우, 단말 디바이스는 화면 상의 디스플레이된 이미지의 콘텐트 내의 그래픽을 단지 디스플레이하고, 텍스트를 숨긴다. 또 다른 예를 들면, 사용자가 디스플레이된 이미지 상에 많은 노트들을 쓴다. 때때로, 사용자는 노트를 볼 필요가 없고 깨끗한 문서를 보는 것을 원한다. 이때, 단말 디바이스는 사용자의 노트 숨기기 명령 수신 후 노트 정보를 숨길 수 있고, 사용자로부터 노트 디스플레이 명령 수신 후 노트 정보를 디스플레이할 수 있다.
지정된 정보 외의 정보가 숨겨진 때, 사용자는 언제라도 숨겨진 콘텐트를 호출할 수 있다. 예를 들어, 단말 디바이스는 접이식 숨기기 방식(folding hide manner)으로 다른 정보를 숨길 수 있다. 사용자는 언제라도 숨겨진 콘텐트를 전개할 수 있다.
게다가, 단말 디바이스는 지정된 정보를 제외하고 다른 정보를 완전히 숨길 수 있다. 지정된 정보를 제외한 다른 정보가 그래픽을 포함한 경우, 그래픽은 반투명 또는 흐미하게 처리될 수 있고, 지정된 정보 아래 배경으로 표시될 수 있다.
도 21a는 단말 디바이스가 단지 텍스트만 또는 단지 그래픽만 디스플레이한 개략도이다.
도 21b는 단말 디바이스가 주석을 숨기는 개략도이다.
4. 노트의 콘텐트 조정하기
본 개시의 제 6 실시예에서, 노트 정보를 디스플레이할 때, 단말 디바이스는 사용자의 필요에 따라 노트 정보의 노트 타입을 조정할 수 있다. 사용자는 노트 타입이 조정되는 것이 필요한 노트 정보를 먼저 선택할 수 있다. 단말 디바이스는 노트 타입을 변경시키기 위해 UI에 가상 버튼을 제공한다. 사용자가 가상 버튼을 클릭할 때, 단말 디바이스는 통계에 따라 결정된 사용자에 의해 자주 이용된 노트 타입들에 대응되는 가상 버튼들을 제공한다. 사용자는 이용될 노트 타입을 선택하고 대응되는 가상 버튼을 클릭한다. 단말 디바이스는 사용자의 선택에 따라 노트 정보의 노트 타입을 조정한다.
예를 들어, 사용자는 문자들의 특정 단락 아래에 물결선을 그린다. 사용자가 물결선을 변경하기를 원할 때, 사용자는 물결선이 디스플레이된 위치 내의 화면을 클릭할 수 있다. 단말 디바이스는 노트의 타입을 변경하기 위해 UI 상에 사용자를 위해 가상 버튼들을 제공한다. 사용자가 가상 버튼을 클릭할 때, 단말 디바이스는 사용자가 물결선을 변경하기를 원한다는 것을 결정한다. 그러므로, 단말 디바이스는 사용자에게 통계에 따라 회득된 노트의 타입들에 대응되는 가상 버튼들을 UI 상에 제공한다. 사용자는 그의 필요에 따라 원하는 타입을 선택하고 대응되는 가상 버튼을 클릭한다. 단말 디바이스는 사용자의 선택에 따라 노트의 타입을 조정한다.
도 22a에 도시된 바와 같이, 사용자는 사용자가 노트 타입을 변경하기를 원하는 노트 정보를 선택한다. 도 22b에 도시된 바와 같이, 단말 디바이스는 노트의 노트 타입를 변경하기 위해 UI 상에 가상 버튼을 제공한다. 도 22c에 도시된 바와 같이, 단말 디바이스는 UI 상에 통계에 따라 결정된 주로 이용된 노트 타입들에 대응되는 가상 버튼들을 사용자에게 제공한다. 도 22d에 도시된 바와 같이, 단말 디바이스는 사용자의 선택에 따라 노트 정보의 노트 타입을 조정한다.
본 개시의 제 6 실시예에서, 단말 디바이스는 노트 정보에 관련된 콘텐트를 조정할 수도 있다. 사용자는 콘텐트가 조정이 요구되는 노트 정보를 먼저 선택할 수 있다. 단말 디바이스는 UI상에 노트 정보를 편집하기 위한 가상 버튼을 사용자에게 제공한다. 사용자가 가상 버튼을 클릭할 때, 단말 디바이스는 UI상에 노트 영역을 확장하고 노트 영역을 축소하기 위한 가상 버튼들을 사용자에게 제공한다. 사용자가 노트 영역을 확장하기 위한 가상 버튼을 클릭한 경우, 노트 영역은 화면에 업/다운 슬라이드를 통해 확장될 수 있다. 이에 따라, 노트에 관련된 콘텐트는 증가된다. 사용자가 노트 영역을 축소하기 위한 가상 버튼을 클릭한 경우, 노트 영역은 화면에 업/다운 슬라이드를 통해 축소될 수 있다. 이에 따라, 노트에 관련된 콘텐트는 감소된다.
도 22e에 도시된 바와 같이, 사용자가 노트 타입이 조정될 노트 정보를 선택한 후, 단말 디바이스는 UI상에 사용자를 위해 노트 편집을 위한 가상 버튼을 제공한다. 도 22f에 도시된 바와 같이, 단말 디바이스는 UI상에 사용자를 위해 노트 영역을 확장하거나 축소하기 위한 가상 버튼들을 제공한다. 도 22g에 도시된 바와 같이, 사용자는 노트 영역을 확장하기 위한 가상 버튼을 클릭한다. 도 22h에 도시된 바와 같이, 사용자는 화면에 위쪽/아래쪽 슬라이드를 통해 노트 영역을 확장한다. 도 22i에 도시된 바와 같이, 사용자는 노트 영역을 축소하기 위한 가상 버튼을 클릭한다. 도 22j에 도시된 바와 같이, 사용자는 화면에 위쪽/아래쪽 슬라이드를 통해 노트 영역을 축소한다.
게다가, 사용자에 의해 쓰여진 노트가 수기의 문자들을 포함한 경우, 단말 디바이스는 노트 정보로부터 수기의 문자들을 인식할 수 있고, 수기의 문자들을 인쇄 문자들로 전환하여 인쇄 문자들을 디스플레이할 수 있다.
사용자는 변환 후 문자들의 글씨체와 폰트 사이즈를 구성할 수 있다. 단말 디바이스는 디스플레이된 이미지의 콘텐트 내의 문자들의 글씨체와 폰트 사이즈에 따라 변환 후 문자들의 글씨체와 폰트 사이즈를 결정할 수도 있다.
단말 디바이스는 사용자가 수기의 문자들을 입력하는 것을 선택한 후 UI 상에 문자들의 포맷을 변환하기 위한 가상 버튼을 제공할 수 있다. 사용자가 수기의 문자들을 인쇄 문자들로 변환할 것을 확인한 경우, 단말 디바이스는 수기의 문자들을 인쇄 문자들로 변환하고 변환된 문자들을 디스플레이한다.
도 22k에 도시된 바와 같이, 사용자가 수기의 문자들을 입력하는 것을 선택한 후, 단말 디바이스는 UI상에 문자 포맷을 변환하기 위한 가상 버튼을 제공한다. 도 22l에 도시된 바와 같이, 사용자가 수기의 문자들을 인쇄 문자들로 변환하기 위한 가상 버튼을 클릭한 후, 단말 디바이스는 수기의 문자들을 인쇄 문자들로 변환한다.
게다가, 본 개시의 제 6 실시예에서, 사용자는 요구에 따라 일부 노트 정보를 삭제할 수도 있다. 예를 들어, 사용자는 노트 정보를 볼 때 주석을 삭제한다. 사용자가 그후 저장 버튼을 클릭할 때, 단말 디바이스는 주석이 삭제된 노트 정보와 디스플레이된 이미지를 연관지어 저장한다.
본 개시의 제 6 실시예에서, 사용자에 의해 쓰여진 노트 내에 명백한 편차가 있는 것이 검출된 경우, 단말 디바이스는 편차 교정 작업을 자동으로 수행할 수 있거나 사용자에게 편차 교정 작업을 수행할지 물어보고 사용자의 확인 후 노트 정보에 편차 교정 작업을 수행할 수 있다.
노트 내에 명백한 편차가 있는지 검출하기 위해서, 노트의 각 궤적 점에 대하여, 단말 디바이스는 다음 궤적 점의 위치를 추정하고 추정된 위치와 다음 궤적 점의 실제 위치를 비교한다. 추정된 위치와 다음 궤적 점의 실제 위치 간의 거리가 미리정의된 거리 임계치를 초과하는 경우, 다음 궤적 점은 이탈한(deviated) 궤적 점이 된다. 연속된 궤적 점들의 미리정의된 개수가 모든 이탈한 궤적 점들인 경우, 노트 내에 명백한 편차가 있다고 간주될 수 있다. 단말 디바이스는 궤적 점의 추정된 위치에 따라 다음 궤적 점의 위치를 추정할 수 있다.
편차 교정 작업을 수행할 때, 단말 디바이스는 이탈한 궤적 점의 추정된 위치에 따라 각 이탈한 궤적 점에 편차 교정 작업을 수행할 수 있다. 예를 들어, 디스플레이된 이미지 내의 이탈한 궤적 점의 위치는 이탈한 궤적 점의 추정된 위체에 대해 조정될 수 있다. 그후, 사용자가 저장 버튼을 클릭한 후, 단말 디바이스는 편차 교정 후 디스플레이된 이미지의 노트 정보와 콘텐트 간의 상대적 위치를 저장한다.
작업 검색하기
본 개시의 제 6 실시에어서, 사용자는 단말 디바이스에 의해 디스플레이된 콘텐트를 검색한다.
제 1 구현에 있어서, 사용자는 단말 디바이스의 UI상에 검색어(search term)를 입력한다. 단말 디바이스는 사용자에 의해 입력된 검색어에 따라 디스플레이된 이미지의 콘텐트를 검색한다. 상술한 지정된 정보(노트 정보 또는 노트 정보에 관련된 콘텐트와 같은)는 일반적으로 사용자가 관심을 갖는 콘텐트이므로, 본 개시의 제 6 실시예에서, 단말 디바이스는 검색어에 따라 디스플레이된 이미지의 콘텐트를 검색할 때 지정된 정보를 검색하는 것이 바람직할 수 있다. 단말 디바이스가 검색 순서(searching sequence)에 따라 검색 결과(search result)를 디스플레이한 경우, 사용자는 지정된 정보 내에서 검색 결과를 먼저 볼 수 있다. 따라서, 검색 효율과 사용자 경험이 향상된다.
사용자의 검색 명령(searching instruction)을 수신 후, 단말 디바이스는 전체 노트 정보, 지정된 타입의 노트 정보, 또는 지정된 노트 정보를 먼저 검색한다. 예를 들어, 사용자가 검색어를 입력한 후, 단말 디바이스는 사용자에 의해 입력된 주석의 콘텐트를 먼저 검색한다. 따라서, 단말 디바이스는 주석의 콘텐트에서 검색 결과를 먼저 디스플레이한다.
검색 명령 수신 후, 단말 디바이스는 전체 노트 문서, 또는 지정된 타입의 노트 정보에 관련된 콘텐트, 또는 지정된 노트 정보에 관련된 콘텐트를 먼저 검색한다. 예를 들어, 사용자가 검색어를 입력한 후, 단말 디바이스는 바람직하게는 밑줄과 물결선으로 마크된 콘텐트를 검색한다. 따라서, 단말 디바이스는 바람직하게는 밑줄과 물결선으로 마크된 콘텐트 내의 검색 결과를 디스플레이한다.
단말 디바이스는 검색 명령을 수신 후 바람직하게는 지정된 영역의 콘텐트를 검색할 수도 있다. 지정된 영역의 선택은 본 개시의 제 3 실시예에서 사용자가 노트하기 위해 필요한 로컬 영역의 선택과 유사하므로, 이하 반복하지 않는다.
단말 디바이스는 바람직하게는 검색 명령을 수신 후 지정된 타입의 콘텐트를 검색할 수 있다. 지정된 타입의 콘텐트는 지정된 글씨체의 콘텐트, 지정된 포맷의 콘텐트, 지정된 심볼, 제목, 아웃라인, 콘텐츠의 테이블, 높은 빈도로 나타나는 콘텐트, 텍스트, 그래픽 등일 수 있으나, 이에 제한되지 않는다.
두 번째 구현에서, 단말 디바이스는 사용자에 의해 전송된 검색 명령을 수신 후 지정된 정보에 따라 검색어를 결정할 수 있고, 결정된 검색어에 따라 검색 작업을 수행할 수 있다. 상술한 지정된 정보 (노트 정보 또는 노트 정보에 관련된 콘텐트와 같은)는 일반적으로 사용자가 관심을 갖는 콘텐트이므로, 단말 디바이스는 지정된 정보에 따라 결정된 검색어에 따라 검색할 때 사용자가 필요한 정보를 보다 빨리 찾아낼 수 있어서, 검색 효율은 증가하고 사용자의 검색 경험은 향상된다.
단말 디바이스는 지정된 정보에 따라 사용자를 위해 검색어를 자동으로 결정할 수 있다. 단말 디바이스는 지정된 정보의 전체 콘텐트를 검색어로 하거나, 지정된 정보의 상대적인 핵심 콘텐트를 검색어로 할 수 있다.
단말 디바이스는 검색 명령을 수신 후 전체 노트 정보, 지정된 타입의 노트 정보 또는 지정된 노트 정보에 따라 검색어를 결정할 수 있다. 예를 들어, 사용자에 의해 입력된 주석의 콘텐트가 "우리는 아이들의 정신 건강에 집중할 필요가 있다.(We need to focus on children's mental health)"이다. 검색 명령을 수신 후, 단말 디바이스는 주석의 콘텐트로부터 "정신 건강" 이라는 핵심 콘텐트를 검색어로 하여 조회한다. 그후, 단말 디바이스는 검색어에 따라 검색한다.
단말 디바이스는 검색 명령 수신 후 모든 노트 정보에 관련된 콘텐트, 지정된 타입의 노트 정보에 관련된 콘텐트 또는 지정된 노트 정보에 관련된 콘텐트에 따라 검색어를 결정할 수 있다. 예를 들어, 단말 디바이스는 "정신 건강" 아래 또는 "아이들의 정신 건강은 매우 중요하다" 아래에 물결선을 그린다. 단말 디바이스는 검색 명령 수신 후 "정신 건강"을 검색어로 할 수 있다. 그후, 단말 디바이스는 검색어에 따라 검색할 수 있다.
단말 디바이스는 검색 명령 수신 후 지정된 영역 내의 콘텐트에 따라 검색어를 결정할 수도 있다. 지정된 영역의 선택은 본 개시의 제 3 실시예에서 사용자가 노트하기 위해 필요한 로컬 영역의 선택과 유사하므로, 이하 반복하지 않는다.
단말 디바이스는 검색 명령 수신 후 지정된 타입의 콘텐트에 따라 검색어를 결정할 수도 있다. 지정된 타입의 콘텐트는 지정된 글씨체의 콘텐트, 지정된 포맷의 콘텐트, 지정된 심볼, 제목, 아웃라인, 콘텐츠의 테이블, 높은 빈도로 나타나는 콘텐트, 텍스트, 그래픽 등일 수 있으나, 이에 제한되지 않는다.
게다가, 단말 디바이스는 사용자가 검색어를 정확하고 신속하게 결정하는 것을 도울 수 있도록, 지정된 정보에 따라, 사용자에게 검색어를 입력하기 위해 기준으로 작용하는 후보 검색 정보를 제공할 수도 있다. 상술한 지정된 정보 (노트 정보 또는 노트 정보에 관련된 콘텐트와 같은)는 일반적으로 사용자가 초점을 맞춘 콘텐트이므로, 사용자가 UI상에 제공된 검색어 입력 박스에 검색어를 입력할 때, 단말 디바이스는 사용자의 선택을 위한 입력 박스 아래에 지정된 정보에 따라 결정된 기준 검색어들을 로드할 수 있다. 사용자가 기준 검색어들로부터 검색어를 선택한 경우, 단말 디바이스는 사용자가 편리하게, 검색어에 따라 곧장 검색할 수 있다.
단말 디바이스는 사용자에 의해 현재 입력된 검색어의 부분적인 콘텐트에 따라 위의 지정된 정보 내에서 실시간 매칭을 구현할 수 있고, 현재 디스플레이된 기준 검색어들을 갱신할 수 있다. 이와 같이, 사용자가 콘텐트의 부분을 입력할 때, 단말 디바이스는 사용자가 빠른 매칭을 통해 사전에 입력하기 원한 검색어를 획득할 수 있다.
단말 디바이스는 지정된 정보의 완전한 콘텐트를 기준 검색어로 하거나 지정된 정보로부터 핵심 콘텐트를 기준 검색어로서 조회할 수 있다.
위의 지정된 정보에 따라 검색어를 결정한 후, 단말 디바이스는 종래 방식에 따라 검색하거나 첫 번째 구현에 따라 바람직하게는 지정된 정보 내에서 검색한다.
세 번째 구현에서, 검색 명령을 수신한 후, 단말 디바이스는 바람직하게는 검색 결과 내에서 지정된 정보에 관련된 검색 결과를 디스플레이할 수 있다. 지정된 정보(노트 정보 또는 노트 정보에 관련된 콘텐트)는 일반적으로 사용자가 관심있는 정보이므로, 사용자는 검색 결과에서 검색 없이 검색 결과 내에서 빠르게 관심있는 정보를 볼 수 있다. 이것은 사용자의 검색 경험을 향상시킨다.
검색 작업 후에, 단말 디바이스는 바람직하게는 모든 노트 정보에 관련된 검색 결과, 또는 지정된 타입의 노트 정보에 관련된 검색 결과, 또는 지정된 노트 정보에 관련된 검색 결과를 디스플레이할 수 있다. 예를 들어, 사용자는 "우리는 아이들의 정신 건강에 집중할 필요가 있다. (We need to focus on children's mental health)"라는 콘텐트를 갖는 주석을 입력한다. 검색 작업 후, 단말 디바이스는 바람직하게는 "정신 건강"에 관련된 검색 결과를 디스플레이할 수 있다.
검색 작업 후, 단말 디바이스는 바람직하게는 모든 노트 정보에 대응대는 콘텐트, 또는 지정된 타입의 노트 정보에 대응되는 콘텐트, 또는 지정된 노트 정보에 대응되는 콘텐트에 관련된 검색 결과를 디스플레이할 수 있다. 예를 들어, 사용자가 "정신 건강" 아래에 물결선을 그리거나 "아이들의 정신 건강은 매우 중요하다" 아래에 물결선을 그린다. 검색 작업 후, 단말 디바이스는 바람직하게는 "정신 건강"에 관련된 검색 결과를 디스플레이할 수 있다.
검색 작업 후, 단말 디바이스는 바람직하게는 지정된 타입의 콘텐트에 관련된 검색 결과를 디스플레이할 수 있다. 지정된 타입의 콘텐트는 지정된 글씨체의 콘텐트, 지정된 포맷의 콘텐트, 지정된 심볼, 제목, 아웃라인, 콘텐츠의 테이블, 높은 빈도로 나타나는 콘텐트, 텍스트, 그래픽 등일 수 있으나, 이에 제한되지 않는다.
단말 디바이스는 종래의 검색 방식에 따라, 또는 위의 첫 번째 구현 방식에 따라, 또는 위의 두 번째 구현 방식에 따라 검색 작업을 수행할 수 있다.
검색 작업을 수행할 때, 단말 디바이스는 클라우드 측에 저장된 데이터를 검색하거나, 단말 디바이스에 저장된 콘텐트를 검색하거나, 단말 디바이스에 의해 현재 디스플레이된 이미지와 노트 정보 내의 콘텐트를 검색할 수 있다.
게다가, 사용자의 읽기를 용이하게 하기 위해서, 단말 디바이스는 검색 결과를 더 강조, 예를 들어, 강조 색상으로 디스플레이, 배경 색상 추가 등 할 수 있다.
도 23a는 검색어가 볼드체의 문자들일 때 단말 디바이스의 검색 결과를 보여준다. 도 23b는 사용자에 의해 지정된 검색어가 "리눅스"일 때 단말 디바이스의 검색 결과를 보여주는 개략도이다.
6. 배경 디스플레이하기
단말 디바이스는 디스플레이된 이미지의 콘텐트를 디스플레이할 때 디스플레이된 이미지의 배경을 더 표시할 수 있다.
한 구현에서, 단말 디바이스는 디스플레이된 이미지로부터 완전한 배경 이미지를 조회하고, 조회된 완전한 배경 이미지를 디스플레이된 이미지의 배경 이미지로 디스플레이한다. 단말 디바이스는 디스플레이된 이미지에서 비문자 영역의 배경 정보 복원를 통해 완전한 배경 이미지를 획득할 수 있다. 단말 디바이스는 화면의 사이즈에 따라 배경 이미지의 사이즈를 조정할 수도 있다. 위의 관점에서, 배경 이미지를 디스플레이하기 위한 방법에 있어서, 디스플레이된 이미지가 조정된 경우 (예로, 문자들의 단락이 삭제되거나 문자들의 글씨체가 조정된 경우), 배경 이미지는 변경되지 않는다.
다른 구현에서, 디스플레이된 이미지 내의 각 문자에 대하여, 단말 디바이스는 대응되는 배경 이미지를 조회하고, 조회된 배경 이미지를 대응되는 문자의 배경 이미지로 디스플레이한다. 즉, 다른 문자들에 대응되는 배경 이미지들은 다르다. 위의 관점에서, 배경 이미지를 디스플레이하기 위한 이 방법에 있어서, 디스플레이된 이미지의 콘텐트가 조정된 경우, 배경 이미지 또한 변경된다. 예를 들어, 문자들의 단락이 삭제된 경우, 삭제된 문자들에 대응되는 배경 이미지 또한 삭제된다. 다른 예를 들어, 문자들의 단락이 삽입된 경우, 삽입된 문자들에 대응되는 배경 이미지들은 주위 문자들의 배경 이미지들에 따라 전체 배경 이미지에 적합하다.
7. 3D 모델 디스플레이하기
단말 디바이스에 의해 실시간으로 촬영된, 촬영된 물체가 3D 모델 디스플레잉 페이지이거나 단말 디바이스에 의해 디스플레이된 정지 이미지가 3D 모델 디스플레잉 페이지의 이미지인 경우, 이미지를 디스플레이할 때, 단말 디바이스는 3D 모델 디스플레잉 페이지에 대응되는 3D 모델 이미지를 호출하여 디스플레이 할 수 있다.
A 3D 모델 디스플레잉 소프트웨어는 단말 디바이스 내에 사전에 설치되어 있을 수 있다. 단말 디바이스가 3D 모델 이미지를 포함하는 디스플레이된 이미지를 검출하고 사용자가 3D 모델 이미지를 디스플레이하는 것을 선택한 때, 단말 디바이스는 3D 모델 이미지를 로컬에 저장된 데이터 또는 클라우드 측에 저장된 데이터로부터 호출하고, 3D 모델 이미지를 디스플레이한다.
실시간 촬영 동안, 단말 디바이스는 실시간 촬영의 촬영 각도에 따라 실시간으로 3D 모델 이미지의 디스플레잉 관점을 조정한다. 특히, 적어도 세 개의 식별자들은 3D 모델 디스플레잉 페이지에 구성될 수 있다. 단말 디바이스는 파라미터들, 카메라와 각 식별자들 사이의 거리 및 각도 등에 따라 3D 모델 이미지의 디스플레잉 관점을 실시간으로 조정할 수 있다.
8. 썸네일 디스플레이하기
실제 응용에 있어서, 실시간으로 촬영된, 촬영된 물체는 큰 영역을 가지는 책의 페이지, 예를 들어, 잡지의 페이지이거나, 또는, 단말 디바이스에 의해 현재 디스플레이된 이미지는 큰 영역을 가지는 페이지의 이미지이고, 그 이미지 내의 문자들은 상대적으로 작아 보기에 적합하지 않다. 그러므로, 사용자는 특정 로컬 영역을 볼 수 있다. 이때, 사용자가 글로벌 영역 내에서 현재 보여지는 로컬 영역의 위치를 알 수 있도록, 글로벌 영역 내에서 사용자가 현재 보는 로컬 영역의 썸네일이 화면에 디스플레이될 수 있다.
게다가, 실시간 촬영 동안, 현재 촬영된 영역이 촬영된 물체의 로컬 영역인 경우, 단말 디바이스는 화면에 글로벌 영역 내에 현재 촬영된 로컬 영역의 썸네일을 디스플레이할 수도 있다.
본 개시의 제 1 실시예 내지 제 6 실시예에 의해 제공된 촬영된 물체의 이미지에 노트 정보를 입력하는 방법은 다양한 언어들로 촬영된 물체들(책, 잡지 등)에 적용될 수 있음에 주목해야 한다. 당해 분야의 당업자는 본 개시의 원리를 벗어남이 없이, 촬영된 물체가 중국어와 영어 외의 언어들의 책 또는 잡지일 때, 단말 디바이스는 위의 절차를 실행하기 위해 본 개시의 원리를 채용할 수 있으며, 이는 본 개시의 보호 범위 내에 있다.
제 7 실시예 (Embodiment 7)
본 개시의 제 7 실시예는 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 또는 단말 디바이스를 제공한다.
도 24에 도시된 바와 같이, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 촬영부(2410), 프로세서(2420), 및 디스플레이부(2430)을 포함할 수 있다. 촬영부(2410)는 촬영의 대상인 물체를 촬영하고, 촬영된 물체의 이미지를 획득할 수 있다. 프로세서(2420)는 촬영된 물체에 관한 사용자의 노트 작업을 검출하여, 촬영된 물체에 대한 노트 정보를 획득할 수 있다. 촬영된 물체에 관한 사용자의 노트 작업은 촬영된 물체 또는 촬영된 물체가 표시되는 화면에 대한 사용자의 노트 작업을 의미한다. 촬영된 물체에 대한 사용자의 노트 작업은 촬영된 물체에 직접 행해지는 사용자의 노트 작업 뿐만 아니라 촬영된 물체가 있는 공간에서 행해지는 사용자의 노트 작업도 포함한다. 촬영된 물체가 표시되는 화면에 대한 사용자의 노트 작업은 촬영된 물체가 표시되는 화면에 직접 행해지는 사용자의 노트 작업 뿐만 아니라 촬영된 물체가 표시되는 화면이 있는 공간에서 행해지는 사용자의 노트 작업도 포함한다. 디스플레이부(2430)는 획득한 노트 정보가 반영된, 촬영된 물체의 이미지를 디스플레이할 수 있다.
프로세서(2420)는 촬영된 물체에 대한 작업 또는 촬영된 물체가 표시되는 화면에 대한 작업 추적을 통해, 촬영된 물체에 대한 노트 정보를 획득 할 수 있다.
촬영된 물체에 대한 작업은 추적 가능한 작업 또는 추적 불가한 작업 일 수 있다.
촬영된 물체에 대한 작업이 추적 가능한 작업인 경우, 프로세서(2420)는 솥끝 또는 필기 도구의 펜촉의 위치를 추적하고, 촬영된 물체에 대한 손끝 또는 펜촉의 작업을 사용자의 노트 작업으로써 검출하여 촬영된 물체에 대한 노트 정보를 획득하거나, 촬영된 물체의 이미지 프레임들 간의 증분의 정보를 사용자의 노트 작업으로써 검출하여 촬영된 물체에 대한 노트 정보를 획득하도록 구성된다.
프로세서(2420)는 현재 이미지 프레임의 증분의 정보에 따라 촬영된 물체에 만들어진 노트 정보를 결정한다. 프로세서(2420)는 현재 이미지 프레임과 이전 이미지 프레임을 비교하고, 이전 이미지 프레임과 비교된 현재 이미지 프레임의 증분의 정보를 결정하며, 촬영된 물체 상에 만들어진 노트 정보를 획득하기 위해 각 프레임의 증분의 정보를 결합한다. 또는, 프로세서(2420)는 현재 이미지 프레임을 최초의 이미지 프레임과 비교하고, 최초의 이미지 프레임과 비교된 현재 이미지 프레임의 증분의 정보를 촬영된 물체에 만들어진 노트 정보로 하도록 구성된다.
촬영된 물체 상의 작업이 추적 불가한 작업인 경우, 프로세서(2420)는 손끝 또는 필기 도구의 펜촉의 위치를 추적하고, 손끝 또는 필기 도구의 펜촉의 작업을 사용자의 노트 작업으로써 검출하여, 촬영된 물체에 대한 노트 정보를 획득하도록 구성된다.
프로세서(2420)는 필기 도구의 펜촉의 위치를 사전에 등록된 필기 도구의 형태에 따라 실시간으로 촬영된 이미지로부터 필기 도구의 펜촉을 인식하고, 인식된 필기 도구의 펜촉에 따라 필기 도구의 펜촉의 위치를 결정하거나, 실시간으로 촬영된 이미지와 필기 도구를 포함하지 않는 기준 이미지를 비교하고, 필기 도구의 펜촉을 인식하여, 인식된 필기 도구의 펜촉에 따라 필기 도구의 펜촉의 위치를 결정한다.
프로세서(2420)는 촬영된 물체에 대한 노트 정보의 위치를 결정하고, 결정된 노트 정보의 위치에 기초하여, 촬영된 물체의 이미지에 노트 정보의 콘텐트를 반영할 수 있다. 디스플레이부(2430)는 노트 정보가 반영된, 촬영된 물체의 이미지를 디스플레이할 수 있다.
프로세서(2420)는 촬영된 물체 또는 화면 상의 노트 위치 선택 작업을 검출하도록 구성되고, 노트 위치 선택 작업에 따라 촬영된 물체 상의 노트 정보의 위치를 결정하거나, 입력된 음성에 대한 음성 인식 후 출력되는 정보에 따라 촬영된 물체 상의 노트 정보의 위치를 결정하도록 구성된다.
프로세서(2420)는 촬영된 물체 상에 만들어진 노트 정보의 노트 타입을 결정하고, 노트 타입에 따라 촬영된 물체 상의 노트 정보의 콘텐트를 결정하도록 구성된다.
프로세서(2420)는 사용자 입력 음성, 버튼, 제스쳐, 증강 현실의 사람과 컴퓨터 상호작용 인터페이스, 및 외부의 컨트롤러 중 적어도 하나를 통해 촬영된 물체 상에 만들어진 노트 정보의 노트 타입을 결정하도록 구성된다.
외부의 컨트롤러는 스타일러스 펜일 수 있다.
프로세서(2420)는 실시간으로 촬영된, 촬영된 물체의 이미지에 문자 인식을 수행하고, 문자 인식 결과에 따라 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적 위치를 결정하며, 결정된 상대적 위치를 촬영된 물체 상의 노트 정보의 위치로 하도록 구성된다.
프로세서(2420)는 실시간으로 촬영된, 촬영된 물체의 글로벌 이미지를 획득하고, 글로벌 이미지에 문자 인식을 수행하며, 실시간으로 촬영된, 촬영된 물체의 로컬 이미지에 문자 인식을 수행하고, 로컬 이미지와 글로벌 이미지의 문자 인식 결과에 따라 글로벌 이미지 내의 로컬 이미지의 위치와 로컬 이미지의 콘텐트에 대한 노트 정보의 상대적 위치를 결정하며, 글로벌 이미지 내의 로컬 이미지의 위치와 로컬 이미지의 콘텐트에 대한 노트 정보의 상대적 위치에 따라 글로벌 이미지의 콘텐트에 대한 노트 정보의 상대적 위치를 결정하고, 글로벌 이미지의 콘텐트 내의 노트 정보의 상대적 위치를 촬영된 물체 상의 노트 정보의 위치로 하도록 구성된다.
프로세서(2420)는 촬영된 물체의 이미지에 노트 정보를 입력하는 장치는 편차가 검출된 경우, 노트 정보에 편차 교정 처리를 수행할 수 있다. 프로세서(2420)는 촬영된 물체의 떨림, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치의 떨림, 및 필기 도구의 떨림 중 적어도 하나의 떨림이 감지되면, 노트 정보에 편차 교정에 편차 교정 처리를 수행할 수 있다.
프로세서(2420)는 떨림 전 촬영된 물체 상의 노트 정보의 위치, 떨림 방향 및 떨림 거리에 따라 떨림 후 촬영된 물체 상의 노트 정보의 위치를 결정하고, 떨림 후 촬영된 물체 상의 노트 정보의 위치에 따라 노트 정보에 편차 교정 처리를 수행하도록 구성된다.
노트 정보는 마크 심볼 및/또는 편집 정보를 포함한다.
마크 심볼은 배경 색상, 밑줄(underline), 점선(dotted line), 물결선(wavy line), 직사각형(rectangle), 글머리 기호(bullet points), 괄호(brackets), 삼각형 심볼(triangle symbol), 별, 별 심볼(star symbol), 및 숫자 심볼(numeric symbol) 중 적어도 하나를 포함한다.
편집 정보는 삽입된 콘텐트, 편집 정보는 삽입된 콘텐트, 삽입 심볼, 삭제 심볼, 위치 조정 심볼, 강조 심볼, 주석 중 적어도 하나를 포함할 수 있다.
촬영된 물체의 이미지에 노트 정보를 입력하는 장치는 콘텐트 조정 명령을 수신 후 노트 정보에 따라 촬영된 물체의 콘텐트를 조정하고 조정된 콘텐트를 디스플레이할 수 있다. 프로세서(2420)는 콘텐트 조정 명령에 따라, 노트 정보에 기초하여, 촬영된 물체의 이미지의 콘텐트를 조정할 수 있다. 예를 들어, 노트 정보가 삭제를 나타내는 편집 정보인 경우, 프로세서(2420)는 촬영된 물체의 이미지에서 삭제 심볼이 위치한 곳에 대응되는 콘텐트 부분을 삭제하여 촬영된 물체의 이미지의 콘텐트를 조정할 수 있다. 디스플레이부(2430)는 콘텐트가 조정된, 촬영된 물체의 이미지를 디스플레이할 수 있다.
프로세서(2420)는 촬영된 물체의 콘텐트로부터 삭제 심볼에 관련된 콘텐트를 삭제하기, 삽입 심볼에 의해 표시된 위치에 삽입될 콘텐트를 삽입하기, 위치 조정 심볼에 관련된 콘텐트의 위치를 조정하기, 강조 심볼에 관련된 콘텐트를 강조하기 중 적어도 하나에 의해 촬영된 물체의 콘텐트를 조정한다.
프로세서(2420)는 검색 명령에 따라, 지정된 정보에 기초하여, 촬영된 물체의 이미지의 콘텐트를 검색할 수 있다. 예를 들어, 프로세서(2420)는 검색 명령 수신 후 지정된 정보 내에서 검색하거나, 검색 명령 수신 후 지정된 정보에 따라 검색어를 결정하고, 결정된 검색어에 따라 검색할 수 있다. 디스플레이부(2430)는 촬영된 물체의 이미지에 검색 결과가 드러나도록 디스플레이할 수 있다. 예를 들어, 디스플레이부(2430)는 검색 결과 내에서, 지정된 정보에 관련된 검색 결과를 디스플레이할 수 있다.
프로세서(2420)는 강조 명령 수신 후 지정된 정보를 강조하거나, 주밍 명령 수신 후 지정된 정보를 줌할 수 있다. 디스플레이부(2430)는 촬영된 물체의 이미지에서 강조되거나 줌된 콘텐트를 디스플레이할 수 있다.
프로세서(2420)는 지정된 정보를 볼드체, 증가된 폰트 사이즈, 강조 색상, 배경 색상, 지정된 정보 외에 정보 숨기기 중 적어도 하나로 지정된 정보를 강조할 수 있다.
지정된 정보는 노트 정보, 촬영된 물체의 콘텐트 내의 노트 정보에 관련된 콘텐트, 촬영된 물체의 노트 정보 또는 콘텐트 내에서 지정된 영역의 콘텐트 또는 지정된 타입의 콘텐트 중 적어도 하나를 포함한다.
지정된 영역은 촬영된 물체의 콘텐트 내에 선택된 로컬 영역을 검출하기와 촬영된 물체에 대응되는 레이아웃 정보에 따라 검출된 로컬 영역을 조정하기에 의해 결정된다.
촬영된 물체의 이미지에 노트 정보를 입력하는 장치는 촬영된 물체가 3D 모델 디스플레잉 페이지인 경우, 3D 모델 디스플레잉 페이지에 대응되는 3D 모델 이미지를 호출하고 디스플레이하도록 구성된 3D 디스플레이부를 더 포함할 수 있다.
3D 디스플레이부는 실시간 촬영의 촬영 각도에 따라 3D 모델 이미지의 디스플레잉 관점을 실시간으로 조정하도록 더 구성된다.
촬영된 물체의 이미지에 노트 정보를 입력하는 장치는 노트 정보를 실시간 촬영을 통해 획득된 촬영된 물체의 이미지, 실시간으로 촬영된 이미지의 문자 인식 결과, 및 촬영된 물체에 대한 노트 정보의 상대적 위치 중 적어도 하나와 연관지어 저장하는 스토리지를 더 포함할 수 있다.
촬영된 물체의 이미지에 노트 정보를 입력하는 장치 내의 각 구성요소들의 기능은 앞에서 설명한, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법의 구현들로부터 알 수 있다.
위의 관점에서, 본 개시의 실시예들에 의해 제공된 촬영된 물체의 이미지에 노트 정보를 입력하는 장치에서,촬영부(2410)는 촬영된 물체의 이미지를 획득하고, 프로세서(2420)는 촬영된 물체에 관한 사용자의 노트 작업을 검출하여, 촬영된 물체에 대한 노트 정보를 획득하며, 디스플레이부(2430)는 획득한 노트 정보가 반영된, 촬영된 물체의 이미지를 디스플레이할 수 있다. 이에 따라, 책들과 같은 촬영된 물체 상에 노트 하기 위한 사용자의 욕구는 충족된다. 사용자는 책을 가져갈 수 없거나 책에 쓰는 것이 허락되지 않는 경우라도 편리하게 노트를 할 수 있다. 노트 하는 것의 편리함이 증대된다. 게다가, 사용자는 단말 디바이스를 이용하여 노트를 편안하게 볼 수 있어, 사용자에게 큰 편리함을 준다.
도 25는 본 개시의 실시예에 따라 촬영된 물체의 이미지에 노트 정보를 입력하는 단말 디바이스의 구조를 설명하는 개략도이다.
도 25에 도시된 바와 같이, 단말 디바이스(2500)은 CPU와 같은 적어도 하나의 프로세서(2510), 적어도 하나의 출력 인터페이스(2520) 또는 다른 사용자 인터페이스(2530), 메모리(2540), 적어도 하나의 통신 버스(2550)을 포함한다. 통신 버스(2550)은 위의 구성요소들의 연결 및 통신을 구현하는데 이용된다. 선택적으로, 단말 디바이스(2500)는 다른 사용자 인터페이스(2530), 디스플레이, 키보드 또는 클릭 장치(마우스, 트랙볼, 터치 보드, 또는 터치 스크린과 같은)를 포함할 수 있다. 메모리(2540)은 Random Access Memory(RAM), 또는 적어도 하나의 디스크 메모리와 같은 비휘발성 메모리를 포함할 수 있다. 메모리(2540)는 프로세서(2510)로부터 멀리 떨어진, 적어도 하나의 스토리지 장치를 선택적으로 포함할 수 있다.
메모리(2540)는 실행할 수 있는 모듈들 또는 데이터 구조들, 또는 그들의 부분 집합, 또는 그들의 확장 집합과 같은 요소들(elements)을 저장한다.
다양한 기본 서비스들을 구현하고 하드웨어 기반의 업무들을 처리하기 위해, 다양한 시스템 프로그램들을 포함하는 오퍼레이팅 시스템(2541)
다양한 어플리케이션 서비스들을 구현하기 위해 이용되는, 다양한 어플리케이션 프로그램들을 포함하는, 어플리케이션 프로그램들(2542)
어플리케이션 프로그램들(2542)는 다음의 것을 포함하나 이에 한정되지 않는다.
촬영된 물체 상에 만들어진 노트 정보를 실시간으로 촬영하도록 구성된 노트 획득부
촬영된 물체와 노트 정보를 연관지어 디스플레이하도록 구성된 노트 연관 및 디스플레이부
노트 획득부는 촬영된 물체 상의 작업 또는 화면 상의 작업 추적을 통해 촬영된 물체 상에 만들어진 노트 정보를 획득하도록 구성된다.
촬영된 물체 상에 작업은 추정 가능한 작업과 추적 불가한 작업을 포함한다.
촬영된 물체 상의 작업이 추적 가능한 작업인 경우, 노트 획득부는 손끝 또는 필기 도구의 펜촉의 위치를 추적하고, 촬영된 물체 상의 손끝 또는 펜촉의 작업을 검출하여 촬영된 물체 상에 만들어진 노트 정보를 획득하거나 현재 이미지 프레임의 증분의 정보에 따라 촬영된 물체에 만들어진 노트 정보를 결정하도록 구성된다.
노트 획득부는 현재 이미지 프레임의 증분의 정보에 따라 촬영된 물체에 만들어진 노트 정보를 결정한다. 노트 획득부는 현재 이미지 프레임과 이전 이미지 프레임을 비교하고, 이전 이미지 프레임과 비교된 현재 이미지 프레임의 증분의 정보를 결정하며, 촬영된 물체 상에 만들어진 노트 정보를 획득하기 위해 각 프레임의 증분의 정보를 결합한다. 또는, 노트 획득부는 현재 이미지 프레임을 최초의 이미지 프레임과 비교하고, 최초의 이미지 프레임과 비교된 현재 이미지 프레임의 증분의 정보를 촬영된 물체에 만들어진 노트 정보로 하도록 구성된다.
촬영된 물체 상의 작업이 추적 불가한 작업인 경우, 노트 획득부는 손끝 또는 필기 도구의 펜촉의 위치를 추적하고, 솥끝 또는 필기 도구의 펜촉의 작업을 검출하며, 촬영된 물체 상에 만들어진 노트 정보를 획득하도록 구성된다.
노트 획득부는 필기 도구의 펜촉의 위치를 사전에 등록된 필기 도구의 형태에 따라 실시간으로 촬영된 이미지로부터 필기 도구의 펜촉을 인식하고, 인식된 필기 도구의 펜촉에 따라 필기 도구의 펜촉의 위치를 결정하거나, 실시간으로 촬영된 이미지와 필기 도구를 포함하지 않는 기준 이미지를 비교하고, 필기 도구의 펜촉을 인식하여, 인식된 필기 도구의 펜촉에 따라 필기 도구의 펜촉의 위치를 결정한다.
노트 획득부는 다음의 것을 포함할 수 있다.
촬영된 물체 상의 노트 정보의 위치를 결정하는 제 1 위치 결정 서브 유닛
촬영된 물체 상의 노트 정보의 콘텐트를 결정하는 노트 콘텐트 결정 서브 유닛; 및
촬영된 물체 상의 노트 정보의 위치와 노트 정보의 콘텐트에 따라 촬영된 물체 상에 만들어진 노트 정보를 결정하는 노트 정보 결정 서브 유닛
제 1 위치 결정 서브 유닛은 촬영된 물체 또는 화면 상의 노트 위치 선택 작업을 검출하도록 구성되고, 노트 위치 선택 작업에 따라 촬영된 물체 상의 노트 정보의 위치를 결정하거나, 입력된 음성에 대한 음성 인식 후 출력되는 정보에 따라 촬영된 물체 상의 노트 정보의 위치를 결정하도록 구성된다.
노트 콘텐트 결정 서브 유닛은 촬영된 물체 상에 만들어진 노트 정보의 노트 타입을 결정하고, 노트 타입에 따라 촬영된 물체 상의 노트 정보의 콘텐트를 결정하도록 구성된다.
노트 콘텐트 결정 서브 유닛은 사용자 입력 음성, 버튼, 제스쳐, 증강 현실의 사람과 컴퓨터 상호작용 인터페이스, 및 외부의 컨트롤러 중 적어도 하나를 통해 촬영된 물체 상에 만들어진 노트 정보의 노트 타입을 결정하도록 구성된다.
외부의 컨트롤러는 스타일러스 펜이다.
노트 연관 및 디스플레이부는 다음의 것을 포함할 수 있다.
촬영된 물체 상의 노트 정보의 위치를 결정하는 제 2 위치 결정 서브 유닛
촬영된 물체 상의 노트 정보의 위치에 따라 촬영된 물체와 노트 정보를 연관 짓는 연관짓기 서브 유닛
제 2 위치 결정 서브 유닛은 실시간으로 촬영된, 촬영된 물체의 이미지에 문자 인식을 수행하고, 문자 인식 결과에 따라 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적 위치를 결정하며, 결정된 상대적 위치를 촬영된 물체 상의 노트 정보의 위치로 하도록 구성된다.
제 2 위치 결정 서브 유닛은 실시간으로 촬영된, 촬영된 물체의 글로벌 이미지를 획득하고, 글로벌 이미지에 문자 인식을 수행하며, 실시간으로 촬영된, 촬영된 물체의 로컬 이미지에 문자 인식을 수행하고, 로컬 이미지와 글로벌 이미지의 문자 인식 결과에 따라 글로벌 이미지 내의 로컬 이미지의 위치와 로컬 이미지의 콘텐트에 대한 노트 정보의 상대적 위치를 결정하며, 글로벌 이미지 내의 로컬 이미지의 위치와 로컬 이미지의 콘텐트에 대한 노트 정보의 상대적 위치에 따라 글로벌 이미지의 콘텐트에 대한 노트 정보의 상대적 위치를 결정하고, 글로벌 이미지의 콘텐트 내의 노트 정보의 상대적 위치를 촬영된 물체 상의 노트 정보의 위치로 하도록 구성된다.
단말 디바이스는 편차가 검출된 경우, 노트 정보에 편차 교정 처리를 수행하도록 구성된 편차 교정 처리부를 더 포함한다.
떨림은 촬영된 물체의 떨림, 단말 디바이스의 떨림, 및 필기 도구의 떨림 중 적어도 하나를 포함한다.
편차 교정 처리부는 떨림 전 촬영된 물체 상의 노트 정보의 위치, 떨림 방향 및 떨림 거리에 따라 떨림 후 촬영된 물체 상의 노트 정보의 위치를 결정하고, 떨림 후 촬영된 물체 상의 노트 정보의 위치에 따라 노트 정보에 편차 교정 처리를 수행하도록 구성된다.
노트 정보는 마크 심볼 및/또는 편집 정보를 포함한다.
마크 심볼은 배경 색상, 밑줄, 점선, 물결선, 직사각형, 글머리 기호, 괄호, 삼각형 심볼, 별, 별 심볼, 및 숫자 심볼 중 적어도 하나를 포함한다.
편집 정보는 삽입된 콘텐트, 편집 정보는 삽입된 콘텐트, 삽입 심볼, 삭제 심볼, 위치 조정 심볼, 강조 심볼, 주석 중 적어도 하나를 포함할 수 있다.
단말 디바이스는 콘텐트 조정 명령을 수신 후 노트 정보에 따라 촬영된 물체의 콘텐트를 조정하고 조정된 콘텐트를 디스플레이하도록 구성된 콘텐트 조정부를 더 포함할 수 있다.
콘텐트 조정부는 촬영된 물체의 콘텐트로부터 삭제 심볼에 관련된 콘텐트를 삭제하기, 삽입 심볼에 의해 표시된 위치에 삽입될 콘텐트를 삽입하기, 위치 조정 심볼에 관련된 콘텐트의 위치를 조정하기, 강조 심볼에 관련된 콘텐트를 강조하기 중 적어도 하나에 의해 촬영된 물체의 콘텐트를 조정한다.
단말 디바이스는 다음의 적어도 하나를 더 포함할 수 있다.
검색 명령 수신 후 바람직하게는 지정된 정보 내에서 검색하도록 구성된 제 1 검색부;
검색 명령 수신 후 지정된 정보에 따라 검색어를 결정하고, 결정된 검색어에 따라 검색하도록 구성된 제 2 검색부;
검색 명령 수신 후 검색 결과 내에서, 바람직하게는 지정된 정보에 관련된 검색 결과를 디스플레이하도록 구성된 제 3 검색부;
강조 명령 수신 후 지정된 정보를 강조하도록 구성된 강조부;
주밍 명령 수신 후 지정된 정보를 줌하도록 구성된 주밍부.
강조부는 지정된 정보를 볼드체, 증가된 폰트 사이즈, 강조 색상, 배경 색상, 지정된 정보 외에 정보 숨기기 중 적어도 하나로 지정된 정보를 강조하도록 더 구성된다.
지정된 정보는 노트 정보, 촬영된 물체의 콘텐트 내의 노트 정보에 관련된 콘텐트, 촬영된 물체의 노트 정보 또는 콘텐트 내에서 지정된 영역의 콘텐트 또는 지정된 타입의 콘텐트 중 적어도 하나를 포함한다.
지정된 영역은 촬영된 물체의 콘텐트 내에 선택된 로컬 영역을 검출하기와 촬영된 물체에 대응되는 레이아웃 정보에 따라 검출된 로컬 영역을 조정하기에 의해 결정된다.
단말 디바이스는 촬영된 물체가 3D 모델 디스플레잉 페이지인 경우, 3D 모델 디스플레잉 페이지에 대응되는 3D 모델 이미지를 호출하고 디스플레이하도록 구성된 3D 디스플레이부를 더 포함할 수 있다.
3D 디스플레이부는 실시간 촬영의 촬영 각도에 따라 3D 모델 이미지의 디스플레잉 관점을 실시간으로 조정하도록 더 구성된다.
단말 디바이스는 노트 정보를 실시간으로 촬영된 촬영된 물체의 이미지, 실시간으로 촬영된 이미지의 문자 인식 결과, 및 촬영된 물체의 콘텐트에 대한 노트 정보의 상대적 위치 중 적어도 하나와 연관지어 저장하도록 구성된 스토리지부를 더 포함할 수 있다.
프로세서(2510)은 메모리(2540)에 저장된 프로그램들 또는 명령들을 호출하는 것을 통해서 대응되는 단계들을 실행한다.
제 8 실시예 (Embodiment 8)
도 26에 도시된 바와 같이, 본 개시의 제 8 실시예에 따른 촬영된 물체의 이미지에 노트 정보를 입력하는 방법은 다음의 S2601 내지 S2603 블록들을 포함한다. 이하, 생략된 내용이더라도, 제 7 실시예의 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 또는 단말 디바이스에 관한 내용은 제8실시예의 촬영된 물체의 이미지에 노트 정보를 입력하는 방법에 대해서도 적용될 수 있다.
S 2601에서, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 촬영된 물체의 이미지를 획득할 수 있다.
S 2602에서, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 촬영된 물체에 관한 사용자의 노트 작업을 검출하여, 촬영된 물체에 대한 노트 정보를 획득할 수 있다. 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 촬영된 물체 또는 촬영된 물체가 표시되는 화면에 대한 사용자의 노트 작업을 검출하고, 검출된 노트 작업에 대응되는 촬영된 물체에 대한 노트 정보를 결정할 수 있다.
물체의 이미지에 노트 정보를 입력하는 장치(2400)는 손끝 또는 필기 도구의 펜촉의 위치를 추적하여, 촬영된 물체에 대한 손끝 또는 펜촉의 작업을 사용자의 노트 작업으로써 검출할 수 있다. 또한, 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 촬영된 물체의 미미지 프레임들 간의 증분의 정보를 사용자의 노트 작업으로써 검출하할 수 있다.
S 2603에서, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 촬영된 물체의 이미지에 획득한 노트 정보를 반영하여 디스플레이할 수 있다. 촬영된 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 촬영된 물체에 대한 노트 정보의 위치를 결정하고, 결정된 노트 정보의 위치에 기초하여, 촬영된 물체의 이미지에 노트 정보의 콘텐트를 반영할 수 있다. 촬영된 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 노트 정보가 반영된, 촬영된 물체의 이미지를 디스플레이할 수 있다.
촬영된 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 촬영된 물체의 글로벌 이미지와 로컬 이미지를 획득하고, 글로벌 이미지와 로컬 이미지 각각에 대해 문자 인식을 수행할 수 있다. 촬영된 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 글로벌 이미지와 로컬 이미지 각각에 대한 문자 인식 결과에 기초하여, 글로벌 이미지의 콘텐트에 대한 노트 정보의 상대적 위치를 촬영된 물체에 대한 노트 정보의 위치로써 결정할 수 있다.
촬영된 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 촬영된 물체의 떨림, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치의 떨림, 및 필기 도구의 떨림 중 적어도 하나의 떨림이 감지되면, 노트 정보에 편차 교정(deviation calibration) 처리를 더 수행할 수 있다.
촬영된 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 콘텐트 조정 명령에 따라, 노트 정보에 기초하여, 촬영된 물체의 이미지의 콘텐트를 조정하고, 콘텐트가 조정된, 촬영된 물체의 이미지를 디스플레이할 수 있다. 또한, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치(2400)는 검색 명령에 따라, 지정된 정보에 기초하여, 촬영된 물체의 이미지의 콘텐트를 검색하고, 촬영된 물체의 이미지에 검색 결과가 드러나도록 디스플레이할 수 있다.
본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 또한 디바이스 내에 설치된 컴퓨터 프로그램들은 선택적으로 활성화되거나, 재구성될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다.
컴퓨터 프로그램 지시어들은 블록 다이어그램들 및/또는 순서도 및/또는 도면들의 각 블록 및 블록들의 조합을 실현하기 위해 사용될 수 있음은 당업자에게 자명하다. 또한 컴퓨터 프로그램 지시어들은 블록 다이어그램들 및/또는 순서도 및/또는 도면들의 각 블록 및 블록들의 조합을 실현하기 위해 일반적인 목적의 컴퓨터, 프로페셔널 컴퓨터 또는 다른 프로그램 가능한 데이터들을 프로세싱하는 방법을 위한 프로세서에 제공될 수 있음은 당업자에게 자명하다.
당해 기술 분야에서 통상의 지식을 가진 자들은 블록도들 및/또는 개략도들 및/또는 흐름도들에서 각 블록 및 조합들을 구현하기 위해 컴퓨터 프로그램 명령어들이 사용될 수 있음을 이해할 수 있다. 범용 컴퓨터, 전문 컴퓨터 또는 다른 프로그램 작동이 가능한 데이처 처리 방법들을 위한 프로세서를 통해 본 개시의 블록도들 및/또는 개략도들 및/또는 흐름도들에 개시된 해결책을 실현할 수 있도록, 당해 기술 분야에서 통상의 지식을 가진 자들은 컴퓨터 프로그램 명령어들이 범용 컴퓨터, 전문 컴퓨터 또는 다른 프로그램 작동이 가능한 데이처 처리 방법들을 위한 프로세서에 제공될 수 있음을 알 수 있다.
당해 기술 분야에서 통상의 지식을 가진 자들은 본 개시의 다양한 작업들, 방법들, 단계들, 행동들 및 해결책들에 일부 변경, 수정, 조합 또는 삭제가 수행될 수 있음을 알 수 있다. 더욱이, 본 개시에 기재된 다양한 작업들, 방법들, 및 흐름들을 포함하는 다른 단계들, 행동들, 및 해결책들 또한 변경, 수정, 재배열, 분해, 결합 또는 삭제될 수 있다. 더욱이, 본 개시 내의 다양한 작업들, 방법들, 및 흐름들을 포함하는 종래 기술의 단계들, 행동들, 및 해결책들 또한 변경, 수정, 재배열, 분해, 결합 또는 삭제될 수 있다.
전술한 설명들은 단지 본 개시의 바람직한 실시예들일 뿐, 보호 범위를 제한하는데 사용되지 않는다. 본 개시의 사상을 벗어남이 없이 당해 기술 분야의 당업자에 의해 만들어질 수 있는 변경 및 수정들은 첨부된 청구범위에 의해 설정된 바와 같이 보호 범위 내에 포함되어야 한다.

Claims (15)

  1. 디스플레이; 및
    프로세서를 포함하고,
    상기 프로세서는:
    촬영된 물체의 이미지의 제1 영역에 수기된 문자들을 포함하는 노트 정보를 삽입하는 노트 작업을 검출하고,
    상기 노트 정보의 대상인 로컬 영역의 위치를 상기 노트 정보와 연관시키는 연관 작업을 검출하고,
    상기 연관 작업이 검출된 후, 상기 제1 영역과 상기 로컬 영역의 상기 위치 사이의 거리를 검출하고,
    상기 제1 영역과 상기 로컬 영역의 상기 위치 사이의 상기 거리가 미리정해진 임계 거리보다 크면, 상기 로컬 영역의 상기 위치에 인접한 상기 이미지의 빈 영역을 식별하고, 상기 식별된 빈 영역의 크기에 기초하여, 상기 빈 영역에 디스플레이되는 상기 노트 정보의 상기 수기된 문자들의 디스플레이 크기를 식별하고, 상기 노트 정보의 상기 수기된 문자들을 인쇄 문자들로 변환하고, 상기 빈 영역에 디스플레이되는 상기 식별된 디스플레이 크기의 상기 인쇄 문자들을 상기 촬영된 물체의 이미지에 디스플레이하도록 상기 디스플레이를 제어함으로써, 상기 인쇄 문자들의 상기 디스플레이 위치 및 상기 디스플레이 크기를 자동으로 조정하고,
    상기 노트 작업은 사용자의 입력에 의해 수행되고, 상기 연관 작업은 상기 사용자의 또다른 입력에 의해 수행되고,
    상기 빈 영역은 상기 제1 영역과 다른 영역인, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 촬영된 물체의 상기 이미지 또는 상기 촬영된 물체의 상기 이미지가 표시되는 화면에 대한 상기 사용자의 노트 작업을 검출하고, 상기 검출된 노트 작업에 대응되는 상기 촬영된 물체에 대한 상기 노트 정보를 결정하는, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 사용자의 손끝 또는 필기 도구의 펜촉의 위치를 추적하여, 상기 촬영된 물체에 대한 상기 손끝 또는 상기 펜촉의 작업을 상기 노트 작업으로써 검출하는, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 촬영된 물체의 상기 이미지에 적응적 레이아웃을 적용하고,
    상기 촬영된 물체의 상기 이미지에 상기 적응적 레이아웃이 적용되면:
    상기 촬영된 물체의 상기 이미지에 문자 인식을 수행하고,
    상기 문자 인식의 결과에 기초하여 상기 인쇄 문자들의 폰트 크기의 변경 또는 줄 바꿈의 실행을 결정하는, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 노트 정보는 편집 정보를 포함하고,
    상기 편집 정보는 삽입 심볼, 삽입 콘텐트, 삭제 심볼, 또는 위치 조정 심볼 중 적어도 하나를 포함하고,
    상기 이미지의 콘텐트는 상기 편집 정보에 따라 조정되는, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 촬영된 물체의 떨림, 상기 촬영된 물체의 이미지에 노트 정보를 입력하는 장치의 떨림, 또는 필기 도구의 떨림 중 적어도 하나의 떨림이 감지되면, 상기 노트 정보에 편차 교정(deviation calibration) 처리를 수행하는, 촬영된 물체의 이미지에 노트 정보를 입력하는 장치.
  7. 촬영된 물체의 이미지를 획득하는 단계;
    촬영된 물체의 이미지의 제1 영역에 수기된 문자들을 포함하는 노트 정보를 삽입하는 노트 작업을 검출하는 단계;
    상기 노트 정보의 대상인 로컬 영역의 위치를 상기 노트 정보와 연관시키는 연관 작업을 검출하는 단계;
    상기 연관 작업이 검출된 후, 상기 제1 영역과 상기 로컬 영역의 상기 위치 사이의 거리를 검출하는 단계;
    상기 제1 영역과 상기 로컬 영역의 상기 위치 사이의 상기 거리가 미리정해진 임계 거리보다 크면, 상기 로컬 영역의 상기 위치에 인접한 상기 이미지의 빈 영역을 식별하고, 상기 식별된 빈 영역의 크기에 기초하여, 상기 빈 영역에 디스플레이되는 상기 노트 정보의 상기 수기된 문자들의 디스플레이 크기를 식별하고, 상기 노트 정보의 상기 수기된 문자들을 인쇄 문자들로 변환하고, 상기 빈 영역에 디스플레이되는 상기 식별된 디스플레이 크기의 상기 인쇄 문자들을 상기 촬영된 물체의 이미지에 디스플레이하도록 상기 디스플레이를 제어함으로써, 상기 인쇄 문자들의 상기 디스플레이 위치 및 상기 디스플레이 크기를 자동으로 조정하는 단계를 포함하고,
    상기 노트 작업은 사용자의 입력에 의해 수행되고, 상기 연관 작업은 상기 사용자의 또다른 입력에 의해 수행되고,
    상기 빈 영역은 상기 제1 영역과 다른 영역인, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법.
  8. 제 7 항에 있어서,
    상기 노트 정보를 획득하는 단계는,
    상기 촬영된 물체의 상기 이미지 또는 상기 촬영된 물체의 상기 이미지가 표시되는 화면에 대한 상기 사용자의 노트 작업을 검출하는 단계; 및
    상기 검출된 노트 작업에 대응되는 상기 촬영된 물체에 대한 상기 노트 정보를 결정하는 단계를 포함하는, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법.
  9. 제 7 항에 있어서,
    상기 노트 작업을 검출하는 단계는,
    촬영된 물체의 이미지 프레임들 간의 증분의 정보를 상기 노트 작업으로써 검출하는 단계를 포함하는, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법.
  10. 제 7 항에 있어서,
    상기 촬영된 물체의 상기 이미지에 적응적 레이아웃을 적용하는 단계를 추가로 포함하고,
    상기 촬영된 물체의 상기 이미지에 상기 적응적 레이아웃이 적용되면:
    상기 촬영된 물체의 상기 이미지에 문자 인식을 수행하는 단계; 및
    상기 문자 인식의 결과에 기초하여 상기 인쇄 문자들의 폰트 크기의 변경 또는 줄 바꿈의 실행을 결정하는 단계를 추가로 포함하는, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법.
  11. 제 7 항에 있어서,
    상기 노트 정보는 편집 정보를 포함하고,
    상기 편집 정보는 삽입 심볼, 삽입 콘텐트, 삭제 심볼, 또는 위치 조정 심볼 중 적어도 하나를 포함하고,
    상기 이미지의 콘텐트는 상기 편집 정보에 따라 조정되는, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법.
  12. 제 7 항에 있어서,
    상기 촬영된 물체의 떨림, 상기 촬영된 물체의 이미지에 노트 정보를 입력하는 장치의 떨림, 또는 필기 도구의 떨림 중 적어도 하나의 떨림이 감지되면, 상기 노트 정보에 편차 교정(deviation calibration) 처리를 수행하는 단계를 더 포함하는, 촬영된 물체의 이미지에 노트 정보를 입력하는 방법.
  13. 제 7 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 삭제
  15. 삭제
KR1020177022740A 2015-02-12 2016-02-11 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법 KR102352683B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510077202.0 2015-02-12
CN201510077202.0A CN105988568B (zh) 2015-02-12 2015-02-12 获取笔记信息的方法和装置
PCT/KR2016/001408 WO2016129940A1 (ko) 2015-02-12 2016-02-11 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170116049A KR20170116049A (ko) 2017-10-18
KR102352683B1 true KR102352683B1 (ko) 2022-01-18

Family

ID=56614936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177022740A KR102352683B1 (ko) 2015-02-12 2016-02-11 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법

Country Status (5)

Country Link
US (1) US10778928B2 (ko)
EP (1) EP3246796A4 (ko)
KR (1) KR102352683B1 (ko)
CN (2) CN105988568B (ko)
WO (1) WO2016129940A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778725A (zh) * 2016-12-07 2017-05-31 南京仁光电子科技有限公司 会议信息录入方法和装置
CN106709435A (zh) * 2016-12-07 2017-05-24 南京仁光电子科技有限公司 信息录入方法和装置
US11720745B2 (en) * 2017-06-13 2023-08-08 Microsoft Technology Licensing, Llc Detecting occlusion of digital ink
CN107316505A (zh) * 2017-08-18 2017-11-03 广州视源电子科技股份有限公司 教学关联信息的确定方法、装置、教学设备及存储介质
CN108009140A (zh) * 2017-11-27 2018-05-08 上海爱优威软件开发有限公司 一种终端信息编辑方法及系统
CN108182432A (zh) * 2017-12-28 2018-06-19 北京百度网讯科技有限公司 信息处理方法和装置
CN108279824A (zh) * 2018-01-30 2018-07-13 深圳市富途网络科技有限公司 一种基于定位逻辑的应用程序页面展示模块及方法
CN108255386B (zh) * 2018-02-12 2019-07-05 掌阅科技股份有限公司 电子书手写笔记的显示方法、计算设备及计算机存储介质
CN108737645A (zh) * 2018-04-26 2018-11-02 网易（杭州）网络有限公司 消息的提示方法和装置、以及存储介质和终端
CN108874187A (zh) * 2018-06-06 2018-11-23 哈尔滨工业大学 一种投影仪笔记系统
CN109036482A (zh) * 2018-06-22 2018-12-18 厦门盈趣科技股份有限公司 一种集ocr与语音识别的智能录音笔
US10630738B1 (en) * 2018-09-28 2020-04-21 Ringcentral, Inc. Method and system for sharing annotated conferencing content among conference participants
CN109756676B (zh) * 2019-01-16 2021-06-25 广东小天才科技有限公司 一种图像处理方法及电子设备
CN111754448A (zh) * 2019-03-27 2020-10-09 李超 一种基于图像采集分析的作业试卷信息采集的方法与装置
CN110209279A (zh) * 2019-05-30 2019-09-06 上海云甫智能科技有限公司 一种基于智能眼镜的阅读管理方法及系统
CN112286423A (zh) * 2019-07-23 2021-01-29 珠海金山办公软件有限公司 一种显示文档的方法、系统、存储介质和终端
KR102616496B1 (ko) * 2019-08-12 2023-12-21 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
CN110457463A (zh) * 2019-08-19 2019-11-15 广东小天才科技有限公司 一种基于智能台灯的笔记记录方法、笔记整理方法及装置
CN112306359A (zh) * 2019-08-29 2021-02-02 北京字节跳动网络技术有限公司 一种笔迹的展示方法、装置、设备及存储介质
US11074400B2 (en) * 2019-09-30 2021-07-27 Dropbox, Inc. Collaborative in-line content item annotations
KR102215598B1 (ko) 2019-10-02 2021-02-15 주식회사 한글과컴퓨터 인쇄용지에 인쇄되어 있는 문자의 크기를 측정하는 전자 단말 장치 및 그 동작 방법
CN110837788B (zh) * 2019-10-31 2022-10-28 北京深度制耀科技有限公司 一种pdf文档的处理方法及装置
US11372518B2 (en) * 2020-06-03 2022-06-28 Capital One Services, Llc Systems and methods for augmented or mixed reality writing
US11443103B2 (en) * 2020-10-07 2022-09-13 Rakuten Kobo Inc. Reflowable content with annotations
CN112213983B (zh) * 2020-10-12 2021-10-08 安徽兴安电气设备股份有限公司 一种基于5g通信的二次供水设备远程在线监控系统
CN112068747B (zh) * 2020-11-16 2021-02-23 南京孜博汇信息科技有限公司 听写信息的处理方法
KR102297708B1 (ko) * 2020-11-26 2021-09-03 (주)웅진씽크빅 필기 인식을 이용한 학습 지원 시스템 및 방법
JP2022092119A (ja) * 2020-12-10 2022-06-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN113157166B (zh) * 2021-05-20 2022-03-29 读书郎教育科技有限公司 一种智能终端实现自适应笔记的方法、存储介质及电子设备
CN113360685A (zh) * 2021-06-03 2021-09-07 北京百度网讯科技有限公司 笔记内容处理方法、装置、设备和介质
CN113377238A (zh) * 2021-07-01 2021-09-10 读书郎教育科技有限公司 一种为作业添加多媒体评语的方法及智能台灯
CN113986096A (zh) * 2021-12-29 2022-01-28 北京亮亮视野科技有限公司 一种交互方法、装置、电子设备和存储介质
CN114567731B (zh) * 2022-03-28 2024-04-05 广东小天才科技有限公司 目标物拍摄方法、装置、终端设备及存储介质
CN114945107B (zh) * 2022-04-15 2024-02-02 北京奕斯伟计算技术股份有限公司 视频处理方法和相关装置
US20240070390A1 (en) * 2022-08-31 2024-02-29 Micron Technology, Inc. Generating suggestions using extended reality
CN115909342B (zh) * 2023-01-03 2023-05-23 湖北瑞云智联科技有限公司 基于触点运动轨迹的图像标记识别系统及方法
CN116795222B (zh) * 2023-06-20 2024-03-29 广东工业大学 一种基于OpenCV图像识别的数字毛笔

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080276176A1 (en) * 2008-05-19 2008-11-06 Avram Wahba Guestbook
US20140049652A1 (en) * 2012-08-17 2014-02-20 Samsung Electronics Co., Ltd. Camera device and methods for aiding users in use thereof

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584479B2 (en) * 1998-06-17 2003-06-24 Xerox Corporation Overlay presentation of textual and graphical annotations
JP3773670B2 (ja) * 1998-09-30 2006-05-10 株式会社東芝 情報呈示方法および情報呈示装置および記録媒体
US7259753B2 (en) * 2000-06-21 2007-08-21 Microsoft Corporation Classifying, anchoring, and transforming ink
US6816615B2 (en) * 2000-11-10 2004-11-09 Microsoft Corporation Implicit page breaks for digitally represented handwriting
US20040194021A1 (en) * 2001-09-14 2004-09-30 Fuji Xerox Co., Ltd. Systems and methods for sharing high value annotations
US20030063136A1 (en) 2001-10-02 2003-04-03 J'maev Jack Ivan Method and software for hybrid electronic note taking
US20040139391A1 (en) * 2003-01-15 2004-07-15 Xerox Corporation Integration of handwritten annotations into an electronic original
US7218783B2 (en) * 2003-06-13 2007-05-15 Microsoft Corporation Digital ink annotation process and system for recognizing, anchoring and reflowing digital ink annotations
EP1569140A3 (en) * 2004-01-30 2006-10-25 Hewlett-Packard Development Company, L.P. Apparatus, methods and software for associating electronic and physical documents
US7551187B2 (en) * 2004-02-10 2009-06-23 Microsoft Corporation Systems and methods that utilize a dynamic digital zooming interface in connection with digital inking
US7343552B2 (en) * 2004-02-12 2008-03-11 Fuji Xerox Co., Ltd. Systems and methods for freeform annotations
US7505056B2 (en) * 2004-04-02 2009-03-17 K-Nfb Reading Technology, Inc. Mode processing in portable reading machine
US7574048B2 (en) * 2004-09-03 2009-08-11 Microsoft Corporation Freeform digital ink annotation recognition
JP4733415B2 (ja) * 2005-04-05 2011-07-27 シャープ株式会社 電子文書の表示装置及び方法、並びにコンピュータプログラム
US7627703B2 (en) * 2005-06-29 2009-12-01 Microsoft Corporation Input device with audio capabilities
KR100576370B1 (ko) 2005-09-13 2006-05-03 (주)드림투리얼리티 휴대용 디스플레이 디바이스에서의 컨텐츠 자동 최적화장치
US8427424B2 (en) * 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
DE112009002612B4 (de) * 2008-12-04 2015-07-23 Mitsubishi Electric Corporation Anzeige-Eingabevorrichtung, Navigationssystem mit einer Anzeige-Eingabevorrichtung sowie Fahrzeuginformationssystem mit einer Anzeige-Eingabevorrichtung
JP5051305B2 (ja) * 2009-01-30 2012-10-17 富士通株式会社 画像表示装置、画像表示方法及びコンピュータプログラム
CN101997969A (zh) * 2009-08-13 2011-03-30 索尼爱立信移动通讯有限公司 图片声音注释添加方法和装置以及包括该装置的移动终端
KR101452667B1 (ko) * 2011-03-16 2014-10-22 페킹 유니버시티 중첩된 주석 출력
KR101774963B1 (ko) * 2011-05-24 2017-09-05 엘지전자 주식회사 이동 단말기
CN102411458A (zh) * 2011-08-15 2012-04-11 留越 一种纸面笔迹信息化处理的方法及系统
US20130044912A1 (en) 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
CN102890827B (zh) 2011-10-09 2015-05-13 北京多看科技有限公司 一种扫描版文档重排版的方法
CN102436330A (zh) * 2011-12-22 2012-05-02 广东威创视讯科技股份有限公司 一种嵌入式电子白板及其实现方法
DE102012102797B4 (de) 2012-03-30 2017-08-10 Beyo Gmbh Kamerabasiertes Mobilfunkgerät zur Konvertierung eines Dokuments anhand von aufgenommenen Bildern in ein Format zur optimierten Anzeige auf dem kamerabasierten Mobilfunkgerät
WO2013171857A1 (ja) * 2012-05-16 2013-11-21 楽天株式会社 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体
TWI464667B (zh) * 2012-05-23 2014-12-11 Wistron Corp 電子書之筆記共享方法及電子閱讀裝置、電腦可讀取媒體
US8830523B2 (en) * 2012-10-31 2014-09-09 Couragent, Inc. Article image annotation system
JP2014102669A (ja) * 2012-11-20 2014-06-05 Toshiba Corp 情報処理装置、情報処理方法およびプログラム
KR102147935B1 (ko) * 2013-08-29 2020-08-25 삼성전자주식회사 데이터 처리 방법 및 그 전자 장치
JP2015049604A (ja) * 2013-08-30 2015-03-16 株式会社東芝 電子文書を表示するための電子機器および方法
JP6092418B2 (ja) * 2013-10-23 2017-03-08 株式会社東芝 電子機器、方法及びプログラム
US9424241B2 (en) * 2013-12-31 2016-08-23 Barnes & Noble College Booksellers, Llc Annotation mode including multiple note types for paginated digital content
US9542363B2 (en) * 2014-01-31 2017-01-10 Konica Minolta Laboratory U.S.A., Inc. Processing of page-image based document to generate a re-targeted document for different display devices which support different types of user input methods
US9723216B2 (en) * 2014-02-13 2017-08-01 Nvidia Corporation Method and system for generating an image including optically zoomed and digitally zoomed regions
US9881223B2 (en) * 2014-04-22 2018-01-30 Lenovo (Singapore) Pte. Ltd. Forming scanned composite document with optical character recognition function
US20150338940A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Pen Input Modes for Digital Ink
US10360657B2 (en) * 2014-06-16 2019-07-23 International Business Machines Corporations Scaling content of touch-based systems
US9430141B1 (en) * 2014-07-01 2016-08-30 Amazon Technologies, Inc. Adaptive annotations
CN104199566B (zh) * 2014-08-21 2017-04-05 三星电子（中国）研发中心 一种笔迹同步的装置及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080276176A1 (en) * 2008-05-19 2008-11-06 Avram Wahba Guestbook
US20140049652A1 (en) * 2012-08-17 2014-02-20 Samsung Electronics Co., Ltd. Camera device and methods for aiding users in use thereof

Also Published As

Publication number Publication date
EP3246796A4 (en) 2018-02-28
US20180027206A1 (en) 2018-01-25
CN105988568A (zh) 2016-10-05
CN105988568B (zh) 2020-07-24
WO2016129940A1 (ko) 2016-08-18
CN111857332A (zh) 2020-10-30
US10778928B2 (en) 2020-09-15
KR20170116049A (ko) 2017-10-18
EP3246796A1 (en) 2017-11-22

Similar Documents

Publication Publication Date Title
KR102352683B1 (ko) 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법
KR102559028B1 (ko) 핸드라이팅 인식 방법 및 장치
JP4542637B2 (ja) 携帯情報機器及び情報記憶媒体
US7966352B2 (en) Context harvesting from selected content
US9158450B2 (en) Handwriting input device and handwriting input control program
JP6147825B2 (ja) 電子機器および方法
JP5111003B2 (ja) 携帯情報機器、電子ブック、情報記憶媒体、携帯情報機器の制御方法及び電子ブックの制御方法
JP5075473B2 (ja) 携帯情報機器及び情報記憶媒体
JP6109625B2 (ja) 電子機器およびデータ処理方法
US7962846B2 (en) Organization of annotated clipping views
CN111859856A (zh) 信息显示方法、装置、电子设备及存储介质
US20160180822A1 (en) Smart Zooming of Content Captured by a Smart Pen
US20130097543A1 (en) Capture-and-paste method for electronic device
JP2009294984A (ja) 資料データ編集システム及び資料データ編集方法
JP2010134938A (ja) 携帯情報機器及び情報記憶媒体
CN115437736A (zh) 一种笔记记录方法和装置
US11520974B2 (en) Sharing of user markings between printed and digital documents
JP2012018687A (ja) 携帯情報機器及び情報記憶媒体
JP2016001486A (ja) 携帯情報機器、電子ブック及び情報記憶媒体
JP5835592B2 (ja) 携帯情報機器、電子ブック及び情報記憶媒体
JP5764542B2 (ja) 携帯情報機器、電子ブック及び情報記憶媒体
JP2013050972A (ja) 携帯情報機器、電子ブック及びプログラム。
JP2021081762A (ja) 設問作成システム、画像形成装置、設問作成プログラム、及び設問作成装置
CN114943202A (zh) 信息处理方法、信息处理装置和电子设备
JP2016505923A (ja) 電子リーダーにおけるコンテンツの注記ベースの注釈付けの提供

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant