KR102594106B1 - 데이터 기록 어플리케이션 제어방법 및 이를 포함한 기록 매체 - Google Patents

데이터 기록 어플리케이션 제어방법 및 이를 포함한 기록 매체 Download PDF

Info

Publication number
KR102594106B1
KR102594106B1 KR1020170182530A KR20170182530A KR102594106B1 KR 102594106 B1 KR102594106 B1 KR 102594106B1 KR 1020170182530 A KR1020170182530 A KR 1020170182530A KR 20170182530 A KR20170182530 A KR 20170182530A KR 102594106 B1 KR102594106 B1 KR 102594106B1
Authority
KR
South Korea
Prior art keywords
medium
electronic device
menu
information
data recording
Prior art date
Application number
KR1020170182530A
Other languages
English (en)
Other versions
KR20190080211A (ko
Inventor
이상규
이석주
Original Assignee
주식회사 네오랩컨버전스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 네오랩컨버전스 filed Critical 주식회사 네오랩컨버전스
Priority to KR1020170182530A priority Critical patent/KR102594106B1/ko
Publication of KR20190080211A publication Critical patent/KR20190080211A/ko
Priority to KR1020230141199A priority patent/KR20230149797A/ko
Application granted granted Critical
Publication of KR102594106B1 publication Critical patent/KR102594106B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 의하면, 전자펜에 의해 미디엄 상에 작성되는 필기 궤적을 디지털화시킨 제 1 펜데이터를 시간 순서에 따라 재현하기 위한 전자기기로서, 상기 제 1 펜데이터를 수신하는 통신모듈; 상기 제 1 펜데이터를 제 1 필기 정보로 변환하는 제어모듈; 상기 제 1 필기 정보, 상기 전자기기에 의해 촬영되거나 녹음된 제 1 영상 또는 오디오 정보 및 메뉴 미디엄으로부터 선택된 메뉴의 이벤트 정보를 상호 발생한 시간의 순서에 따라 재현하거나 출력하는 출력모듈; 및 상기 제 1 필기 정보, 상기 제 1 영상 또는 오디오 정보 및 상기 이벤트 정보를 포함하는 컨텐츠를 저장하는 메모리모듈;을 포함하고, 상기 컨텐츠가 상기 메모리모듈에 저장된 이후, 상기 제 1 필기 정보가 상기 출력모듈 상에 유지된 상태에서, 상기 통신모듈이 상기 미디엄에 작성되는 제 2 펜데이터를 추가로 수신하면 상기 제 1 필기 정보에 상기 제 2 펜데이터에 대응되는 제 2 필기 정보가 추가되어 재현되는 전자기기가 제공된다.

Description

데이터 기록 어플리케이션 제어방법 및 이를 포함한 기록 매체 {Control method of application for recording data and recording medium thereof}
본 발명은 전자기기 및 전자기기의 구동방법 에 관한 것으로, 더욱 상세하게는 전자펜에 의해 작성되는 필기 정보, 사용자와 관련된 영상 정보 및 음성정보를 포함하는 컨텐츠를 만드는 발명에 관한 것이다.
최근 전자펜을 이용하여 사용자의 필기를 인식하고, 인식된 내용을 디지털화하여 저장할 수 있는 기술 및 제품들이 상용화되고 있다. 그러나, 이러한 전자펜을 이용하여 인식되고 디지털화된 필기의 내용을 사용자에게 유의미한 방식으로 제공하기 위한 방법에 대한 개발은 아직 미진하여 사용자가 디지털화된 필기 내용을 보다 더 효과적으로 활용할 수 있도록 하기 위한 방법들에 대한 개발이 요구되고 있다.
특히, 전자펜을 활용하여 동영상으로 구성된 강의 자료의 제작 등이 시도되고 있는데, 이는 아직까지도 대부분 터치화면을 제공하는 컴퓨터 상에서 이루어지고 있다. 컴퓨터 상에서 직접 필기를 하여 제작되는 컨텐츠는 아직까지 종이 사용에 익숙한 사용자들에게 디지털 기기 상에서 컨텐츠 작성의 피로함을 전달하고, 하드 카피를 통해 작성된 컨텐츠 원본의 보존을 하고자 하는 사용자에게 이를 제공하기 어렵다.
본 발명에 따라 해결하고자 하는 과제는 사용자가 제작하려는 컨텐츠의 작성을 효율적이고 용이하게 하는 전자기기 및 전자기기의 구동방법을 제공하는 것이다.
본 발명의 일 양상에 따르면, 전자펜에 의해 작성되는 필기 궤적이 시간 순서에 따라 재현되도록 컨텐츠를 기록하고 저장하는 데이터 기록 어플리케이션의 제어방법으로서, 상기 필기 궤적이 작성되는 미디엄의 이미지를 전자기기의 디스플레이에 표시하는 단계; 상기 미디엄에 작성되는 필기 궤적을 변환한 필기 정보, 상기 전자기기에 의해 촬영되거나 녹음된 영상 또는 오디오 정보 및 메뉴 미디엄으로부터 선택된 메뉴의 이벤트 정보를 상기 시간 순서에 따라 배치하거나 출력하는 단계; 상기 전자기기에 저장된 영상 파일 또는 오디오 파일 및 웹의 영상 파일 또는 오디오 파일 중 적어도 어느 하나를 상기 컨텐츠와 함께 재생하는 단계;를 포함하는 데이터 기록 어플리케이션의 제어방법이 제공될 수 있다.
본 발명에 따르면 강의 또는 설명을 위한 컨텐츠를 제작시 제작자의 편의성을 증가시키고, 컨텐츠 제작의 기능성을 향상시킬 수 있다.
본 발명에 따르면 컨텐츠가 저장된 이후 새로운 컨텐츠를 기존에 저장된 컨텐츠에 덧붙여서 제작하여 컨텐츠의 업데이트를 향상시킬 수 있다.
본 발명에 따르면 글씨나 그림 등 그래픽 정보를 포함하는 문서에 컨텐츠를 제작함으로써 여백 상태에서 컨텐츠를 제작할 때보다 컨텐츠 제작의 효율성을 향상시킬 수 있다.
본 발명에 따르면 컨텐츠 제작시 전자기기를 컨트롤하거나 필기의 비쥬얼을 변화시키거나 흥미진진한 이벤트를 포함시킴으로서 컨텐츠 제작의 편의성 및 쾌락성을 향상시킬 수 있다
본 발명에 따르면 컨텐츠 제작 도중 정지를 한 상태에서 필기 정보의 편집이 가능하므로 사용자의 편의성을 향상시킬 수 있다.
본 발명에 따르면 컨텐츠에 대한 정보를 자동으로 인식하여 추출한 후 태그 정보를 발생시키거나 컨텐츠별로 저장할 수 있으므로, 검색 기능의 증대를 가져올 수 있다.
도 1은 본 발명의 실시예들과 관련된 전자펜 및 전자펜과 연동되는 전자기기 등을 포함하는 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예들에 관련된 미디엄을 도시하는 도면이다.
도 3은, 본 발명의 실시예들에 따르는 전자펜의 예시적인 외관을 도시하고 있는 도면이다.
도 4는, 본 발명의 실시예들에 따르는 전자펜의 구성요소를 설명하기 위한 블록도이다.
도 5는, 본 발명의 실시예들에 따르는 전자기기의 구성요소를 설명하기 위한 블록도이다.
도 6은 본 발명의 실시예들에 따른 데이터 기록 어플리케이션이 전자기기에서 표시되는 화면을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 데이터 기록 어플리케이션이 전자기기 내에서 구동되는 흐름도이다.
도 8은 본 발명의 실시예들에 따라 데이터 기록 어플리케이션을 실행할 경우 나타나는 화면이다.
도 9는 본 발명의 실시예들에 따라 블랭크 미디엄을 선택한 경우에 나타나는 데이터 기록 어플리케이션의 화면이다.
도 10 및 도 11은 본 발명의 실시예들에 따라 전자펜과 전자기기 사이의 통신을 연결하는 화면이다.
도 12 및 도 13은 본 발명의 실시예들에 따라 데이터 기록 어플리케이션에서 녹화를 시작하는 단계를 나타내는 화면이다.
도 14 내지 도 17은 본 발명의 실시예들에 따라 블랭크 미디엄에 컨텐츠를 제작하는 과정을 나타내는 도면들이다
도 18 및 도 19는 본 발명의 다른 실시예에 따라 추가적인 필기 정보를 재현하는 화면이다.
도 20은 본 발명의 또 다른 실시예에 따라 데이터 기록 어플리케이션에 컨텐츠를 제작하는 화면이다.
도 21는 본 발명의 실시예들에 따른 메뉴 미디엄을 나타내는 도면이다.
도 22 내지 도 26은 그래픽 미디엄을 선택한 이후 데이터 기록 어플리케이션의 진행과정을 설명하는 화면이다.
도 27은 본 발명의 실시예들에 따라 그래픽 미디엄 이미지 상에 컨텐츠가 재현된 모습을 나타내는 도면이다.
도 28은 본 발명의 실시예들에 따라 그래픽 미디엄 상에 작성된 필기 궤적을 나타낸 도면이다
도 29는 본 발명의 실시예들에 따라 그래픽 미디엄에 작성된 컨텐츠를 재현한 도면이다.
도 30은 본 발명의 다른 실시예에 따른 컨텐츠를 제작하는 모습을 나타내는 도면이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
본 명세서에서 설명되는 전자펜과 연동되는 전자기기는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등과 같은 이동 단말기를 포함할 수 있을 뿐만 아니라, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기도 포함할 수 있다.
본 발명의 일 양상에 따라 전자펜에 의해 작성되는 필기 궤적이 시간 순서에 따라 재현되도록 컨텐츠를 기록하고 저장하는 데이터 기록 어플리케이션의 제어방법은 상기 필기 궤적이 작성되는 미디엄의 이미지를 전자기기의 디스플레이에 표시하는 단계; 상기 미디엄에 작성되는 필기 궤적을 변환한 필기 정보, 상기 전자기기에 의해 촬영되거나 녹음된 영상 또는 오디오 정보 및 메뉴 미디엄으로부터 선택된 메뉴의 이벤트 정보를 상기 시간 순서에 따라 배치하거나 출력하는 단계; 상기 전자기기에 저장된 영상 파일 또는 오디오 파일 및 웹의 영상 파일 또는 오디오 파일 중 적어도 어느 하나를 상기 컨텐츠와 함께 재생하는 단계;를 포함할 수 있다.
상기 미디엄은 블랭크 미디엄 또는 그래픽 미디엄을 포함할 수 있다.
상기 그래픽 미디엄의 이미지는 상기 전자기기에 저장된 다큐먼트 파일이 그래픽 미디엄 파일로 변환되어 상기 디스플레이에 표시될 수 있다.
상기 블랭크 미디엄 또는 상기 그래픽 미디엄은 상기 전자펜이 감지할 수 있는 패턴 코드를 포함할 수 있다.
상기 그래픽 미디엄은 상기 그래픽 미디어 파일이 상기 블랭크 미디엄에 프린팅되어 제작될 수 있다.
상기 그래픽 미디엄 이미지는 상기 그래픽 미디엄과 캘리브레이션될 수 있는 표식을 포함할 수 있다.
상기 메뉴 미디엄은 시스템 메뉴, 필기 메뉴 또는 이벤트 메뉴를 포함할 수 있다.
상기 메뉴 미디엄은 복수의 메뉴들을 포함하고 각각의 메뉴들은 상기 전자펜에 의해 감지될 수 있는 패턴 코드를 구비하고, 상기 전자기기가 상기 메뉴 미디엄에 포함된 복수의 메뉴들 중 어느 하나의 메뉴가 선택된 것을 감지하면 선택된 메뉴의 이벤트가 출력모듈에 재현될 수 있다.
상기 메뉴 미디엄은 정지 메뉴를 포함하고, 상기 전자기기가 정지 이벤트의 발생을 감지하면, 상기 영상 정보 또는 상기 오디오 정보의 재현이 정지된 상태에서 상기 필기 정보의 편집이 진행될 수 있다.
상기 전자기기가 상기 이벤트 메뉴에 포함된 복수의 메뉴들 중 어느 하나의 메뉴가 선택된 것을 감지하면, 비쥬얼 효과 또는 사운드 효과가 상기 전자기기에 표시될 수 있다.
상기 전자기기가 상기 필기 메뉴에 포함된 복수의 메뉴들 중 어느 하나의 메뉴가 선택된 것을 감지하면, 상기 필기 정보에 포함되는 스트로크의 색 또는 두께가 변경될 수 있다.
상기 필기 정보는 상기 전자기기의 제1 윈도우에서 재현되고 및 상기 영상 정보는 상기 전자기기의 제2 윈도우에서 표시될 수 있다.
상기 추가적으로 재생되는 영상 파일은 상기 전자기기의 제 3 윈도우에서 표시될 수 있다.
상기 제 2 윈도우 또는 제 3 윈도우는 상기 전자기기에서 위치가 조절될 수 있다.
상기 영상 정보는 상기 전자기기의 전면 및 후면에 각각 내장된 제 1 카메라 및 제 2 카메라에 중 어느 하나로 촬영될 수 있다.
상기 전자기기 상에 상기 미디엄 이미지의 전체 영역 또는 일부 영역이 선택적으로 표시되고, 상기 전자기기 상에 상기 일부 영역만이 표시된 경우, 상기 전자기기가 상기 미디엄에 작성된 필기 궤적을 상기 일부 영역에 재현할 수 없다고 판단하면, 상기 미디엄 이미지는 상기 일부 영역이 아닌 다른 영역으로 쉬프팅되어 상기 필기 정보가 재현될 수 있다.
<시스템 구성>
도 1은 본 발명의 실시예들과 관련된 전자펜 및 전자펜과 연동되는 전자기기 등을 포함하는 시스템을 설명하기 위한 개략도이다.
상기 시스템은 적어도 하나의 미디엄(1000), 적어도 하나의 메뉴 미디엄(1500), 적어도 하나의 전자펜(2000), 적어도 하나의 전자기기(3000), 적어도 하나의 서버(4000) 및 데이터 기록 어플리케이션(5000)을 포함할 수 있다.
미디엄(1000)은, 본 발명의 실시예들에 따른 전자펜을 이용하여 사용자가 원하는 사항을 필기하기 위한 면(surface)를 제공한다.
미디엄(1000)은, 종이, 플라스틱, 금속 등의 재질로 만들어질 수 있으며, 미디엄(1000)의 재질은 본 발명에 의해 한정되지 않는다.
미디엄(1000)은, 본 발명의 실시예들에 따른 전자펜이 카메라 모듈 등을 포함하는 광학적 구성요소를 사용하여 구현되는 전자펜(이하, 광학방식 전자펜이라 함)인 경우, 전자펜에 의해 인식될 수 있는 코드 패턴을 구비하고 있을 수 있다. 상기 미디엄(1000)에 코드 패턴이 구비되는 경우, 상기 코드 패턴은 인쇄 등의 방법을 통해 상기 미디엄(1000)에 제공될 수 있다.
메뉴 미디엄(1500)은 사용자가 미디엄(1000) 상에 필기하는 내용이 전자기기의 디스플레이 상에 재현되거나 저장될 때 전자기기 또는 데이터 기록 어플리케이션(5000)의 시스템 설정, 필기 내용에 포함된 스트로크의 색상 및 두께, 사운드 효과나 비쥬얼 효과를 제공할 수 있다.
메뉴 미디엄(1500)도 앞에서 설명한 미디엄과 같이 종이 등의 재질로 만들어질 수 있으나 이에 한정되지 않고, 전자펜에 의해 인식될 수 있는 코드 패턴을 구비할 수 있다. 코드 패턴은 인쇄 등의 방법을 통해 메뉴 미디엄(1500)에 제공될 수 있다.
전자펜(2000)은, 사용자의 필기에 관한 정보를 감지하여, 펜데이터를 생성할 수 있다. 상기 펜데이터는 사용자의 필기에 대한 스트로크 데이터(stroke data) 등을 생성하는 데 사용될 수 있다. 전자기기(3000)는 전자펜(2000)으로부터 펜데이터를 수신하여 해석할 수 있다. 펜데이터의 해석에 따라 스트로크 데이터가 생성될 수 있다.
전자기기(3000)는 해석된 스트로크 데이터를 적절히 처리하여 전자기기(3000)에 구비되어 있는 디스플레이 등을 통하여 스트로크 데이터에 따라 사용자의 필기를 실시간으로 재현하여 표시하거나 추후에 리플레이하여 표시할 수 있다.
또한, 전자기기(3000)는 펜데이터 및/또는 펜데이터의 해석에 따라 생성된 스트로크 데이터를 전자기기(3000)에 구비되어 있는 메모리 등에 저장하고 있을 수 있으며, 사용자의 요청 등에 따라서 펜데이터 및/또는스트로크 데이터에 대한 적절한 처리를 수행할 수 있다.
전자기기(3000)는, 네트워크(Network)를 통해, 상기 서버(4000)와 연결되어 필요한 정보를, 네트워크(Network)를 통해, 송신하거나 수신할 수 있다.
서버(4000)는, 네트워크(Network)를 통해, 전자기기(3000)와 연결되어 필요한 정보를 수신하거나 송신할 수 있다.
서버(4000)는 복수의 전자기기들(3000)과 연결되어 전자기기들(3000)로부터 수신된 펜데이터(혹은, 스트로크 데이터) 등을 데이터베이스화할 수 있다.
서버(4000)는 복수의 전자기기들(3000)의 요청 혹은 사용자의 요청에 따라 데이터베이스화 되어 있는 펜데이터(혹은, 스트로크 데이터)에 대한 적절한 처리를 할 수 있다.
서버(4000)는 전술한 전자기기(3000)의 기능들 중 일부 또는 전부를 분담하여 수행할 수 있다. 예를 들어, 전자기기(3000)는 펜데이터를 전자펜(2000)으로부터 수신하고, 펜데이터에 대한 특별한 처리절차를 수행하지 않고 바로 서버(4000)로 펜데이터를 송신할 수 있으며, 이와 같은 경우, 서버(4000)는, 전술한 바와 같은, 펜데이터를 수신하여 스트로크 데이터를 생성하는 동작, 스트로크 데이터의 저장, 스트로크 데이터에 대한 추가적인 처리 등의 동작을 수행할 수 있다.
데이터 기록 어플리케이션(5000)은 전자펜을 이용하여 강의자료를 만들거나 시청자들에게 컨텐츠를 설명하기 위한 자료를 제작하는 저작 도구이다.
데이터 기록 어플리케이션(5000)은 사용자가 미디엄에 작성하는 글씨 또는 그림(필기 궤적) 등의 필기 정보와 함께 전자기기에 의해 촬영되는 사용자의 영상 정보, 오디오 정보를 재현하거나 표시하거나 저장할 수 있다. 또한, 데이터 기록 어플리케이션(5000)은 필요에 따라 전자기기 내에 저장되어 있는 다른 영상 정보 또는 오디오 정보를 출력하여 필기 정보와 함께 재현 또는 재생되거나 저장할 수 있다.
도 1에는 하나의 미디엄(1000-1)이 하나의 전자펜(2000-1)에 대응되어 있는 것으로 도시되어 있으나, 미디엄(1000)과 전자펜(2000)의 대응관계는 1:N 혹은 N:1의 대응관계에 따라 대응되어도 무방하다.
또한, 도 1에는 하나의 전자펜(2000-1)이 하나의 전자기기(3000-1)에 대응되어 있는 것으로 도시되어 있으나, 이 또한 전자펜(2000)과 전자기기(3000)의 대응관계는 1:N 혹은 N:1의 대응관계에 따라 대응되어도 무방하다.
아울러, 도 1에는 복수의 전자기기(30000)들이 하나의 서버(4000)에 연결되어 있는 것으로 도시되어 있으나, 본 발명의 실시예들에 따르는 시스템은 둘 이상의 서버를 구비할 수도 있다.
한편, 도 1에는 전자펜(2000)은 전자기기(3000)와 통신을 수행하는 것으로 도시되어 있고, 전자기기(3000)는 전자펜(2000) 및 서버(4000)와 통신을 수행하는 것으로 도시되어 있으나, 필요에 따라, 전자펜(2000)은 직접 서버(4000)와 통신을 수행할 수도 있다.
<미디엄>
이어서, 본 발명의 실시예들에 관련된 미디엄(1000)에 대해서 설명한다.
도 2는 본 발명의 실시예들에 관련된 미디엄의을 도시하는 도면이다.
도 2를 참조하면, 미디엄(1000)은 블랭크 미디엄(1200) 및 그래픽 미디엄(1400)으로 구분될 수 있다. 블랭크 미디엄(1200)은 노트와 같이 필기를 할 수 있는 여백이 대부분으로 구성된 미디엄을 의미할 수 있다. 도 2의 상단에 도시된 바와 같이 블랭크 미디엄(1200)은 노트와 같이 복수의 장으로 구성된 미디엄일 수도 있고, 하나의 장으로 구성된 미디엄일 수도 있다. 복수의 장으로 구성된 블랭크 미디엄(1200)에서 각각의 장은 서브 미디엄으로 지칭될 수 있다. 전자펜(1000)이 광학방식 전자펜으로 구현되어 있는 경우, 노트를 구성하는 페이지들의 적어도 일부 혹은 전부에 본 발명의 실시예들에 따르는 코드 패턴이 구비되어 있을 수 있다.
한편, 노트를 구성하는 페이지의 전체면(whole surface) 중 적어도 일부의 영역만이 본 발명의 실시예들에 따르는 미디엄(1000)으로 구현될 수 있다. 예를 들어, 전자펜(1000)이 광학방식 전자펜으로 구현되어 있는 경우, 노트를 구성하는 페이지의 전체면(whole surface)에 코드 패턴이 구비되어 있는 것이 아니라 일부 영역에만 코드 패턴이 구비되어 있을 수 있다.
그래픽 미디엄(1400)은 도 2의 하단에 도시된 바와 같이 글씨나 그림으로 구성된 특정 그래픽을 포함하는 미디움일 수 있다. 그래픽 미디엄(1400)은 블랭크 미디엄(1200)에 사용자가 원하는 다큐먼트 파일을 인쇄하여 생성될 수 있다. 그래픽 미디엄(1400) 역시 단수로 구성된 미디엄일 수 있고, 복수의 서브 미디엄들을 포함할 수 있다. 사용자가 인쇄하는 다큐먼트 파일이 복수장일 경우 그래픽 미디엄(1400)은 복수의 서브 미디엄으로 구성될 수 있다. 그래픽 미디엄(1400)의 면에도 코트 패턴이 구비되어 있을 수 있다. 그래픽 미디엄(1400)에 대해서는 뒤 에서 자세히 후술하기로 한다
한편, 도면에 도시되지는 않았지만, 칠판 등의 형태로 본 발명의 실시예들에 따르는 미디엄(1000)이 구현될 수 있다. 즉, 코드 패턴이 구비되어 있는 칠판(전자 칠판)의 형태로 본 발명의 실시예들에 따르는 미디엄(1000)이 구현될 수 있다.
<전자펜>
이어서, 본 발명의 실시예들에 따르는 전자펜에 대해서 설명한다.
도 3은, 본 발명의 실시예들에 따르는 전자펜의 예시적인 외관을 도시하고 있는 도면이며, 도 4는, 본 발명의 실시예들에 따르는 전자펜의 구성요소를 설명하기 위한 블록도이다.
도 3을 참조하면, 전자펜(2000)은, 크게 미디엄(1000)에 필기가 가능하도록 하는 심부(2010, 도 42 참조)를 위치 고정하는 본체부(2020) 및 비사용상태에서 상기 심부(2010)를 보호하는 캡부(2030) 등을 포함할 수 있다.
여기서, 비사용상태라 함은 본 발명의 일 실시예에 따른 전자펜(2000)을 보관하고 있는 상태를 의미할 수 있으며, 이 경우 심부(2010)가 외부로 노출되지 않아 미디엄에 필기가 불가능한 상태를 의미할 수 있다.
상기 심부(2010)는 미디엄(1000)에 필기가 가능하도록 구성요소로, 볼 및 잉크를 포함할 수 있으며, 상기 잉크는 유성, 수성 또는 중성 등 다양할 수 있다.
또한, 상기 심부(2010)는 연필에 사용되는 흑심일 수도 있으며, 일반적인 필기구에 사용되는 심일 수도 있다.
본체부(2020)는 상기 심부(2010)의 일부가 노출되도록 삽입되어 상기 심부(2010)를 위치 고정할 수 있는 구성요소로, 사용자가 손으로 그립할 수 있는 일종의 그립부를 의미할 수 있다.
캡부(2030)는 비사용상태에서 상기 본체부(2020)의 일측이 삽입 가능하여 상기 심부(2010)를 보호하도록 하는 소정의 내부공간을 구비할 수 있으며, 상기 본체부(2020)의 타측에 삽입되는 경우 상기 심부(2010)의 일부를 외부에 노출되도록 하여 필기가 가능하도록 할 수 있다.
다만, 상기 캡부(2030)는 상기 심부(2010)에 의해 필기가 가능하도록 하는 경우, 반드시 상기 본체부(2020)의 타측에 삽입될 필요는 없으며, 상기 본체부(2020)와 분리되어 소정의 공간에 배치되어도 무방하다.
도 4를 참조하면, 본 발명의 일 실시예에 따르는 전자펜(2000)은, 입력부(2100), 출력부(2200), 패턴감지부(2300), 통신부(2400), 센서부(2500), 메모리(2600), 전원부(2700) 및 제어부(2800) 등을 포함할 수 있다. 다만, 도 4에 도시된 구성요소들이 필수적인 것은 아니어서, 도시된 구성요소들 보다 많은 구성요소들을 많이 가지거나 혹은 도시된 구성요소들 보다 더 적은 구성요소들을 가지는 전자펜이 구현될 수도 있을 것이다.
이하, 상기 전자펜(2000)의 각 구성요소들에 대해 차례로 살펴본다.
입력부(2100)는, 사용자로부터 사용자 입력을 수신할 수 있다. 사용자 입력은 버튼 입력, 키 입력, 터치 입력, 음성 음력을 비롯한 다양한 형태로 이루어질 수 있다. 예를 들어, 전자펜(2000)은 사용자로부터 버튼 입력을 수신하여 전자펜(2000)의 전원 온(On)/오프(Off)를 제어할 수 있다.
입력부(2100)의 예로는 전통적인 형태의 버튼, 조그휠 등은 물론, 사용자의 터치를 감지하는 터치 센서, 음성 신호를 입력받는 마이크, 영상 인식을 통해 제스처 등을 인식하는 카메라, 사용자 접근을 감지하는 조도 센서나 적외선 센서 등으로 구성되는 근접 센서, 가속도 센서나 자이로 센서 등을 통해 사용자 동작을 인식하는 모션 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다.
출력부(2200)는, 각종 정보를 출력해 사용자에게 이를 제공할 수 있다. 이러한 출력부(2200)는 사용자의 시각을 통해 인식될 수 있는 가시광을 출력하는 디스플레이, 사용자의 청각을 통해 인식될 수 있는 소리를 출력하는 스피커, 사용자의 촉각을 통해 인식될 수 있는 진동을 발생시키는 햅틱 장치 및 그 외의 다양한 형태의 출력 수단을 모두 포함하는 포괄적인 개념으로 해석되어야 한다. 예를 들어, 전자펜(2000)은, 전자펜(2000)의 전원 온-오프 전환 여부, 혹은 오프-온 전환 여부 등에 대한 정보를 사용자에게 제공하기 위하여 전자펜(2000)에 구비되어 있는 버저(buzzer) 등을 통해 미리 정해진 특성의 소리를 출력할 수 있다. 다른 예를 들어, 전자펜(2000)의 동작 상태에 대한 정보를 사용자에게 제공하기 위하여 LED 램프와 같은 디스플레이를 통하여 미리 정해진 가시광을 출력할 수 있다.
패턴감지부(2300)는, 미디엄(1000)에 대한 상기 전자펜(2000)의 위치를 판단하기 위한 위치 정보가 인코딩되어 있는 코드 패턴을 감지하기 위한 구성으로, 카메라 모듈(2320) 및 조명 모듈(2340)을 포함한다.
카메라 모듈(2320)은, 미디엄(1000)에 제공되어 있는 코드 패턴에 대한 이미지를 획득하기 위한 것이다. 카메라 모듈(2320)은, 미디엄(1000) 상에서, 사용자의 필기 등에 따라서 상기 전자펜(2000)이 이동하는 동안 미리 정해진 시간 간격(예를 들어, 1/60초 내지 1/240 초 등)에 맞추어 미디엄(1000)에 제공되어 있는 코드 패턴의 일부 영역에 대한 이미지를 획득한다. 이에 따라, 전자펜(1000)은, 추후에 설명하는 코드 패턴의 해석 방법에 따라, 획득된 이미지 내에 포함되어 있는 단위 셀에 대한 정보를 해석하여 미디엄(1000)에 대한 전자펜(2000)의 위치를 좌표 형태로 해석할 수 있다.
조명 모듈(2340)은, 카메라 모듈(2320)을 통해 코드 패턴에 대한 이미지가 획득될 수 있도록 미리 정해진 특정 주파수의 빛을 상기 미디엄(1000)을 향해 조사한다. 본 발명의 실시예에 따르는 미디엄(1000)에 제공되는 코드 패턴은 적외선을 흡수하는 잉크를 사용하여 인쇄될 수 있는데, 이와 같은 경우, 상기 조명 모듈(2340)은 상기 잉크에 의해 잘 흡수될 수 있는 파장의 빛을 상기 미디엄(1000)에 조사할 수 있다. 이때, 상기 카메라 모듈(2320)은 적외선 대역에 대한 이미지를 촬영할 수 있도록 구성될 수 있으며, 이를 위하 상기 카메라 모듈(2320)은 적외선 대역만 선택적으로 통과시키는 적외선 필터를 구비하고 있을 수 있다.
통신부(2400)는, 외부 기기와 통신을 수행할 수 있다. 예를 들어, 전자펜(2000)은 통신부(2400)를 통해 전자기기(3000) 혹은 서버(4000) 등과 통신을 수행할 수 있다. 이에 따라 전자펜(2000)은 외부 기기와 각종 정보를 송수신할 수 있다. 예를 들어, 전자펜(2000)은, 통신부(2400)를 통해, 전자펜(2000)에서 생성되는 펜데이터 등을 상기 전자기기(3000) 혹은 서버(4000)로 전송할 수 있으며, 전자펜(2000)의 동작을 제어하거나 전자펜(2000)에 필요한 정보를 제공하기 위한 명령 및/또는 데이터가, 상기 통신부(2400)를 통해, 상기 전자기기(3000) 혹은 상기 서버(4000)로부터 수신될 수 있다.
통신부(2400)는, 유선 모듈(2420) 및 무선 모듈(2440)을 포함할 수 있다.
유선 모듈(2420)은 외부 기기와 데이터를 유선으로 송수신하기 위한 모듈로서, 외부 기기와 데이터를 송수신할 수 있는 USB 포트, PS/2 포트, 패러럴 포트, 시리얼 포트 등과 같은 구성을 포함하고 있을 수 있으며, 나아가 LAN(Local Area Network)를 통해 인터넷 등에 접속하기 위한 이더넷 포트 등을 포함하고 있을 수 있다.
무선 모듈(2440)은, 이동 통신 기지국을 거쳐 이동 통신 네트워크에 접속하여 데이터를 송수신하는 이동 통신 모듈, 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 블루투스(Bluetooth), 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용하는 근거리 통신 모듈 등을 포함하고 있을 수 있다.
센서부(2500)는 다양한 정보를 센싱할 수 있다. 여기서, 다양한 정보는 전자펜(2000)의 동작을 제어하기 위한 제어신호를 발생시키는 데에 활용될 수 있으며, 전자펜(2000)에 의해 생성되는 펜데이터를 생성하는 데에 이용될 수 있다. 센서부(2500)를 통해 센싱된 다양한 정보는 전자기기(3000) 혹은 서버(4000)에 제공될 수 있다.
센서부(2500)는, 압력센서(2520), 펜심센서(2540), 슬립센서(2560) 등을 포함할 수 있다.
압력센서(2520)는, 사용자의 필기 시에 발생되는 압력을 센싱할 수 있다. 예를 들어, 사용자가 전자펜(2000)을 이용하여 필기를 할 때, 필기면에 대한 전자펜(2000)의 접촉이 발생하게 되는 데, 이때 발생하는 압력이 압력센셔(2520)에 의해 센싱될 수 있다. 특히, 압력센서(2520)는 전자펜(2000)에 장착되는 펜심(심부, 2010)의 후단부(펜심의 양 끝단 중 펜팁이 아닌 다른 끝단측)에 제공되어 압력을 센싱할 수 있다. 전자펜(2000)은 압력센서(2520)를 통해 센싱되는 압력값을, 추후에 자세히 설명하는, 펜데이터를 생성할 때 사용할 수 있다. 이때, 펜데이터에 포함되는 상기 압력값은 사용자가 필기 시에 미디엄(1000)에 가한 필압 정보(pen pressure information)로 가공되어 사용자에 의해 필기된 내용을 재현(reproduce)하는 데에 사용될 수 있다. 또는 상기 압력센서(2520)를 통해 출력되는 신호에 기초하여, 오프 상태에 있는 전자펜(2000)은 전자펜(2000)의 상태를 온시키기 위한 트리거 신호로 사용할 수도 있다.
펜심센서(2540)는, 전자펜(2000)에 장착되는 펜심(심부, 2010)의 종류을 나타내기 위한 펜심 식별자를 감지할 수 있다. 예를 들어, 전자펜(2000)에 장착되는 펜심(심부, 2010)의 외측에는 상기 펜심(심부, 2010)의 색상을 나타내기 위한 펜심 식별자가 구비되어 있을 수 있으며, 이때 상기 펜심센서(2540)는 상기 펜심 식별자를 광학적 방식/자기적 방식 기타 다양한 활용 가능한 방식을 통해서 감지할 수 있다. 상기 펜심센서(2540)에 의해 센싱된 값 혹은 센싱된 값에 의해 해석된 상기 펜심(심부, 2010)에 대한 정보는 전자기기(3000)에 제공될 수 있으며, 전자기기(3000)는 제공받은 정보에 기초하여 사용자에 의해 필기된 내용을 재현하는 데에 사용할 수 있다.
슬립센서(2560)는, 온 상태의 전자펜(2000)이 자동으로 오프상태로 전환할지 여부를 판단하는 데 사용되는 전자펜(2000)의 상태를 감지할 수 있다. 예를 들어, 상기 슬립센서(2560)는 가속도 센서 등을 포함할 수 있는데, 가속도 센서 등을 통하여 상기 전자펜(2000)의 이동유무가 감지될 수 있다. 만약, 슬립센서(2560)를 통해 센싱된 값에 기초하여 전자펜(2000)이 미리 정해진 시간 동안 이동하고 있지 않는 것으로 판단되는 경우, 상기 전자펜(2000)은 자동으로 상기 전자펜(2000)의 상태를 오프 상태로 전환할 수 있다.
본 발명의 몇몇 실시예들에 의하면, 상기 전자펜(2000)이 온 상태에 있는 경우, 상기 전자펜(2000)에 구비되어 있는 구성요소들에 정상적으로 전력이 공급되어 필요에 따라 구성요소들이 정상적으로 동작할 수 있으나, 상기 전자펜(2000)이 오프 상태에 있는 경우, 상기 전자펜(2000)에 구비되어 있는 모든 구성요소들 혹은 일부 구성요소들에 대한 전력이 차단되어 전자펜(2000)에 구비되어 있는 구성요소들 모두 혹은 일부가 정상적으로 동작할 수 없다. 특히, 본 발명의 몇몇 실시예들에 의하면, 상기 전자펜(2000)이 오프 상태에 있는 경우라도, 상기 압력센서(2520) 및/또는 압력센서로부터 출력되는 신호를 해석하기 위한 해석 모듈 등에는 정상적으로 전력이 공급될 수 있으며, 이에 따라, 오프 상태에 있는 전자펜(2000)이 압력센서(2520)로부터 출력되는 센싱값에 기초하여 자동으로 온 상태로 전환될 수 있게 된다.
메모리(2600)는, 각종 정보를 저장할 수 있다. 메모리(2600)는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 메모리(2600)에는 전자펜(2000)을 구동하기 위한 펌웨어(firmware)와 같은 운용 프로그램 등이 저장될 수 있으며, 필요에 따라, 전자펜(2000)에 의해 생성되는 펜데이터, 센서부(2500)에 의해 출력되는 센싱값 등 전자펜(2000)의 구동에 필요한 정보, 명령, 데이터들이 저장될 수 있다.
메모리(2600)의 예로는 하드디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다.
전원부(2700)는, 전자펜(2000)의 각 구성요소들의 동작에 필요한 전원을 제공할 수 있다. 상기 전원부(2700)는, 충전가능한 배터리로 구현될 수 있으며, 전자펜(2000)의 통신부(2400)가 충전 포트(예를 들어, USB 포트)를 포함하고 있는 경우, 충전포트를 통해 전자펜(2000)이 전자기기(3000)에 연결되었을 때, 상기 전자기기(3000)로부터 전력이 공급될 수 있으며, 이에 따라 상기 배터리는 충전될 수 있다.
제어부(2800)는, 전자펜(2000)의 전반적인 동작을 제어한다. 이를 위해 제어부(2800)는 각종 정보의 연산 및 처리를 수행하고 전자펜(2000)의 구성요소들의 동작을 제어할 수 있다.
또한, 제어부(2800)는, 패턴감지부(2300)에 의해 획득된 코드 패턴에 대한 이미지를 분석하여, 획득된 코드 패턴의 이미지에 포함되어 있는 단위 셀에 인코딩되어 있는 정보들을 디코딩할 수 있으며, 나아가 디코딩된 정보로부터 상기 전자펜(2000)의 미디엄(1000)에 대한 위치 좌표, 상기 미디엄(1000)에 대한 식별정보(예를 들어, 북 정보 또는 페이지 정보 등)를 획득할 수 있다.
제어부(2800)는, 단위 셀에 인코딩되어 있는 정보들을 디코딩하여 획득한 정보들에 기초하여 펜데이터를 생성할 수 있으며, 전술한 바와 같이, 생성된 펜데이터는 메모리(2600)에 저장되거나 혹은 상기 통신부(2400)를 통하여 상기 전자기기(3000) 및/또는 서버(4000)로 전송할 수 있다. 펜데이터의 생성에 대한 자세한 설명은 나중에 하기로 한다.
한편, 제어부(2800)는, 전자펜(2000)의 일반적인 동작을 제어하기 위한 제1 제어부와 패턴감지부(2300)에 의해 획득된 이미지를 분석하고, 단위 셀을 필요한 정보를 디코딩하고, 전술한 펜데이터를 생성하기 위한 제2 제어부로 구분될 수 있는데, 상기 제어부(2800)는, 논리적으로 상기 제1 제어부 및 상기 제2 제어부로 분할될 수도 있으나, 상기 제1 제어부 및 상기 제2 제어부가 물리적으로 서로 분리되어 있는 형태로 구현될 수도 있다.
제어부(2800)는 하드웨어 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어 형태의 제어부는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어 형태의 제어부를 구동시키는 프로그램 형태로 제공될 수 있다.
한편, 이하의 설명에서 특별한 언급이 없는 경우에는 전자펜(2000)의 동작은 제어부(2800)의 제어에 의해 수행되는 것으로 해석될 수 있다.
<전자기기>
이어서, 본 발명의 실시예들에 따르는 전자기기(3000)에 대해 설명한다.
도 5는, 본 발명의 실시예들에 따르는 전자기기의 구성요소를 설명하기 위한 블록도이다.
도 5를 참조하면, 전자기기(3000)는, 입력모듈(3100), 출력모듈(3200), 통신모듈(3300), 메모리모듈(3400) 및 제어모듈(3500)을 포함할 수 있다. 다만, 도 5에 도시된 구성요소들이 필수적인 것은 아니어서, 도시된 구성요소들 보다 많은 구성요소들을 많이 가지거나 혹은 도시된 구성요소들 보다 더 적은 구성요소들을 가지는 전자기기가 구현될 수도 있을 것이다.
이하, 상기 전자기기(3000)의 각 구성요소들에 대해 차례로 살펴본다.
입력모듈(3100)은, 사용자로부터 사용자 입력을 수신할 수 있다. 사용자 입력은 키 입력, 터치 입력, 음성 음력을 비롯한 다양한 형태로 이루어질 수 있다. 이러한 사용자 입력을 받을 수 있는 입력모듈(3100)의 예로는 전통적인 형태의 키패드나 키보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서, 음성 신호를 입력받는 마이크, 영상 인식을 통해 제스처 등을 인식하는 카메라, 사용자 접근을 감지하는 조도 센서나 적외선 센서 등으로 구성되는 근접 센서, 가속도 센서나 자이로 센서 등을 통해 사용자 동작을 인식하는 모션 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다. 여기서, 터치 센서는 디스플레이 패널에 부착되는 터치 패널이나 터치 필름을 통해 터치를 감지하는 압전식 또는 정전식 터치 센서, 광학적인 방식에 의해 터치를 감지하는 광학식 터치 센서 등으로 구현될 수 있다.
출력모듈(3200)은, 각종 정보를 출력해 사용자에게 이를 제공할 수 있다. 이러한 출력모듈(3200)은 사용자의 시각을 통해 인식될 수 있는 가시광을 출력하는 디스플레이, 사용자의 청각을 통해 인식될 수 있는 소리를 출력하는 스피커, 사용자의 촉각을 통해 인식될 수 있는 진동을 발생시키는 햅틱 장치 및 그 외의 다양한 형태의 출력 수단을 모두 포함하는 포괄적인 개념이다.
상기 디스플레이는 본 발명의 일 실시예에 따르는 전자펜(2000) 및/또는 전자기기(3000)를 이용하여 사용자에 의해 필기된 내용을 재현하기 위한 영상을 출력할 수 있다.
또한, 상기 디스플레이는 액정 디스플레이(LCD: Liquid Crystal Display),
발광 다이오드(LED: light emitting diode) 디스플레이, 유기 발광 다이오드(OLED: Organic Light Emitting Diode) 디스플레이, 평판 디스플레이(FPD: Flat Panel Display), 투명 디스플레이(transparent display), 곡면 디스플레이(Curved Display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 홀로그래픽 디스플레이(holographic display), 프로젝터 및 그 외의 영상 출력 기능을 수행할 수 있는 다양한 형태의 장치를 모두 포함하는 광의의 영상 표시 장치를 의미하는 개념이다. 이러한 디스플레이는 입력모듈(3100)의 터치 센서와 일체로 구성된 터치 디스플레이의 형태일 수도 있다.
통신모듈(3300)은, 외부 기기와 통신을 수행할 수 있다. 예를 들어, 전자기기(3000)는 통신모듈(3300)을 통해 전자펜(2000) 혹은 서버(4000) 등과 통신을 수행할 수 있다. 이에 따라 전자기기(3000)는 외부 기기와 각종 정보를 송수신할 수 있다. 예를 들어, 전자기기(3000)는, 통신모듈(3300)을 통해, 전자펜(2000)에서 생성되는 펜데이터 등을 수신할 수 있으며, 필요한 정보를 전자펜(2000)으로 전송할 수 있다. 또한, 전자기기(3000)는, 통신모듈(3300)을 통해, 전자펜(2000)으로부터 수신한 펜데이터 혹은 펜데이터의 해석에 의해 획득된 스트로크 데이터를 서버(4000)로 전송할 수 있으며, 필요한 정보를 서버(4000)로부터 수신할 수 있다.
통신모듈(3300)은, LAN(Local Area Network)를 통해 인터넷 등에 접속하는 LAN 포트, USB 포트, PS/2 포트, 패러럴 포트, 시리얼 포트 등을 포함하는 유선 통신 모듈, 이동 통신 기지국을 거쳐 이동 통신 네트워크에 접속하여 데이터를 송수신하는 이동 통신 모듈, 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 블루투스(Bluetooth), 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용하는 근거리 통신 모듈, GPS(Global Positioning System)과 같은 GNSS(Global Navigation Satellite System)을 이용하는 위성 통신모듈 또는 이들의 조합으로 구성될 수 있다.
메모리모듈(3400)은, 각종 정보를 저장할 수 있다. 메모리모듈(3400)은 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 메모리모듈(3400)에는 전자기기(3000)를 구동하기 위한 운용 프로그램(OS; Operating system) 등이 저장될 수 있으며, 필요에 따라, 전자펜(2000)으로부터 수신되는 각종 데이터, 전자펜(2000)으로부터 수신되는 각종 데이터를 처리하기 위한 응용 프로그램(application) 등이 저장될 수 있다.
메모리모듈(3400)의 예로는 하드디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다.
제어모듈(3500)은, 전자기기(3000)의 전반적인 동작을 제어한다. 이를 위해 제어모듈(3500)은 각종 정보의 연산 및 처리를 수행하고 전자기기(3000)의 구성요소들의 동작을 제어할 수 있다.
제어모듈(3500)은 하드웨어 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어 형태의 제어모듈은 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨형태의 제어모듈을 구동시키는 프로그램 형태로 제공될 수 있다.
한편, 이하의 설명에서 특별한 언급이 없는 경우에는 전자기기(3000)의 동작은 제어모듈(3500)의 제어에 의해 수행되는 것으로 해석될 수 있다.
<전자기기의 구동에 대한 설명>
도 6은 본 발명의 실시예들에 따른 데이터 기록 어플리케이션이 전자기기에서 표시되는 화면을 나타내는 도면이다.
도 6을 참조하면, 본 발명의 실시예들에 따른 데이터 기록 어플리케이션(5000)은 전자펜(2000)을 이용하여 강의자료를 만들거나 시청자들에게 컨텐츠를 설명하기 위해 자료를 제작하기 위한 저작 도구이다.
데이터 기록 어플리케이션(5000)은 소프트웨어일 수 있다. 따라서 전자기기(3000)에 앱의 형태로 설치되어 전자기기(3000) 내에서 작동될 수 있다. 데이터 기록 어플리케이션은 소프트웨어의 형태로 기록매체에 저장되어 전자기기에 설치되어 작동될 수 있다. 데이터 기록 어플리케이션은 특정 서버에 저장되어 이를 사용하고자 하는 사람이 다운로드 받을 수 있다.
데이터 기록 어플리케이션(5000)은 전자기기(3000)에 특정한 기능을 수행하기 위한 프로그램 코드들을 포함할 수 있다. 데이터 기록 어플리케이션(5000)은 메모리모듈에 저장될 수 있고, 데이터 기록 어플리케이션이 실행될 때 전자기기(3000)의 제어모듈(3500) 또는 운영체제에 의하여 필요한 기능들을 전자기기(3000)에 제공할 수 있다. 따라서 데이터 기록 어플리케이션(5000)에서 제공하는 기능들은 전자기기(3000)의 입력모듈(3100), 출력모듈(3200), 통신모듈(3300), 메모리모듈(3400) 및 제어모듈(3500)과 통신하며 전자기기(3000) 상에서 구현될 수 있다.
데이터 기록 어플리케이션(5000)과 전자기기(3000)는 각각 소프트웨어 및 하드웨어에 대응하는 별개의 구성이지만, 데이터 기록 어플리케이션(5000)은 전자기기(3000) 내에서 구동되므로 상호 간의 엄격한 구분이 필요하지 않다. 본 발명의 실시예들에 따라 설명되는 내용들은 데이터 기록 어플리케이션(5000)과 전자기기(3000) 모두에 해당될 수 있다. 즉, 데이터 기록 어플리케이션(5000)을 기준으로 본 발명에 대한 설명을 진행하더라도, 데이터 기록 어플리케이션(5000)은 전자기기(3000)에서 구동되므로 전자기기(3000)에 대한 설명으로 볼 수 있다. 따라서 이하에서는 데이터 기록 어플리케이션(5000)을 위주로 설명하지만, 전자기기(3000)에서 구현되는 것을 전제로 한다.
데이터 기록 어플리케이션(5000)은 사용자가 미디엄(1000)에 작성하는 글씨 또는 그림 등의 필기 궤적, 전자기기(3000)에 의해 촬영되거나 녹음되는 사용자의 영상 정보 또는 오디오 정보를 전자기기의 출력모듈에 재현할 수 있고, 메모리 모듈에 저장할 수 있다. 본 명세서에서는 사용자가 미디엄에 작성하는 글씨 또는 그림 등의 필기 궤적이 전자기기의 출력모듈 상에서 재현될 때는 필기 정보라는 명칭으로 표현된다.
또한, 데이터 기록 어플리케이션(5000)은 필요에 따라 전자기기(3000) 내에 저장되어 있는 다른 영상 정보 또는 오디오 정보를 출력하여 필기 정보와 함께 재현 또는 재생되거나 저장할 수 있다.
데이터 기록 어플리케이션(5000)은 블랭크 미디엄(1200) 또는 그래픽 미디엄(1400) 중 하나를 선택하는 옵션을 제공하고, 선택된 미디엄의 이미지를 전자기기(3000)의 디스플레이 상에 표시할 수 있다.
데이터 기록 어플리케이션(5000)은 전자기기(3000)에 저장된 다큐먼트 파일을 데이터 기록 어플리케이션(5000)에서 사용할 수 있도록 그래픽 미디엄(1400) 파일로 변환하고, 사용자가 그래픽 미디엄(1400)으로 출력할 수 있는 기능을 제공한다. 이 때 그래픽 미디엄파일은 패턴 코드가 인쇄된 블랭크 미디엄(1200)에 프린팅되어 그래픽 미디엄(1400)으로 제작될 수 있다.
전자펜(2000)은 미디엄(1000)에 구비되어 있는 코드 패턴의 적어도 일부 영역에 대한 이미지를 획득하고, 획득된 이미지 내에 포함되어 있는 단위셀에 인코딩되어 있는 정보를 해석하여 위치 정보를 획득할 수 있다.
전자펜(2000)은 사용자가 필기를 하고 있는 동안, 지속적으로 코드 패턴에 대한 이미지 및 이로부터 해석되는 위치 정보를 획득하여 처리/저장함으로서 데이터 기록 어플리케이션(5000) 상에 해당 필기 정보를 재현할 수 있다. 전자펜(2000)에 의해 미디엄 상에 작성되는 필기 궤적은 디지털화되어 팬데이터로 가공되고, 펜데이터는 데이터 기록 어플리케이션(5000)이 실행되는 전자기기(3000) 상에서 필기 정보로 재현될 수 있다.
이하에서는 데이터 기록 어플리케이션(5000)이 전자기기(3000) 내에서 구동되는 방법에 대하여 상세히 설명하기로 한다.
도 7은 본 발명의 실시예에 따른 데이터 기록 어플리케이션이 전자기기 내에서 구동되는 흐름도이다.
도 7을 참조하면, 데이터 기록 어플리케이션(5000)을 실행하는 단계, 미디엄을 선택하는 단계, 미디엄 이미지를 디스플레이에 출력하는 단계, 전자펜(2000)과 전자기기(3000) 간 통신을 연결하는 단계, 컨텐츠의 녹화를 시작하는 단계, 컨텐츠를 제작하는 단계 및 녹화를 종료하고 컨텐츠를 저장하는 단계를 포함한다.
미디엄(1000)을 선택하는 단계는 블랭크 미디엄(1200)을 선택할 경우와 그래픽 미디엄(1400)을 선택하는 경우로 구분될 수 있다. 블랭크 미디엄(1200)을 선택하는 경우 블랭크 미디엄 이미지가 전자기기(3000)의 디스플레이 상에 출력될 수 있다. 그래픽 미디엄(1400)을 선택하게 되는 경우, 다큐먼트 파일을 선택하는 단계, 그래픽 미디엄(1400) 파일을 생성하는 단계, 그래픽 미디엄(1400) 파일을 공유하거나 인쇄하는 단계, 그래픽 미디엄(1400) 이미지를 디스플레이 상에 출력하는 단계, 그래픽 미디엄(1400)을 캘리브레이션하는 단계를 더 거쳐 전자펜(2000)과 전자기기(3000) 간 페어링을 진행하는 단계로 이동할 수 있다.
여기서, 컨텐츠라 함은 데이터 기록 어플리케이션(5000)에 출력될 수 있는 모든 정보를 총합하는 의미로 사용된다. 전자펜(2000)에 의해 미디엄(1000) 상에 작성되어 전자기기(3000)의 디스플레이에 재현되는 필기 정보, 전자기기(3000)의 입력모듈(3100)에 의해 촬영되거나 녹음되는 영상 정보, 오디오 정보, 메뉴 미디엄(1500)에서 선택된 메뉴에 의해 발생하는 이벤트 사운드 효과, 이벤트 비쥬얼 효과, 전자기기(3000)에 저장되어 있는 영상 파일 또는 오디오 파일이 실행되어 전자기기에 표시되어 나타나는 영상 정보 및 오디오 정보, 웹주소에 의해 연동되는 영상 파일 및 오디오 파일 등이 실행되어 전자기기(3000)의 출력모듈(3200)에 나타나는 영상 정보, 오디오 정보 등을 의미할 수 있다. 좁은 의미로는 데이터 기록 어플리케이션(5000)에서 녹화, 녹음이 시작된 이후 디스플레이 상에서 나타나고 있는 모든 정보 및 기록들을 의미할 수 있다. 녹화라는 용어는 영상 정보에 대한 기록/저장 만을 의미하는 것이 아니라 오디오 정보에 대한 기록/저장을 함께 의미할 수 있다. 따라서, 녹화라는 단어는 녹음의 의미를 함께 의미할 수 있다.
도 8은 본 발명의 실시예들에 따라 데이터 기록 어플리케이션을 실행할 경우 나타나는 화면이다.
도 7과 함께 도 8을 참조하여, 데이터 기록 어플리케이션(5000)을 실행후 미디엄을 선택하는 단계에 대하여 설명한다. 데이터 기록 어플리케이션(5000)은 사용자가 미디엄(1000)을 선택할 수 있도록 안내할 수 있다. 사용자는 전자기기(3000)의 출력모듈(3200)인 디스플레이에서 블랭크 미디엄(1200)을 선택하거나(도면 중 "Use a blank notebook) 전자기기(3000) 내에 저장된 다큐먼트 파일을 선택함으로써(도면 중 Use my own material) 그래픽 미디엄(1400) 파일을 생성할 수 있다.
미디엄의 종류인 블랭크 미디엄 및 그래픽 미디엄은 앞에서 설명하였으므로, 여기서 자세한 설명은 생략한다.
이하에서는, 블랭크 미디엄(1200)을 선택한 경우에 대한 데이터 기록 어플리케이션의 구동에 대하여 먼저 설명한 후에, 그래픽 미디엄(1400)을 선택한 단계를 후술한다.
도 9는 본 발명의 실시예들에 따라 블랭크 미디엄을 선택한 경우에 나타나는 데이터 기록 어플리케이션의 화면이다.
도 9를 참조하면, 블랭크 미디엄(1200)을 선택하면, 블랭크 미디엄 이미지(1210)가 전자기기(3000)의 디스플레이 상에 출력된다. 블랭크 미디엄 실물과 데이터 기록 어플리케이션에 나타나는 이미지는 다를 수 있다. 데이터 기록 어플리케이션(5000) 상에서는 블랭크 미디엄 이미지(1210)를 블랙으로 설정하였으나, 이미지에 대한 색상은 화이트를 포함하여 어떠한 색이라도 상관이 없다. 블랭크 미디엄(1200)은 글자나 그림 등 어떤 내용적 요소를 포함하지 않기 때문에, 블랭크 미디엄(1200)이 데이터 기록 어플리케이션(5000) 상에서 이미지화될 경우 여백으로 구성된 이미지일 수 있다.
도 10 및 도 11은 본 발명의 실시예들에 따라 전자펜과 전자기기 사이의 통신을 연결하는 화면이다.
도 10 및 도 11을 참조하면, 데이터 기록 어플리케이션(5000)은 전자기기(3000)의 디스플레이 상에서 전자펜(2000)과 커넥션할 것을 요청하는 화면(1220)을 생성할 수 있다. 전자펜(2000)과 전자기기(3000) 간 서로 통신을 할 수 있는 채널을 연결한다. 전자펜(2000)의 통신부(2400)와 전자기기(3000)의 통신모듈(3300) 사이에 유선 또는 무선의 통신방법을 사용하여 데이터를 상호 주고 받을 수 있도록 통신 채널을 확보하고, 이를 페어링이라고 지칭할 수 있다. 페어링의 경우 블루투스 무선 통신 방법을 채용할 수 있으나 이에 한정되는 것은 아니고, 유무선 어떠한 방법도 관계가 없다.
이에 따라 사용자가 전자펜(2000)과 전자기기(3000)의 페어링을 진행하여 페어링이 완료되고 나면, 페어링이 완료된 표시(1230)가 나타날 수 있다.
데이터 기록 어플리케이션(5000)은 전자펜(2000)과 전자기기(3000)가 페어링이 되어 있는 상태라면, 녹화가 시작되지 않더라도 전자펜(2000)을 통해 필기 정보 및 사용자의 영상 정보를 재현하거나 표시할 수 있다.
도 12 및 도 13은 본 발명의 실시예들에 따라 데이터 기록 어플리케이션에서 녹화를 시작하는 단계를 나타내는 화면이다.
도 12 및 도 13을 참조하면, 데이터 기록 어플리케이션(5000)은 녹화 버튼(1240)을 실행시켜 컨텐츠의 재현 및 기록을 시작할 수 있다. 녹화가 시작되면 녹화 버튼(1240) 적색 표시가 파랑색으로 바뀌면서 녹화가 시작되고 있음을 알릴 수 있다. 녹화의 시작 및 종료는 후술하는 메뉴 미디엄(1500)을 통해서도 실행할 수 있다.
이하에서는 전자펜(2000)으로 작성된 필기 정보 및 사용자의 영상/오디오 정보를 재현/재생/기록하는 과정에 대하여 설명한다.
도 14 내지 도 17은 본 발명의 실시예들에 따라 블랭크 미디엄에 컨텐츠를 제작하는 과정을 나타내는 도면들이다
도 14 내지 도 17을 참조하면, 도면 상에서 나오는 여성은 블랭크 미디엄을 이용하여 컨텐츠를 제작하고 있다.
미디엄(1000)에 작성되는 그림, 글씨 등의 필기 내용(필기 궤적이라 지칭할 수 있음)은 전자펜(2000)에 내장된 메모리부에 펜데이터로 저장될 수 있다. 펜데이터란 사용자의 필기 궤적을 전자기기(3000) 상에서 스트로크 데이터로 변환하기 위하여 사용되는 정보를 의미할 수 있다. 미디엄에 작성되는 필기 궤적은 디지털화되어 제 1 팬데이터로 변환될 수 있다. 스트로크 데이터는 전자기기(3000)가 전자펜(2000)으로부터 펜데이터를 수신하여 전자기기(3000) 상에서 미디엄에 작성된 필기 궤적을 나타내기 위한 정보일 수 있다. 전자기기(3000)는 전자펜(2000)으로부터 펜데이터를 수신하여 이를 해석한 다음 스트로크 데이터를 생성한다. 필기 정보는 최소 단위의 스트로크 데이터 또는 최소 단위 이상의 스트로크 데이터들의 합으로 정의될 수 있고, 미디엄 상에서 나타나는 유형의 필기 궤적이 전자기기(3000)의 디스플레이 상에서 구현되는 것과 대응되는 의미이다.
즉, 미디엄 상의 필기 궤적은 전자펜에 펜데이터로 저장이 되고, 펜데이터는 전자기기에 수신되어 해석된 다음 스트로크 데이터로 변환될 수 있다. 스트로크 데이터가 전자기기 상에서 재현되어 나타날 때 필기 정보(1260)로 지칭될 수 있다.
미디엄(1000)에 작성되는 그림 또는 글씨 등의 필기 궤적은 데이터 기록 어플리케이션의 미디엄 이미지(1210)에 필기 정보(1260)로 실시간 재현될 수 있다. 도 14 내지 도 17에서는 도면의 순서에 따라 곰의 그림 및 글씨의 필기궤적이 필기 정보로 재현되고 있음을 나타내고 있다.
이와 함께, 필기를 하고 있는 사용자의 영상 정보(1270) 및 음성 정보(미도시)는 전자기기(3000)에 내장된 카메라 또는 마이크를 통해 촬영되거나 녹음되어, 디스플레이 상에 표시될 수 있다. 사용자의 영상 정보(1270) 및 음성 정보는 전자기기(3000) 내 메모리모듈(3400)에 저장될 수 있다.
전자기기(3000)는 전면 및 후면에 각각 제 1 카메라와 제 2 카메라를 포함할 수 있고, 영상 정보(1270)는 제 1 카메라 또는 제 2 카메라에 의해 촬영될 수 있다. 필기 정보(1260)를 입력하는 사용자의 모습을 촬영하고 싶을 때는 디스플레이가 위치하는 제 1 카메라를 사용할 수 있고, 사용자의 모습을 촬영하고 싶지 않을 때는 제 2 카메라를 통해 후면에 위치하는 배경이나 물건을 촬영할 수 있다. 데이터 기록 어플리케이션(5000)이 제공하는 메뉴나 메뉴 미디엄(1500)을 통해 촬영 기능을 오프할 수도 있다.
전자기기(3000)의 디스플레이 상에서 필기 정보(1260)가 재현되는 영역을 제1윈도우(1310)로 지칭할 수 있고, 사용자의 모습이 표시되는 영역을 제2윈도우(1320)로 지칭할 수 있다. 제1윈도우는 제2윈도우의 영역을 포함하는 더 넓은 영역일 수 있다. 제2윈도우는 제1윈도우 내에서 사용자의 터치 및 드래그에 의하여 위치가 조절될 수 있다. 도면 상에서는 디스플레이의 우측 하단에 제2윈도우가 위치하는 예를 도시하였으나, 제2윈도우는 제1윈도우 내에서 어느 곳이라도 위치할 수 있다.
도 15 및 도 17을 참조하면, 디스플레이 상의 곰처럼 형성화된 그림에서 곰의 머리 부분이 디스플레이의 하단 부분에서 디스플레이의 상단 부분으로 위치가 변경된 것을 확인할 수 있다.
이는 데이터 기록 어플리케이션(5000)이 제공하는 블랭크 미디엄 이미지(1210)가 현재 필기 궤적을 작성중인 블랭크 미디엄(1200)의 전체 면(Whole surface)를 표시하지 않고 일부 영역만을 확대하여 표시하고 있기 때문이다.
따라서, 블랭크 미디엄(1200)에 작성되는 필기 궤적이 일정 영역을 벗어나서 다른 영역에서 작성되게 되면 데이터 기록 어플리케이션(5000)은 펜데이터에 기초하여 필기 정보가 재현되고 있는 제1윈도우에서 블랭크 미디엄 이미지(1210)를 블랭크 미디엄(1200)의 다른 영역에 대응되도록 쉬프팅시킬 수 있다.
조금 더 상세히 설명하면, 미디엄이 제 1 영역 및 제 1 영역과 구별되는 제 2 영역으로 나눠질 경우에 각각의 영역에서 생성되는 펜데이터들은 각 영역의 필기 궤적에 대하여 서로 다른 위치 정보를 가지게 될 수 있다.
전자기기(3000)는 미디엄의 위치 정보를 포함하는 펜데이터에 기초하여 필기 궤적이 작성되는 영역을 판독하고, 미디엄에 작성되는 필기 궤적을 따라 전자기기(3000) 상에 필기 정보가 재현되는 영역을 자동으로 쉬프팅할 수 있다.
또한, 사용자는 디스플레이를 터치 및 드래그 하여 블랭크 미디엄(1200) 이미지의 영역을 변경하거나 확대/축소할 수 있다.
만약, 사용자가 디스플레이 화면을 확대한 상태에서 사용하는 것이 아니라, 블랭크 미디엄(1200)의 전체 면을 모두 표시한 상태에서 필기 궤적을 작성한다면 디스플레이 상에서도 전체 면을 모두 표시하는 블랭크 미디엄 이미지가 출력될 수 있다. 이 경우 블랭크 미디엄(1200)의 각 영역에 따라 블랭크 미디엄 이미지를 디스플레이 상에서 쉬프팅시키지 않더라도 블랭크 미디엄(1200)의 전체면에 작성되는 필기 궤적을 모두 재현할 수 있다.
필기 정보, 영상 정보 및 오디오 정보를 포함하는 컨텐츠의 작성이 완료되면 사용자는 다시 녹화 종료를 함으로서, 지금까지 재현되거나 재생되거나 녹음된 정보가 전자기기(3000)의 메모리모듈(3400)에 저장될 수 있다.
도 18 및 도 19는 본 발명의 다른 실시예에 따라 추가적인 필기 정보를 재현하는 화면이다.
도 18 및 도 19를 참조하면, 사용자는 이미 저장이 완료된 필기 정보가 블랭크 미디엄 이미지에 모두 유지된 상태에서 새로운 필기 정보를 입력할 수 있다. 데이터 기록 어플리케이션(5000)에 재현되고 저장되는 컨텐츠는 시간의 흐름에 따라 기록되는 동영상(오디오 포함) 파일이다. 따라서, 이미 동영상으로 저장된 컨텐츠에 새로이 필기 정보를 입력시킬 수 없다. 동영상 편집을 통해 새로이 글자를 영상 위에 제작하는 기술은 별론으로 한다.
따라서, 컨텐츠가 아직 완성되지 않은 상황에서 저장된 경우에는, 저장 전에 재현되어 기록된 필기 정보들에 덧붙여서 제작하고 싶은 컨텐츠가 있더라도, 제작하기 쉽지 않은 상황이 된다.
이럴 경우를 대비하여 데이터 기록 어플리케이션(5000)은 어느 하나의 컨텐츠가 저장이 되어 영상 및 음성 정보를 포함하는 멀티미디어 파일로 만들어 지더라도, 필기 내용만을 유지한 별도의 파일을 생성할 수 있다.
이미 저장된 컨텐츠에 포함되어 있는 필기 정보를 제 1 필기 정보, 이미 저장된 컨텐츠에 포함되어 있는 영상 또는 오디오 정보를 제 1 영상 또는 오디오 정보라고 정의할 때, 사용자는 제 1 필기 정보(1260)만 저장된 파일을 다시 전자기기 상에서 출력하여 제 2 필기 정보(1280)를 다시 재현할 수 있다. 이 경우 제 2 필기 정보는 기존에 제 1 필기 정보를 제작할 때 사용하였던 미디엄을 재사용할 수도 있고, 새로운 미디엄을 사용할 수도 있다. 이 때 제 2 필기 정보에 대응하는 팬데이터는 제 2 펜데이터로 정의될 수 있다.
따라서 사용자는 데이터 기록 어플리케이션(5000)을 통해 매번 서로 다른 컨텐츠를 제작할 수도 있지만, 이미 기존에 작성된 컨텐츠에 기반하여 필기 정보가 추가된 업데이트 컨텐츠를 제작할 수도 있다. 컨텐츠를 업데이트하는 경우, 컨텐츠의 제작은 시간에 기초하여 제작되기 때문에 기존에 작성된 컨텐츠에 포함되었던 제 1 영상 또는 오디오 정보는 업데이트된 컨텐츠에 포함되지 않는다.
데이터 기록 어플리케이션(5000)은 컨텐츠에 포함된 정보를 인식할 수 있다. 데이터 기록 어플리케이션(5000)은 컨텐츠에 포함된 필기 정보, 영상 정보, 오디오 정보를 인식하여 컨텐츠가 전자기기(3000)에 저장될 경우 해당 컨텐츠에 포함되는 태그 정보를 하나 이상 자동으로 발생시킬 수 있다.
예를 들어, 데이터 기록 어플리케이션(5000)은 문자 인식 기능, 오디오 인식 기능을 포함할 수 있다. 데이터 기록 어플리케이션(5000)은 컨텐츠가 저장되는 경우, 저장된 컨텐츠에 포함된 필기 정보 및 오디오 정보를 인식하고, 가장 많이 쓰인 단어 등을 추출하여 컨텐츠에 태그 정보를 붙일 수 있다.
태그는 하나만 생성할 수도 있으나, 복수개 생성될 수도 있다.
컨텐츠에 발생된 태그는 컨텐츠의 제목과 더불어 나중에 컨텐츠를 종류별로 구분, 정렬하거나 찾을 때 사용될 수 있다.
도 20은 본 발명의 또 다른 실시예에 따라 데이터 기록 어플리케이션에 컨텐츠를 제작하는 화면이다.
도 20을 참조하면, 사용자는 데이터 기록 어플리케이션(5000) 필기 정보를 재현함에 있어서 필기 정보에 심미감을 더할 수 있는 툴을 사용하여 컨텐츠를 제작할 수 있다. 이 경우 필기 정보의 기초가 되는 스트로크 데이터가 필기 정보로 표현될 때 개별 스트로크의 색 및 두께 등이 변경되어 심미감이 가미된 필기 정보를 재현할 수 있다.
필기 정보의 색 및 두께, 보다 정확하게 필기 정보를 구성하는 스트로크의 색 및 두께는 메뉴 미디엄(1500)에서 선택된 메뉴의 이벤트 정보가 전자기기(3000)에 재현됨으로써 재현될 수 있다.
도 21는 본 발명의 실시예들에 따른 메뉴 미디엄을 나타내는 도면이다.
도 21을 참조하면, 메뉴 미디엄(1500)은 크게 시스템 메뉴(1510), 필기 메뉴(1520) 및 이벤트 메뉴(1530)를 포함할 수 있다. 데이터 기록 어플리케이션(5000)의 구동 중에 필요한 기능을 수행할 경우 전자펜(2000)이 메뉴 미디엄(1500)에 있는 특정 메뉴를 선택하면 선택된 메뉴의 효과가 전자기기(3000)의 출력모듈(3200)에 전달되어 디스플레이 상에서 수행될 수 있다.
메뉴 미디엄(1500)은 앞에서 설명한 미디엄과 같이 종이, 플라스틱, 금속 등 코드 패턴이 인쇄된 특정 재질로 이루어질 수도 있으나, 데이터 기록 어플리케이션(5000) 내에 코딩되어 전자기기(3000)에서 구현될 수도 있다. 메뉴 미디엄(1500)이 데이터 기록 어플리케이션(5000) 내에 코딩되어 전자기기(3000)에서 구현되는 경우 사용자는 컨텐츠를 작성함에 있어서 전자기기(3000)의 디스플레이에서 특정 메뉴를 선택할 수 있다. 메뉴 미디엄(1500)이 종이 등 전자기기(3000) 외적인 기록 매체로 구성된 경우 사용자는 전자펜(2000)을 이용하여 메뉴 미디엄(1500)에 포함된 메뉴를 선택함으로써, 메뉴의 효과가 디스플레이에서 수행될 수 있다.
메뉴 미디엄(1500)은 각각의 메뉴들에 대하여 전자펜(2000)에 의해 감지될 수 있는 패턴 코드들을 포함한다. 이 때 전자펜(2000)이 메뉴 미디엄(1500)에 구성된 메뉴를 감지하는 방법은 전자펜(2000)이 펜 데이터(전자기기의 디스플레이에서 구현되는 필기 정보)를 생성하기 위하여 미디엄 상의 코드 패턴을 인식하는 방법과 동일하므로 이에 대한 설명은 생략하기로 한다.
전자기기(3000)의의 통신모듈은 메뉴 미디엄(1500)에 포함된 메뉴가 전자펜(2000)에 의하여 선택된 것을 감지할 수 있다. 메뉴 미디엄(1500)에 포함된 메뉴 각각이 전자펜(2000)에 의하여 선택된 경우 이벤트가 발생한 것으로 정의할 수 있다. 이벤트는 출력모듈(3200)인 디스플레이 또는 스피커에 의해 출력될 수 있다.
이하에서는 메뉴 미디엄(1500)에 포함된 세부 메뉴에 대하여 상세히 설명하기로 한다. 본 발명의 실시예에서는 메뉴들에 대한 설명을 하기 위해 각 메뉴에 대하여 명명을 하였으나 각 메뉴들은 여기서 설명하는 명칭과 다른 이름으로 명명될 수 있다.
시스템 메뉴는 데이터 기록 어플리케이션(5000)을 구동하는 데 있어서 기록의 시작과 종료, 화면의 구성, 정보의 편집 등에 대한 기능을 제공할 수 있다. 시스템 메뉴는 레코드(Record) 메뉴, 피니시(Finish) 메뉴, 스크린(Screen) 메뉴, 카메라(Camera) 메뉴, 줌인(Zoom-in) 메뉴, 줌아웃(Zoom-out) 메뉴, 핏(Fit) 메뉴, 풀(Full) 메뉴, 언두(Undo) 메뉴, 리두(Redo) 메뉴 또는 이레이즈올(Erase all) 메뉴를 포함할 수 있다.
레코드(Record) 메뉴는 필기 정보, 영상 정보, 음성 정보를 포함한 컨텐츠를 저장하기 위한 시작을 지시할 수 있다.
피니시(Finish) 메뉴는 컨텐츠의 제작이 완료되었을 경우 컨텐츠의 제작을 종료하고 저장을 지시할 수 있다.
스크린(Screen) 메뉴는 필기 정보를 표시하는 디스플레이(제1윈도우)와 사용자의 영상 정보를 표시하는 디스플레이(제2윈도우)가 있을 경우, 제1윈도우와 제2윈도우가 같이 같이 표시되는 디스플레이 상태에서 제2윈도우만 표시되는 디스플레이 상태로 변경하거나 그 반대의 디스플레이 상태로의 변경을 지시할 수 있다.
카메라(Camera) 메뉴는 사용자의 영상 정보를 표시하는 디스플레이(제2윈도우)의 온/오프를 지시할 수 있다.
줌인(Zoom-in) 메뉴는 필기 정보를 표시하는 영역인 미디엄 이미지를 디스플레이 상에서 확대 또는 배율을 증가시켜 필기 정보를 더 크게 보이게 지시할 수 있다.
줌아웃(Zoom-out) 메뉴는 필기 정보를 표시하는 영역인 미디엄 이미지를 디스플레이 상에서 축소 또는 배율을 감소시켜 필기 정보를 더 작게 보이게 지시할 수 있다.
핏(Fit) 메뉴는 미디엄 이미지를 폭 방향으로 확대시키도록 지시할 수 있다.
풀(Full) 메뉴는 디스플레이 상에서 미디엄 이미지를 모두 표시하도록 지시할 수 있다. 미디엄이 복수의 서브 미디엄들로 이루어진 경우 사용자가 작성중인 서브 미디엄의 영역을 모두 표시하도록 지시할 수 있다.
언두(Undo) 메뉴는 직전에 진행된 필기 정보의 재현을 삭제하도록 지시할 수 있다.
리두(Redo) 메뉴는 직전에 삭제된 필기 정보를 다시 재현하도록 지시할 수 있다.
이레이즈올(Erase all) 메뉴는 디스플레이 상에 재현된 모든 필기 정보를 삭제하도록 지시할 수 있다.
시스템 메뉴는 정지(Pause, 미도시) 메뉴를 포함할 수 있다. 정지 메뉴는 컨텐츠의 재현 중 사용자에 대한 영상 정보 또는 오디오 정보의 촬영을 중지하고 필기 정보가 재현되는 디스플레이(제1윈도우)만을 활성화시켜서, 정지가 진행되기 전까지 재현된 필기 정보를 수정, 삭제하거나 추가적인 필기 정보를 더할 수 있는 편집기능을 제공할 수 있다.
컨텐츠의 제작은 시간의 흐름에 따라 이루어질 수 있다. 컨텐츠의 수정 및 편집은 메뉴 미디엄의 언두, 리두, 이레이즈올 등의 기능을 사용하여서 진행할 수도 있지만, 이 역시 시간이 흘러가는 중에 진행되는 과정이다.
따라서, 컨텐츠의 제작 중 시간을 들여 필기 정보를 수정할 필요가 있거나, 시간의 끊김없이 다른 멀티미디어 파일을 데이터 기록 어플리케이션에 실행할 필요가 있거나, 전자기기 상에서 다른 일을 진행해야 할 필요가 있을 때 정지 메뉴를 이용하여 컨텐츠의 편집을 원활히 하거나 컨텐츠 제작을 시간의 끊김없이 진행할 수 있다.
필기 메뉴는 사용자가 미디엄에 필기 정보를 작성할 때, 전자기기(3000)의 디스플레이에 재현되는 필기 정보에 비쥬얼 효과를 제공할 수 있다. 필기 메뉴는 펜(Pen) 메뉴, 하이라이터(Highlighter) 메뉴, 스트로크 사이즈(Stroke Size) 메뉴 또는 색상(Red, Yellow, Green, Light Blue, Black, White)를 포함할 수 있다. 필기 메뉴에 포함된 메뉴들은 필기 정보에 포함되는 스트로크의 색 또는 두께를 변경시킬 수 있다.
펜(Pen) 메뉴는 전자펜(2000)이 미디엄에 필기 정보를 입력할 때 전자기기(3000)의 디스플레이에 나타나도록 초기 설정된 값을 나타내며, 통상적으로 얇은 선으로 글씨나 그림이 재현되도록 지시할 수 있다.
하이라이터(Highlighter) 메뉴는 미디엄 상에서 특정 영역을 강조하고 싶거나, 두꺼운 선으로 글씨나 그림을 재현되도록 지시할 수 있다. 하이라이터 메뉴는 사용자가 스트로크 사이즈(Stroke Size) 메뉴를 선택함으로써 글씨나 그림이 재현될 때 선의 두께가 달라지도록 지시할 수 있다. 하이라이터 메뉴에서 선택할 수 있는 스트로크 사이즈는 펜 메뉴를 선택했을 때의 스트로크 사이즈보다 더 두꺼울 수 있다.
색상(Red, Yellow, Green, Light Blue, Black, White) 메뉴는 필기 정보가 디스플레이에서 재현될 때 글씨나 그림의 색을 변경하도록 지시할 수 있다. 색상 메뉴는 펜 메뉴 및 하이라이터 메뉴 모두에 적용될 수 있다.
이벤트 메뉴에서 메뉴가 선택된 이벤트는 전자기기(3000)의 출력 모듈 상에 비쥬얼 효과 또는 사운드 효과를 표시하게 할 수 있다.
이벤트 메뉴는 사운드 효과를 발생시키기 위해 박수(Applause) 메뉴, 스타(Star) 메뉴, 커렉트(Correct) 메뉴, 롱(Wrong) 메뉴, 페일(Fail) 메뉴, 드럼(Drum) 메뉴 등을 포함할 수 있다. 예를 들어 디스플레이에 필기 정보가 재현될 때 전자펜(2000)이 박수 메뉴를 선택하면 전자기기(3000)의 스피커에서는 전자기기(3000)의 메모리모듈(3400)에 이미 저장되어 있는 박수 소리가 출력될 수 있다.
이벤트 메뉴는 이미지 효과를 발생시키기 위해 가면(Mask) 메뉴를 포함할 수 있다. 데이터 기록 어플리케이션(5000)의 기본 설정은 미디엄에 작성되는 필기정보의 재현과 사용자의 영상 정보 및 음성 정보를 나타내는 것인데, 사용자의 얼굴이 컨텐츠에 나타나는 것을 방지하고기 위해서 가면 메뉴를 선택하게 될 경우 사용자의 얼굴이 가려지도록 마스킹될 수 있다. 물론 데이터 기록 어플리케이션(5000)은 사용자에 대한 영상 정보가 디스플레이 상에 표시되는 것을 차단하기 위해 메뉴 미디엄(1500)을 통해 영상 정보를 오프할 수도 있지만, 이는 사용자에 대한 촬영을 원천적으로 차단하는 것으로서 사용자의 얼굴만을 가리고 싶을 때는 적절하지 않다.
이하에서는, 사용자가 전자기기(3000) 내에 저장된 다큐먼트 파일을 선택함으로서 그래픽 미디엄(1400)에 컨텐츠를 작성하는 방법을 설명한다. 앞에서 블랭크 미디엄(1200)에 대하여 설명하였던 내용들은 그래픽 미디엄(1400)에 대하여서도 그대로 적용될 수 있다.
도 22 내지 도 26은 그래픽 미디엄을 선택한 이후 데이터 기록 어플리케이션의 진행과정을 설명하는 화면이다.
도 7 및 도 22 내지 도 26을 참조하면, 사용자는 데이터 기록 어플리케이션(5000)에서 그래픽 미디엄(1400)을 선택하는 단계를 수행할 수 있다.
사용자는 그래픽 미디엄(1400)을 생성하기 위하여 직접 데이터 기록 어플리케이션(5000)을 통해 사진을 찍어 파일을 생성하거나, 이미 전자기기(3000)의 메모리모듈(3400) 내에 저장되어 있는 그림 또는 글씨 등이 작성된 다큐먼트 파일을 선택할 수 있다.
데이터 기록 어플리케이션(5000)에서 전자기기(3000)에 저장되어 있는 다큐먼트 파일들을 불러와 그래픽 미디엄(1400)으로 사용하고자 하는 파일(1410)을 선택하게 되면 도 23에서 개시된 바와 같이 해당 파일을 데이터 기록 어플리케이션(5000)에서 사용할 수 있는 형태의 그래픽 미디엄 이미지(1420)로 변환한다. 그래픽 미디엄 이미지(1420)는 그래픽 미디엄 파일로 생성되어 전자기기(3000)와 연결된 출력모듈(3200), 예를 들면 프린터를 통해 그래픽 미디엄(1400)으로 출력될 수 있다. 도 25는 그래픽 미디엄 파일을 실제로 출력한 모습을 도시하고 있다.
전자기기(3000)에 저장되어 있는 파일이 복수의 장으로 구성된 경우 그래픽 미디엄 이미지(1420)도 복수의 장으로 구성될 수 있다. 복수의 장으로 구성된 그래픽 미디엄 이미지(1420)를 포함하는 그래픽 미디엄 파일이 그래픽 미디엄(1400)으로 출력된 경우 그래픽 미디엄(1400)도 복수의 서브 미디엄으로 구성될 수 있다.
또한 그래픽 미디엄 파일은 공유 기능을 통해 이메일 및 기타 다른 전송매체에 의하여 송신되어 이를 수신한 전자기기와 연결된 다른 출력모듈을 통해서도 그래픽 미디엄으로 출력될 수 있다.
그래픽 미디엄 파일이 그래픽 미디엄(1400)으로 출력되는 경우 코드 패턴이 형성된 블랭크 미디엄(1200)에 인쇄되어 출력될 수 있다. 코드 패턴이 마련되지 않은 미디엄에 그래픽 미디엄(1400) 파일을 인쇄해야 할 경우 데이터 기록 어플리케이션은 그래픽 미디엄 파일에 코드 패턴도 함께 나타내야 하며, 이는 코드 패턴과 그래픽 미디엄(1400) 파일 상의 그래픽을 함께 인쇄해야 하므로 출력의 속도가 낮아지게 된다. 그러나 본 발명의 실시예에 따를 경우 인쇄시에 코드 패턴이 이미 인쇄된 블랭크 미디엄(1200)에 그래픽 미디엄 파일을 인쇄함으로써, 코드 패턴이 구비되지 않은 미디엄에 코드 패턴과 그래픽 미디엄(1400) 파일 상의 그래픽을 함께 인쇄할 때에 비하여 출력의 속도를 향상시킬 수 있다. 패턴 코드가 포함된 인쇄물을 칼라 프린터로 인쇄하는 경우, 패턴 코드를 제외하고 인쇄되는 대상은 블랙 이외의 색으로 인쇄되어야 한다. 왜냐하면 전자펜은 미디엄에 적외선을 조사하여 반사되지 않는 영역을 적외선 센서로 인식하여 패턴 코드를 감지할 수 있기 때문이다. 패턴 코드가 그래픽 미디엄 파일과 함께 미디엄에 인쇄되는 경우, 그래픽 미디엄 파일이 블랙 색으로 표현된 내용을 포함하고 있다면 미디엄 상에 인쇄될 경우 카본이 포함된 블랙 인쇄물질로 인쇄되어 코드 패턴 인식이 어려울 수 있다. 이를 극복하기 위하여, 그래픽 미디엄(1400) 파일을 도 25와 같이 특정 컬러 계열로 변환(예를 들어 파란색 계열)하고 그 변환된 그래픽 미디엄 파일을 코드 패턴이 이미 인쇄된 블랭크 미디엄(1200)위에 인쇄를 한다. 단, 그래픽 미디엄은 인쇄시에만 변환된 컬러로 표현 되며, 데이터 기록 어플리케이션(5000)에서는 그래픽 미디엄의 이미지는 원래의 컬러로 표현된다.
도 26을 참조하면, 그래픽 미디엄 이미지(1420)는 전자기기(3000)의 디스플레이 상에 출력된 후 캘리브레이션 과정을 거칠 수 있다. 사용자는 출력된 그래픽 미디엄(1400)의 상단과 하단에 표시된 표식인 십자 표시(1430)에 전자펜(2000)을 탭핑하여 그래픽 미디엄(1400)과 전자기기(3000)의 디스플레이 화면에 출력된 그래픽 미디엄(1400) 이미지 사이의 캘리브레이션을 진행할 수 있다. 그래픽 미디엄(1400)이 복수의 서브 미디엄들로 구성될 경우 각각의 서브 미디엄들에 대해서도 캘리브레이션 과정이 진행될 수 있다. 본 발명의 실시예에서는 그래픽 미디엄(1400) 상에 표시된 십자 표시에 전자펜(2000)을 탭핑하여 캘리브레이션하는 과정을 설명하였으나, 캘리브레이션하는 과정이 여기에 한정되는 것은 아니며, 다양한 방법으로 수행될 수 있다.
도 27 및 도 28은 본 발명의 실시예들에 따라 그래픽 미디엄에 컨텐츠를 제작하는 모습을 나타낸 도면이다. 도 27은 전자기기 상에 컨텐츠가 재현된 모습을 나타내고, 도 28은 그래픽 미디엄 상에 작성된 필기 궤적을 나타낸다.
도 27 및 도 28을 참조하면, 그래픽 미디엄 이미지가 전자기기(3000)의 디스플레이상에서 출력되면, 사용자는 인쇄된 그래픽 미디엄(1400)에 그림 또는 글씨 등의 필기를 하면서 컨텐츠를 작성할 수 있다. 그래픽 미디엄(1400)에 작성된 컨텐츠는 전자기기(3000)의 디스플레이 상에서 재현될 수 있다.
전자펜(2000)에 내재된 잉크는 검은색이기 때문에 그래픽 미디엄(1400) 상에 표시되는 필기 궤적은 검은색으로만 나타나지만, 컨텐츠를 작성하면서 전자펜(2000)이 메뉴 미디엄(1500)에 설정되어 있는 필기 메뉴에서 원하는 색 또는 원하는 스트로크 사이즈를 선택하면 선택된 메뉴의 이벤트가 발생하고 스트로크의 색상 및 사이즈가 변경되어 디스플레이 상에서 재현될 수 있다.
전자펜(2000)의 심부가 다양한 잉크를 가지게 되는 경우에, 전자펜(2000)이 그래픽 미디엄(1400) 또는 블랭크 미디엄(1200) 상에 서로 다른 색으로 필기를 하는 경우 전자펜(2000)에서 데이터화되는 펜데이터는 색상 정보를 포함할 수 있고, 이는 전자기기(3000) 내에 수신되는 경우 펜데이터의 해석을 거쳐 디스플레이 상에서 펜데이터에 포함된 색상 정보대로 필기 정보가 재현될 수 있다. 따라서 이 경우에는 메뉴 미디엄(1500)이 없다고 하더라도 필기 정보의 색상이 디스플레이 상에 재현될 수 있다.
도 29는 본 발명의 실시예들에 따라 그래픽 미디엄에 작성된 컨텐츠를 재현한 도면이다.
도 29를 참조하면, 사용자는 태국의 어느 한 지역을 나타내는 지도를 그래픽 미디엄(1400) 이미지로 디스플레이 상에 출력하고, 해당 지역에 대한 설명을 진행하고 있다.
도면상에 표시된 파랑색 괄호, 초록색 동그라미, 빨간색 절곡된 직선은 사용자가 그래픽 미디엄(1400) 이미지에 전자펜(2000)으로 그린 필기 궤적이 디스플레이의 출력된 그래픽 미디엄(1400) 이미지 상에 재현된 모습이다.
도 30은 본 발명의 다른 실시예에 따른 컨텐츠를 제작하는 모습을 나타내는 도면이다.
도 30을 참조하면, 데이터 기록 어플리케이션(5000)은 전자기기(3000)에 내장된 다른 영상 정보 또는 오디오 정보를 더 표시할 수 있다.
사용자는 데이터 기록 어플리케이션(5000)을 이용할 때 전자기기(3000)에 저장된 영상 파일, 오디오 파일 또는 영상과 오디오가 함께 기록되어 있는 파일(멀티미디어 파일이라고 지칭될 수 있음)을 함께 전자기기(3000) 내에서 실행시켜 컨텐츠를 제작할 수 있다.
또는, 데이터 기록 어플리케이션(5000)에서 웹주소를 입력하여, 웹에서 불러오는 멀티미디어 파일을 실행시켜 컨텐츠를 제작할 수 있다.
도 30에서 하단에 표시된 여성은 컨텐츠를 작성하는 사용자 화면이고, 이는 제 1 영상 정보(1270) 또는 제 1 오디오 정보로 정의할 수 있다. 좌측 상단에 표시된 화면은 전자기기(3000)에 내장된 동영상(영상 및 오디오 정보 포함)을 표시하는 제 2 영상 정보(1290) 또는 제 2 오디오 정보로 정의할 수 있다.
전자기기(3000)의 디스플레이 상에서 필기 정보(1260)가 재현되는 영역을 제1윈도우(1310)로 지칭할 수 있고, 사용자의 모습이 표시되는 영역을 제2윈도우(1320)로 지칭할 수 있다. 또한 제 2 영상 정보(1290)가 표시되는 영역을 제3윈도우(1330)로 지칭할 수 있다. 제1윈도우(1310)는 제2윈도우(1320) 또는 제3윈도우(1330)의 영역을 포함하는 더 넓은 영역일 수 있다. 제2윈도우 또는 제3윈도우는 제1윈도우 내에서 사용자의 터치 및 드래그에 의하여 위치가 조절될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 상술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 또한 본 문서에서 설명된 실시예들은 한정되게 적용될 수 있는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. 나아가, 각 실시예를 구성하는 단계들은 다른 실시예를 구성하는 단계들과 개별적으로 또는 조합되어 이용될 수 있다.
1000 : 미디엄
1200 : 블랭크 미디엄
1210 : 블랭크 미디엄 이미지
1240 : 녹화 버튼
1260 : 필기 정보
1270 : 영상 정보
1280 : 제 2 필기 정보
1290 : 제 2 영상 정보
1310 : 제1윈도우
1320 : 제2윈도우
1330 : 제3윈도우
1400 : 그래픽 미디엄
1410 : 파일
1420 : 그래픽 미디엄 이미지
1430 : 십자 표시
1500 : 메뉴 미디엄
1510 : 시스템 메뉴
1520 : 필기 메뉴
1530 : 이벤트 메뉴
2000 : 전자펜
3000 : 전자기기
4000 : 서버
5000 : 데이터 기록 어플리케이션

Claims (18)

  1. 전자펜에 의해 작성되는 필기 궤적이 시간 순서에 따라 재현되도록 컨텐츠를 기록하고 저장하는 데이터 기록 어플리케이션의 제어방법으로서,
    상기 필기 궤적이 작성되는 미디엄의 이미지를 전자기기의 디스플레이에 표시하는 단계;
    상기 미디엄에 작성되는 필기 궤적을 변환한 필기 정보, 상기 전자기기에 의해 촬영되거나 녹음된 영상 정보 또는 오디오 정보 및 메뉴 미디엄으로부터 선택된 메뉴의 이벤트 정보를 상기 시간 순서에 따라 배치하거나 출력하는 단계; 및
    상기 전자기기에 저장된 영상 파일 또는 웹의 영상 파일 중 적어도 어느 하나를 상기 컨텐츠와 함께 추가적으로 재생하는 단계;를 포함하는
    데이터 기록 어플리케이션의 제어방법.
  2. 제 1 항에 있어서,
    상기 미디엄은 블랭크 미디엄 또는 그래픽 미디엄을 포함하는 것을 특징으로 하는 데이터 기록 어플리케이션의 제어방법.
  3. 제 2 항에 있어서,
    상기 그래픽 미디엄의 이미지는 상기 전자기기에 저장된 다큐먼트 파일이 그래픽 미디엄 파일로 변환되어 상기 디스플레이에 표시되는 것을 특징으로 하는 데이터 기록 어플리케이션의 제어방법.
  4. 제 2 항에 있어서,
    상기 블랭크 미디엄 또는 상기 그래픽 미디엄은 상기 전자펜이 감지할 수 있는 패턴 코드를 포함하는 데이터 기록 어플리케이션의 제어방법
  5. 제 2 항에 있어서,
    상기 그래픽 미디엄은 그래픽 미디어 파일이 상기 블랭크 미디엄에 프린팅되어 제작되는 데이터 기록 어플리케이션의 제어방법
  6. 제 3 항에 있어서,
    상기 그래픽 미디엄 이미지는 상기 그래픽 미디엄과 캘리브레이션될 수 있는 표식을 포함하는 데이터 기록 어플리케이션의 제어방법
  7. 제 1 항에 있어서,
    상기 메뉴 미디엄은 시스템 메뉴, 필기 메뉴 또는 이벤트 메뉴를 포함하는 데이터 기록 어플리케이션의 제어방법
  8. 제 1 항에 있어서,
    상기 메뉴 미디엄은 복수의 메뉴들을 포함하고 각각의 메뉴들은 상기 전자펜에 의해 감지될 수 있는 패턴 코드를 구비하고, 상기 전자기기가 상기 메뉴 미디엄에 포함된 복수의 메뉴들 중 어느 하나의 메뉴가 선택된 것을 감지하면 선택된 메뉴의 이벤트가 출력모듈에 재현되는 데이터 기록 어플리케이션의 제어방법
  9. 제 1 항에 있어서,
    상기 메뉴 미디엄은 정지 메뉴를 포함하고, 상기 전자기기가 정지 이벤트의 발생을 감지하면, 상기 영상 정보 또는 상기 오디오 정보의 재현이 정지된 상태에서 상기 필기 정보의 편집이 진행되는 데이터 기록 어플리케이션의 제어방법
  10. 제 7 항에 있어서,
    상기 전자기기가 상기 이벤트 메뉴에 포함된 복수의 메뉴들 중 어느 하나의 메뉴가 선택된 것을 감지하면, 비쥬얼 효과 또는 사운드 효과가 상기 전자기기에 표시되는 데이터 기록 어플리케이션의 제어방법
  11. 제 7 항에 있어서,
    상기 전자기기가 상기 필기 메뉴에 포함된 복수의 메뉴들 중 어느 하나의 메뉴가 선택된 것을 감지하면, 상기 필기 정보에 포함되는 스트로크의 색 또는 사이즈가 변경되는 데이터 기록 어플리케이션의 제어방법
  12. 제 1 항에 있어서,
    상기 필기 정보는 상기 전자기기의 제1 윈도우에서 재현되고 및 상기 영상 정보는 상기 전자기기의 제2 윈도우에서 표시되는 데이터 기록 어플리케이션의 제어방법
  13. 제 1 항에 있어서,
    추가적으로 재생되는 영상 파일은 상기 전자기기의 제 3 윈도우에서 표시되는 데이터 기록 어플리케이션의 제어방법
  14. 제 12 항 또는 제 13 항에 있어서,
    상기 제 2 윈도우 또는 제 3 윈도우는 상기 전자기기에서 위치가 조절되는 데이터 기록 어플리케이션의 제어방법
  15. 제 1 항에 있어서,
    상기 영상 정보는 상기 전자기기의 전면 및 후면에 각각 내장된 제 1 카메라 및 제 2 카메라에 중 어느 하나로 촬영되는 데이터 기록 어플리케이션의 제어방법
  16. 제 1 항에 있어서,
    상기 전자기기 상에 상기 미디엄 이미지의 전체 영역 또는 일부 영역이 선택적으로 표시되고,
    상기 전자기기 상에 상기 일부 영역만이 표시된 경우, 상기 전자기기가 상기 미디엄에 작성된 필기 궤적을 상기 일부 영역에 재현할 수 없다고 판단하면, 상기 미디엄 이미지는 상기 일부 영역이 아닌 다른 영역으로 쉬프팅되어 상기 필기 정보가 재현되는 데이터 기록 어플리케이션의 제어방법
  17. 제 1 항에 있어서,
    상기 컨텐츠에 포함된 상기 필기 정보, 상기 영상 정보 또는 상기 오디오 정보를 자동으로 인식하여 상기 컨텐츠의 내용을 나타내는 하나 이상의 태그를 자동으로 생성하는 데이터 기록 어플리케이션의 제어방법
  18. 제1항의 방법을 실행하는 데이터 기록 어플리케이션을 기록한 기록매체
KR1020170182530A 2017-12-28 2017-12-28 데이터 기록 어플리케이션 제어방법 및 이를 포함한 기록 매체 KR102594106B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170182530A KR102594106B1 (ko) 2017-12-28 2017-12-28 데이터 기록 어플리케이션 제어방법 및 이를 포함한 기록 매체
KR1020230141199A KR20230149797A (ko) 2017-12-28 2023-10-20 전자 기기 및 전자기기의 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170182530A KR102594106B1 (ko) 2017-12-28 2017-12-28 데이터 기록 어플리케이션 제어방법 및 이를 포함한 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230141199A Division KR20230149797A (ko) 2017-12-28 2023-10-20 전자 기기 및 전자기기의 구동 방법

Publications (2)

Publication Number Publication Date
KR20190080211A KR20190080211A (ko) 2019-07-08
KR102594106B1 true KR102594106B1 (ko) 2023-10-25

Family

ID=67256676

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170182530A KR102594106B1 (ko) 2017-12-28 2017-12-28 데이터 기록 어플리케이션 제어방법 및 이를 포함한 기록 매체
KR1020230141199A KR20230149797A (ko) 2017-12-28 2023-10-20 전자 기기 및 전자기기의 구동 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230141199A KR20230149797A (ko) 2017-12-28 2023-10-20 전자 기기 및 전자기기의 구동 방법

Country Status (1)

Country Link
KR (2) KR102594106B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102558667B1 (ko) * 2021-05-18 2023-07-26 (주)디엑스테크 전자 펜과 스마트 태그를 이용한 시설물 관리시스템 및 관리방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100905705B1 (ko) * 2007-04-26 2009-07-01 주식회사 이지시스템 디지털 펜과 디지털 페이퍼를 이용한 전자노트 서비스를제공하는 방법, 시스템 및 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102370364B1 (ko) * 2014-10-17 2022-03-04 주식회사 네오랩컨버전스 필기 캡처 방법 및 이를 수행하는 전자기기
KR102337157B1 (ko) * 2014-11-05 2021-12-08 삼성전자주식회사 전자 칠판 장치 및 그 제어 방법
KR101958790B1 (ko) * 2014-11-14 2019-03-15 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
KR102154020B1 (ko) * 2016-12-30 2020-09-09 주식회사 네오랩컨버전스 전자펜 관련 어플리케이션 구동 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100905705B1 (ko) * 2007-04-26 2009-07-01 주식회사 이지시스템 디지털 펜과 디지털 페이퍼를 이용한 전자노트 서비스를제공하는 방법, 시스템 및 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체

Also Published As

Publication number Publication date
KR20190080211A (ko) 2019-07-08
KR20230149797A (ko) 2023-10-27

Similar Documents

Publication Publication Date Title
US8265382B2 (en) Electronic annotation of documents with preexisting content
CN102067153B (zh) 多模态学习系统
US8194081B2 (en) Animation of audio ink
US20160154482A1 (en) Content Selection in a Pen-Based Computing System
US9195697B2 (en) Correlation of written notes to digital content
US20170220140A1 (en) Digital Cursor Display Linked to a Smart Pen
CN107077245B (zh) 电子笔，链接到电子笔的电子设备，以及用于控制电子设备的方法
KR101971161B1 (ko) 인쇄물용 분리된 애플리케이션
WO2014162604A1 (ja) 電子機器および手書きデータ処理方法
KR20230149797A (ko) 전자 기기 및 전자기기의 구동 방법
US20240053882A1 (en) Electronic device, method for driving electronic device, and method for controlling data recording application
JP2010154089A (ja) 会議システム
JP6056263B2 (ja) 端末装置、電子ペンシステム及びプログラム
JP5915118B2 (ja) アーカイブシステム、第一の端末及びプログラム
KR102645306B1 (ko) 전자펜, 전자펜과 연동되는 전자기기, 전자기기의 제어방법 및 전자기기의 제어방법을 실행하는 프로그램을 기록한 기록매체
JP2014215352A (ja) コンピュータ装置及びプログラム
JP2012252478A (ja) コンピュータ装置及びそのプログラム
AU2012258779A1 (en) Content selection in a pen-based computing system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent