KR101895818B1 - 단말기에서 전자책과 연관된 피드백 제공 방법 및 장치 - Google Patents

단말기에서 전자책과 연관된 피드백 제공 방법 및 장치 Download PDF

Info

Publication number
KR101895818B1
KR101895818B1 KR1020120037543A KR20120037543A KR101895818B1 KR 101895818 B1 KR101895818 B1 KR 101895818B1 KR 1020120037543 A KR1020120037543 A KR 1020120037543A KR 20120037543 A KR20120037543 A KR 20120037543A KR 101895818 B1 KR101895818 B1 KR 101895818B1
Authority
KR
South Korea
Prior art keywords
page
touch
feedback
movement
music
Prior art date
Application number
KR1020120037543A
Other languages
English (en)
Other versions
KR20130115016A (ko
Inventor
김영리
이상협
이신준
이주연
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020120037543A priority Critical patent/KR101895818B1/ko
Priority to US13/860,024 priority patent/US10114539B2/en
Publication of KR20130115016A publication Critical patent/KR20130115016A/ko
Application granted granted Critical
Publication of KR101895818B1 publication Critical patent/KR101895818B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

본 발명은 전자책 리더 기능을 구비한 단말기에서 전자책과 연관된 다양한 피드백을 제공하는 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따라 피드백 제공 방법은 터치스크린을 가지는 휴대 단말의 페이지와 연관된 피드백 제공 방법에 있어서, 상기 터치스크린에 전자책의 페이지를 표시하는 단계; 상기 페이지에서 터치를 검출하는 단계; 상기 터치의 움직임을 검출하는 단계; 상기 터치의 움직임에 응답하여 상기 페이지의 넘김을 시작하는 단계; 및 상기 페이지의 넘김에 응답하여 상기 페이지에 대응되는 이력 정보를 이용하여 청각적 피드백을 제공하는 단계를 포함할 수 있다.

Description

단말기에서 전자책과 연관된 피드백 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING FEEDBACK ASSOCIATED WITH E-BOOK IN TERMINAL}
본 발명은 전자책 리더 기능을 구비한 단말기에서 전자책과 연관된 다양한 피드백을 제공하는 방법 및 장치에 관한 것이다.
일반적으로 전자책은 텍스트나 이미지와 같은 정보를 전자 매체에 기록하여 서적처럼 이용할 수 있는 디지털 도서를 총칭한다. 사용자는 전자책 리더 기능을 구비한 단말기를 이용하여 표시되는 전자책을 볼 수 있다. 그리고 사용자는 전자 기기 예컨대, 스마트폰 또는 태블릿 PC를 이용하여 언제 어디서나 쉽게 원하는 전자책을 구입하고 독서할 수 있다. 따라서 전자책의 이용이 꾸준히 증가하는 추세이다.
일반적으로 단말기는 사용자의 입력 정보에 따라 전자책의 페이지를 넘긴다. 그러나 이러한 페이지 넘김은 매우 단순하여 사용자에게 감성적인 피드백을 제공해주지 못한다. 예컨대 종래 페이지 넘김 방법 및 장치는 페이지 넘김과 관련된 사용자의 입력 정보(예, 다음 페이지(next page) 버튼의 누름)를 검출하면, 현재 표시되는 페이지를 다음 페이지로 순간적으로 교체하는 시각적 피드백을 제공할 수 있다. 이러한 시각적 피드백은 실제로 페이지를 넘기는 것이 아니라 단순히, 웹 페이지를 브라우징하는 것과 같다. 한편 근래 단말기는 터치스크린을 구비하는 추세이다. 단말기는 임의의 페이지를 표시하는 중에 사용자 제스처를 검출하고, 검출된 사용자 제스처에 응답하여 페이지가 넘어가는 애니메이션을 제공한다. 즉 터치스크린을 채용한 단말기는 페이지를 직접 조작하듯 페이지를 넘기는 느낌을 사용자에게 제공할 수 있다. 그러나 종래 단말기에서 제공되는 애니메이션은 실제 종이책이 갖는 아날로그적인 사실감이 부족하다.
본 발명은 전자책 리더 기능을 구비한 단말기에서 전자책과 관련한 사용자 입력 정보에 응답하여 감성적인 피드백을 제공함을 목적으로 한다.
본 발명의 일 실시예에 따라 피드백 제공 방법은 터치스크린을 가지는 휴대 단말의 페이지와 연관된 피드백 제공 방법에 있어서, 상기 터치스크린에 전자책의 페이지를 표시하는 단계; 상기 페이지에서 터치를 검출하는 단계; 상기 터치의 움직임을 검출하는 단계; 상기 터치의 움직임에 응답하여 상기 페이지의 넘김을 시작하는 단계; 및 상기 페이지의 넘김에 응답하여 상기 페이지에 대응되는 이력 정보를 이용하여 청각적 피드백을 제공하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따라 피드백 제공 방법은 터치스크린을 가지는 휴대 단말의 페이지와 연관된 피드백 제공 방법에 있어서, 상기 터치스크린에 전자책의 페이지를 표시하는 단계; 휴대 단말에서 음악을 재생하는 단계; 상기 표시되는 페이지 상에서 상기 재생되는 음악에 대응되는 음악 재생 정보를 저장하기 위한 저장 요청을 수신하는 단계; 상기 저장 요청에 응답하여 상기 음악 재생 정보를 상기 페이지와 연관시켜 저장하는 단계; 및 상기 페이지의 다시 표시 및 상기 다시 표시된 페이지의 넘기기 중 하나인 경우, 상기 저장된 음악 재생 정보를 이용하여 상기 음악을 재생하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따라 피드백 제공 방법은 터치스크린을 가지는 휴대 단말의 페이지와 연관된 피드백 제공 방법에 있어서, 상기 터치스크린에 전자책의 페이지를 표시하는 단계; 상기 페이지와 연관된 사용자 입력 정보를 수신하는 단계; 상기 사용자 입력 정보를 상기 페이지와 연관시켜 저장하는 단계; 및 상기 페이지의 다시 표시 및 상기 다시 표시된 페이지의 넘기기 중 하나인 경우, 상기 사용자 입력 정보를 이용하여 청각적 피드백을 제공하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따라 휴대 단말기는 전자책의 페이지를 표시하는 터치스크린; 상기 페이지에 대응되는 이력 정보를 저장하는 저장부; 및 상기 터치스크린을 제어하는 제어부를 포함하고, 상기 제어부는 상기 페이지에서 터치의 움직임을 검출하고, 상기 터치의 움직임에 응답하여 상기 페이지의 넘김을 시작하며, 상기 페이지의 넘김에 응답하여 상기 페이지에 대응되는 이력 정보를 이용하여 청각적 피드백을 제공할 수 있다.
이상으로 본 발명에 따른 휴대 단말기 및 피드백 제공 방법에 따르면, 사용자가 전자책을 읽을 때 사용자에게 감성적인 피드백 특히, 청각적 피드백을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 휴대 단말기의 구성을 보인 도면이다.
도 2는 본 발명에 따른 페이지 메쉬를 예시한 도면이다.
도 3은 본 발명에 따른 전자책 설정 방법을 설명하기 위한 흐름도이다.
도 4는 전자책 설정 화면의 예시도이다.
도 5는 전자책과 관련한 피드백의 설정 화면의 예시도이다.
도 6은 페이지와 연관시켜 사용자 입력 정보를 저장하는 방법을 설명하기 위한 흐름도이다.
도 7은 저장된 사용자 입력 정보의 일 예를 설명하기 위한 도면이다.
도 8은 페이지와 연관시켜 음악 재생 정보를 저장하는 방법을 설명하기 위한 흐름도이다.
도 9는 저장된 음악 재생 정보의 일 예를 설명하기 위한 도면이다.
도 10은 본 발명에 따른 피드백 제공 방법을 개략적으로 설명하기 위한 흐름도이다.
도 11A 내지 도 13B는 본 발명의 일 실시예에 따른 피드백 제공 방법을 설명하기 위한 화면 예시도들이다.
도 14A 내지 도 14C는 본 발명의 다른 실시예에 따른 피드백 제공 방법을 설명하기 위한 화면 예시도들이다.
본 발명의 상세한 설명에 앞서, 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서 아래 설명과 첨부된 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 첨부 도면에서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
본 발명에서 '전자책(e-book)'은 분야별로 분류될 수 있다. 여기서 분야는 크게, 서적(book), 교과서(textbook), 잡지(magazine), 신문(newspaper), 만화(comic), 전문 서적(specialty publication) 등을 포함될 수 있다. 이러한 분야는 더 세세하게 분류될 수 있음은 물론이다. 예컨대, 서적은 소설, 수필, 시 등으로 분류될 수 있다. 또한, 전자책은 텍스트, 이미지, 오디오, 비디오, 사용자 입력 정보 등을 포함할 수 있다.
본 발명에서 애니메이션은 콘텐츠 특히, 페이지의 움직임(motion) 또는 이러한 움직임을 수행하는 단말기의 기능을 의미한다. 특히 애니메이션은 사용자의 입력 정보(예컨대, 터치제스처 등)에 응답하여 페이지가 볼록하게 변형되는 모습, 페이지가 볼록하게 변형되면서 넘어가는 모습, 페이지가 눌려지는 모습, 페이지가 접히는 모습 등을 포함한다.
본 발명에서 '페이지 메쉬(page mesh)'는 페이지의 기하학적인 정보로 정의된다. 이러한 페이지 메쉬는 다수의 노드와 이들 노드들을 각각 연결하는 링크들로 구성된다. 각각의 노드에는 적절한 질량 값이 할당되고 각각의 링크에는 적절한 탄성 값이 할당된다. 여기서 탄성 값은 사용자에게 사실적인 느낌을 전달하고자 하는 종이의 특성에 따라 다르게 할당될 수 있다. 예컨대, 페이지가 두껍게 설정될 경우(즉, 질량 값이 큰 경우) 탄성 값은 크게 할당될 수 있다. 반면 상대적으로 페이지가 얇은 경우 탄성 값은 적게 할당될 수 있다. 또한, 페이지의 안쪽 방향(예를 들어, 책등(spine))에 위치한 노드들은 큰 질량 값이 할당될 수 있다. 상대적으로 바깥쪽 방향(예를 들어, 책 에지(edge))에 위치한 노드들은 안쪽에 비해 위치 변화가 크므로 작은 질량 값이 할당될 수 있다. 물론 모드 노드들에 동일한 질량 값이 할당될 수도 있다.
각각의 노드에 작용하는 힘은 2가지로 분류될 수 있다. 먼저 탄성력과 같은 내부 힘이 있다. 그리고 중력이나 인위적인 힘(human power)과 같은 외부 힘이 있다. 이러한 외부 힘에서 중력은 노드들을 아래로 당기는 힘으로 정의된다. 페이지가 표시되는 화면이 XY 평면이고 사용자의 관점(viewpoint)이 상기 XY 평면에서 Z축의 양의 방향이면, 상기 XY평면의 아래는 Z축의 음의 방향이라고 할 수 있다. 여기서, Z축은 상기 XY 평면에 수직이다. Z축은 실제 축(actual axis)을 나타내는 것은 아니며, 페이지를 입체적으로 표현하기 위한 가상의 축이다. 중력은 모든 노드들에 동일하게 작용될 수 있다. 단 중력은 사용자에게 사실적인 느낌을 전달하고자 하는 종이의 특성에 따라 다르게 작용될 수 있다. 예컨대, 사용자가 실제 종이책의 페이지를 들어 올렸다가 놓으면, 해당 페이지가 얇은 경우 천천히 떨어지고 상대적으로 두꺼운 경우 빨리 떨어질 것이다. 다음 표 1은 종이의 종류별로 두께를 예시한 것이다. 표 1을 참고하면, 전단지보다 상대적으로 팜플렛이 빨리 떨어질 것이다.
신문에 삽입되는 전단지 52.3g/ m2
잡지본문, 광고지 64g/ m2
티켓, 주간지 표지, 팜플렛 127.9g/ m2
패션 잡지 표지, 명함 157g/ m2
스케치북 200g/ m2
인쇄 용지 75g/ m2
한편 인위적인 힘은 사용자가 페이지에 작용하는 힘이다. 예컨대, 터치스크린에 대한 사용자의 터치제스처가 인위적인 힘이 될 수 있다. 여기서 터치제스처는 플릭(Flick), 드래그(Drag) 및 프레스(press) 등과 같이 크기(빠르기, 이동 거리 등)와 방향을 갖는 벡터 값이다. 사용자에 의해 인위적인 힘이 작용하는 노드는 인위적인 힘의 이동에 대응하여 상기 인위적인 힘의 방향으로 이동한다. 이때 인위적인 힘은 링크들을 통해 다른 노드들에도 전달된다.
결과적으로 각각의 노드들에는 내부 힘과 외부 힘을 합한 힘이 작용된다. 인위적인 힘이 표시되는 페이지에 가해지면, 단말기의 제어부는 가해진 인위적인 힘을 기반으로 각각의 노드들에 작용하는 힘들을 계산하고, 계산된 각각의 노드들의 힘들을 바탕으로 페이지 메쉬를 변형한다. 여기서 힘은 타겟 노드의 이동 거리와 빠르기를 곱하여 가속도를 구하고, 이러한 가속도에 해당 타겟 노드의 질량을 곱하여 얻을 수 있으며, 힘의 계산 자체는 공지의 기술이므로 구체적인 설명은 생략한다. 그리고 나서 단말기는 변형된 페이지 메쉬를 페이지에 반영하여 애니메이션을 생성한다. 이러한 인위적인 힘을 기반으로 애니메이션을 생성하는 과정은 AP(Application Processor), CPU(Central Processing Unit) 또는 GPU(Graphics Processing Unint) 등에서 실행될 수 있다.
본 발명에 따른 피드백 제공 방법 및 장치는 전자책 리더 기능과 터치스크린을 구비한 다양한 형태의 전자 기기에 적용될 수 있다. 특히 본 발명에 따른 피드백 방법 및 장치는 휴대 단말기에 적용될 수 있다. 이러한 휴대 단말기는 휴대폰, 스마트폰, 태블릿 PC, 핸드 헬드(hand-held) PC, PMP(Portable Multimedia Player), 전자책 리더(e-book reader) 및 PDA(Personal Digital Assistant) 등이 될 수 있음은 자명하다. 이하 설명의 편의를 위해, 발명에 따른 피드백 제공 방법 및 장치가 터치스크린을 구비한 휴대 단말기에 적용되는 것으로 가정하여 설명한다.
이하에서 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라, 사용자가 전자책을 읽을 때 감성적인 피드백을 사용자에게 제공하는 방법 및 장치에 대해서 상세하게 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 휴대 단말기의 구성을 보인 도면이다. 도 1을 참조하면, 본 발명에 따른 휴대 단말기(100)는 터치패널(111)과 표시부(112)를 포함하여 구성된 터치스크린(110), 키입력부(120), 터치패널 컨트롤러(130), 저장부(140), 무선통신부(150), 오디오 처리부(160), 스피커(SPK), 마이크(MIC), 근거리 통신 모듈(170), 진동 모터(180), 센서부(185) 및 제어부(190)를 포함하여 이루어질 수 있다.
터치패널(111)은 표시부(112)에 안착(place on the display unit)될 수 있으며, 터치패널(111)에 입력되는 사용자의 제스처에 응답하여 신호(예, 터치이벤트)를 발생시켜 제어부(190)로 전달한다. 터치패널(111)은 표시부(112) 위에 위치하는 애드 온 타입(add-on type)이나 표시부(112) 내에 삽입되는 온 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현될 수 있다. 제어부(190)는 터치스크린(100)으로부터 입력되는 터치이벤트로부터 사용자의 제스처를 검출하여 상기 구성들을 제어할 수 있다. 사용자 제스처는 크게, 터치(Touch)와 터치 제스처(Touch gesture)로 구분된다. 다시 터치 제스처는 탭(Tap), 더블 탭(Double Tap), 롱 탭(long tap), 드래그(Drag), 드래그 앤 드롭(Drag&Drop), 플릭(Flick) 및 프레스(press) 등을 포함할 수 있다. 여기서, 터치는 사용자가 화면의 어느 한 지점에 터치 입력 수단(예, 손가락이나 스타일러스 펜)을 이용하여 접촉하는 조작이고, 탭은 어느 한 지점을 터치한 후 터치 입력 수단의 이동 없이 해당 지점에서 터치 입력 수단을 터치 해제(touch-off)하는 조작이며, 더블 탭은 어느 한 지점을 연속적으로 두 번 탭하는 조작이며, 롱 탭은 탭보다 상대적으로 길게 터치한 후 터치 입력 수단의 이동 없이 해당 지점에서 터치 입력 수단을 터치 해제하는 조작이며, 드래그는 어느 한 지점을 터치한 상태에서 터치 입력 수단을 소정 방향으로 이동시키는 조작이며, 드래그 앤 드롭은 드래그한 다음 터치 입력 수단을 터치 해제하는 조작이며, 플릭은 튀기듯이, 드래그에 비해 터치 입력 수단을 빠르게 이동시킨 다음 터치 해제하는 조작을 의미한다. 프레스는 터치 입력 수단으로 어느 한 지점을 터치한 후 해당 지점을 누르는 조작이다. 즉 터치는 터치스크린에 접촉(contact)하고 있는 상태를 의미하고, 터치제스처는 터치가 터치스크린에 접촉(touch-on)해서 터치 해제(touch-off)까지의 터치의 움직임을 의미한다. 터치패널(111)은 압력 센서를 구비하여 터치된 지점의 압력을 감지할 수 있다. 감지된 압력 정보는 제어부(190)로 전달되고, 제어부(190)는 감지된 압력 정보를 바탕으로 터치와 프레스를 구분할 수 있다.
터치패널(111)은 저항막 방식(resistive type), 정전용량 방식(capacitive type) 및 전자유도 방식(electromagnetic induction type) 등이 적용될 수 있다.
표시부(112)는 제어부(190)의 제어 하에, 제어부(190)로부터 입력받은 영상 데이터를 아날로그 신호로 변환하여 표시한다. 즉, 표시부(112)는 휴대 단말기의 이용에 따른 다양한 화면 예를 들면, 잠금 화면, 홈 화면, 어플리케이션(이하 줄여 '앱(App)'이라 한다) 실행 화면, 메뉴 화면, 키패드 화면, 메시지 작성 화면, 인터넷 화면 등을 제공할 수 있다. 잠금 화면은 표시부(112)의 화면이 켜지면 표시되는 영상으로 정의될 수 있다. 잠금 해제를 위한 특정 터치 이벤트가 발생되면 제어부(190)는 표시되는 영상을 잠금 화면에서 홈 화면 또는 앱 실행 화면 등으로 전환할 수 있다. 홈 화면은 다수의 앱에 각각 대응되는 다수의 앱 아이콘을 포함하는 영상으로 정의될 수 있다. 다수의 앱 아이콘 중 어느 하나가 사용자에 의해 선택되면 제어부(190)는 해당 앱 예컨대, 전자책 앱을 실행하고, 그 실행 화면을 표시할 수 있다.
표시부(112)는 제어부(190)의 제어 하에, 애니메이션을 표시할 수 있다. 특히 표시부(112)는 페이지가 넘어가는 애니메이션 및 페이지가 접히는 애니메이션을 표시할 수 있다. 여기서 페이지의 두께, 페이지 내에서의 터치 지점, 터치의 이동 거리, 터치의 이동 방향 또는 터치의 빠르기 등에 따라 페이지가 넘어가는 애니메이션들이 각각 다를 수 있다. 또한, 페이지의 꼭지점 영역에서부터 터치의 이동 거리, 이동 방향 또는 빠르기 등에 따라 페이지가 접히는 애니메이션들이 각각 다를 수 있다. 여기서 꼭지점 영역은 페이지의 귀퉁이에서 예컨대, 반경 1cm 내의 영역이 될 수 있다.
표시부(112)는 액정 표시 장치(Liquid Crystal Display : LCD), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode) 등의 평판 표시 패널의 형태로 형성될 수 있다.
키입력부(120)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 입력키 및 기능키들을 포함할 수 있다. 상기 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이드 키 및 단축키 등을 포함할 수 있다. 또한 키입력부(120)는 사용자 설정 및 휴대 단말기(100)의 기능 제어와 관련한 키 신호를 생성하여 제어부(190)로 전달한다. 키 신호는 전원 온/오프 신호, 볼륨 조절 신호, 화면 온/오프 신호 등으로 구분될 수 있다. 제어부(190)는 이러한 키 신호에 응답하여 상기한 구성들을 제어한다. 또한 키입력부(120)는 다수개의 키들을 포함하는 쿼티 키패드, 3*4 키패드, 4*3 키패드 등을 포함할 수 있다. 그리고 키입력부(120)는 휴대 단말기의 터치패널(111)이 풀 터치스크린 형태로 지원된 경우, 휴대 단말기(100)의 케이스 측면에 형성되는, 화면 온/오프 및 휴대단말기 온/오프 등을 위한 적어도 하나의 사이드 키만을 포함할 수도 있다.
터치패널 컨트롤러(130)는 터치패널(111)에 연결되고 터치패널(111)로부터 터치이벤트를 수신하고 수신된 터치이벤트를 AD(Analog to Digital) 변환하여 제어부(190)로 전달한다. 제어부(190)는 전달된 터치이벤트로부터 터치제스처를 검출한다. 즉, 제어부(190)는 터치 지점, 터치의 이동 거리, 터치의 이동 방향, 터치의 빠르기 및 터치의 압력 등을 검출할 수 있다.
저장부(140)는 휴대 단말기의 운영체제(OS; Operating System) 및 본 발명에 필요한 앱을 비롯하여, 다양한 데이터를 저장할 수 있다. 저장부(140)는 크게 데이터 영역과 프로그램 영역을 포함할 수 있다.
저장부(140)의 데이터 영역은 휴대 단말기(100)의 사용에 따라 휴대 단말기(100)에서 발생되거나 외부로부터 다운로드된 데이터 즉, 전자책, 연락처, 이미지, 문서, 비디오, 메시지, 메일, 뮤직, 효과음 등을 저장할 수 있다. 그리고 데이터 영역은 표시부(112)가 표시하는 상기 화면들을 저장할 수 있다. 메뉴 화면은 화면 전환을 위한 화면 전환키(예컨대, 이전 화면으로 되돌아가기 위한 리턴(return) 키 등), 현재 실행 중인 앱의 제어를 위한 제어키 등을 포함할 수 있다. 또한 데이터 영역은 복사 및 붙여 넣기(copy & paste) 등을 위해 사용자가 메시지, 사진, 웹페이지, 문서 등에서 복사한 데이터를 임시 저장할 수 있다. 또한 데이터 영역은 휴대 단말기의 운영을 위한 다양한 설정 값(예, 화면 밝기, 터치 발생 시 진동 여부, 화면의 자동 회전 여부 등)을 저장할 수 있다.
저장부(140)의 데이터 영역은 다수의 전자책을 포함하는 전자책 DB(141)와, 다수의 전자책 각각에 대한 이력 정보(142)와, 피드백 설정 정보(143) 등을 저장할 수 있다. 이력 정보(142)는 전자책의 저장된 날짜, 전자책을 읽은 횟수, 읽은 페이지, 읽은 날짜, 읽지 않은 페이지, 사용자 입력 정보(142a) 및 음악 재생 정보(142b) 등을 포함할 수 있다. 사용자 입력 정보(142a)는 사용자가 별도로 페이지 또는 표시되는 페이지에 입력한 정보로 정의될 수 있다. 예컨대 사용자 입력 정보는 메모, 음성 메모, 필기(handwriting), 하이라이트(예, 밑줄, 음영 등), 이미지 및 책갈피 등이 될 수 있다. 이러한 사용자 입력 정보(142a) 또는 이를 나타내는 태그(예, 음성 메모를 나타내는 아이콘을 포함하는 기호)는 해당 페이지가 표시될 때 같이 표시될 수 있다. 음악 재생 정보(142b)는 전자책 실행 중에 재생된 음악과 관련된 정보(예, 노래 제목, 가수, 재생 시간 및 재생 중에 표시된 페이지의 쪽 번호 등)이다.
저장부(140)의 프로그램 영역은 휴대 단말기의 부팅 및 상술한 각 구성의 운용을 위한 운영체제(OS, Operating System)와 다양한 앱을 저장할 수 있다. 구체적으로 프로그램 영역은 인터넷에 접속하기 위한 웹 브라우저, 피사체의 촬영, 표시 및 저장을 위한 카메라 앱, 전자책 DB(141)에 저장된 전자책들을 실행하기 위한 전자책 앱(144), 텍스트를 음성 데이터로 변환하는 TTS(Text To Speech) 프로그램(145) 및 음악 파일의 재생 및 편집 등을 위한 플레이어(146) 등을 저장할 수 있다. 여기서 TTS 프로그램(145)은 하이라이트된 정보, 메모, 필기 등을 음성 데이터로 변환하는, 전자책 앱(142)의 하나의 구성요소일 수 있다. TTS 프로그램(145)은 TTS 변환을 위한 음성 DB(데이터베이스)를 구비하고, 예컨대 'page'라는 텍스트에서 각 단어(word)에 해당되는 음성 데이터를 상기 음성 DB에서 읽어와 합성하여 상기 'page'라는 음성 데이터를 생성한다. 이와 같은 TTS 변환은 공지의 기술이므로 구체적인 설명은 생략한다.
무선 통신부(150)는 음성 통화, 화상 통화 또는 데이터 통신을 제어부(190)의 제어 하에 수행한다. 이를 위하여 무선통신부(150)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호의 주파수를 저잡음 증폭 및 하강 변환하는 무선주파수 수신부 등을 포함할 수 있다. 또한 무선 통신부(150)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5(3.5-Generation)세대 이동통신모듈 또는 4(4-Generation)세대 이동통신모듈 등), 및 디지털 방송 모듈(예컨대, DMB 모듈)을 포함할 수 있다.
오디오 처리부(160)는 제어부(190)에 의해 입력받은 음성 데이터, 음악 파일 등의 오디오 데이터를 DA(Digital to Analog) 변환하여 스피커(SPK)로 전송하고, 마이크(MIC)로부터 입력받은 음성 등의 오디오 데이터를 AD(Analog to Digital) 변환하여 제어부(190)로 전달하는 기능을 수행한다.
오디오 처리부(160)는 제어부(190)의 제어 하에, 전자책과 연관된 청각적 피드백을 제공할 수 있다. 예컨대, 오디오 처리부(160)는 페이지가 변형(예, 페이지 넘김, 페이지 누름 또는 페이지 접음 등)될 때, 효과음을 스피커로 출력할 수 있다. 페이지의 두께, 페이지 내에서의 터치 지점, 터치의 이동 거리, 터치의 이동 방향 및 터치의 빠르기 등에 따라 효과음들이 각각 다를 수 있다. 또한 오디오 처리부(160)는 페이지가 넘어갈 때, 해당 페이지와 연관된 청각적 피드백을 제공할 수 있다. 예컨대, 오디오 처리부(160)는 해당 챕터(chapter)의 제목, 색인(index), 메모, 하이라이트된 정보 등을 음성데이터로 변환하여 출력할 수 있다. 또한 오디오 처리부(160)는 넘긴 다음에 표시된 페이지가 마지막으로 저장된 페이지(예컨대, 사용자가 78쪽을 읽는 중에 전자책 앱을 종료한 경우 마지막으로 저장된 페이지는 78쪽임)인 경우, 알람음을 스피커로 출력할 수 있다. 예컨대, 사용자는 페이지들을 빠르게 넘기다가 이러한 알람음을 듣고 해당 페이지가 마지막으로 저장된 페이지임을 인식할 수 있다.
근거리 통신 모듈(170)는 휴대 단말기(100)를 유선 또는 무선으로 외부 기기와 연결하는 기능을 수행한다. 이러한 근거리 통신 모듈(170)는 지그비(Zigbee) 모듈, 와이파이(Wi-Fi) 모듈 또는 블루투스(Bluetooth) 모듈 등을 포함할 수 있다. 특히 본 발명에서 근거리 통신 모듈(170)는 제어부(190)의 제어 하에, 전자책을 외부 기기로부터 수신하고 이를 저장부(140)에 전달할 수 있다.
진동 모터(180)는 제어부(190)의 제어 하에, 진동을 수행한다. 특히 본 발명에 따른 진동 모터(180)는 촉각(haptic)과 관련된 피드백을 제공한다. 즉 제어부(190)는 하나 또는 그 이상의 진동 모터를 구동하여 촉각적 피드백을 제공할 수 있다. 이러한 진동 모터(180)에 의한 피드백은 페이지의 재질, 두께 등에 따라 다양할 수 있다. 예컨대, 제어부(190)는 페이지가 표시되는 터치스크린(110)에서부터 발생되는 터치의 움직임을 검출할 수 있다. 제어부(190)는 이러한 터치의 움직임에 응답하여 진동 모터(180)를 이용하여 진동을 발생시킨다. 이때 해당 페이지가 빳빳한 매거진으로 설정된 경우 페이지가 얇은 신문으로 설정된 경우와 비교하여 강한 진동이 발생될 수 있다.
센서부(185)는 휴대 단말기(100)의 기울기 변화, 조도 변화, 가속도 변화 등과 같은 다양한 변화들 중 적어도 하나를 검출하고, 그에 해당하는 전기적 신호를 상기 제어부(190)로 전달할 수 있다. 센서부(185)는 휴대 단말기(100)을 기반으로 이루어지는 상태 변화를 감지하고, 그에 따른 감지신호를 생성하여 제어부(190)로 전달할 수 있다. 본 발명에서 센서부(185)는 다양한 센서들로 이루어질 수 있으며, 휴대 단말기(100) 구동 시(또는 사용자 설정 기반), 제어부(190)의 제어에 따라 설정된 적어도 하나의 센서에 전원이 공급되어 휴대 단말기(100)의 상태 변화를 감지할 수 있다. 본 발명의 실시 예에 따르면 센서부(185)를 항상 동작시켜 휴대 단말기(100)의 상태 변화 특히, 기울기 변화를 검출할 수 있다. 본 발명에서는 미리 정의되는 사용자 설정에 따라 센서부(185)가 구동될 수 있다.
센서부(185)는 휴대 단말기(100)의 상태 변화를 검출할 수 있는 모든 형태의 센싱 디바이스(sensing device)들 중 적어도 하나의 디바이스를 포함하여 구성될 수 있다. 예를 들어, 상기 센서부(185)는 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor), 조도 센서(luminance sensor), 근접 센서(proximity sensor), 압력 센서(pressure sensor), 노이즈 센서(Noise Sensor)(예컨대, 마이크), 비디오 센서(Video Sensor)(예컨대, 카메라 모듈), 그리고 타이머 등과 같은 다양한 센싱 디바이스들 중 적어도 하나의 센서를 포함하여 구성될 수 있다. 센서부(185)는 하나의 칩(chip)에 복수의 센서들(예컨대, 센서1, 센서2, 센서3 등)이 일체화되거나, 또는 복수의 센서들이 별도의 칩들로 구현될 수 있다. 일예로, 제어부(190)는 동작 센서에 의해 검출된 기울기 정보(예컨대, x축, y축, z축에 대한 측정 값)에 따라 현재 상태를 판단할 수 있다.
센서부(185)는 휴대 단말기(100)의 가속도를 측정하여 전기적 신호를 생성하고, 생성된 전기적 신호를 제어부(190)로 전달할 수 있다. 예를 들어, 센서부(185)가 3축 가속도 센서인 경우를 가정하면, X축, Y축 및 Z축 각각에 대한 중력 가속도를 측정할 수 있다. 특히, 센서부(185)는 휴대 단말기(100)의 운동 가속도와 중력 가속도가 더해진 가속도를 측정하지만, 휴대 단말기(100)의 움직임이 없으면 중력 가속도만 측정할 수 있다. 일예로, 휴대 단말기(100)의 전면이 위로 향하는 것을 중력 가속도의 양(+)의 방향, 휴대 단말기(100)의 후면이 위로 향하는 것을 중력 가속도의 음(-)의 방향이라 전제하여 설명하기로 한다. 휴대 단말기의 후면부가 수평한 면에 닿도록 놓여 있는 경우, 센서부(185)에 의해 측정되는 중력 가속도는 X축 및 Y축 성분이 0m/sec2로 측정되고, Z 축 성분만이 특정 양의 값(예컨대, +9.8m/sec2)이 측정될 수 있다. 반대로, 휴대 단말기(100)의 전면이 수평한 면에 닿도록 놓여 있는 경우, 센서부(185)에 의해 측정되는 중력 가속도는 X축 및 Y축 성분이 0m/sec2로 측정되고, Z축 성분만이 특정 음의 값(예컨대, -9.8m/sec2)이 측정될 수 있다.
사용자가 한 손으로 휴대 단말기(3600)를 들고 있어 비스듬하게 놓인 경우, 센서부(185)에 의해 측정되는 중력 가속도는 적어도 하나의 축이 0m/sec2가 아닌 값으로 측정되고, 이때, 세 축의 성분의 제곱의 합의 제곱근, 즉, 벡터합의 크기는 특정 값(예컨대, 9.8m/sec2)이 될 수 있다. 센서부(185)는 좌표계에서의 X축, Y축 및 Z축 방향에 대한 각각의 가속도를 감지한다. 물론 센서부(185)가 부착된 위치에 따라 상기 각각의 축들과 그에 해당하는 중력 가속도는 바뀔 수 있음이다.
제어부(190)는 휴대 단말기(100)의 전반적인 동작 및 휴대 단말기(100)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 그리고 제어부(190)는 배터리에서 내부 구성들로의 전원 공급을 제어한다. 또한 제어부(190)는 프로그램 영역에 저장된 각종 어플리케이션을 실행한다. 제어부(190)는 터치제스처(예컨대, 드래그 또는 플릭)에 응답하여 페이지를 변형할 수 있다. 또한 제어부(190)는 터치제스처 및 휴대 단말의 기울기 정보에 응답하여 페이지를 변형할 수 있다. 이를 위해 제어부(190)는 GPU(191)를 포함하여 이루어질 수 있다. GPU(191)는 터치제스처에 응답하여 페이지 메쉬를 변형하며, 변형된 페이지 메쉬를 페이지에 반영하여 애니메이션을 생성하는 기능을 수행할 수 있다. 구체적으로 GPU(191)는 터치패널 컨트롤러(130)로부터 터치제스처와 관련된 정보를 수신한다. 그리고 GPU(191)는 수신된 정보를 바탕으로 페이지 메쉬를 변형한다. 페이지에 인위적인 힘이 작용하면, GPU(191)는 인위적인 힘에 응답하여 페이지 메쉬를 변형한다. 페이지에 인위적인 힘이 사라지면(예컨대, 사용자가 드래그하다가 페이지에서 터치 해제하면), GPU(191)는 페이지 메쉬를 원 상태로 복원할 수 있다. 즉 변형된 페이지 메쉬는 링크들의 탄성력과 각각의 노드들에 작용하는 중력에 의해 원 상태로 복원될 수 있다. GPU(191)는 저장부(140)로부터 페이지를 수신한다. GPU(191)는 페이지 메쉬의 변형 정보를 저장부(140)로부터 수신된 페이지에 반영하여 애니메이션을 생성한다. 여기서 페이지 메쉬의 변형 정보는 페이지 메쉬를 구성하는 각 노드들의 좌표 값(x, y, z)을 포함한다. 그리고 GPU(191)는 애니메이션을 표시하도록 표시부(112)를 제어한다.
제어부(190)는 센서부(185)로부터 전달된 중력 가속도가 적어도 하나 이상의 축 성분에 의해 측정된 경우, 각 축들에 대한 가속도를 이용하여 휴대 단말기(100)의 기울기를 산출할 수 있다. 여기서 산출된 기울기는 롤각(roll angle)(Φ), 피치각(pitch angle)(θ) 및 요각(yaw angle)(ψ)을 포함할 수 있다. 롤각(Φ)은 X축을 중심으로 한 회전 각도를 나타내고, 피치각(θ)은 Y축을 중심으로 한 회전 각도를 나타내며, 요각(ψ)은 Z축을 중심으로 한 회전 각도를 나타낼 수 있다. 예컨대, 센서부(185)로부터 전달된 중력 가속도에서 X축 및 Y축 중력 가속도가 0m/sec2이고 Z축 중력 가속도가 +9.8m/sec2이면, 휴대 단말기(100)의 기울기(Φ, θ, ψ)는 (0, 0, 0)일 수 있다. 이와 같은 방식에 의해 휴대 단말기(100)의 어떠한 기울기라도 산출될 수 있다. 제어부(190)는 오일러 각을 이용한 자세 계산 알고리즘, 확장 칼만 필터(extended Kalman filter)를 이용한 자세 계산 알고리즘, 가속도 예측 스위칭 알고리즘 등과 같은 알고리즘을 이용하여 휴대 단말기(100)의 기울기를 산출할 수 있다. 즉, 본 발명에 따르면 가속도계 등을 이용하여 휴대 단말기(100)의 기울기를 측정하는 방법은 실시 예에 따라 다양한 방법으로 구현될 수 있다.
제어부(190)는 휴대 단말기(100)의 기울기 변화에 응답하여 페이지 메쉬를 변형하며, 변형된 페이지 메쉬를 페이지에 반영하여 애니메이션을 생성하는 기능을 수행할 수 있다. 제어부(190)는 휴대 단말기(100)의 기울기를 검출하고, 검출된 기울기 정보를 바탕으로 페이지의 변형 정도를 산출하고, 산출 결과에 대응되는 애니메이션을 생성하여 표시한다. 예컨대, 휴대 단말기(100)의 기울기(Φ, θ, ψ)는 (0, 0, 60)이고, 표시 모드가 화면 좌우로 두 페이지를 표시하는 가로 모드(landscape mode)이며, 화면 우측에 놓인 페이지의 잔량이 200페이지인 경우, 제어부(190)는 100페이지가 좌측으로 넘어가는 애니메이션을 생성하여 표시할 수 있다. 페이지 넘김 모드(page turning mode)는 표준 모드(normal mode), 기울기 모드(gradient mode) 및 결합 모드(merge mode)를 포함할 수 있다. 이러한 페이지 넘김 모드는 사용자에 의해 설정 가능하다. 사용자가 표준 모드를 선택한 경우, GPU(191)는 검출된 터치제스처에 응답하여 애니메이션을 생성한다. 사용자가 기울기 모드를 선택한 경우, GPU(191)는 산출된 기울기 정보만으로 애니메이션을 생성한다. 사용자가 결합 모드를 선택한 경우, GPU(191)는 터치제스처 및 기울기 정보 모두를 고려하여 애니메이션을 생성한다. 각각의 모드에서 페이지에 설정된 속성 정보(예, 두께, 무게, 재질 등)가 페이지의 변형에 고려될 수 있다. 또는 속성 정보는 페이지의 변형에 고려되지 않을 수도 있다. 이러한 애니메이션의 생성은 GPU(191)에서도 할 수 있고, AP(Application Processor)에서도 할 수 있다. 또한, 애니메이션의 생성은 GPU(191) 및 AP 모두에서 할 수 있다. AP는 CPU와 GPU가 SoC(System on chip)된 것일 수 있다. 또한, AP는 CPU 및 GPU가 멀티 레이어(multi layer)로 패키징(packaging)된 것일 수 있다.
디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 본 발명에 따른 휴대 단말기(100)는 GPS 모듈 및 카메라 모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수 있다. 본 발명의 휴대 단말기(100)는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다.
도 2는 본 발명에 따른 페이지 메쉬를 예시한 도면이다. 도 2 (a)를 참고하면, 제어부(190) 특히, GPU(191)는 페이지 메쉬를 구성한다. 페이지 메쉬는 다수의 노드(node)와 이들을 각각 연결하는 다수의 링크(link)를 포함하여 이루어진다. 도면에서 도면 부호 210은 다수의 노드를 대표하여 표기된 것이고, 도면 부호 220은 다수의 링크를 대표하여 표기된 것이다. 다수의 노드는 도시된 바와 같이, 매트릭스 형태로 배열될 수 있으며, 그 위치는 XY 좌표로 나타낼 수 있다. 또한 상술한 바와 같이 각각의 노드는 적절한 질량 값이 할당되고 각각의 링크(스프링)는 적절한 탄성 값이 할당된다. 전자책의 중심(230)에 위치한 노드들은 큰 질량 값이 할당될 수 있다. 상대적으로 중심(230)에서 멀어지는 바깥쪽에 위치한 노드들은 중심(230)에 비해 작은 질량 값이 할당될 수 있다. 그렇다면 노드는 바깥쪽에 위치할수록 그 움직임이 가볍다. 다시 말해, 바깥쪽에 위치한 노드일수록 사용자의 터치제스처에 민감하게 반응한다. 다만 페이지가 변형됨에 있어 중심축(230; X축)에 위치한 노드들은 다른 노드들과 달리 고정된다. 한편, 모든 노드들에 동일한 질량 값이 할당될 수도 있다. 그렇다면 앞에 경우보다는 전체적으로 페이지 메쉬의 움직임이 무거울 수 있다. 즉 해당 페이지에 설정된 속성 정보(예컨대, 두께, 무게, 재질 등)에 따라 페이지의 변형 정도가 각각 다를 수 있다. 또한 산출된 기울기에 따라 페이지의 변형 정도가 각각 다를 수 있다.
인위적인 힘 즉, 터치제스처가 페이지에 작용하는 경우, 제어부(190) 특히, GPU(191)는 터치제스처를 검출하고, 검출된 터치제스처에 응답하여 페이지 메쉬를 변형하며, 변형된 페이지 메쉬를 페이지에 반영하여 애니메이션을 생성한다. 2 (b)를 참고하면, 사용자는 소정의 터치 입력 수단(예, 손가락, 펜 등)으로 페이지의 우하귀 지점(240)을 터치한다. 그러면, 제어부(190)는 터치 입력 수단이 터치한 노드를 검출한다. 다음으로, 사용자는 터치 입력 수단을 우하귀 지점(240)에서 좌측 방향으로 이동시킨다. 그러면 제어부(190)는 터치된 노드(이하, 설명의 편의를 위해 '타겟 노드'라 함)를 XY 평면상에서 상기 터치 입력 수단의 이동에 따라 좌측 방향으로 이동시킨다. 즉 타겟 노드는 중력과 직각인 방향으로 이동한다. 그리고 중심축(230)에 위치한 노드들은 외부의 힘에 의해 이동 가능한 다른 노드들과 달리, 고정된다. 이에 따라 페이지 메쉬가, 실제 사용자가 종이책의 페이지를 누르면서 밀 때와 같이, 볼록하게 변형된다.
제어부(190)는 이동된 타겟 노드의 변위(displacement)를 산출한다. 여기서 변위는 크기와 방향을 가지는 벡터 값이다. 또한 변위의 크기는 구체적으로, 타겟 노드의 현재 위치, 타겟 노드가 이동한 거리 및 타겟 노드의 빠르기 중에서 적어도 하나를 포함한다. 예를 들어, 변위의 크기는 타겟 노드의 현재 위치만, 타켓 노드의 이동 거리만, 타겟 노드의 빠르기만 또는 타겟 노드의 현재 위치, 타겟 노드의 이동 거리 및 타겟 노드의 빠르기의 조합을 포함할 수 있다. 제어부(190)는 산출된 변위에 따라 페이지 메쉬를 변형한다. 예컨대, 제어부(190)는 도 2 (b)에 도시된 바와 같이, 페이지 메쉬를 볼록하게 변형할 수 있다. 제어부(190)는 변형된 페이지 메쉬를 페이지에 반영하여 애니메이션을 생성할 수 있다.
제어부(190)는 계산된 변위를 이용하여 각각의 노드들에 작용하는 힘들을 계산한다. 여기서 힘은 크기와 방향을 갖는 벡터 값이다. 힘은 상술한 바와 같이, 탄성력, 중력 및 인위적인 힘을 합한 값이다. 또한 페이지 넘김 모드가 기울기 모드 또는 결합 모드로 설정되어 있는 경우, 힘은 휴대 단말기의 기울기를 더 포함할 수 있다. 제어부(190)는 계산된 힘들을 이용하여 각각의 노드들의 위치 값들을 계산한다. 그리고 제어부(190)는 계산된 위치 값들을 이용하여 도 2에 도시된 바와 같은 애니메이션을 생성한다. 이상으로 도 2를 참조로 하여 설명한 바와 같이, 페이지 메쉬는 터치 지점, 터치의 이동 방향 및 터치의 빠르기 등에 따라 실제처럼, 다양하게 변형될 수 있다. 따라서 사용자는 본 발명에 따른 전자책을 통해 사실적인 종이책의 느낌을 경험할 수 있다.
도 3은 본 발명에 따른 전자책 설정 방법을 설명하기 위한 흐름도이다. 도 3을 참조하면, 단계 301에서 제어부(190)는 홈 화면을 표시하도록 표시부(112)를 제어할 수 있다. 여기서 홈 화면에는 환경 설정에 대응되는 아이콘을 포함한다. 사용자는 환경 설정에 대응되는 아이콘을 선택할 수 있다. 단계 302에서 제어부(190)는 홈 화면에서 환경 설정에 대응되는 아이콘에 대한 사용자의 선택(예, 탭)을 검출한다. 단계 303에서 제어부(190)는 휴대 단말기(100)의 환경 설정 화면을 표시하도록 표시부(112)를 제어한다. 단계 304에서 제어부(190)는 전자책의 환경을 설정한다. 즉 환경 설정 화면이 표시된 상태에서 사용자는 터치패널(111)을 조작하여 휴대 단말기의 환경 특히, 전자책에 대한 환경을 설정할 수 있다. 전자책 설정 정보는 휴대 단말기의 저장부(140)에 저장된다. 그리고 저장부(140)에 저장된 전자책 설정 정보(특히, 피드백 설정 정보(143))는 전자책 앱(142)이 실행될 때, 활용될 수 있다. 환경 설정 화면에 포함되는 항목들은 휴대 단말기(100)의 성능 및 휴대 단말기(100)에 구비된 기능에 따라 매우 다양하다. 하나의 예로 환경 설정 화면은 무선 네트워크, 위치서비스, 사운드, 디스플레이, 보안 및 전자책 등과 같은 항목들을 포함할 수 있다. 이와 같은 항목들에서 사용자는 전자책 항목을 터치할 수 있다. 그러면, 제어부(190)는 도 4에 도시한 바와 같이, 전자책 설정 화면을 표시하도록 표시부(112)를 제어한다.
도 4는 전자책 설정 화면의 예시도이다. 도 4를 참조하면, 표시부(111)는 제어부(190)의 제어 하에, 전자책 설정 화면(400)을 표시할 수 있다. 도시된 바와 같이 전자책 설정 화면(400)은 페이지 두께(401), 페이지 재질(402), 피드백(403), 페이지 넘김 모드(404), 테마(405) 및 서체/글자크기(406) 등과 같은 항목들을 포함할 수 있다. 페이지 두께(401)와 재질(402)은 예컨대, 75g/m2와 인쇄용지가 될 수 있다. 페이지 두께(401)와 재질(402)은 전자책의 제조사에서 설정된 값으로 사용자가 변경하지 못할 수도 있다. 피드백(403)은 페이지가 넘어갈 때 사용자에게 제공하는 피드백을 정하는 항목이다. 예컨대, 사용자는 피드백으로써, 시각, 청각 및 촉각 중 적어도 하나를 설정할 수 있다. 페이지 넘김 모드(404)는 표준 모드(normal mode), 기울기 모드(gradient mode) 및 결합 모드(merge mode)중에서 하나를 선택할 수 있는 항목이다. 사용자가 표준 모드를 선택한 경우, GPU(191)는 검출된 터치제스처에 응답하여 애니메이션을 생성한다. 사용자가 기울기 모드를 선택한 경우, GPU(191)는 산출된 기울기 정보만으로 애니메이션을 생성한다. 사용자가 결합 모드를 선택한 경우, GPU(191)는 터치제스처 및 기울기 정보 모두를 고려하여 애니메이션을 생성한다. 테마(506)는 페이지의 배경 화면을 설정하기 위한 항목이다. 예컨대, 사용자는 페이지의 배경 색을 화이트(white)로 설정할 수 있다. 서체/글자크기(406)는 페이지에서 표시되는 글자의 서체 및 크기를 설정하기 위한 항목이다. 예컨대, 사용자는 서체를 '고딕'으로 설정할 수 있다. 글자의 크기는 12 point로 설정될 수 있다.
도 5는 전자책과 관련한 피드백의 설정 화면의 예시도이다. 도 5 (a)를 참조하면, 표시부(112)는 제어부(190)의 제어 하에, 피드백 설정 화면(500)을 표시할 수 있다. 도 5 (a) 도시된 바와 같이, 제어부(190)는 청각 설정(510)의 선택(예, 해당 체크박스에 대한 탭)을 검출한다. 제어부(190)는 청각 설정(510)의 선택에 응답하여 해당 체크박스를 체크하여 표시하도록 제어한다. 여기서 청각 설정(510) 이외에 촉각 설정(520) 및 시각 설정(530)도 선택될 수 있다. 이들 중 하나 또는 둘이 선택될 수도 있다. 또한 상기 설정(510, 520, 530)들 모두 선택되지 않을 수도 있다. 즉 아무것도 선택되지 않은 경우 제어부(190)는 피드백을 제공하지 않는다.
제어부(190)는 페이지가 변형될 때, 설정된(즉, 체크된 체크박스에 해당되는) 피드백을 제공한다. 사용자에게 제공할 피드백으로써 시각적 피드백이 설정된 경우, 제어부(190)는 도 2에 도시된 바와 같이 페이지가 볼록하게 변형되는 애니메이션을 제공할 수 있다. 이렇게 페이지가 볼록하게 변형됨에 따라 텍스트, 메모, 하이라이트된 정보 등과 같은 해당 페이지의 내용들도 볼록하게 변형될 수 있다.
촉각적 피드백이 설정된 경우, 제어부(190)는 진동 모터(180)를 구동하여 촉각적 피드백을 제공할 수 있다. 예컨대, 제어부(190)는 터치의 움직임에 응답하여 진동을 발생시킨다. 이때 해당 페이지가 빳빳한 매거진으로 설정된 경우 상대적으로 페이지가 얇은 신문으로 설정된 경우와 비교하여 강한 진동이 발생될 수 있다.
청각적 피드백이 설정된 경우, 제어부(190)는 오디오 처리부(160)를 제어하여 청각적 피드백을 제공할 수 있다. 특히 제어부(190)는 페이지가 넘어갈 때, 해당 페이지와 연관된 청각적 피드백을 제공할 수 있다. 도 5 (b)를 참조하면, 표시부(112)는 청각 설정(510)에 있어 예컨대, TTS(511), 알람(Alarm; 512), 음악(music; 513) 및 음성(voice; 514)을 표시할 수 있다.
사용자에게 제공해줄 수 있는 청각적 피드백으로써 TTS(511)가 설정된 경우, 제어부(190)는 페이지가 넘어갈 때, 해당 페이지에 연관된 정보 예컨대, 챕터(chapter)의 제목, 색인(index), 메모, 하이라이트된 정보 등을 음성데이터로 변환하여 출력할 수 있다. 여기서 '페이지가 넘어갈 때'는 제어부(190)가 페이지를 넘기기 위한 터치제스처를 검출한 시점이 될 수 있다. 예컨대, 제어부(190)는 드래그나 플릭을 검출한다. 검출된 드래그나 플릭의 방향이 페이지를 넘기는 방향(예, 좌에서 우)인 경우, 제어부(190)는 상기 터치제스처의 검출 시점을 페이지가 넘어가는 시점으로 결정할 수 있다. 즉 제어부(190)는 해당 페이지가 완전히 넘어가지 않은 상태에서 해당 페이지와 연관된 청각적 피드백을 제공할 수 있다.
TTS(511)와 관련한 청각적 피드백은 좀 더 세부적으로 설정될 수 있다. 예컨대 도 5 (c)를 참조하면, 음성데이터로 변환 가능한 텍스트 정보는 하이라이트된 정보(예, 해당 페이지에서 밑줄 쳐진 부분), 북마크 정보(예, 북마크된 해당 페이지의 쪽 번호), 색인 및 메모 등에서 적어도 하나가 될 수 있다. 예컨대, 도 5 (c)에 도시된 바와 같이 하이라이트가 설정된 경우, 제어부(190)는 페이지가 넘어갈 때, 해당 페이지의 하이라이트 정보를 음성 데이터로 변환하여 출력할 수 있다.
가로모드(landscape mode)인 경우 제어부(190)는 좌우로 두 페이지를 표시하도록 표시부(112)를 제어할 수 있다. 세로모드(portrait mode)인 경우 제어부(190)는 한 페이지를 표시하도록 표시부(112)를 제어할 수 있다. 제어부(190)는 제 1 페이지를 표시하는 중에, 표시된 제 1 페이지에서 페이지를 넘기기 위한 터치제스처(예, 제 1 드래그)를 검출할 수 있다. 제어부(190)는 검출된 제 1 드래그에 응답하여 제 1 페이지를 볼록하게 변형하면서 넘기고, 제 2 페이지를 표시할 수 있다. 알람(512)이 설정된 상태이고 표시된 제 2 페이지가 마지막으로 저장된 페이지인 경우(예컨대, 사용자가 78쪽을 읽는 중에 전자책 앱을 종료한 경우 마지막으로 저장된 페이지는 78쪽임), 제어부(190)는 알람음을 스피커로 출력할 수 있다. 제어부(190)는 제 2 페이지에서 페이지를 넘기기 위한 터치제스처(예, 제 2 드래그)를 검출할 수 있다. 제어부(190)는 검출된 제 2 드래그에 응답하여 제 2 페이지를 볼록하게 변형하면서 넘길 수 있다.
제어부(190)는, 이전 터치제스처(예, 제 1 드래그)와 현재 터치제스처(예, 제 2 드래그)의 검출된 시간 차이가 미리 설정된 임계 시간(예, 2초) 이내이고 제 2 페이지가 마지막으로 저장된 페이지인 경우, 현재 검출된 터치제스처 즉, 제 2 드래그에 응답하지 않을 수 있다. 즉 제 2 페이지는 넘어가지 않을 수 있다. 다시 말해 사용자가 제 2 페이지를 확인하지 않고 빨리 넘기려고 할 경우 제어부(190)는 제 2 페이지를 넘기지 않는 시각적 피드백을 제공할 수 있다. 또한 제어부(190)는, 이전 터치제스처와 현재 터치제스처의 검출된 시간 차이가 미리 설정된 임계 시간 이내이고 상기 제 2 페이지와 연관된 사용자 입력 정보(예, 하이라이트 등)가 있는 경우에도, 현재 검출된 제 2 드래그에 응답하지 않을 수 있다.
음악(513)이 설정된 경우, 제어부(190)는 음악 재생 정보(142b)를 바탕으로 음악을 재생할 수 있다. 도 5 (d)를 참조하면, 제어부(190)는 음악(513)의 설정 정보를 바탕으로 음악의 재생 구간을 전체 또는 일부로 결정할 수 있다. 또한 제어부(190)는 음악(513)의 설정 정보를 바탕으로 음악의 재생 시점을 페이지가 넘어갈 때 또는 페이지가 표시될 때로 결정할 수 있다. 예컨대, 'My way'라는 곡에서 재생 구간 1분에서 2분 사이가 78 페이지와 연관되어 있다. 즉 사용자는 예전에 78페이지를 볼 때 'My way'라는 곡의 1분~2분 구간을 듣고 있었다. 이러한 예시의 경우 제어부(190)는 78페이지가 넘어갈 때 또는 표시될 때, My way의 처음부터 전 구간을 재생하거나 또는 My way에서 1분~2분 사이의 일부 구간을 재생할 수 있다. 즉 제어부(190)는 해당 페이지가 완전히 넘어가지 않은 상태에서 또는 해당 페이지가 표시될 경우, 해당 페이지와 연관된 음악의 재생을 시작할 수 있다.
도 6은 페이지와 연관시켜 사용자 입력 정보를 저장하는 방법을 설명하기 위한 흐름도이고, 도 7은 저장된 사용자 입력 정보의 일 예를 설명하기 위한 도면이다. 도 6을 참조하면, 제어부(190)는 대기 상태일 수 있다. 예컨대, 제어부(190)는 표시부(112)를 제어하여 전자책 앱의 실행을 위한 아이콘을 포함하는 홈 화면을 표시한다. 제어부(190)는 전자책 앱의 실행 요청과 관련된 터치제스처를 검출할 수 있다. 전자책 앱의 실행 요청이 검출되면, 제어부(190)는 전자책 앱을 실행하여 책장 화면을 표시하게 하거나 또는 이전에 실행된 전자책의 페이지를 표시하게 할 수 있다.
단계 601에서 제어부(190)는 전자책의 페이지를 데이터베이스에서 읽어 와 표시하도록 제어한다. 전자책이 처음으로 실행되는 경우 목차나 또는 첫 페이지가 표시될 수 있다. 이전에 실행된 전자책인 경우 마지막으로 저장된 페이지(즉, 사용자가 마지막으로 본 페이지)가 표시될 수 있다. 표시부(112)는 제어부(190)의 제어 하에, 실제 종이책을 펼쳐서 책상에 놓았을 때 페이지가 볼록해지는 것처럼, 페이지를 볼록하게 표시할 수 있다. 물론, 페이지가 평평하게 표시될 수 있다. 이렇게 페이지가 볼록 또는 평평하게 표시될 것인지는 휴대 단말기(100)의 환경 설정에서 사용자에 의해 설정될 수 있는 사항이다. 또한, 표시부(112)는 페이지의 모서리를 볼륨감 있게 표시할 수 있다. 즉 제어부(190)는 현재 표시된 페이지의 쪽 번호(page number) 를 기준으로 남은 페이지의 수에 비례하여 전자책의 볼륨을 표시하도록 제어할 수 있다. 예컨대, 전자책의 총 페이지 수가 100이고 현재 표시된 페이지의 쪽 번호가 21인 경우, 남은 페이지는 80이다. 이에 따라 표시부(112)는 제어부(190)의 제어 하에, 80 페이지에 해당하는 볼륨을 모서리에 표시한다. 만약 남은 페이지가 20이면, 표시부(112)는 20 페이지에 해당하는 볼륨을 모서리에 표시한다. 또한 제어부(190)는 페이지의 두께에 비례하여 전자책의 볼륨을 표시하게 할 수 있다. 예컨대, 표 1을 참조하면, 페이지의 수가 같더라도, 스케치북이 인쇄용지보다 볼륨이 크다.
단계 602에서 제어부(190)는 터치스크린(110), 키입력부(120) 또는 마이크(MIC)로부터 사용자 입력 정보를 수신한다. 사용자는 표시된 페이지와 연관하여 사용자 입력 정보를 휴대 단말기(100)에 입력할 수 있다. 이러한 입력 방법은 터치스크린 기반 하에 다양한 방법들이 있을 수 있다. 예컨대, 터치스크린(110)은 제어부(190)의 제어 하에, 페이지에 키패드 화면을 오버랩하여 표시할 수 있다. 제어부(190)는 키패드 화면이 표시된 터치스크린(110)으로부터 사용자 입력 정보를 수신할 수 있다. 또한 터치스크린(110)은 페이지에 음성 메모를 위한 녹음 실행 화면을 오버랩하여 표시할 수 있다. 녹음 실행 화면에서 녹음 버튼이 선택(예, 탭)된 경우, 제어부(190)는 마이크(MIC)와 오디오 처리부(160)를 구동시킨다. 그리고 제어부(190)는 마이크(MIC) 및 오디오 처리부(160)로부터 음성 데이터를 수신할 수 있다. 단계 603에서 제어부(190)는 수신된 사용자 입력 정보 또는 이를 나타내는 태그(예컨대, 음성 파일을 나타내는 아이콘)를 해당 페이지와 함께 표시하도록 제어한다. 단계 604에서 제어부(190)는 수신된 사용자 입력 정보를 이력 정보(142)로써 저장부(140)에 저장한다. 사용자 입력 정보는 페이지와 연관되어 저장된다. 예컨대, 도 7A를 참조하면, 하이라이트와 연관되어 77페이지 11줄이 저장되고, 북마크와 연관되어 80페이지가 저장되며, 메모와 연관되어 90페이지가 저장되며, 음성 메모와 연관되어 50페이지가 저장될 수 있다. 또한, 하나의 페이지에 사용자 입력 정보 중 하이라이트, 북마크, 메모 및 음성 메모가 모두 저장될 수 있다. 또한, 도 7B를 참조하면 사용자 입력 정보 중 하이라이트, 북마크, 메모 및 음성 메모는 별도로 독립되어 저장될 수 있다.
도 8은 페이지와 연관시켜 음악 재생 정보를 저장하는 방법을 설명하기 위한 흐름도이고, 도 9는 저장된 음악 재생 정보의 일 예를 설명하기 위한 도면이다.
도 8을 참조하면, 단계 801에서 제어부(190)는 전자책 앱을 실행하고 전자책의 페이지를 표시하도록 제어할 수 있다. 최근의 휴대 단말기 예컨대, 스마트폰 및 태블릿 PC 등은 동시에 여러 작업(multitask)을 할 수 있다. 이에 따라 단계 802에서 제어부(190)는 전자책 앱이 실행되는 중에 사용자의 선택에 응답하여 음악을 재생할 수 있다. 여기서 전자책 앱 실행 중에 음악 재생 방법은 다양하다. 예시를 들면, 제어부(190)는 터치스크린(110)으로부터 플레이어의 실행을 위한 터치제스처를 검출할 수 있다. 제어부(190)는 검출된 터치제스처에 응답하여 페이지에 플레이어 실행 화면을 오버랩하여 표시하도록 제어할 수 있다. 그리고 제어부(190)는 플레이어 실행 화면에 대한 터치제스처에 응답하여 음악을 재생한다. 제 1 화면(예, 플레이어 실행 화면)이 제 2 화면(예, 전자책 앱 실행 화면)에 오버랩되어 표시될 수도 있지만 표시부(112)는 제어부(190)의 제어 하에, 화면을 둘로 분할하여 하나에는 전자책 앱의 실행 화면 그리고 다른 하나에는 MP3 플레이어 실행 화면을 표시할 수도 있다. 또한 제어부(190)는 화면 전환을 위한 터치제스처에 응답하여 터치스크린(110)의 전체 화면을 전자책 앱의 실행 화면에서 MP3 플레이어 실행 화면으로 그리고 그 반대로 전환할 수 있다. 또한, 전자책 앱에서 음악이 재생될 수 있따. 한편 음악이 재생중인 상태에서 전자책 앱이 실행될 수 있다. 즉 플레이어가 먼저 실행될 수 있다. 이러한 경우 단계 802는 생략될 수 있다.
단계 803에서 제어부(190)는 재생 중인 음악의 음악 재생 정보를 저장할지 여부를 결정한다. 예컨대, 도 5 (b)를 참고하면, 사용자에게 제공할 청각적 피드백으로써 음악(513)이 설정된 경우, 제어부(190)는 음악 재생 정보를 저장하기로 결정한다. 또한 제어부(190)는 음악(513)의 설정 여부와 상관없이 사용자에게 음악 재생 정보를 저장할지 여부를 문의할 수 있다. 예컨대, 문의 방법은 저장 여부를 문의하기 위한 팝업창을 페이지에 오버랩하여 표시할 수 있다. 제어부(190)는 팝업창을 통한 사용자의 선택에 응답하여 저장 여부를 결정할 수 있다. 여기서 문의 시점은 다양한 시점이 될 수 있다. 예컨대, 제어부(190)는 페이지가 표시되고 있는 상태에서 음악의 재생이 시작될 때, 음악이 재생 중인 상태에서 페이지가 넘어갈 때, 음악이 재생 중인 상태에서 페이지의 표시가 종료될 때 또는 전자책의 실행이 종료될 때 음악 재생 정보의 저장 여부를 문의하기 위한 팝업창을 표시할 수 있다.
단계 803에서 음악 재생 정보가 저장되기로 결정됨에 따라, 단계 804에서 제어부(190)는 음악 재생 정보를 해당 페이지와 연관시켜 저장부(140)에 저장한다. 예컨대, 도 9를 참조하면, 71~76페이지와 연관되어 총 재생 시간이 3분이고 가수가 'Frank Sinatra'이며 노래 제목이 'My Way'인 음악 재생 정보가 저장부(140)에 저장된다. 음악 재생 정보에서 71~72 페이지의 재생 구간은 0~1분이고, 73~74 페이지의 재생 구간은 1~2분이며, 75~76페이지의 재생 구간은 2~3분이다. 다음에 71페이지가 표시될 경우 제어부(190)는 'My Way'의 재생을 위한 입력이 없이도, 71페이지에 해당되는 0~1분의 재생 구간 또는 전 구간을 자동으로 재생할 수 있다. 또한, 음악 재생 정보 중 가수, 재생 시간, 노래 제목 및 각 페이지에서의 재생 구간은 별도로 독립되어 저장될 수 있다.
도 10은 본 발명에 따른 피드백 제공 방법을 개략적으로 설명하기 위한 흐름도이다. 도 10을 참조하면, 단계 1001에서 제어부(190)는 전자책 앱을 실행하고 전자책의 페이지를 표시하도록 제어할 수 있다. 단계 1002에서 제어부(190)는 페이지에서 터치제스처를 검출할 수 있다. 터치제스처가 검출되면 단계 1003에서 제어부(190)는 검출된 터치제스처에 응답하여 페이지 넘김 여부를 결정한다. 예컨대, 화면 좌/우측에 각각 제 1 및 제 2 페이지가 표시되고 있다. 터치제스처의 최초 터치 지점이 제 2 페이지에서 검출되고 터치제스처가 제 1 페이지에서 터치 해제 되었다. 이와 같은 경우 제어부(190)는 제 2 페이지를 좌측으로 넘기기로 결정한다.
단계 1003에서 페이지가 넘어가도록 결정됨에 따라, 단계 1004에서 제어부(190)는 피드백 설정 정보(143)를 참조하여 피드백 설정 여부를 확인한다. 피드백이 설정된 경우 단계 1005에서 제어부(190)는 설정된 피드백과 함께, 페이지가 넘어가는 애니메이션을 제공하도록 제어한다. 즉 단계 1005에서 제어부(190)는 이력 정보(142)와 피드백 설정 정보(143)를 바탕으로, 촉각적 피드백, 청각적 피드백 및 시각적 피드백 중에서 적어도 하나를 제공한다. 이때 페이지가 넘어가는 중에 피드백(예컨대, 진동, 효과음, TTS 등)이 제공될 수 있고, 페이지가 다 넘어간 후 피드백(예, 음악 재생)이 제공될 수도 있다. 피드백이 설정되지 않은 경우 단계 1006에서 제어부(190)는 피드백 없이, 페이지가 넘어가는 애니메이션을 제공하도록 제어한다. 단계 1007에서 제어부(190)는 이력 정보(142)를 업데이트한다. 예컨대 제어부(190)는 넘어간 페이지를 읽은 페이지로 업데이트할 수 있다.
이하에서는 화면 예시도들을 참조하여 본 발명에 대해 좀 더 구체적으로 설명한다. 설명에 앞서, 본 발명에서 화면의 표시 모드는 가로 모드(landscape mode)와 세로 모드(portrait mode)로 구분된다. 따라서, 일반적으로 휴대 단말기(100)는 가로 모드인 경우 좌우로 두 페이지를 표시하고, 세로 모드인 경우 한 페이지를 표시한다. 물론 본 발명을 이에 한정하는 것은 아니다. 사용자가 휴대 단말기(100)를 회전시키면 휴대 단말기(100)의 센서부는 이를 검출하고, 검출 정보를 제어부(170)로 전달한다. 제어부(170)는 전달받은 검출 정보를 기반으로 휴대 단말기(100)의 표시 모드를 결정할 수 있다.
도 11A 내지 도 13B는 본 발명의 일 실시예에 따른 피드백 제공 방법을 설명하기 위한 화면 예시도들이다. 도 11A 내지 도 13B를 참조하면, 제어부(190)는 화면 좌/우로 두 페이지를 표시하도록 제어하고, 터치제스처에 응답하여 페이지를 볼록하게 변형할 수 있다. 여기서 터치제스처의 정보(예컨대, 터치 위치, 이동 방향, 이동 거리, 빠르기 등)에 따라 페이지의 변형이 각각 다를 수 있다. 또한 제어부(190)는 시각적 피드백을 제공(즉, 페이지를 볼록하게 변형)함과 아울러, 청각적 피드백 및 촉각적 피드백을 제공할 수 있다.
도 11A를 참조하면, 사용자는 터치스크린의 제 1 우하귀 지점(1101)에 터치 입력 수단을 터치할 수 있다. 그러면, 제어부(190)는 제 1 우하귀 지점(1101)에 해당되는 타켓 노드를 검출한다. 사용자는 제 1 우하귀 지점(1101)을 터치한 상태에서 터치 입력 수단을 음(-)의 X축 방향(즉, 터치스크린의 좌하귀 쪽)으로 이동시킬 수 있다. 그러면, 제어부(190)는 터치의 움직임(1102)을 검출한다. 이러한 터치의 움직임(1102)에 응답하여 제어부(190)는 상술한 바와 같이, 촉각적 피드백(예, 진동)을 제공할 수 있다. 예컨대, 제 1 페이지(1110)가 빳빳한 매거진으로 설정된 경우 강한 진동이 발생되고 상대적으로 제 1 페이지(1110)가 얇은 신문으로 설정된 경우 약한 진동이 발생될 수 있다. 이때 촉각적 피드백은 배터리를 불필요하게 소모할 수 있으므로, 시간제한이 있을 수 있다. 즉 터치의 움직임에 반응하여 연속적으로 진동될 수도 있고, 터치의 움직임(1102)의 검출 후 예컨대, 1초 정도만 진동될 수도 있다.
제어부(190)는 터치의 움직임(1102)에 응답하여 타겟 노드를 좌하귀 쪽으로 이동시킨다. 이때 제어부(190)는 타겟 노드를 중력 방향과 직각인 방향으로 이동시킬 수 있다. 또한 제어부(190)는 타겟 노드를 중력 방향을 기준으로, 결정된 기울기(예를 들어, -30 ~ +30도)로 이동시킬 수 있다. 제어부(190)는 이동된 타켓 노드의 변위를 계산한다. 구체적으로, 제어부(190)는 타켓 노드의 현재 위치, 빠르기, 이동 거리 및 이동 방향 등을 계산한다. 다음으로 제어부(190)는 계산된 변위 값을 이용하여 각각의 노드들에 작용하는 힘들을 계산한다. 다음으로 제어부(190)는 계산된 힘들을 이용하여 각각의 노드들의 위치 값들을 계산한다. 다음으로 제어부(190)는 계산된 위치 값들을 이용하여 애니메이션을 생성한다. 그리고 제어부(190)는 생성된 애니메이션을 표시하도록 표시부(112)를 제어한다. 도 11A는 터치 입력 수단이 제 1 우하귀 지점(1101)에서 좌하귀 쪽으로 이동하여 제 1 하변 지점(1103)에 위치할 때의 애니메이션(즉, 페이지의 변형된 모습)을 도시한 것이다. 타겟 노드의 이동 방향(1101 -> 1103)을 따라 제 1 페이지(1110)가 볼록하게 변형된다. 또한 타겟 노드가 있는 모서리 영역(1104)이 다른 모서리 영역(1105)과 비교하여, 책등(spine)에 가장 근접함을 알 수 있다. 한편, 도 11A에서 도면 부호 1120은 터치스크린의 우측에 표시되는 제 2 페이지를 나타낸 것이고, 도면 부호 1130은 두 페이지(1110, 1120)을 구분하는 중앙선을 나타낸 것이다.
도 11B를 참조하면, 사용자는 터치 입력 수단을 제 1 하변 지점(1103)에서 좀 더 좌하귀 쪽으로 이동시킬 수 있다. 이에 따라 제어부(190)는 터치의 움직임(1106)을 검출하고 이에 응답하여 애니메이션을 생성하며, 생성된 애니메이션을 표시하도록 표시부(112)를 제어한다. 즉 도 11B는 터치 입력 수단이 제 2 하변 지점(1107)에 위치할 때의 애니메이션을 도시한 것이다. 도 11A와 도 11B를 비교하면, 전체적인 모습은 볼록하나 도 11A에 비해 도 11B에서 제 1 페이지(1110)가 좀 더 크게 볼록해 진 것을 알 수 있다. 따라서, 사용자가 터치를 해제하면 도 11A의 페이지는 안 넘어가고 반면, 도 11B의 페이지는 넘어갈 수 있다. 다시 말해, 도 11A의 경우 사용자가 제 1 하변 지점(1103)에서 터치를 해제하면, 힘의 방향(즉, 페이지의 무게 중심)이 오른쪽으로 작용할 수 있다. 이에 따라 제 1 페이지(1110)는 안 넘어가고 제자리로 돌아간다. 반면, 도 11B의 경우 사용자가 제 2 하변 지점(1107)에서 터치를 해제하면, 힘의 방향이 왼쪽으로 작용할 수 있다. 이에 따라 제 1 페이지(1110)는 도 11D에 도시된 바와 같이, 반대편으로 넘어갈 수 있다. 결국 페이지 넘김의 결정은 페이지의 무게 중심의 방향과 연관될 수 있다.
또한 페이지 넘김의 결정은 터치의 이동 방향과 연관될 수 있다. 예컨대, 도 11A를 참조하면, 제어부(190)는 터치의 움직임(1102)를 검출하고, 제 1 하변 지점(1103)에서 터치 해제를 검출할 수 있다. 터치 해제 전에 움직임(1102)의 방향이 도시된 바와 같이 제 1 페이지(1120)를 넘기는 쪽인 경우, 제어부(190)는 제 1 페이지(1110)를 좌측으로 넘길 수 있다.
또한 페이지 넘김의 결정은 터치의 빠르기와 연관될 수 있다. 예컨대, 도 11A를 참조하면, 터치 입력 수단이 예컨대, 플릭에 해당되는 30cm/sec의 빠르기로 이동(1102)하다가 터치 해제되면, 제 1 페이지(1120)는 좌측으로 넘어갈 수 있다.
또한 페이지의 넘김의 결정은 터치의 이동 거리와 연관될 수 있다. 예컨대, 도 11B를 참조하면, 제어부(190)는 터치의 이동 거리 예컨대, 제 1 우하귀 지점(1101)에서 제 2 하변 지점(1107)까지의 거리를 산출한다. 제어부(190)는 산출된 거리가 미리 설정된 임계치(예, 70cm)를 초과할 경우 제 1 페이지(1110)를 좌측으로 넘길 수 있다.
또한 페이지의 넘김의 결정은 터치 지점과 연관될 수 있다. 예컨대, 도 11C를 참조하면, 최초 터지 지점은 제 1 페이지(1110)이고 터치가 움직여서 터치 해제된 지점은 제 2 페이지(1120)인 경우, 제어부(190)는 제 1 페이지(1110)를 좌측으로 넘길 수 있다.
이상으로 페이지의 넘김의 결정은 페이지의 무게 중심의 방향, 터치의 이동 방향, 터치의 이동 거리 또는 터치 지점과 연관될 수 있다. 어느 것과 연관될지는 사용자 또는 제조사에 의해 설정될 수 있다.
제 1 페이지(1110)가 넘어가도록 결정된 경우 제어부(190)는 제 1 페이지(1110)와 연관된 청각적 피드백을 제공할 수 있다. 예컨대, 도 11A 내지 도 11C를 참조하면, 제 1 페이지(1110)가 넘어가는 중에 예컨대, 효과음, TTS, 음악 또는 알람 등이 제공될 수 있다. 물론 제 1 페이지(1110)와 연관하여 이력 정보(142)가 없거나 또는 청각적 피드백이 설정되어 있지 않은 경우, 청각적 피드백이 제공되지 않을 수 있다. 여기서 효과음, TTS, 음악 또는 알람 등과 같은 청각적 피드백의 제공 방법에 대해선 앞서 도 1 내지 도 10을 참조로 하여 상세히 설명하였다.
도 11D를 참조하면, 제 1 페이지(1110)가 좌측으로 다 넘어간 경우 우측에 새로 표시된 제 3 페이지(1140)와 연관된 예컨대, 음악이 재생될 수도 있다. 물론 제 3 페이지(1140)와 연관하여 음악 재생 정보(142b)가 없거나 또는 음악 재생으로 설정되어 있지 않은 경우, 음악이 재생되지 않을 수 있다. 여기서 음악 재생 방법에 대해선 앞서 도 1 내지 도 10을 참조로 하여 상세히 설명하였다.
도 11C 및 도 11D를 참조하면, 사용자는 터치를 계속 유지한 상태에서 터치 입력 수단을 제 2 하변 지점(1107)에서 좀 더 왼쪽으로 이동시킬 수 있다. 즉, 사용자는 좌우 페이지를 구분하는 중앙선(1130)을 넘어, 터치입력수단을 제 3 하변 지점(1108)에 위치시킬 수 있다. 이 경우 제어부(190)는 제 1 페이지(1110)의 뒷면(예를 들어, 53페이지)의 일부가 표시되게 할 수 있다. 사용자가 제 3 하변 지점(1108)에서 터치를 해제한 경우, 제어부(190)는 제 1 페이지(1110)를 좌측으로 넘겨 도 11D에 도시된 바와 같이, 53페이지의 전체를 좌측에 표시되게 할 수 있다. 또한, 터치입력수단이 굳이 중앙선(1130)을 넘지 않아도 현재 조작되는 페이지의 뒷면이 표시될 수 있을 것이다. 예컨대, 제어부(190)는 터치입력수단이 미리 설정된 임계치(예컨대, 중앙선(1130)에서부터 10mm) 이내로 중앙선에 접근하면 뒷면을 표시하도록 표시부(112)를 제어할 수 있다. 여기서, 뒷면 표시를 위한 임계치는 10mm가 아닌 다른 값으로 변경될 수 있다.
제어부(190)는 청각적 피드백에 대응되는 청각 피드백 창을 페이지(특히, 페이지의 여백이나 터치의 움직임 연장선상)에 표시하도록 표시부(112)를 제어할 수 있다. 예컨대, 도 11C를 참고하면, 표시부(112)는 제어부(190)의 제어 하에, 제 2 페이지(1120)의 상단 여백에 청각 피드백 창(1140)을 표시할 수 있다. 제어부(190)는 터치가 제 1 페이지(1110)에서 제 2 페이지(1120)로 넘어갈 때, 청각 피드백 창(1140)을 표시하도록 제어할 수 있다. 또한 제어부(190)는 페이지를 넘기기로 결정된 경우(예컨대, 제 1 페이지(1110)을 우측에서 좌측으로 넘기기로 결정된 경우), 청각 피드백 창(1140)을 표시하도록 제어할 수 있다. 즉 청각 피드백 창(1140)은 청각적 피드백이 무엇인지 사용자가 인지할 수 있게 하기 위함이다. 예컨대, 도 11C에 도시된 바와 같이 청각 피드백 창(1140)에 "음성 메모 재생 중"이라는 문장이 표시될 수 있다. 상기 문장 대신, 이를 나타내는 아이콘이 표시될 수도 있다. 또한 음악이 재생 중인 경우에는 "음악 재생 중" 또는 이를 나타내는 아이콘이 청각 피드백 창(1140)에 표시될 수 있다. 또한 TTS 중인 경우에는 "TTS" 또는 이를 나타내는 아이콘이 청각 피드백 창(1140)에 표시될 수 있다.
청각 피드백 창(1140)에서 상세 정보 표시 버튼 예컨대, 'more(1141)'가 선택되면, 표시부(112)는 제어부(190)의 제어 하에, 청각적 피드백(예컨대, 음성 메모)의 상세 정보를 별도의 팝업 창을 통해 표시할 수 있다. 청각 피드백 창(1140)의 표시 여부는 사용자의 설정에 따라 변경 가능하다.
청각 피드백 창(1140)은 측면 여백(예컨대, 도면 부호 1150으로 표시된 영역)이나 하단 여백(예컨대, 도면 부호 1160으로 표시된 영역)에서도 표시될 수 있다. 이상으로 본 발명에서 페이지의 여백은 페이지를 구성하는 콘텐츠(예, 텍스트)가 채워지지 않은 빈자리(예컨대, 페이지의 상단, 하단 및 측면 등)를 의미한다. 청각 피드백 창(1140)의 표시 위치는 터치의 위치, 터치의 움직임의 방향 및 터치의 움직임의 빠르기 중 적어도 하나가 고려될 수 있다.
도 11E를 참고하면, 표시부(112)는 제어부(190)의 제어 하에, 터치의 움직임의 방향의 연장선(1190)의 인접하는 곳에 청각 피드백 창(1190)을 표시할 수 있다. 여기서 인접하는 곳은 예컨대, 연장선(1190)의 상/하로 3cm이내가 될 수 있다. 또한 표시부(112)는 제어부(190)의 제어 하에, 터치의 움직임의 방향의 연장선(1190)에서 가까운 여백(예컨대, 도면 부호 1180으로 표시된 영역)에 청각 피드백 창(1190)을 표시할 수도 있다.
도 12를 참조하면, 사용자는 터치 입력 수단을 터치스크린의 제 2 우하귀 지점(1201)에 터치한 후, 그 지점에서 좌상귀 쪽으로 터치 입력 수단을 이동할 수 있다. 그러면 제어부(190)는 터치의 움직임(1202)을 검출한다. 이러한 터치의 움직임(1202)에 응답하여 제어부(190)는 상술한 바와 같이, 촉각적 피드백(예, 진동)을 제공할 수 있다. 제어부(190)는 터치의 움직임(1202)에 응답하여 애니메이션을 생성하고, 생성된 애니메이션을 표시하도록 표시부(112)를 제어한다. 즉 도 12는 터치 입력 수단이 제 2 우하귀 지점(1201)에서 좌상귀 쪽으로 이동하여 제 4 하변 지점(1203)에 위치할 때의 애니메이션을 도시한 것이다. 도 11A와 도 12를 비교하면, 터치 입력 수단의 이동 방향이 다르다. 따라서 변형된 페이지의 모습이 다름을 알 수 있다.
도 13A 및 도 13B를 참조하면, 사용자는 터치 입력 수단을 터치스크린의 우변 지점(1301)에 터치한 후, 반대편 즉, 좌변 쪽으로 터치 입력 수단을 이동할 수 있다. 즉 도 13A는 터치 입력 수단이 우변 지점(1301)에서 좌변 쪽으로 이동하여 제 1 중앙 지점(1302)에 위치할 때의 애니메이션을 도시한 것이다. 도 13A에 도시된 바와 같이 사용자가 페이지 가운데의 우변 지점(1301)을 터치한 후 터치 입력 수단을 왼쪽으로 이동하면, 페이지는 위아래가 상호 대칭적으로 균일하게 변형된다. 한편, 사용자는 터치 입력 수단을 제 1 중앙 지점(1302)에서 좀 더 좌변 쪽으로 이동시킬 수 있다. 즉 도 13B는 터치 입력 수단이 제 2 중앙 지점(1303)에 위치할 때의 애니메이션을 도시한 것이다. 도 13A와 도 13B를 비교하면, 전체적인 모습은 모두 볼록하다. 단 도 13A에서의 페이지에 비해 도 13B에서의 페이지가 좀 더 크게 볼록해 진 것을 알 수 있다. 또한 도 11A와 도 13A를 비교하면, 최초 터치 지점이 다르다. 따라서, 변형된 페이지의 모습이 다름을 알 수 있다.
도 13B 및 도 13C를 참조하면, 사용자는 터치 입력 수단을 제 2 중앙 지점(1303)에서 중앙선(1330)을 넘어 제 3 중앙 지점(1304)으로 이동할 수 있다. 그러면, 제어부(190)는 도 13C에 도시한 바와 같이, 다음 페이지(예컨대, 53페이지)의 일부가 표시되도록 표시부(112)를 제어할 수 있다. 사용자가 제 3 중앙 지점(1304)에서 터치를 해제한 경우, 제어부(190)는 뒷면의 전체를 좌측에 표시되게 할 수 있다. 또한, 앞서 설명한 바와 같이 터치입력수단이 굳이 중앙선(1304)을 넘지 않아도 현재 조작되는 페이지의 뒷면이 표시될 수 있을 것이다. 제 1 페이지(1310)가 넘어가도록 결정된 경우 제어부(190)는 제 1 페이지(1310)와 연관된 청각적 피드백을 제공할 수 있다. 예컨대, 제 1 페이지(1310)가 넘어가는 중에 예컨대, 효과음, TTS, 음악 또는 알람 등이 제공될 수 있다. 또한 제어부(190)는 청각적 피드백에 대응되는 청각 피드백 창을 페이지(특히, 페이지의 여백이나 터치의 움직임 연장선상)에 표시하도록 표시부(112)를 제어할 수 있다. 예컨대, 도 13C를 참고하면, 표시부(112)는 제어부(190)의 제어 하에, 제 2 페이지(1320)의 상단 여백에 청각 피드백 창(1340)을 표시할 수 있다.
도 14A 내지 도 14C는 본 발명의 다른 실시예에 따른 피드백 제공 방법을 설명하기 위한 화면 예시도들이다. 도 14A 내지 도 14C를 참조하면, 제어부(190)는 하나의 페이지를 표시하도록 제어하고, 터치제스처에 응답하여 페이지를 볼록하게 변형할 수 있다. 여기서 터치제스처의 정보(예컨대, 터치 위치, 이동 방향, 이동 거리, 빠르기 등)에 따라 페이지의 변형이 각각 다를 수 있다. 또한 제어부(190)는 시각적 피드백을 제공(즉, 페이지를 볼록하게 변형)함과 아울러, 청각적 피드백 및 촉각적 피드백을 제공할 수 있다.
도 14A를 참조하면, 사용자는 터치 입력 수단을 터치스크린의 우상귀 지점(1401)에 터치한 후, 그 지점에서 좌상귀 쪽으로 터치 입력 수단을 이동할 수 있다. 그러면, 제어부(190)는 터치의 움직임(1402)을 검출한다. 이러한 터치의 움직임(1402)에 응답하여 제어부(190)는 상술한 바와 같이, 촉각적 피드백(예, 진동)을 제공할 수 있다. 또한 제어부(190)는 터치의 움직임(1402)에 응답하여 제 1 페이지(1410)를 볼록하게 변형한다. 즉 도 14A는 터치 입력 수단이 우상귀 지점(1401)에서 좌상귀 쪽으로 이동하여 제 1 상변 지점(1403)에 위치할 때의 애니메이션을 도시한 것이다.
도 14 B 및 도 14 C를 참조하면, 제어부(190)는 터치입력수단이 미리 설정된 임계치(1405; 예컨대, 화면의 좌변(1404)에서부터 10mm) 이내로 좌변(1404)에 접근하면, 제 1 페이지(1410)를 넘겨 다음 페이지(예컨대, 52페이지)를 표시하도록 표시부(112)를 제어할 수 있다. 여기서, 다음 페이지를 표시하기 위한 임계치는 10mm가 아닌 다른 값으로 변경될 수 있다. 즉 페이지 넘김의 결정은 터치 지점과 연관될 수 있다. 또한 앞서 화면 예시도들(도 11A 내지 도 13C)과 달리 14A는 하나의 페이지를 표시하는 것일 뿐이다. 따라서 페이지 넘김의 결정은 상술한 바와 같이, 페이지의 무게 중심의 방향, 터치의 이동 방향 또는 터치의 이동 거리와도 연관될 수 있다.
제 1 페이지(1410)가 넘어가도록 결정된 경우 제어부(190)는 제 1 페이지(1410)와 연관된 청각적 피드백을 제공할 수 있다. 예컨대, 도 14A 내지 도 14B를 참조하면, 제 1 페이지(1410)가 넘어가는 중에 예컨대, 효과음, TTS, 음악 또는 알람 등이 제공될 수 있다. 물론 제 1 페이지(1410)와 연관하여 이력 정보(142)가 없거나 또는 청각적 피드백이 설정되어 있지 않은 경우, 청각적 피드백이 제공되지 않을 수 있다. 여기서 효과음, TTS, 음악 또는 알람 등과 같은 청각적 피드백의 제공 방법에 대해선 앞서 도 1 내지 도 10을 참조로 하여 상세히 설명하였다. 또한 제어부(190)는 청각적 피드백에 대응되는 청각 피드백 창을 페이지(특히, 페이지의 여백이나 터치의 움직임 연장선상)에 표시하도록 표시부(112)를 제어할 수 있다. 예컨대, 도 14B를 참고하면, 표시부(112)는 제어부(190)의 제어 하에, 제 2 페이지(1420)의 상단 여백에 청각 피드백 창(1430)을 표시할 수 있다.
도 14C를 참조하면, 새로 표시된 제 2 페이지(1420)와 연관된 예컨대, 음악이 재생될 수도 있다. 물론 제 2 페이지(1420)와 연관하여 음악 재생 정보(142b)가 없거나 또는 음악 재생으로 설정되어 있지 않은 경우, 음악이 재생되지 않을 수 있다. 여기서 음악 재생 방법에 대해선 앞서 도 1 내지 도 10을 참조로 하여 상세히 설명하였다.
상술한 바와 같은 본 발명에 따른 피드백 제공 방법은 다양한 컴퓨터를 통하여 수행될 수 있는 프로그램 명령으로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 여기서 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 포함할 수 있다. 또한 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한 기록매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media)와, CD-ROM, DVD와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 롬(ROM)과, 램(RAM)과, 플래시 메모리 등과 같은 하드웨어 장치가 포함될 수 있다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다. 하드웨어 장치는 본 발명을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
본 발명에 따른 피드백 제공 방법 및 장치는 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다.
100: 제 1 휴대 단말기
110: 터치스크린 111: 터치패널
112: 표시부 120: 키 입력부
140: 저장부 141: 전자책 DB
142: 이력 정보 142a: 사용자 입력 정보
142b: 음악 재생 정보 143: 피드백 설정 정보
144: 전자책 앱 145: TTS 프로그램
146: MP3 플레이어 150: 무선통신부
160: 오디오 처리부 170: 근거리 통신모듈
180: 터치패널 컨트롤러 185: 진동 모터
190: 제어부 191: GPU

Claims (20)

  1. 터치스크린을 가지는 휴대 단말의 페이지와 연관된 피드백 제공 방법에 있어서,
    상기 터치스크린에 전자책의 제1 페이지를 표시하는 단계;
    상기 제1 페이지에서 터치를 검출하는 단계;
    상기 터치의 움직임을 검출하는 단계;
    상기 터치의 움직임에 따라 상기 전자책의 제2 페이지의 일부분을 표시하는 것에 응답하여 상기 제2 페이지에 설정된 속성에 대응하는 시각적 피드백을 제공하고, 상기 제2 페이지와 연관된 청각적 피드백을 출력하는 단계를 포함하는 것을 특징으로 하는 피드백 제공 방법.
  2. 제 1 항에 있어서,
    상기 청각적 피드백을 출력하는 단계는,
    상기 제2 페이지에 대응하는 이력 정보를 음성 데이터로 출력하기(TTS; Text To Speech), 상기 제2 페이지에 추가된 음성 메모로 출력하기 및 상기 제2 페이지에 대응되는 음악을 재생하기 중에서 하나를 수행하는 것을 특징으로 하는 피드백 제공 방법.
  3. 제 2 항에 있어서,
    상기 청각적 피드백을 출력하는 단계는,
    상기 음악에서 상기 제2 페이지에 대응되는 재생 구간만 재생하기 및 상기 음악의 전부를 재생하기 중에서 하나를 수행하는 것을 특징으로 하는 피드백 제공 방법.
  4. 제 1 항에 있어서,
    상기 터치의 움직임에 응답하여 촉각적 피드백을 제공하는 단계를 더 포함하는 것을 특징으로 하는 피드백 제공 방법.
  5. 제 1 항에 있어서,
    상기 제2 페이지에 설정된 속성은,
    상기 제2 페이지의 두께, 무게, 및 재질 중 적어도 하나를 포함하며,
    상기 시각적 피드백은,
    상기 터치의 위치, 상기 터치의 움직임의 방향 및 상기 터치의 움직임의 빠르기 중 적어도 하나에 의해 상기 전자책의 각 페이지를 상이하게 변형하는 것을 특징으로 하는 피드백 제공 방법.
  6. 제 1 항에 있어서,
    상기 청각적 피드백을 출력하는 단계는,
    상기 청각적 피드백에 대응되는 청각 피드백 창을 상기 제2 페이지에 표시하는 단계를 더 포함하는 것을 특징으로 하는 피드백 제공 방법.
  7. 제 6 항에 있어서,
    상기 청각 피드백 창은,
    상기 제2 페이지의 여백 또는 상기 터치의 움직임의 방향의 연장선에 인접하는 곳에 위치하는 것을 특징으로 하는 피드백 제공 방법.
  8. 제 6 항에 있어서,
    상기 청각적 피드백은,
    상기 제2 페이지의 넘김이 완료되기 전에 출력되는 것을 특징으로 하는 피드백 제공 방법.
  9. 제 1 항에 있어서,
    상기 청각적 피드백을 출력하는 단계는,
    상기 제2 페이지에 대응되는 이력 정보를 이용하여 청각적 피드백을 출력하는 것을 특징으로 하는 피드백 제공 방법.
  10. 제 9 항에 있어서,
    상기 청각적 피드백을 출력하는 단계는,
    상기 제2 페이지와 연관된 알람 정보가 있는 경우 알람음을 출력하는 것을 특징으로 하는 피드백 제공 방법.
  11. 제 9 항에 있어서,
    상기 제2 페이지에서 검출된 제2 터치의 움직임에 응답하여 상기 제2 페이지의 넘김 여부를 결정하는 단계를 더 포함하고,
    상기 제2 페이지의 넘김 여부를 결정하는 단계는,
    상기 터치의 움직임과 상기 제2 터치의 움직임의 검출된 시간 차이가 미리 설정된 임계 시간 이내인 경우 상기 제2 페이지를 넘기지 않기로 결정하는 것을 특징으로 하는 피드백 제공 방법.
  12. 터치스크린을 가지는 휴대 단말의 페이지와 연관된 피드백 제공 방법에 있어서,
    상기 터치스크린에 전자책의 제1 페이지를 표시하는 단계;
    상기 제1 페이지를 표시하는 동안 상기 휴대 단말로부터 음악을 재생하는 단계;
    상기 재생되는 음악을 나타내는 정보를 저장하기 위한 저장 요청을 수신하는 단계;
    상기 저장 요청에 응답하여 상기 정보를 상기 제1 페이지와 연관시켜 저장하는 단계; 및
    상기 제1 페이지에서 검출되는 터치의 움직임에 따라 상기 전자책의 제2 페이지가 표시되는 중에 상기 제1 페이지를 표시하기 위한 입력에 응답하여 상기 제1 페이지와 연관되어 저장된 정보를 이용하여 상기 음악을 재생하고, 상기 제1 페이지에 설정된 특성에 대응하는 시각적 피드백을 제공하는 단계를 포함하는 것을 특징으로 하는 피드백 제공 방법.
  13. 제 12 항에 있어서,
    상기 음악을 재생하는 단계는,
    상기 재생되는 음악에 대응되는 청각 피드백 창을 상기 제1 페이지에 표시하는 단계를 더 포함하며,
    상기 제1 페이지에 설정된 속성은, 상기 제1 페이지의 두께, 무게, 및 재질 중 적어도 하나를 포함하는 것을 특징으로 하는 피드백 제공 방법.
  14. 제 13 항에 있어서,
    상기 휴대 단말로부터 상기 음악이 재생되면, 상기 재생되는 음악을 나타내는 정보의 저장 여부를 결정하기 위한 팝업창을 표시하는 단계를 더 포함하고,
    상기 팝업창은,
    상기 제1 페이지가 표시되고 있는 상태에서 상기 음악의 재생이 시작될 때, 상기 음악이 재생 중인 상태에서 상기 제1 페이지가 넘어갈 때, 상기 음악이 재생 중인 상태에서 상기 제1 페이지의 표시가 종료될 때, 및 상기 전자책의 실행이 종료될 때 중에서 하나의 시점에 표시되는 것을 특징으로 하는 피드백 제공 방법.
  15. 터치스크린을 가지는 휴대 단말의 페이지와 연관된 피드백 제공 방법에 있어서,
    상기 터치스크린에 전자책의 제1 페이지를 표시하는 단계;
    상기 제1 페이지가 표시되면, 사용자 입력에 기초하여 정보를 수신하는 단계;
    상기 제1 페이지와 연관시킬 상기 정보를 저장하는 단계;
    상기 제1 페이지에서 검출되는 터치의 움직임에 따라 상기 전자책의 제2 페이지를 표시하는 단계; 및
    상기 제2 페이지가 표시되는 중에 상기 제1 페이지를 표시하기 위한 입력에 응답하여 상기 제1 페이지에 설정된 특성에 대응하는 시각적 피드백을 제공하고, 상기 정보에 기초하여 청각적 피드백을 출력하는 단계를 포함하는 것을 특징으로 하는 피드백 제공 방법.
  16. 제 15 항에 있어서,
    상기 청각적 피드백을 출력하는 단계는,
    상기 사용자 입력 정보가 텍스트인 경우, 상기 텍스트를 음성 데이터로 변환하여 출력하는 것을 특징으로 하는 피드백 제공 방법.
  17. 터치스크린; 및
    제어부를 포함하고,
    상기 제어부는,
    상기 터치스크린을 제어하여 전자책의 제1 페이지를 표시하고, 상기 제1 페이지에서 터치의 움직임을 검출하고, 상기 터치의 움직임에 따라 상기 전자책의 제2 페이지의 일부분을 표시하는 것에 응답하여 상기 제2 페이지에 설정된 속성에 대응하는 시각적 피드백을 제공하고 상기 제2 페이지와 연관된 청각적 피드백을 제공하는 것을 특징으로 하는 휴대 단말기
  18. 제 17 항에 있어서,
    상기 제어부는,
    상기 제2 페이지에 대응하는 이력 정보를 음성 데이터로 출력하기(TTS; Text To Speech), 상기 제2 페이지에 추가된 음성 메모로 출력하기 및 상기 제2 페이지에 대응되는 음악을 재생하기 중에서 하나를 수행하고,
    상기 제2 페이지에 설정된 속성은, 상기 제2 페이지의 두께, 무게, 및 재질 중 적어도 하나를 포함하는 것을 특징으로 하는 휴대 단말기.
  19. 제 17 항에 있어서,
    상기 제어부는,
    상기 터치의 움직임에 응답하여 촉각적 피드백을 제공하고,
    상기 시각적 피드백은 상기 터치의 위치, 상기 터치의 움직임의 방향 및 상기 터치의 움직임의 빠르기 중 적어도 하나에 의해 상기 전자책의 각 페이지를 상이하게 변형하는 것을 특징으로 하는 휴대 단말기.
  20. 터치스크린을 가지는 단말기에서 구현되는 기록매체에 있어서,
    상기 터치스크린에 전자책의 제1 페이지를 표시하고, 상기 제1 페이지에서 터치를 검출하며, 상기 터치의 움직임을 검출하며, 상기 터치의 움직임에 따라 상기 전자책의 제2 페이지의 일부분을 표시하는 것에 응답하여 상기 제2 페이지에 설정된 속성에 대응하는 시각적 피드백을 제공하고, 상기 제2 페이지와 연관된 청각적 피드백을 출력하도록 구성된 기록 매체.
KR1020120037543A 2012-04-10 2012-04-10 단말기에서 전자책과 연관된 피드백 제공 방법 및 장치 KR101895818B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120037543A KR101895818B1 (ko) 2012-04-10 2012-04-10 단말기에서 전자책과 연관된 피드백 제공 방법 및 장치
US13/860,024 US10114539B2 (en) 2012-04-10 2013-04-10 System and method for providing feedback associated with e-book in mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120037543A KR101895818B1 (ko) 2012-04-10 2012-04-10 단말기에서 전자책과 연관된 피드백 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130115016A KR20130115016A (ko) 2013-10-21
KR101895818B1 true KR101895818B1 (ko) 2018-09-10

Family

ID=49293305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120037543A KR101895818B1 (ko) 2012-04-10 2012-04-10 단말기에서 전자책과 연관된 피드백 제공 방법 및 장치

Country Status (2)

Country Link
US (1) US10114539B2 (ko)
KR (1) KR101895818B1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361020B2 (en) * 2011-10-25 2016-06-07 Samsung Electronics Co., Ltd Method and apparatus for displaying e-book in terminal having function of e-book reader
AU2013202944B2 (en) * 2012-04-26 2015-11-12 Samsung Electronics Co., Ltd. Method and terminal for displaying a plurality of pages, method and terminal for displaying a plurality of applications being executed on terminal, and method of executing a plurality of applications
USD754162S1 (en) * 2013-01-04 2016-04-19 Level 3 Communications, Llc Display screen or portion thereof with graphical user interface
USD768659S1 (en) * 2013-01-04 2016-10-11 Level 3 Communications, Llc Display screen or portion thereof with graphical user interface
JP6018993B2 (ja) * 2013-08-29 2016-11-02 京セラドキュメントソリューションズ株式会社 表示装置、画像形成装置、及び表示制御方法
US9444518B2 (en) 2014-01-31 2016-09-13 Sony Corporation One touch product information on mobile communication device using near field communication
KR102206001B1 (ko) 2014-02-26 2021-01-21 에스케이플래닛 주식회사 사용자 행위에 기반한 전자서적 추천 장치 및 방법
USD871420S1 (en) 2014-11-26 2019-12-31 Maria Francisca Jones Display screen with animated graphical user interface
KR102437053B1 (ko) * 2015-01-30 2022-08-29 네이버웹툰 유한회사 인터넷 만화 컨텐츠에 대해 음원을 제공하는 방법과 시스템 및 기록 매체
WO2017004541A1 (en) 2015-07-02 2017-01-05 Cfph, Llc Visualization of changes through the use of graphical geometric shapes
USD813270S1 (en) * 2015-11-13 2018-03-20 Cfph, Llc Display screen with animated graphical user interface
CN107111435A (zh) * 2016-02-29 2017-08-29 华为技术有限公司 一种页面滑动方法、装置及用户终端
CN105975181B (zh) * 2016-05-06 2019-01-04 平安科技（深圳）有限公司 侧滑界面的显示控制方法和装置
CN106886721B (zh) 2016-10-08 2020-03-13 阿里巴巴集团控股有限公司 一种在应用中实现辅助功能的方法及装置
USD809547S1 (en) * 2016-10-31 2018-02-06 Navitaire Llc Display screen with animated graphical user interface
KR102423295B1 (ko) 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
US11829581B2 (en) * 2018-05-21 2023-11-28 Huawei Technologies Co., Ltd. Display control method and terminal
US11550469B2 (en) * 2021-02-24 2023-01-10 Huawei Technologies Co., Ltd. Devices, methods and systems for control of an electronic device using force-based gestures
KR20220128868A (ko) * 2021-03-15 2022-09-22 삼성전자주식회사 대체 컨텐츠를 제공하는 전자 장치 및 그의 동작 방법
WO2023126648A1 (en) * 2021-12-27 2023-07-06 Bosch Car Multimedia Portugal S.A Device and method for providing an application user interface with haptic feedback

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100539032B1 (ko) * 1998-03-20 2005-12-27 샤프 가부시키가이샤 데이터 표시 장치
US20100278453A1 (en) * 2006-09-15 2010-11-04 King Martin T Capture and display of annotations in paper and electronic documents
US20120001923A1 (en) * 2010-07-03 2012-01-05 Sara Weinzimmer Sound-enhanced ebook with sound events triggered by reader progress

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5463725A (en) * 1992-12-31 1995-10-31 International Business Machines Corp. Data processing system graphical user interface which emulates printed material
US20040080541A1 (en) 1998-03-20 2004-04-29 Hisashi Saiga Data displaying device
JP2001265481A (ja) * 2000-03-21 2001-09-28 Nec Corp ページ情報表示方法及び装置並びにページ情報表示用プログラムを記憶した記憶媒体
US20030200858A1 (en) * 2002-04-29 2003-10-30 Jianlei Xie Mixing MP3 audio and T T P for enhanced E-book application
CN1742319A (zh) * 2003-01-21 2006-03-01 电子图书系统有限公司 可编程虚拟图书系统
US8018431B1 (en) * 2006-03-29 2011-09-13 Amazon Technologies, Inc. Page turner for handheld electronic book reader device
US8378979B2 (en) * 2009-01-27 2013-02-19 Amazon Technologies, Inc. Electronic device with haptic feedback
US8624851B2 (en) * 2009-09-02 2014-01-07 Amazon Technologies, Inc. Touch-screen user interface
KR101150545B1 (ko) * 2009-09-07 2012-06-11 주식회사 팬택앤큐리텔 이동통신단말기 및 그것의 화면 전환 방법
US9665258B2 (en) * 2010-02-05 2017-05-30 Smart Technologies Ulc Interactive input system displaying an e-book graphic object and method of manipulating a e-book graphic object
US20120084634A1 (en) * 2010-10-05 2012-04-05 Sony Corporation Method and apparatus for annotating text
US8648823B2 (en) * 2010-11-05 2014-02-11 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100539032B1 (ko) * 1998-03-20 2005-12-27 샤프 가부시키가이샤 데이터 표시 장치
US20100278453A1 (en) * 2006-09-15 2010-11-04 King Martin T Capture and display of annotations in paper and electronic documents
US20120001923A1 (en) * 2010-07-03 2012-01-05 Sara Weinzimmer Sound-enhanced ebook with sound events triggered by reader progress

Also Published As

Publication number Publication date
US20130268858A1 (en) 2013-10-10
KR20130115016A (ko) 2013-10-21
US10114539B2 (en) 2018-10-30

Similar Documents

Publication Publication Date Title
KR101895818B1 (ko) 단말기에서 전자책과 연관된 피드백 제공 방법 및 장치
KR101945822B1 (ko) 단말기에서 페이지 표시 방법 및 장치
US20130232439A1 (en) Method and apparatus for turning pages in terminal
KR102141044B1 (ko) 복수의 터치스크린을 가지는 휴대 장치 및 복수의 터치스크린을 가지는 휴대 장치의 사운드 출력방법
KR20130114336A (ko) 단말기에서 페이지 표시 방법 및 장치
EP2778856B1 (en) Systems and methods for haptic and gesture-driven paper simulation
US20130198678A1 (en) Method and apparatus for displaying page in terminal
US20180239512A1 (en) Context based gesture delineation for user interaction in eyes-free mode
US9400601B2 (en) Techniques for paging through digital content on touch screen devices
KR102056175B1 (ko) 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
JP6297836B2 (ja) 電子装置、及び電子装置のプレイリストの表示方法
KR20170138869A (ko) 복수의 터치스크린을 가지는 휴대 장치 및 복수의 터치스크린을 가지는 휴대 장치의 제어방법
US20140210729A1 (en) Gesture based user interface for use in an eyes-free mode
US20140215339A1 (en) Content navigation and selection in an eyes-free mode
US20130298068A1 (en) Contents display method and mobile terminal implementing the same
KR20140096780A (ko) 콘텐츠 표시 방법 및 이를 구현하는 휴대 단말
JP5323111B2 (ja) 表示装置、表示方法、コンピュータプログラム及び記録媒体
JP5777915B2 (ja) 電子機器及びその表示方法
US20150019962A1 (en) Method and apparatus for providing electronic document
KR102186819B1 (ko) 노트 기능을 지원하는 모바일 단말기 및 그의 제어 방법
KR20130099643A (ko) 단말기에서 페이지 표시 방법 및 장치
KR20130088695A (ko) 단말기에서 페이지 표시 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right