WO2021177513A1 - 페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치 - Google Patents

페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치 Download PDF

Info

Publication number
WO2021177513A1
WO2021177513A1 PCT/KR2020/009100 KR2020009100W WO2021177513A1 WO 2021177513 A1 WO2021177513 A1 WO 2021177513A1 KR 2020009100 W KR2020009100 W KR 2020009100W WO 2021177513 A1 WO2021177513 A1 WO 2021177513A1
Authority
WO
WIPO (PCT)
Prior art keywords
page turn
page
gaze
user
icon
Prior art date
Application number
PCT/KR2020/009100
Other languages
English (en)
French (fr)
Inventor
석윤찬
최성동
김세종
이다빈
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority to US17/908,984 priority Critical patent/US20230103197A1/en
Publication of WO2021177513A1 publication Critical patent/WO2021177513A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor

Definitions

  • An embodiment of the present invention relates to a gaze tracking technique, and more particularly, to a page turn technique using gaze tracking.
  • the mobile phone is equipped with a camera, it is intended to apply the eye tracking technology to various fields, such as researching a technology that tracks the gaze of a user who consumes content through the camera and checks whether the user is focusing on the content. Efforts are continuing. In recent years, more people read books through e-books, and when books are published, the number of books published as e-books is also increasing. Accordingly, there is a need for a method of applying the eye tracking technology to content requiring a page turn, such as an electronic book.
  • An embodiment of the present invention is to provide a page turn method capable of performing a page turn through eye tracking technology, and a computing device for performing the same.
  • a page turn method includes one or more processors and a memory for storing one or more programs executed by the one or more processors, and displaying content including a plurality of pages on a screen
  • a method performed in a computing device comprising: determining whether a preset page turn icon display event occurs; displaying a page turn icon on the content when the page turn icon display event occurs; and tracking the gaze of the user who is viewing the content on the screen, and performing a page turn based on the location of the gaze of the user.
  • the operation of determining whether the page turn icon display event occurs may include an operation of determining whether a preset time has elapsed based on the time when the page turn occurs.
  • the preset time may be set based on one or more of the size of the characters and the number of characters in the text in the content.
  • the operation of determining whether the page turn icon display event occurs may include an operation of confirming whether the user's gaze position in a predetermined direction of the corresponding page reaches a predetermined position after the page turn occurs.
  • the preset direction may be a direction perpendicular to a length direction of a line of text on the page.
  • the operation of determining whether the page turn icon display event occurs may include an operation of determining whether the user reads the corresponding page by more than a preset amount after the page turn occurs.
  • the operation of determining whether or not the predetermined amount or more has been read may include tracking the user's gaze after the page turn occurs to include a gaze pattern in a first axial direction and a second axial direction perpendicular to the first axial direction. analysis of the gaze pattern of checking whether the user is reading the text of the corresponding page based on the gaze pattern in the first axis direction; and checking the read amount of the page by the user based on the gaze pattern in the second axis direction.
  • the operation of determining whether the page turn icon display event occurs may include: checking whether a first condition of lapse of a preset time based on a time point at which the page turn occurs is satisfied; and checking whether a second condition in which the user's gaze position in a preset direction of the corresponding page reaches a preset position after the page turn occurs is satisfied.
  • the operation of determining whether the page turn icon display event occurs may include: checking whether a first condition of lapse of a preset time based on a time point at which the page turn occurs is satisfied; and checking whether a third condition of whether the user reads the corresponding page for more than a preset amount after the page turn occurs is satisfied.
  • the operation of performing the page turn may further include an operation of confirming whether the user's gaze position is located within a reaction area set based on the position of the page turn icon.
  • the reaction area may include: a first reaction area set within a preset range based on the position of the page turn icon; and a second reaction region set within a preset range based on the outline of the first reaction region from the outline of the first reaction region.
  • the operation of determining whether a position is located in the reaction region may include determining whether a fixation or a saccade among the user's gaze is located in the first reaction region or a fixation among the user's gaze is the It can be confirmed whether it is located in the second reaction region.
  • the performing of the page turn may include: activating the page turn icon when the user's gaze position is located within the reaction area; and performing a page turn when the user's gaze gazes at the page turn icon area for a preset time.
  • the operation of performing the page turn may further include displaying a progress degree of the page turn operation in the area of the page turn icon.
  • the page turn method may further include an operation of canceling the page turn operation when the user's gaze deviates from the page turn icon area while the page turn is performed.
  • a page turn method includes one or more processors and a memory for storing one or more programs executed by the one or more processors, and displaying content including a plurality of pages on a screen
  • a method performed on a computing device comprising: displaying a page turn icon on the content; checking whether a gaze position of a user viewing the content on the screen is located within a reaction area set based on a position of the page turn icon; activating the page turn icon when the user's gaze position is located within the reaction area; and performing a page turn when the user's gaze gazes at the page turn icon area for a preset time.
  • a computing device includes one or more processors; Memory; and one or more programs, wherein the one or more programs are stored in the memory, are configured to be executed by the one or more processors, and display content including a plurality of pages on a screen, the one or more programs
  • the programs may include: a command for checking whether a preset page turn icon display event occurs; a command for displaying a page turn icon on the content when the page turn icon display event occurs; and a command for tracking the gaze of the user viewing the content on the screen and performing a page turn based on the location of the gaze of the user.
  • a computing device includes one or more processors; Memory; and one or more programs, wherein the one or more programs are stored in the memory, are configured to be executed by the one or more processors, and display content including a plurality of pages on a screen, the one or more programs
  • the programs may include instructions for displaying a page turn icon in the content; a command for confirming whether a gaze position of a user viewing the content on the screen is located within a reaction area set based on a position of the page turn icon; a command for activating the page turn icon when the user's gaze position is located within the reaction area; and a command for performing a page turn when the user's gaze gazes at the page turn icon area for a preset time.
  • a user can perform a page turn through a gaze while viewing content including a plurality of pages on a screen, thereby improving user convenience.
  • FIG. 1 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments;
  • FIG. 2 is a flowchart illustrating a page turn method using eye tracking according to an embodiment of the present invention
  • FIG. 3 is a graph illustrating a gaze pattern in a first axis direction and a gaze pattern in a second axis direction of a user in an embodiment of the present invention
  • FIG. 4 is a diagram illustrating a state in which a page turn icon is displayed in content in an embodiment of the present invention
  • FIG. 5 is a view showing another embodiment of the page turn icon in the present invention.
  • FIG. 6 is a view showing a reaction region according to an embodiment of the present invention.
  • FIG. 7 is a view showing a state in which the page turn icon is activated in an embodiment of the present invention.
  • FIG. 8 is a view showing an activation display according to another embodiment of the page turn icon in the present invention.
  • FIG. 9 is a diagram illustrating a state in which a page turn is performed in an embodiment of the present invention.
  • transmission In the following description, the terms “transmission”, “communication”, “transmission”, “reception” and other similar meanings of signals or information are not only directly transmitted from one component to another component, but also signal or information This includes passing through other components.
  • “transmitting” or “transmitting” a signal or information to a component indicates the final destination of the signal or information and does not imply a direct destination. The same is true for “reception” of signals or information.
  • FIG. 1 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments.
  • each component may have different functions and capabilities other than those described below, and may include additional components in addition to those described below.
  • the illustrated computing environment 10 includes a computing device 12 .
  • the computing device 12 may be a device for performing a page turn method using eye tracking according to an embodiment of the present invention.
  • Computing device 12 includes at least one processor 14 , computer readable storage medium 16 , and communication bus 18 .
  • the processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiments discussed above.
  • the processor 14 may execute one or more programs stored in the computer-readable storage medium 16 .
  • the one or more programs may include one or more computer-executable instructions that, when executed by the processor 14, configure the computing device 12 to perform operations in accordance with the exemplary embodiment. can be
  • Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
  • the program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14 .
  • computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other forms of storage medium accessed by computing device 12 and capable of storing desired information, or a suitable combination thereof.
  • Communication bus 18 interconnects various other components of computing device 12 , including processor 14 and computer readable storage medium 16 .
  • Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 .
  • the input/output interface 22 and the network communication interface 26 are coupled to the communication bus 18 .
  • Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 .
  • Exemplary input/output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or imaging devices. input devices, and/or output devices such as display devices, printers, speakers and/or network cards.
  • the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12 , and may be connected to the computing device 12 as a separate device distinct from the computing device 12 . may be
  • An application for performing a page turn using eye tracking may be installed in the computing device 12 .
  • the application may be stored in a computer-readable storage medium 16 .
  • the application includes a predetermined set of instructions executable by the processor 14 .
  • the instructions may cause the processor 14 to perform operations in accordance with an exemplary embodiment.
  • Computer-readable storage medium 16 includes components of an operating system for executing a set of instructions, such as the application, on computing device 12 .
  • an operating system may be Apple's iOS or Google's Android.
  • FIG. 2 is a flowchart illustrating a page turn method using eye tracking according to an embodiment of the present invention.
  • the method 200 according to an embodiment of the present invention is performed on a computing device 12 having one or more processors and a memory storing one or more programs executed by the one or more processors.
  • the method 200 may be implemented in the form of a program or software including one or more computer-executable instructions and stored in the memory.
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, are performed in combination with other steps, are omitted, are performed in separate steps, or are shown One or more steps not included may be added and performed.
  • the computing device 12 may display content including a plurality of pages on the screen.
  • the computing device 12 may be, but is not limited to, a smart phone, a tablet PC, an e-book reader, or the like.
  • the content including a plurality of pages may mean content that requires a page turn without displaying the entire content on the screen of the computing device 12 . That is, the content including a plurality of pages may be content in which the next page is displayed on the screen of the computing device 12 through a page turn.
  • the page turn may be a method of turning sideways or a method of scrolling up and down, but the method is not limited thereto.
  • the content may consist of text, but is not limited thereto, and may be a mixture of text and images (movies and images, etc.).
  • a process from the point in time when one page turn occurs in the content until the next page turn is described will be described.
  • the content is an e-book as an example.
  • the computing device 12 determines whether a preset page turn icon display event occurs.
  • the page turn icon display event may occur with the lapse of a preset time based on the time when the page turn occurs. For example, the computing device 12 may determine that the page turn icon display event has occurred when 5 seconds have elapsed from the time when the page turn occurred.
  • the elapsed time for the page turn icon display event may be set based on one or more of the size of the characters and the number of characters in the text in the content. For example, as the size of the characters in the text increases, the elapsed time may be set shorter. In addition, as the number of characters in the text increases, the elapsed time may be set longer.
  • the page turn icon display event may occur when the user's gaze position in a preset direction of the corresponding page reaches a preset position after the page turn occurs.
  • the preset direction is a second axis direction (eg, y-axis) perpendicular to the first axis direction when the length direction of a line of text on the page is referred to as a first axis direction (eg, an x-axis direction). direction) can be
  • the computing device 12 may determine that the page turn icon display event has occurred when the user's gaze position reaches a preset position in the second axis direction by tracking the user's gaze after the page turn occurs.
  • the page turn icon display event may occur when the user reads the corresponding page by more than a preset amount after the time when the page turn occurs.
  • the computing device 12 may track the user's gaze to determine whether the user reads the corresponding page by more than a preset amount.
  • the computing device 12 tracks the user's gaze after the page turn occurs to analyze the gaze pattern in the first axis direction and the gaze pattern in the second axis direction, and the gaze pattern in the first axis direction. and based on the gaze pattern in the second axis direction, it may be confirmed whether the user reads the corresponding page by more than a preset amount.
  • the computing device 12 may determine whether the user is reading (ie, reading) the text of the corresponding page through the gaze pattern in the first axis direction (ie, the length direction of lines in the text), and the second axis Through the gaze pattern of the direction, it is possible to check how many times the user has read the corresponding page.
  • FIG. 3 is a graph illustrating a user's gaze pattern in a first axis direction and a gaze pattern in a second axis direction according to an embodiment of the present invention.
  • the gaze pattern in the first axis direction moves in a zigzag manner.
  • the gaze pattern in the second axis direction moves downward (moving the gaze for reading while changing the text line) and then suddenly moving upward (moving the gaze for turning the page).
  • the page turn icon display event includes the first condition that a preset time elapses based on the time when the page turn occurs and the first condition that the user's gaze position in the preset direction of the page after the time when the page turn occurs reaches the preset position It may occur when condition 2 is satisfied.
  • the page turn icon display event satisfies the first condition of lapse of a preset time based on the time when the page turn occurs and the third condition of whether the user reads the page for more than a preset amount after the time when the page turn occurs. may occur in some cases.
  • FIG. 4 is a diagram illustrating a state in which a page turn icon is displayed in content according to an embodiment of the present invention.
  • the computing device 12 may track the user's gaze and display the gaze location icon 50 on the content screen. That is, the computing device 12 may display the user's gaze position within the content through the gaze position icon 50 .
  • the gaze location icon 50 may be displayed in a ring shape, but is not limited thereto.
  • FIG. 4B is a state in which a page turn icon display event occurs and a page turn icon 60 is displayed in the content.
  • the page turn icon display event occurs when the user's gaze position (ie, the gaze position icon 50) reaches a preset position in a preset direction (ie, the y-axis direction) of the corresponding page.
  • page turn icon 60 is shown to be displayed on each upper corner of the corresponding page, the displayed position is not limited thereto.
  • the page turn icon 60 is illustrated as showing an arrow in the direction to become a page turn within the background of a black circle, the present invention is not limited thereto, and the page turn icon 60 may be displayed in various other forms. .
  • FIG. 5 is a view showing another embodiment of the page turn icon 60 in the present invention.
  • the page turn icon 60 may be displayed in a state in which an upper edge of the corresponding page is folded.
  • the computing device 12 may display the eye tracking mark 70 on the corresponding page.
  • the eye tracking mark 70 may indicate that the user's gaze is being tracked.
  • the computing device 12 determines whether the user's gaze position is located within a preset reaction area on the corresponding page.
  • a predetermined range of the preset reaction area may be set based on the point at which the page turn icon 60 is displayed. That is, the preset reaction area may be an area for confirming that the user reads the corresponding page and moves his/her gaze toward the page turn icon 60 to turn the page.
  • the reaction region may include a first reaction region S1 and a second reaction region S2 .
  • the first reaction area S1 may be set within a preset range based on the position of the page turn icon 60 .
  • the first reaction area S1 may also include an area outside the screen range 80 of the computing device 12 .
  • the second reaction region S2 may be set within a preset range from the outline of the first reaction region S1 to the outline of the first reaction region S1 .
  • the computing device 12 may determine whether a fixation or a saccade among the user's gaze is located in the first reaction region S1 . Alternatively, the computing device 12 may determine whether a fixation among the user's gaze is located within the second reaction area S2 .
  • saccade is an eye movement in which both eyes move rapidly in the same direction at the same time, and occurs between fixations, and generally lasts 20-40 ms.
  • the saccard is mainly used to direct the gaze towards the object of interest.
  • fixation refers to maintaining the gaze at a single position, and may mean that the gaze is fixed. Pixation can typically last 50-600ms.
  • step 208 when the user's gaze position is located within a preset reaction area on the corresponding page, the computing device 12 activates the page turn icon 60 . That is, when the user's gaze position is located within a preset reaction area on the corresponding page, the page turn icon 60 may be activated as a preparatory work for the page turn.
  • the computing device 12 activates the page turn icon 60 when a fixation or a saccade among the user's gaze is located in the first reaction area S1 .
  • the page turn icon 60 is activated.
  • FIG. 7 is a view showing a state in which the page turn icon 60 is activated in an embodiment of the present invention.
  • the boundary of the page turn icon 60 is displayed in green to indicate that the page turn icon 60 is activated (62).
  • the activation display 62 of the page turn icon 60 is not limited thereto, and the activation display may be displayed in various other forms.
  • FIG. 8 is a diagram illustrating an activation indicator 62 according to another embodiment of the page turn icon 60 in the present invention.
  • the page turn icon 60 may be displayed in a state in which the upper edge of the corresponding page is folded.
  • the activation mark 62 may be indicated by an arrow within a circle at the upper edge of the page.
  • step 210 the computing device 12 performs a page turn operation when the user's gaze gazes at the page turn icon 60 area for a preset time. That is, when the user gazes at the page turn icon 60 area for a preset time, the computing device 12 may recognize it as a user command for page turn and turn the page to the next page.
  • FIG. 9 is a diagram illustrating a state in which a page turn is performed according to an embodiment of the present invention.
  • the computing device 12 may perform the page turn operation when the user's gaze gazes at the page turn icon 60 area for a preset time.
  • the computing device 12 may display the progress level 64 of the page turn operation on the page turn icon 60 area.
  • computing device 12 may display progress 64 of a page turn operation along the boundary of page turn icon 60 .
  • the computing device 12 may display the progress of the page turn icon 60 along the boundary of the page turn icon 60 according to the degree to which the page turn operation is performed.
  • the computing device 12 may display the next page of content on the screen.
  • the computing device 12 may cancel the page turn operation when the user's gaze deviates from the area of the page turn icon 60 while the page turn operation is being performed.
  • a user can perform a page turn through a gaze while viewing content including a plurality of pages on a screen, thereby improving user convenience.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 개시되는 일 실시예에 따른 페이지 턴 방법은, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 복수의 페이지를 포함하는 콘텐츠를 화면에 표시하는 컴퓨팅 장치에서 수행되는 방법으로서, 기 설정된 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작, 페이지 턴 아이콘 표시 이벤트가 발생하는 경우, 콘텐츠에 페이지 턴 아이콘을 표시하는 동작, 및 화면 상에서 콘텐츠를 보고 있는 사용자의 시선을 추적하고, 사용자의 시선 위치에 기반하여 페이지 턴을 수행하는 동작을 포함한다.

Description

페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치
본 발명의 실시예는 시선 추적 기술과 관련되며, 보다 자세하게는 시선 추적을 이용한 페이지 턴 기술과 관련된다.
모바일 폰의 보급률이 높아짐에 따라 모바일 폰을 이용하여 콘텐츠(예를 들어, 동영상 콘텐츠 등)를 소비하는 사용자의 수가 증가하고 있다. 그리고, 모바일 폰에는 카메라가 장착되어 있는 바, 카메라를 통해 콘텐츠를 소비하는 사용자의 시선을 추적하여 사용자가 콘텐츠를 집중하여 보고 있는지를 확인하는 기술이 연구되는 등 시선 추적 기술을 다양한 분야에 적용하고자 하는 노력이 계속 되고 있다. 최근 들어, 전자 북(e-book)을 통해 책을 읽는 사람이 늘어나고 있으며, 책이 출판될 때 전자 북으로도 출판되는 경우가 증가하고 있다. 따라서, 전자 북과 같은 페이지 턴이 필요한 콘텐츠에 시선 추적 기술을 적용하는 방안이 요구된다.
본 발명의 실시예는 시선 추적 기술을 통해 페이지 턴을 수행할 수 있는 페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치를 제공하기 위한 것이다.
개시되는 일 실시예에 따른 페이지 턴 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 복수의 페이지를 포함하는 콘텐츠를 화면에 표시하는 컴퓨팅 장치에서 수행되는 방법으로서, 기 설정된 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작; 상기 페이지 턴 아이콘 표시 이벤트가 발생하는 경우, 상기 콘텐츠에 페이지 턴 아이콘을 표시하는 동작; 및 상기 화면 상에서 상기 콘텐츠를 보고 있는 사용자의 시선을 추적하고, 상기 사용자의 시선 위치에 기반하여 페이지 턴을 수행하는 동작을 포함한다.
상기 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작은, 페이지 턴이 일어난 시점을 기준으로 기 설정된 시간이 경과하는지 여부를 확인하는 동작을 포함할 수 있다.
상기 기 설정된 시간은, 상기 콘텐츠 내 텍스트에서 글자의 크기 및 글자의 개수 중 하나 이상을 기반으로 설정될 수 있다.
상기 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작은, 페이지 턴이 일어난 시점 이후에 해당 페이지의 기 설정된 방향에서의 상기 사용자의 시선 위치가 기 설정된 위치에 이르는지 여부를 확인하는 동작을 포함할 수 있다.
상기 기 설정된 방향은, 상기 페이지에서 텍스트의 줄의 길이 방향과 수직한 방향일 수 있다.
상기 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작은, 페이지 턴이 일어난 시점 이후에 사용자가 해당 페이지를 기 설정된 분량 이상으로 읽었는지 여부를 확인하는 동작을 포함할 수 있다.
상기 기 설정된 분량 이상으로 읽었는지 여부를 확인하는 동작은, 상기 페이지 턴이 일어난 시점 이후에 상기 사용자의 시선을 추적하여 제1축 방향의 시선 패턴 및 상기 제1축 방향과 수직한 제2축 방향의 시선 패턴을 분석하는 동작; 상기 제1축 방향의 시선 패턴을 기반으로 상기 사용자가 해당 페이지의 텍스트를 읽고 있는지 여부를 확인하는 동작; 및 상기 제2축 방향의 시선 패턴을 기반으로 상기 사용자가 해당 페이지의 읽은 분량을 확인하는 동작을 포함할 수 있다.
상기 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작은, 페이지 턴이 일어난 시점을 기준으로 기 설정된 시간 경과라는 제1 조건이 만족되는지를 확인하는 동작; 및 페이지 턴이 일어난 시점 이후 해당 페이지의 기 설정된 방향에서의 상기 사용자의 시선 위치가 기 설정된 위치에 이르는 제2 조건이 만족되는지를 확인하는 동작을 포함할 수 있다.
상기 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작은, 페이지 턴이 일어난 시점을 기준으로 기 설정된 시간 경과라는 제1 조건이 만족되는지를 확인하는 동작; 및 페이지 턴이 일어난 시점 이후 상기 사용자가 해당 페이지를 기 설정된 분량 이상으로 읽었는지의 제3 조건이 만족되는지를 확인하는 동작을 포함할 수 있다.
상기 페이지 턴을 수행하는 동작은, 상기 사용자의 시선 위치가 상기 페이지 턴 아이콘의 위치를 기준으로 설정되는 반응 영역 내에 위치하는지를 확인하는 동작을 더 포함할 수 있다.
상기 반응 영역은, 상기 페이지 턴 아이콘의 위치를 기준으로 기 설정된 범위 이내로 설정되는 제1 반응 영역; 및 상기 제1 반응 영역의 외곽선으로부터 상기 제1 반응 영역의 외곽선을 기준으로 기 설정된 범위 이내로 설정되는 제2 반응 영역을 포함할 수 있다.
상기 반응 영역 내에 위치하는지를 확인하는 동작은, 상기 사용자의 시선 중 픽세이션(Fixation) 또는 사카드(Saccade)가 상기 제1 반응 영역 내에 위치하는지를 확인하거나 상기 사용자의 시선 중 픽세이션(Fixation)이 상기 제2 반응 영역 내에 위치하는지를 확인할 수 있다.
상기 페이지 턴을 수행하는 동작은, 상기 사용자의 시선 위치가 상기 반응 영역 내에 위치하는 경우, 상기 페이지 턴 아이콘을 활성화시키는 동작; 및 상기 사용자의 시선이 상기 페이지 턴 아이콘 영역을 기 설정된 시간 응시하는 경우, 페이지 턴을 수행하는 동작을 더 포함할 수 있다.
상기 페이지 턴을 수행하는 동작은, 상기 페이지 턴 아이콘의 영역에 페이지 턴 작업의 진행 정도를 표시하는 동작을 더 포함할 수 있다.
상기 페이지 턴 방법은, 상기 페이지 턴을 수행하는 도중에 상기 사용자의 시선이 페이지 턴 아이콘 영역을 벗어나는 경우, 페이지 턴 작업을 취소하는 동작을 더 포함할 수 있다.
개시되는 다른 실시예에 따른 페이지 턴 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 복수의 페이지를 포함하는 콘텐츠를 화면에 표시하는 컴퓨팅 장치에서 수행되는 방법으로서, 상기 콘텐츠에 페이지 턴 아이콘을 표시하는 동작; 상기 화면 상에서 상기 콘텐츠를 보고 있는 사용자의 시선 위치가 상기 페이지 턴 아이콘의 위치를 기준으로 설정되는 반응 영역 내에 위치하는지를 확인하는 동작; 상기 사용자의 시선 위치가 상기 반응 영역 내에 위치하는 경우, 상기 페이지 턴 아이콘을 활성화시키는 동작; 및 상기 사용자의 시선이 상기 페이지 턴 아이콘 영역을 기 설정된 시간 응시하는 경우, 페이지 턴을 수행하는 동작을 포함한다.
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 복수의 페이지를 포함하는 콘텐츠를 화면에 표시하는 컴퓨팅 장치로서, 상기 하나 이상의 프로그램들은, 기 설정된 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하기 위한 명령; 상기 페이지 턴 아이콘 표시 이벤트가 발생하는 경우, 상기 콘텐츠에 페이지 턴 아이콘을 표시하기 위한 명령; 및 상기 화면 상에서 상기 콘텐츠를 보고 있는 사용자의 시선을 추적하고, 상기 사용자의 시선 위치에 기반하여 페이지 턴을 수행하기 위한 명령을 포함한다.
개시되는 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 복수의 페이지를 포함하는 콘텐츠를 화면에 표시하는 컴퓨팅 장치로서, 상기 하나 이상의 프로그램들은, 상기 콘텐츠에 페이지 턴 아이콘을 표시하기 위한 명령; 상기 화면 상에서 상기 콘텐츠를 보고 있는 사용자의 시선 위치가 상기 페이지 턴 아이콘의 위치를 기준으로 설정되는 반응 영역 내에 위치하는지를 확인하기 위한 명령; 상기 사용자의 시선 위치가 상기 반응 영역 내에 위치하는 경우, 상기 페이지 턴 아이콘을 활성화시키기 위한 명령; 및 상기 사용자의 시선이 상기 페이지 턴 아이콘 영역을 기 설정된 시간 응시하는 경우, 페이지 턴을 수행하기 위한 명령을 포함한다.
개시되는 실시예에 의하면, 사용자가 복수 개의 페이지를 포함하는 콘텐츠를 화면으로 보면서 시선을 통하여 페이지 턴을 수행할 수 있게 되며, 그로 인해 사용자의 편의성을 향상시킬 수 있게 된다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 시선 추적을 이용한 페이지 턴 방법을 설명하기 위한 흐름도
도 3은 본 발명의 일 실시예에서 사용자의 제1축 방향의 시선 패턴 및 제2축 방향의 시선 패턴을 나타낸 그래프
도 4는 본 발명의 일 실시예에서 콘텐츠 내에 페이지 턴 아이콘을 표시하는 상태를 나타낸 도면
도 5는 본 발명에서 페이지 턴 아이콘의 다른 실시예를 나타낸 도면
도 6은 본 발명의 일 실시예에 따른 반응 영역을 나타낸 도면
도 7은 본 발명의 일 실시예에에서 페이지 턴 아이콘이 활성화 된 상태를 나타낸 도면
도 8은 본 발명에서 페이지 턴 아이콘의 다른 실시예에 따른 활성화 표시를 나타낸 도면
도 9는 본 발명의 일 실시예에서 페이지 턴이 수행되는 상태를 나타낸 도면
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
한편, 상측, 하측, 일측, 타측 등과 같은 방향성 용어는 개시된 도면들의 배향과 관련하여 사용된다. 본 발명의 실시예의 구성 요소는 다양한 배향으로 위치 설정될 수 있으므로, 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예에 따른 시선 추적을 이용한 페이지 턴 방법을 수행하기 위한 장치일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
컴퓨팅 장치(12)에는 시선 추적을 이용하여 페이지 턴을 수행하기 위한 어플리케이션이 설치될 수 있다. 상기 어플리케이션은 컴퓨터 판독 가능 저장 매체(16)에 저장될 수 있다. 상기 어플리케이션은 프로세서(14)에 의해 실행 가능한 명령어의 소정의 집합을 포함한다. 상기 명령어는 프로세서(14)로 하여금 예시적인 실시예에 따른 동작을 수행하게 할 수 있다. 컴퓨터 판독 가능 저장 매체(16)는 컴퓨팅 장치(12) 상에서 상기 어플리케이션과 같은 명령어 집합을 실행하기 위한 운영 체제의 컴포넌트들을 포함한다. 예를 들어, 이러한 운영 체제는 애플(Apple) 사의 iOS 또는 구글(Google) 사의 Android 일 수 있다.
도 2는 본 발명의 일 실시예에 따른 시선 추적을 이용한 페이지 턴 방법을 설명하기 위한 흐름도이다. 전술한 바와 같이, 본 발명의 일 실시예에 따른 방법(200)은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에서 수행될 수 있다. 이를 위하여, 상기 방법(200)은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다.
또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
여기서, 컴퓨팅 장치(12)는 복수의 페이지를 포함하는 콘텐츠를 화면에 표시할 수 있다. 예시적인 실시예에서, 컴퓨팅 장치(12)는 스마트 폰, 태블릿 PC, 전자북 리더 등이 될 수 있으나, 이에 한정되는 것은 아니다. 복수의 페이지를 포함하는 콘텐츠는 컴퓨팅 장치(12)의 화면에 전체 콘텐츠가 표시되지 않고, 페이지 턴이 필요한 콘텐츠를 의미할 수 있다. 즉, 복수의 페이지를 포함하는 콘텐츠는 페이지 턴을 통해 다음 페이지가 컴퓨팅 장치(12)의 화면에 표시되는 형태의 콘텐츠 일 수 있다.
이때, 페이지 턴은 옆으로 넘기는 방식이 될 수도 있고 상하로 스크롤 되는 방식일 수도 있으나, 그 방식이 이에 한정되는 것은 아니다. 또한, 상기 콘텐츠는 텍스트로 이루어질 수 있으나, 이에 한정되는 것은 아니며 텍스트와 영상(동영상 및 이미지 등)이 혼합된 형태일 수도 있다. 이하에서는, 콘텐츠에서 한 번 페이지 턴이 일어난 시점 이후에 다음 페이지 턴이 이루어지기까지의 과정을 설명하기로 한다. 설명의 편의상, 콘텐츠는 전자북인 것을 일 예로 설명하기로 한다.
202 단계에서, 컴퓨팅 장치(12)는 기 설정된 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인한다. 예시적인 실시예에서, 페이지 턴 아이콘 표시 이벤트는 페이지 턴이 일어난 시점을 기준으로 기 설정된 시간 경과로 발생할 수 있다. 예를 들어, 컴퓨팅 장치(12)는 페이지 턴이 일어난 시점을 기준으로 5초가 경과한 경우 페이지 턴 아이콘 표시 이벤트가 발생한 것으로 판단할 수 있다.
여기서, 페이지 턴 아이콘 표시 이벤트를 위한 경과 시간은 콘텐츠 내 텍스트에서 글자의 크기 및 글자의 개수 중 하나 이상을 기반으로 설정될 수 있다. 예를 들어, 텍스트 내 글자의 크기가 클수록 상기 경과 시간을 짧게 설정할 수 있다. 또한, 텍스트 내 글자의 개수가 많을수록 상기 경과 시간을 길게 설정할 수 있다.
또한, 페이지 턴 아이콘 표시 이벤트는 페이지 턴이 일어난 시점 이후 해당 페이지의 기 설정된 방향에서의 사용자의 시선 위치가 기 설정된 위치에 이르는 경우에 발생할 수 있다. 여기서, 기 설정된 방향은 해당 페이지에서 텍스트의 줄의 길이 방향을 제1축 방향(예를 들어, x축 방향)이라고 할 때 제1축 방향과 수직한 제2축 방향(예를 들어, y축 방향)일 수 있다. 컴퓨팅 장치(12)는 페이지 턴이 일어난 시점 이후 사용자의 시선을 추적하여 사용자의 시선 위치가 제2축 방향에서 기 설정된 위치에 이르는 경우 페이지 턴 아이콘 표시 이벤트가 발생한 것으로 판단할 수 있다.
또한, 페이지 턴 아이콘 표시 이벤트는 페이지 턴이 일어난 시점 이후에 사용자가 해당 페이지를 기 설정된 분량 이상으로 읽은 경우에 발생할 수 있다. 컴퓨팅 장치(12)는 사용자의 시선을 추적하여 사용자가 해당 페이지를 기 설정된 분량 이상으로 읽었는지 여부를 확인할 수 있다.
예시적인 실시예에서, 컴퓨팅 장치(12)는 페이지 턴이 일어난 시점 이후 사용자의 시선을 추적하여 제1축 방향의 시선 패턴 및 제2축 방향의 시선 패턴을 분석하고, 제1축 방향의 시선 패턴 및 제2축 방향의 시선 패턴을 기반으로 사용자가 해당 페이지를 기 설정된 분량 이상으로 읽었는지 여부를 확인할 수 있다. 컴퓨팅 장치(12)는 제1축 방향(즉, 텍스트 내 줄의 길이 방향)의 시선 패턴을 통해 사용자가 해당 페이지의 텍스트를 읽고 있는지(즉, 리딩을 하고 있는지)를 확인할 수 있으며, 제2축 방향의 시선 패턴을 통해 사용자가 해당 페이지를 얼마만큼 읽었는지를 확인할 수 있다.
도 3은 본 발명의 일 실시예에서 사용자의 제1축 방향의 시선 패턴 및 제2축 방향의 시선 패턴을 나타낸 그래프이다. 도 3에서와 같이, 사용자가 페이지의 텍스트를 잘 읽고 있는 경우 제1축 방향(x축 방향)의 시선 패턴이 지그 재그로 이동하는 것을 볼 수 있다. 그리고, 제2축 방향(y축 방향)의 시선 패턴이 아래로 이동(텍스트의 줄을 바꾸면서 읽기 위한 시선 이동)하다가 갑자기 위로 이동(페이지 턴을 위한 시선 이동)하는 것을 볼 수 있다.
또한, 페이지 턴 아이콘 표시 이벤트는 페이지 턴이 일어난 시점을 기준으로 기 설정된 시간 경과라는 제1 조건 및 페이지 턴이 일어난 시점 이후 해당 페이지의 기 설정된 방향에서의 사용자의 시선 위치가 기 설정된 위치에 이르는 제2 조건을 만족하는 경우에 발생할 수도 있다. 또한, 페이지 턴 아이콘 표시 이벤트는 페이지 턴이 일어난 시점을 기준으로 기 설정된 시간 경과라는 제1 조건 및 페이지 턴이 일어난 시점 이후 사용자가 해당 페이지를 기 설정된 분량 이상으로 읽었는지의 제3 조건을 만족하는 경우에 발생할 수도 있다.
204 단계에서, 컴퓨팅 장치(12)는 기 설정된 페이지 턴 아이콘 표시 이벤트가 발생한 경우, 콘텐츠 내에 페이지 턴 아이콘을 표시한다. 도 4는 본 발명의 일 실시예에서 콘텐츠 내에 페이지 턴 아이콘을 표시하는 상태를 나타낸 도면이다.
도 4의 (a)는 페이지 턴이 일어난 상태의 콘텐츠를 나타낸 화면이다. 여기서, 콘텐츠는 전자북으로서 소설인 경우를 나타내었다. 컴퓨팅 장치(12)는 페이지 턴이 일어난 경우, 사용자의 시선을 추적하여 시선 위치 아이콘(50)을 콘텐츠 화면에 표시할 수 있다. 즉, 컴퓨팅 장치(12)는 콘텐츠 내에서 사용자의 시선 위치를 시선 위치 아이콘(50)을 통해 표시할 수 있다. 시선 위치 아이콘(50)은 링 형태로 표시될 수 있으나, 이에 한정되는 것은 아니다.
도 4의 (b)는 페이지 턴 아이콘 표시 이벤트가 발생하여 콘텐츠 내에 페이지 턴 아이콘(60)을 표시한 상태이다. 여기서는, 사용자의 시선 위치(즉, 시선 위치 아이콘(50))가 해당 페이지의 기 설정된 방향(즉, y축 방향)에서의 기 설정된 위치에 이르는 경우 페이지 턴 아이콘 표시 이벤트가 발생한 것으로 하였다.
페이지 턴 아이콘(60)은 해당 페이지의 상단 각 모서리에 표시되는 것으로 도시하였으나, 표시되는 위치가 이에 한정되는 것은 아니다. 또한, 페이지 턴 아이콘(60)은 검은색 원의 배경 내에 페이지 턴이 되는 방향으로 화살표가 표시된 것으로 도시하였으나, 이에 한정되는 것은 아니며 페이지 턴 아이콘(60)은 그 이외의 다양한 형태로 표시될 수 있다.
도 5는 본 발명에서 페이지 턴 아이콘(60)의 다른 실시예를 나타낸 도면이다. 도 5를 참조하면, 페이지 턴 아이콘(60)은 해당 페이지의 상단 모서리가 접혀진 상태로 표시될 수 있다. 또한, 컴퓨팅 장치(12)는 해당 페이지에 시선 추적 마크(70)를 표시할 수 있다. 시선 추적 마크(70)는 사용자의 시선이 추적되고 있음을 나타내주는 것일 수 있다.
206 단계에서, 컴퓨팅 장치(12)는 사용자의 시선 위치가 해당 페이지에서 기 설정된 반응 영역 내에 위치하는지를 확인한다. 여기서, 기 설정된 반응 영역은 페이지 턴 아이콘(60)이 표시된 지점을 기준으로 일정 범위가 설정될 수 있다. 즉, 기 설정된 반응 영역은 사용자가 해당 페이지를 다 읽고 페이지 턴을 위해 페이지 턴 아이콘(60) 쪽으로 시선의 위치를 옮기는 것을 확인하기 위한 영역일 수 있다.
도 6은 본 발명의 일 실시예에 따른 반응 영역을 나타낸 도면이다. 도 6을 참조하면, 반응 영역은 제1 반응 영역(S1) 및 제2 반응 영역(S2)을 포함할 수 있다. 제1 반응 영역(S1)은 페이지 턴 아이콘(60)의 위치를 기준으로 기 설정된 범위 이내로 설정될 수 있다. 여기서, 제1 반응 영역(S1)은 컴퓨팅 장치(12)의 화면 범위(80)를 벗어난 영역도 포함될 수 있다. 제2 반응 영역(S2)은 제1 반응 영역(S1)의 외곽선으로부터 제1 반응 영역(S1)의 외곽선을 기준으로 기 설정된 범위 이내로 설정될 수 있다.
컴퓨팅 장치(12)는 사용자의 시선 중 픽세이션(Fixation) 또는 사카드(Saccade)가 제1 반응 영역(S1) 내에 위치하는지를 확인할 수 있다. 또는, 컴퓨팅 장치(12)는 사용자의 시선 중 픽세이션(Fixation)이 제2 반응 영역(S2) 내에 위치하는지를 확인할 수 있다.
여기서, 사카드(Saccade)는 두 눈이 동시에 동일한 방향으로 빠르게 움직이는 안구 운동으로 픽세이션들 사이에 일어나며, 일반적으로 20-40ms 지속되게 된다. 사카드는 주로 시선이 관심 객체를 향하도록 하는데 사용된다. 또한, 픽세이션(Fixation)은 시선이 단일 위치에서 유지되는 것으로, 시선이 고정되는 것을 의미할 수 있다. 픽세이션은 일반적으로 50-600ms 지속될 수 있다.
208 단계에서, 사용자의 시선 위치가 해당 페이지에서 기 설정된 반응 영역 내에 위치한 경우, 컴퓨팅 장치(12)는 페이지 턴 아이콘(60)을 활성화시킨다. 즉, 사용자의 시선 위치가 해당 페이지에서 기 설정된 반응 영역 내에 위치하면, 페이지 턴을 위한 준비 작업으로 페이지 턴 아이콘(60)을 활성화시킬 수 있다.
여기서, 컴퓨팅 장치(12)는 사용자의 시선 중 픽세이션(Fixation) 또는 사카드(Saccade)가 제1 반응 영역(S1) 내에 위치하면 페이지 턴 아이콘(60)을 활성화시키게 된다. 또는, 사용자의 시선 중 픽세이션(Fixation)이 제2 반응 영역(S2) 내에 위치하면 페이지 턴 아이콘(60)을 활성화시키게 된다.
도 7은 본 발명의 일 실시예에에서 페이지 턴 아이콘(60)이 활성화 된 상태를 나타낸 도면이다. 도 7에서는 시선 위치 아이콘(50)이 기 설정된 반응 영역 내에 위치하는 경우, 페이지 턴 아이콘(60)의 경계가 녹색으로 표시되어 페이지 턴 아이콘(60)이 활성화 되는 것으로 표시(62)하였다. 그러나, 페이지 턴 아이콘(60)의 활성화 표시(62)는 이에 한정되는 것은 아니며, 그 이외의 다양한 형태로 활성화 표시를 할 수 있다.
도 8은 본 발명에서 페이지 턴 아이콘(60)의 다른 실시예에 따른 활성화 표시(62)를 나타낸 도면이다. 도 8을 참조하면, 페이지 턴 아이콘(60)은 해당 페이지의 상단 모서리가 접혀진 상태로 표시될 수 있다. 그리고, 활성화 표시(62)는 해당 페이지의 상단 모서리에서 원 내에 화살표가 있는 것으로 표시될 수 있다.
210 단계에서, 컴퓨팅 장치(12)는 사용자의 시선이 페이지 턴 아이콘(60) 영역을 기 설정된 시간 응시하는 경우, 페이지 턴 작업을 수행한다. 즉, 사용자가 페이지 턴 아이콘(60) 영역을 기 설정된 시간 응시하는 경우, 컴퓨팅 장치(12)는 페이지 턴을 위한 사용자 명령으로 인식하여 페이지를 다음 페이지로 넘기는 작업을 수행할 수 있다.
도 9는 본 발명의 일 실시예에서 페이지 턴이 수행되는 상태를 나타낸 도면이다. 도 9의 (a)를 참조하면, 컴퓨팅 장치(12)는 사용자의 시선이 페이지 턴 아이콘(60) 영역을 기 설정된 시간 응시하는 경우, 페이지 턴 작업을 수행할 수 있다. 이때, 컴퓨팅 장치(12)는 페이지 턴 작업의 진행 정도(64)를 페이지 턴 아이콘(60) 영역에 표시할 수 있다. 예를 들어, 컴퓨팅 장치(12)는 페이지 턴 아이콘(60)의 경계를 따라 페이지 턴 작업의 진행 정도(64)를 표시할 수 있다. 컴퓨팅 장치(12)는 페이지 턴 작업이 이루어지는 정도에 따라 페이지 턴 아이콘(60)의 경계를 따라가면서 그 진행 정도가 표시되도록 할 수 있다.
도 9의 (b)를 참조하면, 컴퓨팅 장치(12)는 페이지 턴 작업이 완료되는 경우, 콘텐츠의 다음 페이지를 화면에 표시할 수 있다.
한편, 컴퓨팅 장치(12)는 페이지 턴 작업이 수행되는 도중에 사용자의 시선이 페이지 턴 아이콘(60) 영역을 벗어나는 경우, 페이지 턴 작업을 취소시킬 수 있다.
개시되는 실시예에 의하면, 사용자가 복수 개의 페이지를 포함하는 콘텐츠를 화면으로 보면서 시선을 통하여 페이지 턴을 수행할 수 있게 되며, 그로 인해 사용자의 편의성을 향상시킬 수 있게 된다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (18)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 복수의 페이지를 포함하는 콘텐츠를 화면에 표시하는 컴퓨팅 장치에서 수행되는 방법으로서,
    기 설정된 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작;
    상기 페이지 턴 아이콘 표시 이벤트가 발생하는 경우, 상기 콘텐츠에 페이지 턴 아이콘을 표시하는 동작; 및
    상기 화면 상에서 상기 콘텐츠를 보고 있는 사용자의 시선을 추적하고, 상기 사용자의 시선 위치에 기반하여 페이지 턴을 수행하는 동작을 포함하는, 페이지 턴 방법.
  2. 청구항 1에 있어서,
    상기 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작은,
    페이지 턴이 일어난 시점을 기준으로 기 설정된 시간이 경과하는지 여부를 확인하는 동작을 포함하는, 페이지 턴 방법.
  3. 청구항 2에 있어서,
    상기 기 설정된 시간은,
    상기 콘텐츠 내 텍스트에서 글자의 크기 및 글자의 개수 중 하나 이상을 기반으로 설정되는, 페이지 턴 방법.
  4. 청구항 1에 있어서,
    상기 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작은,
    페이지 턴이 일어난 시점 이후에 해당 페이지의 기 설정된 방향에서의 상기 사용자의 시선 위치가 기 설정된 위치에 이르는지 여부를 확인하는 동작을 포함하는, 페이지 턴 방법.
  5. 청구항 4에 있어서,
    상기 기 설정된 방향은,
    상기 페이지에서 텍스트의 줄의 길이 방향과 수직한 방향인, 페이지 턴 방법.
  6. 청구항 1에 있어서,
    상기 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작은,
    페이지 턴이 일어난 시점 이후에 사용자가 해당 페이지를 기 설정된 분량 이상으로 읽었는지 여부를 확인하는 동작을 포함하는, 페이지 턴 방법.
  7. 청구항 6에 있어서,
    상기 기 설정된 분량 이상으로 읽었는지 여부를 확인하는 동작은,
    상기 페이지 턴이 일어난 시점 이후에 상기 사용자의 시선을 추적하여 제1축 방향의 시선 패턴 및 상기 제1축 방향과 수직한 제2축 방향의 시선 패턴을 분석하는 동작;
    상기 제1축 방향의 시선 패턴을 기반으로 상기 사용자가 해당 페이지의 텍스트를 읽고 있는지 여부를 확인하는 동작; 및
    상기 제2축 방향의 시선 패턴을 기반으로 상기 사용자가 해당 페이지의 읽은 분량을 확인하는 동작을 포함하는, 페이지 턴 방법.
  8. 청구항 1에 있어서,
    상기 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작은,
    페이지 턴이 일어난 시점을 기준으로 기 설정된 시간 경과라는 제1 조건이 만족되는지를 확인하는 동작; 및
    페이지 턴이 일어난 시점 이후 해당 페이지의 기 설정된 방향에서의 상기 사용자의 시선 위치가 기 설정된 위치에 이르는 제2 조건이 만족되는지를 확인하는 동작을 포함하는, 페이지 턴 방법.
  9. 청구항 1에 있어서,
    상기 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하는 동작은,
    페이지 턴이 일어난 시점을 기준으로 기 설정된 시간 경과라는 제1 조건이 만족되는지를 확인하는 동작; 및
    페이지 턴이 일어난 시점 이후 상기 사용자가 해당 페이지를 기 설정된 분량 이상으로 읽었는지의 제3 조건이 만족되는지를 확인하는 동작을 포함하는, 페이지 턴 방법.
  10. 청구항 1에 있어서,
    상기 페이지 턴을 수행하는 동작은,
    상기 사용자의 시선 위치가 상기 페이지 턴 아이콘의 위치를 기준으로 설정되는 반응 영역 내에 위치하는지를 확인하는 동작을 더 포함하는, 페이지 턴 방법.
  11. 청구항 10에 있어서,
    상기 반응 영역은,
    상기 페이지 턴 아이콘의 위치를 기준으로 기 설정된 범위 이내로 설정되는 제1 반응 영역; 및
    상기 제1 반응 영역의 외곽선으로부터 상기 제1 반응 영역의 외곽선을 기준으로 기 설정된 범위 이내로 설정되는 제2 반응 영역을 포함하는, 페이지 턴 방법.
  12. 청구항 11에 있어서,
    상기 반응 영역 내에 위치하는지를 확인하는 동작은,
    상기 사용자의 시선 중 픽세이션(Fixation) 또는 사카드(Saccade)가 상기 제1 반응 영역 내에 위치하는지를 확인하거나 상기 사용자의 시선 중 픽세이션(Fixation)이 상기 제2 반응 영역 내에 위치하는지를 확인하는, 페이지 턴 방법.
  13. 청구항 10에 있어서,
    상기 페이지 턴을 수행하는 동작은,
    상기 사용자의 시선 위치가 상기 반응 영역 내에 위치하는 경우, 상기 페이지 턴 아이콘을 활성화시키는 동작; 및
    상기 사용자의 시선이 상기 페이지 턴 아이콘 영역을 기 설정된 시간 응시하는 경우, 페이지 턴을 수행하는 동작을 더 포함하는, 페이지 턴 방법.
  14. 청구항 13에 있어서,
    상기 페이지 턴을 수행하는 동작은,
    상기 페이지 턴 아이콘의 영역에 페이지 턴 작업의 진행 정도를 표시하는 동작을 더 포함하는, 페이지 턴 방법.
  15. 청구항 13에 있어서,
    상기 페이지 턴 방법은,
    상기 페이지 턴을 수행하는 도중에 상기 사용자의 시선이 페이지 턴 아이콘 영역을 벗어나는 경우, 페이지 턴 작업을 취소하는 동작을 더 포함하는, 페이지 턴 방법.
  16. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 복수의 페이지를 포함하는 콘텐츠를 화면에 표시하는 컴퓨팅 장치에서 수행되는 방법으로서,
    상기 콘텐츠에 페이지 턴 아이콘을 표시하는 동작;
    상기 화면 상에서 상기 콘텐츠를 보고 있는 사용자의 시선 위치가 상기 페이지 턴 아이콘의 위치를 기준으로 설정되는 반응 영역 내에 위치하는지를 확인하는 동작;
    상기 사용자의 시선 위치가 상기 반응 영역 내에 위치하는 경우, 상기 페이지 턴 아이콘을 활성화시키는 동작; 및
    상기 사용자의 시선이 상기 페이지 턴 아이콘 영역을 기 설정된 시간 응시하는 경우, 페이지 턴을 수행하는 동작을 포함하는, 페이지 턴 방법.
  17. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 복수의 페이지를 포함하는 콘텐츠를 화면에 표시하는 컴퓨팅 장치로서,
    상기 하나 이상의 프로그램들은,
    기 설정된 페이지 턴 아이콘 표시 이벤트가 발생하는지 여부를 확인하기 위한 명령;
    상기 페이지 턴 아이콘 표시 이벤트가 발생하는 경우, 상기 콘텐츠에 페이지 턴 아이콘을 표시하기 위한 명령; 및
    상기 화면 상에서 상기 콘텐츠를 보고 있는 사용자의 시선을 추적하고, 상기 사용자의 시선 위치에 기반하여 페이지 턴을 수행하기 위한 명령을 포함하는, 컴퓨팅 장치.
  18. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 복수의 페이지를 포함하는 콘텐츠를 화면에 표시하는 컴퓨팅 장치로서,
    상기 하나 이상의 프로그램들은,
    상기 콘텐츠에 페이지 턴 아이콘을 표시하기 위한 명령;
    상기 화면 상에서 상기 콘텐츠를 보고 있는 사용자의 시선 위치가 상기 페이지 턴 아이콘의 위치를 기준으로 설정되는 반응 영역 내에 위치하는지를 확인하기 위한 명령;
    상기 사용자의 시선 위치가 상기 반응 영역 내에 위치하는 경우, 상기 페이지 턴 아이콘을 활성화시키기 위한 명령; 및
    상기 사용자의 시선이 상기 페이지 턴 아이콘 영역을 기 설정된 시간 응시하는 경우, 페이지 턴을 수행하기 위한 명령을 포함하는, 컴퓨팅 장치.
PCT/KR2020/009100 2020-03-02 2020-07-10 페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치 WO2021177513A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/908,984 US20230103197A1 (en) 2020-03-02 2020-07-10 Method for page turn and computing device for executing the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0026238 2020-03-02
KR1020200026238A KR102379350B1 (ko) 2020-03-02 2020-03-02 페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
WO2021177513A1 true WO2021177513A1 (ko) 2021-09-10

Family

ID=77613507

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009100 WO2021177513A1 (ko) 2020-03-02 2020-07-10 페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치

Country Status (3)

Country Link
US (1) US20230103197A1 (ko)
KR (1) KR102379350B1 (ko)
WO (1) WO2021177513A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100039618A1 (en) * 2008-08-15 2010-02-18 Imotions - Emotion Technology A/S System and method for identifying the existence and position of text in visual media content and for determining a subject's interactions with the text
KR20120005125A (ko) * 2010-07-08 2012-01-16 한국전자통신연구원 전자책 재생 장치의 동작을 제어하는 동작 제어 모듈 및 동작 제어 방법
KR20120053803A (ko) * 2010-11-18 2012-05-29 삼성전자주식회사 시선 궤적을 이용한 컨텐츠 표시 장치 및 방법
KR20140077082A (ko) * 2012-12-13 2014-06-23 주식회사 인프라웨어 전자책 뷰어를 위한 페이지 자동넘김 최적화 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
KR20170045149A (ko) * 2014-05-09 2017-04-26 아이플루언스, 인크. 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101471488B1 (ko) 2012-03-23 2014-12-10 경북대학교 산학협력단 시선 추적 장치 및 방법
KR20140125557A (ko) * 2013-04-19 2014-10-29 에스케이플래닛 주식회사 이북 제어 장치 및 방법
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100039618A1 (en) * 2008-08-15 2010-02-18 Imotions - Emotion Technology A/S System and method for identifying the existence and position of text in visual media content and for determining a subject's interactions with the text
KR20120005125A (ko) * 2010-07-08 2012-01-16 한국전자통신연구원 전자책 재생 장치의 동작을 제어하는 동작 제어 모듈 및 동작 제어 방법
KR20120053803A (ko) * 2010-11-18 2012-05-29 삼성전자주식회사 시선 궤적을 이용한 컨텐츠 표시 장치 및 방법
KR20140077082A (ko) * 2012-12-13 2014-06-23 주식회사 인프라웨어 전자책 뷰어를 위한 페이지 자동넘김 최적화 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
KR20170045149A (ko) * 2014-05-09 2017-04-26 아이플루언스, 인크. 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법

Also Published As

Publication number Publication date
US20230103197A1 (en) 2023-03-30
KR20210111126A (ko) 2021-09-10
KR102379350B1 (ko) 2022-03-28

Similar Documents

Publication Publication Date Title
WO2014003365A1 (en) Method and apparatus for processing multiple inputs
WO2014109502A1 (en) Touch event processing method and portable device implementing the same
WO2015099293A1 (en) Device and method for displaying user interface of virtual input device based on motion recognition
WO2013032234A1 (en) Method of providing of user interface in portable terminal and apparatus thereof
EP2761973A1 (en) Method of operating gesture based communication channel and portable terminal system for supporting the same
EP4083767A1 (en) Icon moving method and electronic device
WO2015057005A1 (en) Apparatus and method for processing information list in terminal device
WO2017111313A1 (ko) 웹푸시를 이용한 푸시 서비스 제공 방법 및 이를 지원하는 전자 장치
US20180329612A1 (en) Interfacing with a computing device
WO2013100727A1 (en) Display apparatus and image representation method using the same
WO2020251267A2 (ko) 시선 추적 기술을 이용한 쇼핑몰 서비스 시스템 및 이를 수행하기 위한 컴퓨팅 장치
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2012118271A1 (ko) 터치를 이용한 컨텐츠 제어방법, 장치, 이를 위한 기록매체 및 이를 포함하는 사용자 단말
CN111090529A (zh) 共享信息的方法及电子设备
WO2021177513A1 (ko) 페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치
WO2014133258A1 (en) Pen input apparatus and method for operating the same
WO2020209455A1 (en) System and method for natural three-dimensional calibration for robust eye tracking
KR20140082618A (ko) 전자펜을 이용하여 단말장치의 동작을 제어하는 방법 및 그 단말장치
CN111045560A (zh) 图片的发送方法及电子设备
CN111368151A (zh) 显示方法及电子设备
WO2019203591A1 (en) High efficiency input apparatus and method for virtual reality and augmented reality
EP4345592A1 (en) Processing method, processing device, and readable storage medium
EP2515202B1 (en) File processing system and management device
WO2014168385A1 (ko) 문자 데이터를 선택하는 방법, 그리고 이를 처리하는 전자 장치
WO2021153961A1 (ko) 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20922714

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 26.01.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20922714

Country of ref document: EP

Kind code of ref document: A1