WO2015011985A1 - 情報処理装置、方法及びプログラム - Google Patents

情報処理装置、方法及びプログラム Download PDF

Info

Publication number
WO2015011985A1
WO2015011985A1 PCT/JP2014/064189 JP2014064189W WO2015011985A1 WO 2015011985 A1 WO2015011985 A1 WO 2015011985A1 JP 2014064189 W JP2014064189 W JP 2014064189W WO 2015011985 A1 WO2015011985 A1 WO 2015011985A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
display
user
sight
information processing
Prior art date
Application number
PCT/JP2014/064189
Other languages
English (en)
French (fr)
Inventor
翼 塚原
石川　毅
浩丈 市川
近藤　一臣
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2015011985A1 publication Critical patent/WO2015011985A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits

Definitions

  • the present disclosure relates to an information processing apparatus, a method, and a program.
  • an electronic book reader application executed on a mobile terminal such as an electronic book terminal, a tablet terminal, or a smartphone that has been released in recent years has a function of attaching a sticky note (index) on an arbitrary page as a basic function.
  • Patent Document 1 proposes a method of capturing the movement and direction of the eyeball with a camera.
  • Patent Document 2 a line-of-sight tracking method using corneal reflection is proposed.
  • the present disclosure proposes a new and improved information processing apparatus, method, and program capable of automatically determining a user's attention spot and feeding back to the user.
  • an information processing apparatus comprising: a determination unit that determines a point of interest of the user on the display screen; and a display control unit that controls to clearly indicate the point of interest determined by the determination unit on the display screen.
  • a method includes a step of determining a location and a step of controlling the display screen to clearly indicate the determined location of interest.
  • the computer can be set to the stay history of the line-of-sight position detected by the line-of-sight position detection unit that detects the position of the line of sight of the user with respect to the display screen, and the line-of-sight position detection unit with respect to each display coordinate of the display screen.
  • a determination unit that determines the point of interest of the user on the display screen
  • a display control unit that controls to clearly indicate the point of interest determined by the determination unit on the display screen Suggest a program.
  • FIG. 1 is a diagram for describing an overview of an information processing apparatus according to an embodiment of the present disclosure.
  • the information processing apparatus 1 according to the present embodiment is realized by a portable terminal such as a tablet terminal or an electronic book terminal.
  • a display unit 14 and an imaging lens 15a are provided on one surface of the information processing apparatus 1 according to the present embodiment.
  • the imaging lens 15a is installed in a direction in which the face of the user who browses the electronic book data displayed on the display unit 14 can be imaged.
  • the image captured by the imaging lens 15a indicates the position of the user's line of sight with respect to the display screen. Used when detecting.
  • the display unit 14 displays various contents such as text, diagrams, and moving images.
  • electronic book data is displayed as an example.
  • the display unit 14 may be stacked with a touch sensor (an example of the operation unit 16).
  • touch sensors an example of the operation unit 16.
  • the information processing apparatus 1 can detect a user's touch operation on the display screen as a user operation input.
  • the information processing apparatus 1 automatically determines and stores a point of interest by tracking the user's line of sight, performs display control to clearly indicate the point of interest, and feeds back to the user. be able to.
  • the location or page that the user has focused on is automatically determined without interrupting the act of reading the text of the book. Can be saved.
  • the information processing apparatus 1 highlights the determined attention location with the color image 22, thereby clearly indicating the attention location and feeding back to the user.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 includes a CPU (Central Processing Unit) 10, a ROM (Read Only Memory) 11, a RAM (Random Access Memory) 12, an input / output interface 13, a display unit 14, The camera module 15, the operation unit 16, the storage unit 17, and the communication unit 18 are included.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 includes a CPU (Central Processing Unit) 10, a ROM (Read Only Memory) 11, a RAM (Random Access Memory) 12, an input / output interface 13, a display unit 14, The camera module 15, the operation unit 16, the storage unit 17, and the communication unit 18 are included.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 10 executes various processes according to a program recorded in the ROM 11 or a program loaded from the storage unit 17 to the RAM 12. A specific functional configuration (various processing) by the CPU 10 will be described later with reference to FIG.
  • the RAM 12 appropriately stores data necessary for the CPU 10 to execute various processes. Further, the CPU 10, the ROM 11, and the RAM 12 are connected to each other through a bus. An input / output interface 13 is also connected to this bus.
  • a display unit 14, a camera module 15 (imaging unit), an operation unit 16, a storage unit 17, and a communication unit 18 are connected to the input / output interface 13.
  • the input / output interface 13 mediates between data input / output from these connected components and data input / output to / from the CPU 10, the ROM 11, and the RAM 12 via the bus.
  • Each configuration connected to the input / output interface 13 illustrated in FIG. 2 is an example, and for example, an audio input / output unit (microphone and speaker), a drive, and the like may be further connected.
  • a removable medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately installed in the drive, and a program read by these is stored in the storage unit 17 as necessary.
  • the display unit 14 displays (reproduces) various contents, a menu screen, an operation screen, and the like according to the control of the CPU 10.
  • the display unit 14 is realized by, for example, an LCD (Liquid Crystal Display) or an OLED (Organic Light-Emitting Diode).
  • the camera module 15 includes an imaging lens 15a shown in FIG. 1, an imaging optical system including an imaging element, and a captured image signal processing unit, and outputs digital captured image data.
  • the image sensor is realized by, for example, a CCD (Charge Coupled Device) imager or a CMOS (Complementary Metal Oxide Semiconductor) imager.
  • the camera module 15 according to the present embodiment images a face of a user who browses electronic book data displayed on the display unit 14, and the captured image is used for visual position detection described later.
  • the operation unit 16 has a function of accepting an operation input by a user.
  • the operation unit 16 is realized by, for example, a physically provided power switch, various operation buttons, and the like. Further, the operation unit 16 may be a touch panel capable of detecting a position integrated with the display unit 14.
  • the storage unit 17 has a function of storing various contents such as electronic book data, images (moving images, still images), text files, and the like.
  • the communication unit 18 has a function of connecting to an external device by wireless / wired and transmitting / receiving data.
  • the communication unit 18 can be connected to a wireless AP (access point) via a wireless LAN, infrared rays, Wi-Fi (registered trademark), and the like, and can be connected to a network via the wireless AP.
  • the communication part 18 can acquire the program which comprises the data for various content data and the software for performing a series of processes by this embodiment from the predetermined
  • FIG. 3 is a block diagram illustrating a functional configuration of the CPU 10 according to an embodiment of the present disclosure.
  • the CPU 10 functions as a line-of-sight position detection unit 110, a storage control unit 120, a determination unit 130, and a display control unit 140.
  • the line-of-sight position detection unit 110 continuously detects the position of the line of sight of the user with respect to the display screen based on the face image of the user continuously photographed by the camera module 15. As shown in FIG. 4, the position of the user's line of sight with respect to the display screen is the line of sight position P (coordinate position) where the line of sight of the user's eye 2 is facing the display screen of the display unit 14 of the information processing apparatus 1. Indicates.
  • the user's eye 2 is included in the angle of view of the imaging lens 15a provided on the same surface as the surface on which the display unit 14 of the information processing apparatus 1 is provided, and the user's eye 2 is imaged.
  • the line-of-sight position detection unit 110 also performs reference point processing and calibration processing when the user's face is tilted. Moreover, the detection method by the visual line position detection unit 110 may specify an absolute direction in which the visual line of the user's eye is facing, or during a period from a past specific time point to a current detection time point. It may be one that detects a line-of-sight movement vector (movement amount and movement direction) of the eyeball. In addition, the line-of-sight position detection unit 110 includes a detection method that identifies movement and line-of-sight direction from a grayscale image of the eyeball, a detection method using corneal reflection using a camera and an LED (specifically, near-infrared illumination), and the like. A detection method having an accuracy suitable for realizing this embodiment can be used.
  • the storage control unit 120 uses the information on the line-of-sight position continuously detected by the line-of-sight position detection unit 110 as the staying history of the line of sight, and the data (for example, predetermined) displayed on the display unit 14 when the line-of-sight position is detected. To a predetermined page of the electronic book data) and control to store in the storage unit 17. In this way, by storing the staying history of the line of sight, it is possible to determine which part of which page the user has focused on in the determination unit 130 described later.
  • the stay history stored in the storage unit 17 is a history of at least one of the time (how many minutes / seconds) the user's line-of-sight position stayed at each display coordinate on the display screen and the number of stays. is there.
  • an example of data stored by the storage control unit 120 will be described with reference to FIG.
  • the storage unit 17 stores a stay history DB (database) 171a of document A (electronic book data A), a stay history DB 171b of document B, a stay history DB 172 in each genre, and the like.
  • the stay history DB 171 (171a, 171b) of each document is a stay history of each coordinate in each page, and is continuously updated by the storage control unit 120 based on the information on the line-of-sight position detected by the line-of-sight position detection unit 110.
  • the data is stored in the storage unit 17 at a predetermined timing.
  • the storage control unit 120 calculates the stay history of each page, which is the sum of all the coordinates of the stay history at each coordinate calculated based on the stay history of each coordinate, and the total of the stay history of each page.
  • the storage history of the document titles that are the sum is stored in the storage unit 17.
  • the stay history of the document title may be a stay history obtained by dividing the sum of all the stay histories of each page by the number of pages in addition to the sum of all the stay histories of each page.
  • the stay history DB 172 in each genre shown in FIG. 5 stores a stay history calculated by summing or averaging all document titles of the stay history of each document title in each genre of a plurality of documents (electronic book data). Is done.
  • the determination unit 130 determines a user's attention point based on the stay history of the user's line-of-sight position with respect to the display screen, which is detected by the line-of-sight position detection unit 110 and stored by the storage control unit 120. More specifically, the determination unit 130 determines the location of interest based on at least one of the time when the user's line-of-sight position stayed at each display coordinate on the display screen and the history of the number of times the user stayed. For example, based on the “stay history at each coordinate” stored in the stay history DB 171 of each document, the determination unit 130 is longer than the other times or stayed more times than others. The display coordinates (or the vicinity of the display coordinates) are determined as the user's attention location on the display page.
  • the determination unit 130 determines a page (attention page) that the user has noticed among a plurality of pages forming the content, based on the “stay history at each page” stored in the stay history DB 171 of each document. For example, the determination unit 130 determines whether the gaze stay time is longer than the others based on the sum of the gaze stay times for all coordinates per page or the sum of the gaze stay times for all coordinates per page. A page having a higher number of times than the other is determined as a target page.
  • the determination unit 130 selects the content (attention content) that the user has paid most attention to among the plurality of contents (here, documents) based on the “stay history in the document title” stored in the stay history DB 171 of each document. to decide. For example, the determination unit 130 determines whether the gaze stay time is longer than the others or the number of gaze stays is based on the sum of the gaze stay times of all pages for each document title or the sum of the gaze stay times of all pages for each document title. More document titles than others are determined as content of interest.
  • the determination unit 130 may determine a plurality of attention locations, attention pages, and attention content. For example, the determination unit 130 may determine the point of interest in order from the display coordinate having the longest line-of-sight stay time of the user's line of sight in the display coordinates.
  • the display control unit 140 controls the display of the display unit 14 and controls (displays) the operation screen and data of various contents.
  • the display control unit 140 according to the present embodiment performs control for clearly indicating a point of interest in a page, presenting a page of interest, or presenting content of interest based on the determination result by the determination unit 130. Can do.
  • the display control unit 140 performs control so as to color the vicinity of the attention location in the page, draw a line in the text near the attention location, or enlarge the display of the vicinity of the attention location, and clearly indicate the attention location.
  • the display control unit 140 may control to color the vicinity of the attention location with a density corresponding to the stay time or the number of stays of the attention location.
  • the display control unit 140 may perform control so that a portion other than the vicinity of the target portion is displayed in black and white.
  • the display control unit 140 may clearly indicate the plurality of attention locations simultaneously or sequentially. For example, the display control unit 140 performs control so that a plurality of points of interest in the page are displayed with a color of density corresponding to the length of the eye gaze stay time or the number of eye gaze stays.
  • the display control unit 140 may display a selection screen on the display unit 14 that allows the user to select a method of clearly indicating the point of interest on the display unit 14, and may indicate the point of interest using a method selected by the user. As a result, the user can arbitrarily select a method of clearly indicating the point of interest.
  • the display control unit 140 can present the attention page of the content (document) selected by the user according to the determination result by the determination unit 130.
  • the display control unit 140 can present the content most noticed by the user among a plurality of contents (documents) according to the determination result by the determination unit 130. In addition, the display control unit 140 can present the content (document) most noticed by the user among the predetermined genres according to the determination result by the determination unit 130. Further, the display control unit 140 may display a plurality of attention contents in the order of attention (for example, in order of longer stay gaze time) according to the determination result by the determination unit 130.
  • the information processing apparatus 1 images the eyes of the user who reads the electronic book data displayed on the display unit 14, and detects the user's line-of-sight position with respect to the display screen based on the captured image. Further, the information processing apparatus 1 continuously detects the user's line-of-sight position, and accumulates information (stay history) of display coordinates (line-of-sight position) where the line-of-sight position stayed. Based on the stay history accumulated in this way, the information processing apparatus 1 can determine the location that the user has noticed in the page, the page of interest, and the content of interest and present it to the user.
  • FIG. 6 processing for detecting a user's line-of-sight position by the information processing apparatus 1 will be described.
  • FIG. 6 is a flowchart showing the processing for detecting the user's line-of-sight position by the information processing apparatus 1.
  • the line-of-sight position detection unit 110 of the CPU 10 of the information processing apparatus 1 performs reference detection processing.
  • the line-of-sight position detection unit 110 starts the line-of-sight detection process using, for example, a predetermined operation by the user such as the moment when the page of the electronic book displayed on the display unit 14 is turned.
  • the reference detection process is a process for detecting reference information from a captured image of the user's eyeball photographed by the camera module 15. For example, based on the captured image of the eye, the orientation of the user's face, the inclination of the eyelid, etc. are determined. Then, a value used for correction at the time of detecting the line-of-sight position is calculated as reference information.
  • step S106 the line-of-sight position detection unit 110 determines whether or not the reference detection is successful. If it has failed (S106 / No), in step S109, the line-of-sight position detection unit 110 performs error processing, returns to step S103, and performs reference detection again. This is because an error that may occur in the line-of-sight detection process described later increases if the reference detection fails.
  • step S112 the line-of-sight position detection unit 110 performs line-of-sight detection processing. Specifically, the line-of-sight position detection unit 110 detects which coordinate of the display unit 14 the user's line of sight is directed to (based on the user's line-of-sight position) based on a captured image of the user's eyeball that is captured in real time. . At this time, the line-of-sight position detection unit 110 corrects the detection result using the value calculated by the above-described reference detection process.
  • step S115 the storage control unit 120 performs a line-of-sight position coordinate storage process. Specifically, the storage control unit 120 controls the storage unit 17 to store information on the user's line-of-sight position detected by the line-of-sight position detection unit 110 as a line-of-sight stay history.
  • step S118 steps S112 to S115 are repeated until an end instruction is issued.
  • the end instruction is not particularly limited, but may be that the user has performed a predetermined operation such as turning a page, for example.
  • the information processing apparatus 1 can perform the processing shown in S103 to S118 described above each time the page is turned, and store the stay history of the user's line of sight with respect to each display coordinate of each page in the storage unit 17.
  • the storage unit 17 stores the stay history of the user's line of sight with respect to each display coordinate of each page.
  • the determination unit 130 of the information processing apparatus 1 determines the attention location in the page, the attention page in the electronic book content (document), and the attention content in the plurality of electronic book contents based on the stored history of the line of sight, The determination result is presented to the user by the display control unit 140.
  • the location or page of interest is automatically determined without interrupting the user's operation of explicitly attaching a sticky note and without interrupting the act of reading the text of the book. Presented.
  • the determination unit 130 may determine the attention location, the attention page, and the attention content by sorting the attention location, the attention page, and the attention content according to the staying history of the line of sight, respectively.
  • the display control unit 140 can present the attention spot, the attention page, and the attention content with the highest degree of attention, or can present the upper predetermined number of attention positions, attention pages, and attention content.
  • the order of attention may be, for example, the order in which the user's line of sight stays longer with respect to the display coordinates, or the order in which the user's line of sight is directed toward the display coordinates.
  • the sorting process performed by the determination unit 130 will be described with reference to FIGS. 7 and 8.
  • FIG. 7 is a flowchart showing the sorting process by the determination unit 130.
  • the determination unit 130 obtains predetermined data for sorting (rearranging) in order of attention from each DB (see FIG. 5) stored in the storage unit 17. get. For example, when determining the content of interest (most read book), the determination unit 130 acquires the stay history for each document title.
  • step S206 the determination unit 130 performs a sort process using the acquired data. Such sort processing will be described later with reference to FIG.
  • step S209 the determination unit 130 stores the sort processing result in the storage unit 17.
  • the display control unit 140 can present a site of interest, a page of interest, and a content of interest based on the sort processing result in response to a user request.
  • FIG. 8 is a flowchart showing specific contents of the sort processing according to this embodiment.
  • N the number of elements (the number of electronic book contents read by the user so far) is set to -1.
  • loop A when N is a positive number, steps S306 to S318 are repeated (hereinafter referred to as loop A).
  • loop B the order of the electronic book contents arranged in time series is sequentially rearranged in the order of attention based on the adjacent exchange method.
  • the order of attention is, for example, the order in which the average gaze stay time of each document title is long.
  • step S309 the determination unit 130 compares the average line-of-sight stay time of the K-th document (electronic book content) with the average line-of-sight stay time of the K + 1-th document (electronic book content). It is determined whether it is long (the order of attention is high).
  • step S312 If the average line-of-sight stay time of the Kth document (electronic book content) is longer (S309 / Yes), the order of the Kth document and the K + 1th document is switched in step S312.
  • N N (the number of electronic book contents read by the user so far) is set to ⁇ 1.
  • S306 and subsequent steps are repeated (loop A).
  • the number N of electronic book contents read by the user so far is 1, since N is set to “0” in step S318, the above-described sorting process (sorting process) is not executed.
  • the electronic book contents that the user has read so far are arranged in the order corresponding to the length of the average line-of-sight stay time. Can be lined up. Then, the determination unit 130 determines the electronic book content having the longest average line-of-sight stay time as a “most read book” (content of interest).
  • the adjacent exchange method was used for the sort process mentioned above, this embodiment is not limited to this, For example, you may rearrange in order of attention using other methods, such as a basic selection method.
  • the operation processing of the information processing apparatus 1 according to the present embodiment has been specifically described above. Next, the method of specifying the attention site, the attention page, and the attention content by the display control unit 140 will be described in detail with a plurality of specific examples.
  • FIG. 9 is a diagram for explaining an explicit example of a site of interest and a page of interest.
  • a search screen for searching the electronic book content that has already been read by the user is displayed.
  • the search screen includes items such as “page with a sticky note”, “page with a memo”, “page with a line drawn”, and “most read page”.
  • “Pages with sticky notes”, “Pages with notes”, and “Pages with lines drawn” are specified by the user explicitly using the general sticky note function, memo function, and line function, respectively. This is a page with sticky notes, notes, and lines.
  • the “most read page” is a page of interest that is automatically determined by the determination unit 130 according to the present embodiment based on the stay history of the user's line of sight.
  • the display control unit 140 displays the result of FIG.
  • control is performed so that the page of interest (most read page) 20 is displayed on the display unit 14.
  • the display control unit 140 selects the page with the longest line-of-sight stay time as the target page ( The most read page).
  • the display control unit 140 clearly indicates the part (the attention part) that has been read in the attention page displayed on the display part 14 with the color images 22a and 22b. May be.
  • the top two places that have been read well are clearly shown by color images (highlights) 22a and 22b.
  • the display control unit 140 may perform control so that the color images 22a and 22b are displayed at a density according to the length of the eye gaze stay time (or a density according to the order of attention).
  • the user can intuitively grasp the most read page and the portion often read in the most read page.
  • the display control unit 140 can also adjust at least one of the density and the transparency of the color image 22 to be displayed in order to clearly indicate the point of interest in accordance with a user operation.
  • an operation bar 23 for controlling the density of the color image 22 (highlight) for clearly indicating a point of interest is displayed on the display unit 14. 23 is operated.
  • the display control unit 140 increases or decreases the density of the color image 22 according to the amount by which the position of the knob (knob portion) of the operation bar 23 shown on the left in FIG. For example, as shown in the right side of FIG. 10, when the knob of the operation bar 23 is dragged in the right direction, the display control unit 140 controls to reduce the density of the color image 22. In this way, the user can arbitrarily adjust the density or transmittance of the color image 22, so that it is possible to avoid the color image 22 from being obstructed when a frequently read portion is read again.
  • the method of clearly indicating the point of interest is not limited to the method using the color images (highlights) 22a and 22b described with reference to FIG. 9, and for example, as shown in FIG.
  • the method of pulling 24a and 24b may be used.
  • the top two places of interest (well read) are clearly indicated by lines 24a and 24b, and the thickness of each line is the thickness corresponding to the length of the eye-gaze stay time of each place of interest. It has become.
  • FIG. 12 is a diagram for explaining an explicit example of the content of interest.
  • a search screen for searching for electronic book content is displayed on the display screen of the display unit 14 of the information processing apparatus 1 shown on the left in FIG.
  • the search screen includes items such as “manga”, “reference book”, “magazine”, and “most read book”.
  • the display control unit 140 displays the cover data of the electronic book content retrieved according to the item selected by the user on the display unit 14.
  • the “most read book” is the content of interest that is automatically determined by the determination unit 130 according to the present embodiment based on the stay history of the user's line of sight.
  • the display control unit 140 is based on the determination result (for example, the sorting result) by the determination unit 130, as shown in FIG.
  • control is performed so that the cover image 27 of the content of interest (most read book) is displayed on the display unit 14.
  • the display control unit 140 Control is performed so that the electronic book content with the longest sight-line staying time is displayed as the attention content (the most read book).
  • the display control unit 140 may rank-display the upper predetermined number of electronic book contents according to the attention order of the attention contents. Specifically, as shown in FIG. 13, for example, a ranking screen 28 on which characters such as “most read book ranking” and title names of the top three electronic book contents in order of attention are displayed on the display unit 14. Is displayed.
  • the user can automatically determine the electronic book content that the user often read without automatically grasping the number of times and the time required to read each electronic book content voluntarily. Since the information can be presented, the convenience of the information processing apparatus 1 is further improved.
  • the point of interest in the page displayed on the display unit 14 is automatically determined and stored, and the point of interest It is possible to provide feedback to the user by specifying.
  • the user can automatically determine the location or page that the user has focused on (concentrated reading) without interrupting the act of reading the text of the electronic book content, so sticky notes or draw lines It is possible to save the trouble of operation.
  • the determination unit 130 described above can perform sorting processing in the order of the attention degree after performing predetermined weighting on the time and the number of times the user's line-of-sight position stayed at the display coordinates.
  • this technique can also take the following structures.
  • a line-of-sight position detector that detects the position of the user's line of sight relative to the display screen;
  • a determination unit that determines a location of interest of the user on the display screen based on a stay history of the position of the line of sight detected by the line-of-sight position detection unit with respect to each display coordinate of the display screen;
  • On the display screen a display control unit that controls to clearly indicate the point of interest determined by the determination unit;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the stay history is a history of a time at which the position of the line of sight stays at each display coordinate on the display screen or a number of times of stay.
  • the information processing apparatus according to any one of (1) to (6), wherein the display control unit displays a selection screen for selecting a display control method for clearly indicating the point of interest.
  • the information processing apparatus further includes a storage control unit that controls to store in the storage unit the stay history of the line-of-sight position detected by the line-of-sight position detection unit with respect to each display coordinate of the display screen.
  • the information processing apparatus according to any one of (7).
  • the determination unit determines the location of interest based on at least one of a history of a time at which the position of the line of sight stays at each display coordinate on the display screen or a history of the number of times of stay, (1) The information processing apparatus according to any one of (8) to (8).
  • Computer A line-of-sight position detector that detects the position of the user's line of sight relative to the display screen; A determination unit that determines a location of interest of the user on the display screen based on a stay history of the position of the line of sight detected by the line-of-sight position detection unit with respect to each display coordinate of the display screen; On the display screen, a display control unit that controls to clearly indicate the point of interest determined by the determination unit; Program to function as.
  • Information processing device 10 CPU 11 ROM 12 RAM 13 Input / output interface 14 Display unit 15 Camera module 15a Imaging lens 16 Operation unit 17 Storage unit 18 Communication unit 22, 22a, 22b Color image 110 Gaze position detection unit 120 Storage control unit 130 Judgment unit 140 Display control unit 171a Stay of document A History DB 171b Document B Stay History DB 172 Stay history DB in each genre

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの注目個所を自動的に判断してユーザにフィードバックすることが可能な情報処理装置、方法及びプログラムを提供する。 【解決手段】表示画面に対するユーザの視線の位置を検出する視線位置検出部と、前記表示画面の各表示座標に対する前記視線位置検出部により検出された視線の位置の滞在履歴に基づいて、前記表示画面における前記ユーザの注目個所を判断する判断部と、前記表示画面において、前記判断部により判断された前記注目個所を明示するよう制御する表示制御部と、を備える、情報処理装置。

Description

情報処理装置、方法及びプログラム
　本開示は、情報処理装置、方法及びプログラムに関する。
　近年発売されている電子書籍端末やタブレット端末、スマートフォン等の携帯端末において実行される電子書籍リーダーのアプリケーションでは、任意のページに付箋（インデックス）を貼るという機能が基本機能として搭載されている。
　また、電子書籍端末を含むほとんどの携帯端末にはカメラが内蔵されており、ユーザの視線をトラッキングすることが可能である。トラッキング精度は計算手法によって異なり、例えば下記特許文献１では、眼球の動きと方向をカメラで捉える方法が提案されている。また、下記特許文献２では、角膜反射を使用した視線トラッキング方法が提案されている。
特開２００７－３１０８１５号公報 特開２００５－１８５４３１号公報
　しかしながら、上述した付箋を貼る機能を利用する際はメニュー操作が必要であって、ユーザは、付箋を貼るために書籍の文章を読む行為を一旦中断し、メニュー操作を行った上で、明示的に付箋を貼らなければならなかった。
　したがって、ユーザが書籍の文章を読む行為を中断することなく、上述したような視線トラッキング技術等を用いてユーザが注目している（集中して読んでいる）個所やページ、本等を自動的に判断することができれば、付箋を貼るための操作の手間を省くことができる。
　そこで、本開示では、ユーザの注目個所を自動的に判断してユーザにフィードバックすることが可能な、新規かつ改良された情報処理装置、方法及びプログラムを提案する。
　本開示によれば、表示画面に対するユーザの視線の位置を検出する視線位置検出部と、前記表示画面の各表示座標に対する前記視線位置検出部により検出された視線の位置の滞在履歴に基づいて、前記表示画面における前記ユーザの注目個所を判断する判断部と、前記表示画面において、前記判断部により判断された前記注目個所を明示するよう制御する表示制御部と、を備える情報処理装置を提案する。
　本開示によれば、表示画面に対するユーザの視線の位置を検出するステップと、前記表示画面の各表示座標に対する前記検出された視線の位置の滞在履歴に基づいて、前記表示画面における前記ユーザの注目個所を判断するステップと、前記表示画面において、前記判断された前記注目個所を明示するよう制御するステップと、を含む方法を提案する。
　本開示によれば、コンピュータを、表示画面に対するユーザの視線の位置を検出する視線位置検出部と、前記表示画面の各表示座標に対する前記視線位置検出部により検出された視線の位置の滞在履歴に基づいて、前記表示画面における前記ユーザの注目個所を判断する判断部と、前記表示画面において、前記判断部により判断された前記注目個所を明示するよう制御する表示制御部と、として機能させるためのプログラムを提案する。
　以上説明したように本開示によれば、ユーザの注目個所を自動的に判断してユーザにフィードバックすることが可能となる。
本開示の一実施形態による情報処理装置の概要を説明するための図である。 本実施形態による情報処理装置のハードウェア構成の一例を示すブロック図である。 本実施形態によるＣＰＵの機能構成を示すブロック図である。 本実施形態による表示画面に対するユーザの視線位置検出について説明するための図である。 本実施形態による記憶部に記憶されるデータの一例について説明するための図である。 本実施形態によるユーザの視線位置を検出する処理を示すフローチャートである。 本実施形態による判断部が行うソート処理を示すフローチャートである。 本実施形態による判断部が行うソート処理の具体的な内容を示すフローチャートである。 本実施形態による注目個所および注目ページの明示例について説明するための図である。 本実施形態によるカラー画像の濃度を任意で調整する場合について説明するための図である。 本実施形態による注目個所にラインを引く明示方法について説明するための図である。 本実施形態による注目コンテンツの明示例について説明するための図である。 本実施形態による注目コンテンツのランキング表示について説明するための図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理装置の概要
　２．基本構成
　　２－１．ハードウェア構成
　　２－２．機能構成
　３．動作処理
　　３－１．視線位置検出処理
　　３－２．ソート処理
　４．明示方法例
　５．まとめ
　　＜＜１．本開示の一実施形態による情報処理装置の概要＞＞
　まず、本開示の一実施形態による情報処理装置の概要について、図１を参照して説明する。
　図１は、本開示の一実施形態による情報処理装置の概要を説明するための図である。図１に示すように、本実施形態による情報処理装置１は、タブレット端末または電子書籍端末等の携帯端末により実現される。また、図１に示すように、本実施形態による情報処理装置１の一面には、表示部１４および撮像レンズ１５ａが設けられる。
　撮像レンズ１５ａは、表示部１４に表示される電子書籍データを閲覧するユーザの顔を撮像可能な方向に向けて設置され、撮像レンズ１５ａにより撮像された画像は、表示画面に対するユーザの視線位置を検出する際に用いられる。
　表示部１４では、テキスト、図表、動画等の各種コンテンツが表示される。ここでは、一例として電子書籍データが表示される。また、表示部１４には、タッチセンサ（操作部１６の一例）が積層されていてもよい。タッチセンサが積層されている場合、情報処理装置１は、表示画面に対するユーザのタッチ操作をユーザ操作入力として検出することが可能である。
　ここで、電子書籍データの任意のページに付箋を貼ったり、任意の場所にラインを引いたりする場合、通常、書籍の文章を読む行為を一旦中断し、メニュー操作を行った上で、明示的に付箋を貼らなければならなかった。
　以上の事情を鑑みて、本開示による情報処理装置１では、ユーザの視線をトラッキングすることで注目個所を自動的に判断して記憶し、注目個所を明示するよう表示制御してユーザにフィードバックすることができる。これにより、ユーザが書籍の文章を読む行為を中断することなく、ユーザが注目していた（集中して読んでいた）個所やページ等が自動的に判断されるので、付箋を貼るための操作の手間を省くことができる。
　また、情報処理装置１は、図１に示すように、判断した注目個所をカラ―画像２２でハイライト表示することで、注目個所を明示し、ユーザにフィードバックすることができる。
　以上、本開示の一実施形態における情報処理装置１の概要について説明した。続いて、本実施形態による情報処理装置１の構成及び動作処理について順次説明する。
　　＜＜２．基本構成＞＞
　　　＜２－１．ハードウェア構成＞
　図２は、本実施形態による情報処理装置１のハードウェア構成の一例を示すブロック図である。図２に示すように、本実施形態による情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２、入出力インタフェース１３、表示部１４、カメラモジュール１５、操作部１６、記憶部１７、および通信部１８を有する。
　ＣＰＵ１０はＲＯＭ１１に記録されているプログラムまたは記憶部１７からＲＡＭ１２にロードされたプログラムによって各種の処理を実行する。ＣＰＵ１０による具体的な機能構成（各種の処理）については、図３を参照して後述する。ＲＡＭ１２には、ＣＰＵ１０が各種の処理を実行する上で必要なデータ等も適宜記憶されている。また、ＣＰＵ１０、ＲＯＭ１１、およびＲＡＭ１２はバスを介して相互に接続されている。このバスには、入出力インタフェース１３も接続されている。
　入出力インタフェース１３には、表示部１４、カメラモジュール１５（撮像部）、操作部１６、記憶部１７、および通信部１８が接続されている。入出力インタフェース１３は、これら接続されている各構成から入出力されるデータと、バスを介してＣＰＵ１０、ＲＯＭ１１、およびＲＡＭ１２に入出力されるデータとの仲介を行う。なお、図２に示す入出力インタフェース１３に接続されている各構成は一例であって、例えばさらに音声入出力部（マイクおよびスピーカ）やドライブ等が接続されていてもよい。ドライブには例えば磁気ディスク、光ディスク、光磁気ディスクあるいは半導体メモリなどのリムーバブルメディアが適宜装着され、これらによって読みだされたプログラムが必要に応じて記憶部１７に記憶される
　表示部１４は、ＣＰＵ１０の制御にしたがって、各種コンテンツや、メニュー画面、操作画面等を表示（再生）する。また、表示部１４は、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等により実現される。
　カメラモジュール１５は、図１に示す撮像レンズ１５ａと、撮像素子を含む撮像光学系、及び撮影画像信号処理部を含み、デジタル信号とされた撮影画像のデータを出力する。なお、撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージャやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャにより実現される。本実施形態によるカメラモジュール１５は、表示部１４に表示される電子書籍データ等を閲覧するユーザの顔を撮像し、撮像画像は、後述する視認位置検出に用いられる。
　操作部１６は、ユーザによる操作入力を受け付ける機能を有する。具体的には、操作部１６は、例えば物理的に設けられる電源スイッチや各種操作ボタン等により実現される。また、操作部１６は、表示部１４と一体化された位置検出可能なタッチパネルであってもよい。
　記憶部１７は、電子書籍データや、画像（動画、静止画）、テキストファイル等の各種コンテンツを記憶する機能を有する。
　通信部１８は、無線／有線により外部装置と接続し、データの送受信を行う機能を有する。例えば通信部１８は、無線ＬＡＮ、赤外線、Ｗｉ－Ｆｉ（登録商標）等により無線ＡＰ（アクセスポイント）に接続し、無線ＡＰを介してネットワークに接続することができる。そして、通信部１８は、ネットワーク上の所定のサーバから各種コンテンツのデータや、本実施形態による一連の処理を実行するためのソフトウェアを構成するプログラムを取得することができる。このようにネットワーク上の所定のサーバから取得されたデータは、記憶部１７に格納される。
　　　＜２－２．機能構成＞
　次に、図３を用いて本実施形態によるＣＰＵ１０の機能構成について説明する。図３は、本開示の一実施形態によるＣＰＵ１０の機能構成を示すブロック図である。
　図１０に示すように、ＣＰＵ１０は、視線位置検出部１１０、記憶制御部１２０、判断部１３０、および表示制御部１４０として機能する。
　視線位置検出部１１０は、カメラモジュール１５により継続的に撮影されるユーザの顔画像に基づいて、表示画面に対するユーザの視線の位置を継続的に検出する。表示画面に対するユーザの視線の位置とは、図４に示すように、情報処理装置１の表示部１４の表示画面に対して、ユーザの眼２の視線が向いている視線位置Ｐ（座標位置）を示す。ユーザの眼２は、情報処理装置１の表示部１４が設けられている面と同じ面に設けられた撮像レンズ１５ａの画角に含まれ、ユーザの眼２が撮像される。
　これにより、例えば表示部１４に表示されている電子書籍のページのうちユーザがどの部分をどの程度の時間見ているかが分かる。
　なお視線位置検出部１１０は、ユーザの顔が傾いた際の基準点の処理やキャリブレーション処理なども行う。また、視線位置検出部１１０による検出方法は、ユーザの眼球の視線が向いている絶対的な方向を特定するものであってもよいし、過去の特定の時点から現在の検出時点までの間における眼球の視線移動ベクトル（移動量および移動方向）を検出するものであってもよい。また、視線位置検出部１１０は、眼球のグレースケール画像から動きや視線方向を特定する検出方法や、カメラとＬＥＤ（具体的には近赤外線照明）を用いた角膜反射を利用した検出方式など、本実施形態を実現するに相応しい精度を有する検出方式を利用し得る。
　このように検出された視線位置（座標位置）の情報は、記憶制御部１２０に出力される。
　記憶制御部１２０は、視線位置検出部１１０により継続的に検出される視線位置の情報を、視線の滞在履歴として、視線位置が検出された際に表示部１４に表示されていたデータ（例えば所定の電子書籍データの所定ページ）と紐付けて記憶部１７に記憶するよう制御する。このように、視線の滞在履歴を記憶することで、後述する判断部１３０において、ユーザがどのページのどの部分に注目していたかを判断することができる。記憶部１７に記憶させる滞在履歴は、表示画面における各表示座標にユーザの視線位置が滞在していた時間（のべ何分／何秒間留まっていたか）または滞在した回数の少なくともいずれかの履歴である。ここで、図５を参照して記憶制御部１２０により記憶されるデータの一例について説明する。
　図５に示すように、記憶部１７は、文献Ａ（電子書籍データＡ）の滞在履歴ＤＢ（データベース）１７１ａ、文献Ｂの滞在履歴ＤＢ１７１ｂ、各ジャンルにおける滞在履歴ＤＢ１７２等を格納する。各文献の滞在履歴ＤＢ１７１（１７１ａ、１７１ｂ）は、各ページにおける各座標の滞在履歴であって、視線位置検出部１１０により検出された視線位置の情報に基づいて、記憶制御部１２０により、継続的に／所定のタイミングで、記憶部１７に記憶される。また、記憶制御部１２０は、各座標の滞在履歴に基づいて算出される、各座標における滞在履歴の全座標分の総和である各ページの滞在履歴や、各ページの滞在履歴の全ページ分の総和である文献タイトルの滞在履歴を記憶部１７に記憶させる。なお文献タイトルの滞在履歴は、各ページの滞在履歴の全ページ分の総和の他、各ページの滞在履歴の全ページ分の総和をページ数で除算して平均した滞在履歴であってもよい。
　また、図５に示す各ジャンルにおける滞在履歴ＤＢ１７２は、複数の文献（電子書籍データ）の各ジャンルの各文献タイトルの滞在履歴の全文献タイトル分を総和または平均して算出された滞在履歴が格納される。
　判断部１３０は、視線位置検出部１１０により検出され、記憶制御部１２０により記憶された、表示画面に対するユーザの視線位置の滞在履歴に基づいて、ユーザの注目個所を判断する。より具体的には、判断部１３０は、表示画面における各表示座標にユーザの視線位置が滞在していた時間または滞在していた回数の履歴の少なくともいずれかに基づいて、注目個所を判断する。例えば、判断部１３０は、各文献の滞在履歴ＤＢ１７１に格納された「各座標における滞在履歴」に基づいて、ユーザの視線位置が滞在していた時間が他より長いまたは滞在した回数が他より多い表示座標（または当該表示座標付近）を、表示ページにおけるユーザの注目個所として判断する。
　また、判断部１３０は、各文献の滞在履歴ＤＢ１７１に格納された「各ページにおける滞在履歴」に基づいて、コンテンツを形成する複数ページのうちユーザが注目したページ（注目ページ）を判断する。例えば、判断部１３０は、１ページ毎の全座標分の視線滞在時間の総和、または１ページ毎の全座標分の視線滞在回数の総和に基づいて、視線滞在時間が他より長い、または視線滞在回数が他より多いページを注目ページとして判断する。
　また、判断部１３０は、各文献の滞在履歴ＤＢ１７１に格納された「文献タイトルにおける滞在履歴」に基づいて、複数のコンテンツ（ここでは、文献）のうちユーザが最も注目したコンテンツ（注目コンテンツ）を判断する。例えば、判断部１３０は、文献タイトル毎の全ページの視線滞在時間の総和、または文献タイトル毎の全ページの視線滞在回数の総和に基づいて、視線滞在時間が他より長い、または視線滞在回数が他より多い文献タイトルを注目コンテンツとして判断する。
　以上、判断部１３０による注目個所、注目ページ、注目コンテンツの具他的な判断方法について説明した。なお本実施形態による判断部１３０は、複数の注目個所、注目ページ、注目コンテンツを判断してもよい。例えば、判断部１３０は、表示座標におけるユーザの視線の視線滞在時間の長さが最も長い表示座標から順に注目個所として判断してもよい。
　表示制御部１４０は、表示部１４の表示を制御し、操作画面や、各種コンテンツのデータを表示（再生）するよう制御する。また、本実施形態による表示制御部１４０は、判断部１３０による判断結果に基づいて、ページ内の注目個所を明示したり、注目ページを提示したり、注目コンテンツを提示したりする制御を行うことができる。
　例えば、表示制御部１４０は、ページ内の注目個所付近に色を付けたり、注目個所付近のテキストにラインを引いたり、注目個所付近を拡大表示したりするよう制御し、注目個所を明示する。また、注目個所付近に色を付ける際、表示制御部１４０は、注目個所の滞在時間または滞在回数に応じた濃度で注目個所付近に色を付けるよう制御してもよい。
　また、表示制御部１４０は、表示画面がカラー表示されている場合、注目個所付近以外を白黒で表示するよう制御してもよい。
　さらに、判断部１３０により複数の個所が注目個所として判断されている場合、表示制御部１４０は、複数の注目個所を同時または順次に明示してもよい。例えば、表示制御部１４０は、ページ内の複数の注目個所を、視線滞在時間の長さまたは視線滞在回数に応じた濃度の色を付けて表示するよう制御する。
　このように、ページ内の注目個所が明示されることで、ユーザは、ページ内のどの個所を注目して見ていたかを直感的に把握することができる。なお上述した注目個所の明示方法は一例であって、本実施形態は上述した例に限定されない。また、表示制御部１４０は、どの方法で注目個所を明示するかを選択できる選択画面を表示部１４に表示し、ユーザにより選択された方法で注目個所を明示してもよい。これによりユーザは注目個所の明示方法を任意に選択することができる。
　また、表示制御部１４０は、判断部１３０による判断結果に従って、ユーザにより選択されたコンテンツ（文献）の注目ページを提示することもできる。
　また、表示制御部１４０は、判断部１３０による判断結果に従って、複数のコンテンツ（文献）のうち最もユーザが注目していたコンテンツを提示することができる。また、表示制御部１４０は、判断部１３０による判断結果に従って、所定のジャンルのうち最もユーザが注目していたコンテンツ（文献）を提示することもできる。さらに、表示制御部１４０は、判断部１３０による判断結果に従って、複数の注目コンテンツを注目度順に（例えば滞在視線時間が長い順に）表示してもよい。
　以上、本実施形態によるＣＰＵ１０の機能構成について詳細に説明した。なお上述した表示制御部１４０による注目個所、注目ページ、注目コンテンツの表示方法の具体例については図９～図１３を参照して後述する。
　　＜＜３．動作処理＞＞
　続いて、本実施形態による情報処理装置１の動作処理について図６～図８を参照して具体的に説明する。
　　　＜３－１．視線位置検出処理＞
　上述したように、本実施形態による情報処理装置１は、表示部１４に表示した電子書籍データを読むユーザの眼を撮像し、撮像画像に基づいて、表示画面に対するユーザの視線位置を検出する。また、情報処理装置１は、ユーザの視線位置を継続的に検出し、視線位置が滞在していた表示座標（視線位置）の情報（滞在履歴）を蓄積する。このように蓄積された滞在履歴に基づいて、情報処理装置１は、ページ内においてユーザ注目していた個所や、注目ページ、注目コンテンツを判断し、ユーザに提示することができる。ここでは、まず図６を参照して、情報処理装置１によるユーザの視線位置の検出処理について説明する。
　図６は、情報処理装置１によるユーザの視線位置の検出処理を示すフローチャートである。図６に示すように、まず、ステップＳ１０３において、情報処理装置１のＣＰＵ１０の視線位置検出部１１０は、基準検出処理を行う。視線位置検出部１１０は、例えば表示部１４に表示される電子書籍のページがめくられた瞬間などユーザによる所定操作が行われたことをトリガとして視線検出処理を開始する。基準検出処理は、カメラモジュール１５により撮影されたユーザの眼球の撮像画像から基準情報を検出する処理であって、例えば眼の撮像画像に基づいて、ユーザの顔の向きや瞼の傾き等を判断し、視線位置検出時の補正に用いる値を基準情報として算出する。
　次いで、ステップＳ１０６において、視線位置検出部１１０は、基準検出が成功したか否かを判断する。失敗した場合（Ｓ１０６／Ｎｏ）、ステップＳ１０９において、視線位置検出部１１０は、エラー処理を行い、ステップＳ１０３に戻って再度基準検出を行う。基準検出が失敗したままでは、後述する視線検出処理において発生し得る誤差が大きくなるためである。
　一方、基準検出が成功した場合（Ｓ１０６／Ｙｅｓ）、ステップＳ１１２において、視線位置検出部１１０は、視線検出処理を行う。具体的には、視線位置検出部１１０は、リアルタイムで撮像されるユーザの眼球の撮像画像に基づいて、ユーザの視線が表示部１４のどの座標に向いているか（ユーザの視線位置）を検出する。この際、視線位置検出部１１０は、上述した基準検出処理により算出された値を用いて検出結果を補正する。
　次に、ステップＳ１１５において、記憶制御部１２０は、視線位置座標記憶処理を行う。具体的には、記憶制御部１２０は、視線位置検出部１１０により検出されたユーザの視線位置の情報を、視線の滞在履歴として記憶部１７に記憶するよう制御する。
　次いで、ステップＳ１１８において、終了指示があるまで、上記Ｓ１１２～Ｓ１１５が繰り返される。終了指示は特に限定されないが、例えばページがめくられた等ユーザによる所定操作が行われたことであってもよい。これにより、情報処理装置１は、ページがめくられる度に上述したＳ１０３～Ｓ１１８に示す処理を行い、各ページの各表示座標に対するユーザの視線の滞在履歴を記憶部１７に記憶することができる。
　　　＜３－２．ソート処理＞
　上述したように、記憶部１７には各ページの各表示座標に対するユーザの視線の滞在履歴が記憶される。情報処理装置１の判断部１３０は、記憶された視線の滞在履歴に基づいて、ページ内の注目個所、電子書籍コンテンツ（文献）内の注目ページ、複数の電子書籍コンテンツにおける注目コンテンツを判断し、判断結果が表示制御部１４０によりユーザに提示される。このように、本実施形態によれば、ユーザが明示的に付箋を貼る操作を行わず、書籍の文章を読む行為を中断せずとも、注目個所や注目ページが自動的に判断され、ユーザに提示される。
　ここで、判断部１３０は、視線の滞在履歴に応じて、注目個所、注目ページ、注目コンテンツをそれぞれ注目度順にソートすることで、注目個所、注目ページ、注目コンテンツを判断してもよい。これにより、表示制御部１４０は、注目度が最も高い注目個所、注目ページ、注目コンテンツを提示したり、上位所定数の注目個所、注目ページ、注目コンテンツを提示したりすることができる。注目度順とは、例えば表示座標に対するユーザの視線の滞在時間が長い順であってもよいし、ユーザの視線が表示座標に対して向いた回数の多い順であってもよい。以下、図７および図８を参照して判断部１３０によるソート処理について説明する。
　図７は、判断部１３０によるソート処理を示すフローチャートである。図７に示すように、まず、ステップＳ２０３において、判断部１３０は、注目度順にソートする（並び替える）ための所定のデータを、記憶部１７に記憶されている各ＤＢ（図５参照）から取得する。例えば、注目コンテンツ（最も読んだ本）を判断する際には、判断部１３０は、各文献タイトルにおける滞在履歴を取得する。
　次に、ステップＳ２０６において、判断部１３０は、取得したデータを用いてソート処理を行う。かかるソート処理については、図８を参照して後述する。
　次いで、ステップＳ２０９において、判断部１３０は、ソート処理結果を記憶部１７に記憶する。これにより、表示制御部１４０は、ソート処理結果に基づき、ユーザの要求に応じて、注目個所や、注目ページ、注目コンテンツを提示することができる。
　続いて、上記Ｓ２０６におけるソート処理について図８を参照して具体的に説明する。図８は、本実施形態によるソート処理の具体的な内容を示すフローチャートである。
　図８に示すように、まずステップＳ３０３において、Ｎ＝要素数（ユーザが今まで読んだ電子書籍コンテンツの数）－１に設定される。
　次に、Ｎが正数の場合、ステップＳ３０６～Ｓ３１８が繰り返される（以下、ループＡと称す）。
　ループＡでは、まず、ステップＳ３０６において、Ｋ（時系列に並んだ各電子書籍コンテンツの順番）＝０に設定される。
　次いで、Ｋの値がＮの値より小さい場合、ステップＳ３０９～Ｓ３１５が繰り返される（以下、ループＢと称す）。ループＢでは、隣接交換法に基づいて、時系列に並んだ各電子書籍コンテンツの順番が、順次注目度順に並べ替えられる。ここで、注目度順とは、一例として各文献タイトルの平均視線滞在時間の長い順とする。
　具体的には、ステップＳ３０９において、判断部１３０は、Ｋ番目の文献（電子書籍コンテンツ）の平均視線滞在時間と、Ｋ＋１番目の文献（電子書籍コンテンツ）の平均視線滞在時間とを比較し、どちらが長いか（注目度順が高いか）を判別する。
　Ｋ番目の文献（電子書籍コンテンツ）の平均視線滞在時間の方が長い場合（Ｓ３０９／Ｙｅｓ）、ステップＳ３１２において、Ｋ番目の文献とＫ＋１番目の文献の順位を入れ替える。
　一方、Ｋ＋１番目の文献（電子書籍コンテンツ）の平均視線滞在時間の方が長い場合（Ｓ３０９／Ｎｏ）、文献の順位入れ替えは行われない。
　次いで、ステップＳ３１５において、Ｋ＝Ｋ＋１に設定され、Ｋの値がＮの値以上になるまで上記Ｓ３０９以降が繰り返される（ループＢ）。
　次に、Ｋの値がＮの値以上になり、ループＢが終了すると、ステップＳ３１８において、Ｎ＝Ｎ（ユーザが今まで読んだ電子書籍コンテンツの数）－１に設定され、このように設定されたＮの値が正数である限り、上記Ｓ３０６以降が繰り返される（ループＡ）。なお、ユーザが今まで読んだ電子書籍コンテンツの数Ｎが１の場合、ステップＳ３１８において、Ｎは「０」に設定されるので、上述したソート処理（並べ替え処理）は実行されない。
　以上説明したように、ループＢ（Ｓ３０９～Ｓ３１５）、およびループＡ（Ｓ３０６～Ｓ３１８）を繰り返すことで、ユーザが今まで読んだ電子書籍コンテンツを、平均視線滞在時間の長さに応じた順番に並べることができる。そして、判断部１３０は、最も平均視線滞在時間が長い電子書籍コンテンツを、「最も読んだ本」（注目コンテンツ）として判断する。なお、上述したソート処理は隣接交換法を用いたが、本実施形態はこれに限定されず、例えば基本選択法などの他の方法を用いて注目度順に並べ替えられてもよい。
　以上、本実施形態による情報処理装置１の動作処理について具体的に説明した。続いて、表示制御部１４０による注目個所、注目ページ、注目コンテンツの明示方法について、複数の具体例を挙げて詳細に説明する。
　　＜＜４．明示方法例＞＞
　　＜４－１．注目個所および注目ページの明示例＞
　図９は、注目個所および注目ページの明示例について説明するための図である。図９左に示す情報処理装置１の表示部１４の表示画面には、既にユーザが読んだ電子書籍コンテンツ内を検索するための検索画面が表示されている。検索画面には、例えば「付箋を貼ったページ」、「メモを貼ったページ」、「ラインを引いたページ」、「最も読んだページ」といった項目が含まれる。「付箋を貼ったページ」、「メモを貼ったページ」、および「ラインを引いたページ」とは、それぞれ一般的な付箋機能、メモ機能、ライン機能を用いて、ユーザが明示的に指定して付箋やメモ、ラインを貼り付けたページである。
　また、「最も読んだページ」とは、本実施形態による判断部１３０により、ユーザの視線の滞在履歴に基づいて自動的に判断される注目ページである。図９左に示すように、「最も読んだページ」の項目がユーザによりタップされて選択されると、表示制御部１４０は、判断部１３０による判断結果（例えばソート結果）に基づいて、図９右に示すように、注目ページ（最も読んだページ）２０を表示部１４に表示するよう制御する。具体的には、例えば電子書籍コンテンツ内の各ページが視線滞在時間の長さに応じて並べられたソート結果に基づいて、表示制御部１４０は、最も視線滞在時間が長いページを、注目ページ（最も読んだページ）として表示するよう制御する。
　また、本実施形態による表示制御部１４０は、図９右に示すように、表示部１４に表示した注目ページのうち、よく読んだ個所（注目個所）を、カラー画像２２ａ、２２ｂを付けて明示してもよい。図９右に示す例では、よく読んだ個所（注目個所）の上位２カ所がカラー画像（ハイライト）２２ａ、２２ｂにより明示されている。この際、表示制御部１４０は、視線滞在時間の長さに応じた濃度（または注目度順に応じた濃度）で、カラー画像２２ａ、２２ｂを表示するよう制御してもよい。これにより、ユーザは、最も読んだページと、最も読んだページ内でよく読んだ個所を直感的に把握することができる。
　なお、表示制御部１４０は、注目個所を明示するために表示するカラー画像２２の濃度または透過度の少なくともいずれかを、ユーザ操作に応じて調整することも可能である。具体的には、例えば図１０に示すように、表示部１４に、注目個所を明示するためのカラー画像２２（ハイライト）の濃度を制御するための操作バー２３が表示され、ユーザにより操作バー２３が操作される。表示制御部１４０は、図１０左に示す操作バー２３のノブ（つまみ部分）の位置がユーザ操作により左右にドラッグされる量に応じて、カラー画像２２の濃度を増減させる。例えば、図１０右に示すように、操作バー２３のノブが右方向にドラッグされた場合、表示制御部１４０は、カラー画像２２の濃度を低減させるよう制御する。このように、ユーザが任意でカラー画像２２の濃度または透過度を調整することができるので、よく読んだ個所を再度読む際にカラー画像２２が妨げになることを回避することができる。
　また、本実施形態による注目個所の明示方法は、図９を参照して説明したカラー画像（ハイライト）２２ａ、２２ｂを用いる方法に限定されず、例えば図１１に示すように、注目個所にライン２４ａ、２４ｂを引く方法であってもよい。図１１に示す例では、注目個所（よく読んだ個所）の上位２カ所がライン２４ａ、２４ｂにより明示され、各ラインの太さは、各注目個所の視線滞在時間の長さに応じた太さになっている。
　　＜４－２．注目コンテンツの明示例＞
　次に、注目コンテンツの明示例について図１２～図１３を参照して説明する。図１２は、注目コンテンツの明示例について説明するための図である。図１２左に示す情報処理装置１の表示部１４の表示画面には、電子書籍コンテンツを検索するための検索画面が表示されている。検索画面には、例えば「マンガ」、「参考書」、「雑誌」、「最も読んだ本」といった項目が含まれる。表示制御部１４０は、ユーザに選択された項目に応じて検索された電子書籍コンテンツの表紙データを、表示部１４に表示する。
　ここで、「最も読んだ本」とは、本実施形態による判断部１３０により、ユーザの視線の滞在履歴に基づいて自動的に判断される注目コンテンツである。図１２左に示すように、「最も読んだ本」の項目がユーザによりタップされて選択されると、表示制御部１４０は、判断部１３０による判断結果（例えばソート結果）に基づいて、図１２右に示すように、注目コンテンツ（最も読んだ本）の表紙画像２７を表示部１４に表示するよう制御する。具体的には、例えばユーザが既に読んだ電子書籍コンテンツが視線滞在時間（平均視線滞在時間であってもよい）の長さに応じて並べられたソート結果に基づいて、表示制御部１４０は、最も視線滞在時間が長い電子書籍コンテンツを、注目コンテンツ（最も読んだ本）として表示するよう制御する。
　また、本実施形態による表示制御部１４０は、注目コンテンツの注目順に応じて、上位所定数の電子書籍コンテンツをランキング表示してもよい。具体的には、例えば図１３に示すように、表示部１４に、「最も読んだ本ランキング」といった文字と、注目度順の上位３つの電子書籍コンテンツのタイトル名が表示されたランキング画面２８が表示される。
　このように、本実施形態では、ユーザが自発的に各電子書籍コンテンツを読んだ回数や要した時間を把握しなくとも、ユーザがよく読んでいた電子書籍コンテンツを自動的に判断してユーザに提示することができるので、情報処理装置１の利便性がさらに向上する。
　　＜＜５．まとめ＞＞
　上述したように、本実施形態による情報処理装置１では、ユーザの視線位置を検出することで、表示部１４に表示しているページ内の注目個所を自動的に判断して記憶し、注目個所を明示することでユーザにフィードバックすることができる。ユーザは電子書籍コンテンツの文章を読む行為を中断することなく、ユーザが注目していた（集中して読んでいた）個所やページ等が自動的に判断されるので、付箋を貼ったりラインを引いたりといった操作の手間を省くことができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、情報処理装置１に内蔵されるＣＰＵ１０、ＲＯＭ１１、およびＲＡＭ１２等のハードウェアに、上述したＣＰＵ１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、上述した判断部１３０は、ユーザの視線位置が表示座標に滞在していた時間および滞在した回数に、それぞれ所定の重み付けを行った上で、注目度順にソート処理することも可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　表示画面に対するユーザの視線の位置を検出する視線位置検出部と、
　前記表示画面の各表示座標に対する前記視線位置検出部により検出された視線の位置の滞在履歴に基づいて、前記表示画面における前記ユーザの注目個所を判断する判断部と、
　前記表示画面において、前記判断部により判断された前記注目個所を明示するよう制御する表示制御部と、
を備える、情報処理装置。
（２）
　前記滞在履歴は、前記表示画面における各表示座標に前記視線の位置が滞在していた時間または滞在していた回数の履歴である、前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、滞在時間または滞在回数に応じた濃度で前記注目個所付近に色を付けるよう表示制御する、前記（２）に記載の情報処理装置。
（４）
　前記表示制御部は、前記注目個所付近のテキストにラインを引くよう表示制御する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
　前記表示制御部は、前記表示画面がカラー表示されている場合、前記注目個所付近以外を白黒表示にするよう制御する、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記表示制御部は、前記注目個所付近を拡大表示するよう制御する、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記表示制御部は、前記注目個所を明示するための表示制御方法を選択するための選択画面を表示する、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
　前記情報処理装置は、前記表示画面の各表示座標に対する前記視線位置検出部により検出された視線の位置の滞在履歴を記憶部に記憶するよう制御する記憶制御部をさらに備える、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記判断部は、前記表示画面における各表示座標に前記視線の位置が滞在していた時間または滞在していた回数の履歴の少なくともいずれかに基づいて、前記注目個所を判断する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記判断部は、コンテンツに含まれる複数ページのうち、各ページの総滞在履歴に基づいて、前記ユーザの注目ページを判断する、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記判断部は、複数のコンテンツのうち、各コンテンツの総ページの総滞在履歴に基づいて、前記ユーザの注目コンテンツを判断する、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記表示制御部は、前記注目コンテンツを注目度順に提示するよう制御する、前記（１１）に記載の情報処理装置。
（１３）
　表示画面に対するユーザの視線の位置を検出するステップと、
　前記表示画面の各表示座標に対する前記検出された視線の位置の滞在履歴に基づいて、前記表示画面における前記ユーザの注目個所を判断するステップと、
　前記表示画面において、前記判断された前記注目個所を明示するよう制御するステップと、
を含む、方法。
（１４）
　コンピュータを、
　表示画面に対するユーザの視線の位置を検出する視線位置検出部と、
　前記表示画面の各表示座標に対する前記視線位置検出部により検出された視線の位置の滞在履歴に基づいて、前記表示画面における前記ユーザの注目個所を判断する判断部と、
　前記表示画面において、前記判断部により判断された前記注目個所を明示するよう制御する表示制御部と、
として機能させるためのプログラム。
　１　　情報処理装置
　１０　　ＣＰＵ
　１１　　ＲＯＭ
　１２　　ＲＡＭ
　１３　　入出力インタフェース
　１４　　表示部
　１５　　カメラモジュール
　１５ａ　　撮像レンズ
　１６　　操作部
　１７　　記憶部
　１８　　通信部
　２２、２２ａ、２２ｂ　　カラー画像
　１１０　　視線位置検出部
　１２０　　記憶制御部
　１３０　　判断部
　１４０　　表示制御部
　１７１ａ　　文献Ａの滞在履歴ＤＢ
　１７１ｂ　　文献Ｂの滞在履歴ＤＢ
　１７２　　各ジャンルにおける滞在履歴ＤＢ

Claims (14)

  1. 　表示画面に対するユーザの視線の位置を検出する視線位置検出部と、
    　前記表示画面の各表示座標に対する前記視線位置検出部により検出された視線の位置の滞在履歴に基づいて、前記表示画面における前記ユーザの注目個所を判断する判断部と、
    　前記表示画面において、前記判断部により判断された前記注目個所を明示するよう制御する表示制御部と、
    を備える、情報処理装置。
  2. 　前記滞在履歴は、前記表示画面における各表示座標に前記視線の位置が滞在していた時間または滞在していた回数の履歴である、請求項１に記載の情報処理装置。
  3. 　前記表示制御部は、滞在時間または滞在回数に応じた濃度で前記注目個所付近に色を付けるよう表示制御する、請求項２に記載の情報処理装置。
  4. 　前記表示制御部は、前記注目個所付近のテキストにラインを引くよう表示制御する、請求項１に記載の情報処理装置。
  5. 　前記表示制御部は、前記表示画面がカラー表示されている場合、前記注目個所付近以外を白黒表示にするよう制御する、請求項１に記載の情報処理装置。
  6. 　前記表示制御部は、前記注目個所付近を拡大表示するよう制御する、請求項１に記載の情報処理装置。
  7. 　前記表示制御部は、前記注目個所を明示するための表示制御方法を選択するための選択画面を表示する、請求項１に記載の情報処理装置。
  8. 　前記情報処理装置は、前記表示画面の各表示座標に対する前記視線位置検出部により検出された視線の位置の滞在履歴を記憶部に記憶するよう制御する記憶制御部をさらに備える、請求項１に記載の情報処理装置。
  9. 　前記判断部は、前記表示画面における各表示座標に前記視線の位置が滞在していた時間または滞在していた回数の履歴の少なくともいずれかに基づいて、前記注目個所を判断する、請求項１に記載の情報処理装置。
  10. 　前記判断部は、コンテンツに含まれる複数ページのうち、各ページの総滞在履歴に基づいて、前記ユーザの注目ページを判断する、請求項１に記載の情報処理装置。
  11. 　前記判断部は、複数のコンテンツのうち、各コンテンツの総ページの総滞在履歴に基づいて、前記ユーザの注目コンテンツを判断する、請求項１に記載の情報処理装置。
  12. 　前記表示制御部は、前記注目コンテンツを注目度順に提示するよう制御する、請求項１１に記載の情報処理装置。
  13. 　表示画面に対するユーザの視線の位置を検出するステップと、
    　前記表示画面の各表示座標に対する前記検出された視線の位置の滞在履歴に基づいて、前記表示画面における前記ユーザの注目個所を判断するステップと、
    　前記表示画面において、前記判断された前記注目個所を明示するよう制御するステップと、
    を含む、方法。
  14. 　コンピュータを、
    　表示画面に対するユーザの視線の位置を検出する視線位置検出部と、
    　前記表示画面の各表示座標に対する前記視線位置検出部により検出された視線の位置の滞在履歴に基づいて、前記表示画面における前記ユーザの注目個所を判断する判断部と、
    　前記表示画面において、前記判断部により判断された前記注目個所を明示するよう制御する表示制御部と、
    として機能させるためのプログラム。
PCT/JP2014/064189 2013-07-25 2014-05-28 情報処理装置、方法及びプログラム WO2015011985A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013154722 2013-07-25
JP2013-154722 2013-07-25

Publications (1)

Publication Number Publication Date
WO2015011985A1 true WO2015011985A1 (ja) 2015-01-29

Family

ID=52393040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/064189 WO2015011985A1 (ja) 2013-07-25 2014-05-28 情報処理装置、方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2015011985A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228197A (ja) * 2016-06-24 2017-12-28 カシオ計算機株式会社 出力装置、出力方法及びプログラム
WO2018186279A1 (ja) * 2017-04-04 2018-10-11 シャープ株式会社 画像処理装置、画像処理プログラム、及び記録媒体
CN111580672A (zh) * 2020-05-13 2020-08-25 中国银行股份有限公司 信息展示方法及装置
CN111681236A (zh) * 2020-06-12 2020-09-18 成都数之联科技有限公司 一种带注意力机制的目标密度估计方法
CN113360801A (zh) * 2021-06-29 2021-09-07 读书郎教育科技有限公司 一种自动生成书签的系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004070103A (ja) * 2002-08-08 2004-03-04 Sony Corp 映像信号処理装置および方法、記録媒体、並びにプログラム
JP2011113438A (ja) * 2009-11-30 2011-06-09 Konica Minolta Holdings Inc 電子書籍表示装置
JP2011227855A (ja) * 2010-04-20 2011-11-10 Tomohiro Tsuta 読解状態マッピング装置、読解状態マッピング装置作動方法、読解状態マッピングプログラム、及びコンピュータ読み取り可能な記録媒体
JP2012133578A (ja) * 2010-12-21 2012-07-12 Yahoo Japan Corp Ｗｅｂページ評価装置及びＷｅｂページ評価方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004070103A (ja) * 2002-08-08 2004-03-04 Sony Corp 映像信号処理装置および方法、記録媒体、並びにプログラム
JP2011113438A (ja) * 2009-11-30 2011-06-09 Konica Minolta Holdings Inc 電子書籍表示装置
JP2011227855A (ja) * 2010-04-20 2011-11-10 Tomohiro Tsuta 読解状態マッピング装置、読解状態マッピング装置作動方法、読解状態マッピングプログラム、及びコンピュータ読み取り可能な記録媒体
JP2012133578A (ja) * 2010-12-21 2012-07-12 Yahoo Japan Corp Ｗｅｂページ評価装置及びＷｅｂページ評価方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228197A (ja) * 2016-06-24 2017-12-28 カシオ計算機株式会社 出力装置、出力方法及びプログラム
WO2018186279A1 (ja) * 2017-04-04 2018-10-11 シャープ株式会社 画像処理装置、画像処理プログラム、及び記録媒体
CN111580672A (zh) * 2020-05-13 2020-08-25 中国银行股份有限公司 信息展示方法及装置
CN111681236A (zh) * 2020-06-12 2020-09-18 成都数之联科技有限公司 一种带注意力机制的目标密度估计方法
CN113360801A (zh) * 2021-06-29 2021-09-07 读书郎教育科技有限公司 一种自动生成书签的系统及方法

Similar Documents

Publication Publication Date Title
US20220319100A1 (en) User interfaces simulated depth effects
US9678657B2 (en) Imaging apparatus, imaging method, and computer-readable storage medium providing a touch panel display user interface
US9672421B2 (en) Method and apparatus for recording reading behavior
WO2015011985A1 (ja) 情報処理装置、方法及びプログラム
JP5885835B2 (ja) ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
US20090110245A1 (en) System and method for rendering and selecting a discrete portion of a digital image for manipulation
US20120109923A1 (en) System and method for displaying search results on electronic devices
US20150192990A1 (en) Display control method, apparatus, and terminal
US9554060B2 (en) Zoom images with panoramic image capture
JP2007093967A (ja) 撮影装置
CN112954214B (zh) 拍摄的方法、装置、电子设备及存储介质
EP2498256B1 (en) Reproduction processing apparatus, imaging apparatus, reproduction processing method, and program
US20150178589A1 (en) Apparatus for processing digital image and method of controlling the same
KR20190135794A (ko) 이동 단말기
US10488923B1 (en) Gaze detection, identification and control method
JPWO2014156257A1 (ja) 表示制御装置、表示制御方法および記録媒体
US20190324548A1 (en) Gesture-based designation of regions of interest in images
JP2013143578A (ja) 画像処理装置およびその制御方法
US11526264B2 (en) Electronic apparatus for enlarging or reducing display object, method of controlling electronic apparatus, and non-transitory computer readable medium
JP2018092420A (ja) 閲覧制御システム、閲覧装置及びプログラム
JP5783494B2 (ja) 画像処理装置、プログラム及び画像処理方法
CN105912253B (zh) 一种虚拟拍照按键的触发方法、装置及移动终端
EP2450803A1 (en) System and method for displaying search results on electronic devices
US11221753B2 (en) Method for adaptively switching graphic user interfaces and mobile device for performing the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14830114

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14830114

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP