WO2013190989A1 - 表示装置、表示方法及びプログラム - Google Patents

表示装置、表示方法及びプログラム Download PDF

Info

Publication number
WO2013190989A1
WO2013190989A1 PCT/JP2013/065411 JP2013065411W WO2013190989A1 WO 2013190989 A1 WO2013190989 A1 WO 2013190989A1 JP 2013065411 W JP2013065411 W JP 2013065411W WO 2013190989 A1 WO2013190989 A1 WO 2013190989A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
scroll
speed
user
scrolling
Prior art date
Application number
PCT/JP2013/065411
Other languages
English (en)
French (fr)
Inventor
誠二 白石
晴彦 杉崎
山崎　仁史
鈴木　大輔
Original Assignee
株式会社エヌ・ティ・ティ・ドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エヌ・ティ・ティ・ドコモ filed Critical 株式会社エヌ・ティ・ティ・ドコモ
Priority to EP13807807.6A priority Critical patent/EP2866132B1/en
Priority to US14/405,883 priority patent/US9411418B2/en
Priority to CN201380003174.7A priority patent/CN103827800B/zh
Publication of WO2013190989A1 publication Critical patent/WO2013190989A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the present invention relates to a user interface.
  • Patent Document 1 As an invention for scrolling the screen using the line of sight, for example, there is a system disclosed in Patent Document 1.
  • This system detects a user's line-of-sight direction from an image obtained by a camera, and detects a position where the user is looking on a screen of a display device.
  • a scroll arrow is displayed at the edge of the screen, and when the line of sight moves outside the screen after the scroll arrow is displayed, the screen is scrolled.
  • the present invention has been made under the background described above, and it is an object of the present invention to provide a technique for shortening the time required to display a target position when scrolling an image by moving the line of sight.
  • the present invention provides a display unit having a display surface for displaying an image, a first detection unit for detecting a user's line of sight, and a second detection for detecting a user operation performed on the display surface.
  • a direction determining unit that determines a scroll direction of the image according to the line of sight detected by the second detection unit, and a scroll speed of the image according to an operation detected by the second detection unit.
  • the scroll direction If the scrolling of the image starts at the scrolling speed before the change, and the scroll direction after the change is opposite to the scroll direction before the change, A display control unit that starts scrolling the image at a speed or stops scrolling the image and scrolls the image at the scroll speed after the change when the scroll speed is changed by a user operation. Providing the device.
  • the display control unit moves the line of sight within the area when the line of sight moves in a direction before the movement after the line of sight moves within a predetermined area of the display surface. Scrolling of the image is started at a scrolling speed faster than the scrolling speed before moving.
  • the present invention provides a gaze detection step for detecting a user's gaze, a step for detecting a user operation performed on a display surface of a display unit that displays an image, and the detected gaze Determining the scroll direction of the image according to the control, determining the scroll speed of the image according to the detected operation, and controlling the display unit so that the image is scrolled in the scroll direction.
  • the scroll direction is changed and the scroll direction before the change and the scroll direction after the change intersect, the scrolling of the image is started at the scroll speed before the change of the scroll direction.
  • the scroll direction before the change is the opposite direction, start scrolling the image at a predetermined scroll speed, It provides a display method comprising the steps of scrolling stops scrolling of the image, when the scroll speed is changed by a user operation, the image at a scroll speed after the change.
  • the computer detects a user's line of sight, a step of detecting a user operation performed on a display surface of a display unit that displays an image, and the detection. Determining the scroll direction of the image according to the line of sight, determining the scroll speed of the image according to the detected operation, and the display unit so that the image is scrolled in the scroll direction. If the scroll direction is changed and the scroll direction before the change and the scroll direction after the change intersect, the scrolling of the image is started at the scroll speed before the change of the scroll direction. When the direction is opposite to the scroll direction before the change, the image is scrolled at a predetermined scroll speed. Whether to start or stop the scrolling of the image, when the scroll speed is changed by a user operation, provides a program for executing the steps of scrolling the image scroll speed after the change.
  • the time taken to display the target position can be shortened.
  • FIG. 2 is a diagram illustrating a hardware configuration of the information processing apparatus 1.
  • FIG. 2 is a functional block diagram of the information processing apparatus 1.
  • FIG. 10 shows an example of a screen displayed on the display unit 1042.
  • FIG. 10 shows an example of a screen displayed on the display unit 1042.
  • FIG. 10 shows an example of a screen displayed on the display unit 1042.
  • FIG. 10 shows an example of a screen displayed on the display unit 1042.
  • FIG. 10 shows an example of a screen displayed on the display unit 1042.
  • FIG. 10 shows an example of a screen displayed on the display unit 1042.
  • FIG. 10 shows an example of a screen displayed on the display unit 1042.
  • FIG. 10 shows an example of a screen displayed on the display unit 1042.
  • SYMBOLS 1 Information processing apparatus, 101 ... Bus, 102 ... Control part, 102A ... CPU, 102B ... ROM, 102C ... RAM, 103 ... Memory
  • FIG. 1 is a diagram showing a hardware configuration of an information processing apparatus 1 according to an embodiment of the present invention.
  • the information processing apparatus 1 according to the present embodiment is a computer device called a so-called tablet terminal including a touch screen, a hardware button, and the like on a plate-shaped housing.
  • the information processing apparatus 1 is an example of a display device that displays an image on a touch screen. As illustrated in FIG. 1, each unit of the information processing apparatus 1 is connected by a bus 101.
  • the communication unit 105 has a function of a communication interface that performs wireless communication.
  • the information processing apparatus 1 controls the communication unit 105 to connect to a wireless local area network (LAN) or a mobile communication network, and performs data communication and voice communication.
  • the operation unit 104 includes a plurality of hardware buttons for operating the information processing apparatus 1.
  • the operation unit 104 is provided on the surface of the display unit 1042 and the display unit 1042, which is an example of a display unit that displays an image.
  • the operation unit 104 transmits the image displayed on the display unit 1042, and detects a position touched by a finger.
  • a touch screen 104A integrated with the position detection unit 1041 is provided.
  • a display part 1042 although a liquid crystal display or an organic EL (Electro Luminescence) display is used, it is not limited to these, Other displays may be used.
  • the position detection unit 1041 a unit that detects the positions of a plurality of touching fingers (for example, a capacitive type unit) is used. When the user's finger touches the touch screen 104A, position data representing the position touched by the finger is generated in the position detection unit 1041, and the generated position data is supplied from the position detection unit 1041 to the control unit 102.
  • the imaging unit 106 includes a lens and a solid-state imaging device, and generates an image representing an image formed on the solid-state imaging device by the lens.
  • the storage unit 103 includes a nonvolatile memory.
  • the storage unit 103 stores a program OS that realizes an operating system and various application programs.
  • the control unit 102 includes a CPU (Central Processing Unit) 102A, a ROM (Read Only Memory) 102B, a RAM (Random Access Memory) 102C, and the like.
  • IPL Intelligent Program Loader
  • the program OS stored in the storage unit 103 is executed, an operating system is realized, and various application programs can be executed.
  • a user interface using the touch screen 104A and the imaging unit 106 is realized.
  • FIG. 2 is a diagram showing functional blocks related to the characteristic functions according to the present invention among the functions realized in the control unit 102.
  • a user interface using the touch screen 104A and the imaging unit 106 is realized.
  • FIG. 2 is a functional block diagram relating to the user interface function.
  • the operation detection unit 201 acquires position data generated by the position detection unit 1041. This position data represents the position touched by the user's finger on the display surface of the display unit 1042, and the content of the position data changes when the user's finger moves.
  • the operation detection unit 201 detects an operation performed by the user with a finger based on the position data.
  • the line-of-sight detection unit 202 detects a user's line of sight.
  • the line-of-sight detection unit 202 acquires an image of the user's face.
  • the line-of-sight detection unit 202 detects the line of sight of the user from the acquired face image.
  • the direction determination unit 203 determines a scroll direction when scrolling an image based on the line of sight detected by the line of sight detection unit 202.
  • the speed determination unit 204 determines the scroll speed at which the image is scrolled according to the operation performed by the operation detection unit 201. For example, when an operation for moving a finger on the touch screen 104 is performed, the speed determination unit 204 determines the scroll speed according to the distance from the position when the finger touches to the position of the finger after the movement.
  • the display control unit 205 controls the display unit 1042 so that the image scrolls.
  • the display control unit 205 scrolls the image using the scroll direction determined by the direction determining unit 203 and the scroll speed determined by the speed determining unit 204.
  • FIG. 5 shows an example of a screen displayed when an application program for realizing a Web browser is executed in the information processing apparatus 1. This screen shows a state in which the Web page selected by the user is displayed.
  • the control unit 102 controls the imaging unit 106 to perform imaging with the imaging unit 106.
  • the user's face is imaged by the imaging unit 106.
  • an image including the user's face (hereinafter referred to as a face image) is generated.
  • the control unit 102 executes the process shown in FIG. 3 every time a face image is generated.
  • the control unit 102 acquires this face image (step SA1).
  • the control unit 102 detects the user's line of sight using, for example, the technique disclosed in Japanese Patent Laid-Open No. 10-39995, and specifies the position where the user is looking on the display screen (Step S102).
  • SA2 The technique for detecting the user's line of sight is not limited to the above method, and a method of detecting the line of sight from the captured image using a camera attached to the user's head and the like. Other known methods may be used.
  • the control unit 102 controls the display unit 1042 so that the cursor 10 is displayed at the specified position when the position where the user is viewing is specified at step SA2 (step SA3).
  • step SA3 the cursor 10 is displayed at the position where the user is looking as shown in FIG.
  • the control unit 102 specifies a position where the user is looking from the face image obtained by the imaging unit 106, and moves the cursor 10 to the specified position.
  • the control unit 102 determines whether the position viewed by the user has moved to any of the areas B1 to B8 shown in FIG.
  • the control unit 102 determines whether the user's finger is touching the touch screen 104A when the position the user is viewing moves from one of the areas A1 to B8 in the area A shown in FIG. If the position data is not supplied from the touch screen 104A when the position that the user is viewing moves from the area A to any of the areas B1 to B8 (NO in step SB1), the control unit 102 It is determined whether the current position is in any of the areas B1 to B8. If the position where the user is looking is outside the area B1 to B8, such as within the area A or outside the display area of the display unit 1042 (NO in step SB2), the control unit 102 ends the processing shown in FIG. To do.
  • step SB1 the control unit 102 specifies the position touched by the finger on the display screen using the acquired position data (step SB3).
  • the control unit 102 stores the position specified in step SB3 (hereinafter referred to as the first position) in the RAM 102C (step SB4).
  • the control unit 102 stores the moved area when moving from the area A to any of the areas B1 to B8 (step SB5).
  • the control unit 102 determines whether the position where the user is looking is in any of the areas B1 to B8. If the position where the user is looking is outside the areas B1 to B8 (NO in step SB6), the control unit 102 ends the process shown in FIG. On the other hand, if the position that the user is viewing is within any one of the areas B1 to B8 (YES in step SB6), the control unit 102 determines that the area that the user is viewing at this time is the area stored in step SB5. It is determined whether it is the same. If the area that the user is viewing at this time is different from the area stored in step SB5 (NO in step SB7), the control unit 102 returns the process flow to step SB1.
  • step SB7 determines whether position data is supplied. If the position data is not supplied (NO in step SB8), the control unit 102 determines that the finger has moved away from the touch screen, and ends the process illustrated in FIG.
  • step SB8 the control unit 102 specifies the position of the user's finger from the position data (step SB97), and determines whether the position of the user's finger is the same as the first position.
  • step SB9 the position specified in step SB9 is the same as the first position (YES in step SB10)
  • control unit 102 returns the process flow to step SB6.
  • step SB9 the position specified in step SB9 is different from the first position (NO in step SB10)
  • the control unit 102 determines that the position of the user's finger has changed from the first position.
  • the control unit 102 calculates the distance between the finger position specified in step SB9 and the first position (step SB11).
  • the control unit 102 scrolls the displayed image in accordance with the position where the cursor 10 is and the calculated distance (step SB12). Specifically, the control unit 102 sets the direction in which the image is scrolled as the direction of the area where the cursor 10 is located. For example, when the image is scrolled by moving the cursor 10 from the state of FIG. 5 to the area B1, the image displayed as shown in FIG. 7 is scrolled in the direction of the area B1. Further, when the cursor 10 is moved from the state of FIG. 5 to the area B5 to scroll the image, the displayed image is scrolled in the direction of the area B5 as shown in FIG. 7 and 8, illustration of the finger touching the touch screen 104A is omitted.
  • control unit 102 sets the speed of scrolling the image (the amount of movement of the image per unit time (for example, 1 second)) according to the distance calculated in step SB11. For example, the control unit 102 increases the scroll speed as the distance calculated in step SB11 increases. For this reason, when the finger is moved from the first position, as shown in FIG. 9, when the finger position after the movement is close to the first position, the scrolling speed is slow, and the finger position after the movement is the first position. As you move farther from one position, the scrolling speed increases. For this reason, as shown in FIG. 10, when the position after the movement is farther from the first position than the position of FIG. 9, the speed of scrolling in the case of FIG. 10 is faster than in the case of FIG.
  • the control unit 102 returns the process flow to step SB6 after the process of step SB12. Then, when the area that the user is viewing is outside the area B1 to B8, or when the user's finger is separated from the touch screen 104A, the process of scrolling the image is terminated.
  • step SB5 determines NO in step SB7.
  • the control unit 102 determines whether the area that the user is viewing is an area in the opposite direction to the area stored in step SB5. For example, when the line of sight moves from the area B1 to the area B5, when the line of sight moves from the area B5 to the area B1, when the line of sight moves from the area B3 to the area B7, and when the line of sight moves from the area B7 to the area B3.
  • the control unit 102 determines that the area the user is viewing is in the opposite direction to the area stored in step SB5 (YES in step SB13), and moves the process flow to step SB1.
  • step SB13 If it is determined YES in step SB13 and the process returns to step SB1, the position of the finger at this time is newly stored as the first position. Then, the control unit 102 does not scroll the image when the finger does not move from the first position. That is, when the direction in which the user is looking changes in the opposite direction during image scrolling, image scrolling is temporarily stopped. When the finger moves from the newly stored first position, the image is scrolled according to the distance from the first position stored when the line of sight is moved to the moved finger position. It becomes.
  • step SB13 if the control unit 102 determines NO in step SB13, it moves the flow of processing to step SB8.
  • the scroll speed is set according to the distance from the first position to the finger position, the scroll speed is the same and the scroll direction changes compared to before the line of sight moves. .
  • the scroll direction becomes the direction of the area B7 while maintaining the scroll speed when the line of sight is in the area B1.
  • the present embodiment it is possible to determine the scroll direction of the image by the line of sight and to control the scroll speed by the operation of the finger. According to the present embodiment, if the line of sight is moved in the opposite direction while the image is being scrolled, the scrolling of the image is temporarily stopped. For this reason, compared with the case where the scroll direction is changed to the opposite direction while maintaining the scroll speed, the position desired by the user can be easily displayed.
  • the image is scrolled when the line of sight is in any of the areas B1 to B8.
  • the position of the line of sight when the image is scrolled is limited to these areas.
  • the image may be scrolled even when the line of sight moves outside the display area of the display unit 1042.
  • the image is scrolled when the lines of sight are in the areas C1 to C8 outside the display area.
  • the display area of the image is an area indicated by a solid line
  • the image is scrolled when the line of sight is in the areas D1 to D8 shown in FIG. 12 instead of the areas B1 to B8. You may make it make it.
  • the scrolling speed of the image is determined according to the movement amount of the finger, but the method of setting the scrolling speed is not limited to the method of the above-described embodiment.
  • some touch screens can measure the pressure applied to the touch screen by a finger.
  • the scrolling speed of the image may be increased as the pressure applied by the finger increases.
  • the finger touches the touch screen and the scrolling speed of the image is increased as the time elapsed since the finger touched the touch screen becomes longer. Good.
  • an operation of hitting the touch screen with a finger may be performed, and the scrolling speed of the image may be increased as the number of hits increases.
  • image scrolling temporarily stops when the user moves his / her line of sight.
  • the control unit 102 determines that the user has moved before moving into the region A. Is stored, and the scroll speed in the state before the viewing position moves to the area A is stored.
  • the control unit 102 displays the image in the direction in which the user is viewing at a speed faster than the stored speed. Scroll.
  • the control unit 102 newly stores the first position and does not perform scrolling until the finger position moves. Like that. According to this modification, when the image is continuously scrolled in the same direction, the scrolling is not temporarily stopped. Therefore, the image can be scrolled faster than the configuration in which the scrolling is temporarily stopped.
  • the present invention when the line of sight moves in the direction opposite to the scroll direction after storing the first position, the image scrolling is temporarily stopped.
  • the present invention is not limited to this configuration.
  • the control unit 102 stores the position of the finger when the line of sight moves to the area B5 as the first position, and a predetermined speed in the direction of the area B5.
  • the scrolling speed may be increased according to the distance from the first position to the finger position based on a predetermined speed. .
  • the scrolling speed may be different for each application or for each content to be displayed. For example, even when the web page is displayed on the web browser and the document is displayed on the word processor application, the scroll speed in the web browser is the same even if the finger movement amount from the first position is the same. And the scrolling speed in the word processor may be different. In addition, when the character string page is displayed on the Web browser and when the map page is displayed on the Web browser, the scrolling speed when the character string is displayed and the map are displayed. The speed of scrolling may be different.
  • the function of scrolling the image according to the position of the finger and the line of sight is realized by executing an operating system program.
  • these functions are limited to the operating system program. It is not something.
  • a function of scrolling an image between the position of the finger and the line of sight may be realized by executing an application program different from the operating system program.
  • the imaging unit 106 is built in the information processing apparatus 1, but is not limited to this configuration.
  • a camera including a lens and a fixed image sensor may be connected to the information processing apparatus 1 so that the user's face is captured by the camera.
  • a camera including a lens and a fixed imaging element may be arranged in a frame of spectacles, and a user's face may be captured by a camera provided in the frame.
  • the information processing apparatus 1 has a function of performing communication via a communication network, but is not limited to the one having this function.
  • an electronic book reader or the like that does not have a function of performing communication via a communication network may be used.
  • a program for realizing the functions of the above-described embodiments includes a magnetic recording medium (magnetic tape, magnetic disk (HDD (Hard Disk Drive), FD (Flexible Disk))), optical recording medium (optical disk, etc.), and magneto-optical recording medium.
  • the program may be provided in a state stored in a computer-readable recording medium such as a semiconductor memory and installed in the information processing apparatus 1.
  • the information processing apparatus 1 may be downloaded and installed via a communication line.

Abstract

　情報処理装置１は、ユーザの視線を検出し、ユーザが見ている位置にカーソル１０を表示する。カーソル１０が画像の表示領域の端の近くに位置した状態でユーザが表示領域に指で触れると、指が触れた位置を記憶する。ユーザが指を移動させると、指の移動距離に応じて画像のスクロール速度を決定し、カーソルの方向へ画像をスクロールさせる。ユーザの見ている位置が変化してスクロール方向を変更する場合、変更後のスクロール方向が変更前のスクロール方向と交差する方向の場合には、スクロールの速度を維持したままスクロールの方向を変更する。

Description

表示装置、表示方法及びプログラム
　本発明は、ユーザインターフェースに関する。
　視線を用いて画面をスクロールさせる発明として、例えば特許文献１に開示されたシステムがある。このシステムは、カメラで得られた画像からユーザの視線方向を検出し、表示装置の画面上においてユーザが見ている位置を検出する。視線が画面の端にきた場合、画面の端にスクロール矢印を表示し、スクロール矢印が表示された後に視線が画面の外に移動した場合、画面をスクロールさせる。
特開２００２－９９３８６号公報
　特許文献１のシステムにおいては、視線が移動して見ている画面の端の位置が変化した場合、画像のスクロールが一旦停止する。例えば、地図などの大きな画像サイズのコンテンツを表示している場合、目的の位置が近づくと、上下方向から左右方向又は左右方向から上下方向へ細かく画像をスクロールさせることにより、目的の位置を表示させるが、特許文献１のシステムのように見ている方向が変化する度にスクロールが停止すると、目的の位置までスクロールするのに時間がかかることとなる。
　本発明は、上述した背景の下になされたものであり、視線を動かして画像をスクロールさせる場合、目的の位置を表示するまでに掛かる時間を短くする技術を提供することを目的とする。
　本発明は、一の態様において、画像を表示する表示面を有する表示手段と、ユーザの視線を検出する第１検出部と、前記表示面上において行われたユーザの操作を検出する第２検出部と、前記第２検出部で検出された視線に応じて前記画像のスクロール方向を決定する方向決定部と、前記第２検出部で検出された操作に応じて前記画像のスクロール速度を決定する速度決定部と、前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御部とを備える表示装置を提供する。
　本発明の好ましい態様においては、前記表示制御部は、前記表示面の予め定められた領域内に前記視線が移動した後、当該移動前の方向に前記視線が移動した場合、前記領域内に視線が移動する前のスクロール速度より速いスクロール速度で前記画像のスクロールを開始する。
　また、本発明は、他の観点において、ユーザの視線を検出する視線検出ステップと、画像を表示する表示部の表示面上において行われたユーザの操作を検知するステップと、前記検出された視線に応じて前記画像のスクロール方向を決定るステップと、前記検出された操作に応じて前記画像のスクロール速度を決定するステップと、前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせるステップとを備える表示方法を提供する。
　また、本発明は、さらに他の観点において、コンピュータに、ユーザの視線を検出するステップと、画像を表示する表示部の表示面上において行われたユーザの操作を検知するステップと、前記検出された視線に応じて前記画像のスクロール方向を決定するステップと、前記検出された操作に応じて前記画像のスクロール速度を決定するステップと、前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせるステップとを実行させるためのプログラムを提供する。
　本発明によれば、視線を動かして画像をスクロールさせる場合、目的の位置を表示するまでに掛かる時間を短くすることができる。
情報処理装置１のハードウェア構成を示した図。 情報処理装置１の機能ブロック図。 制御部１０２が行う処理の流れを示したフローチャート。 制御部１０２が行う処理の流れを示したフローチャート。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 画像をスクロールさせるときにユーザが見る領域を示した図。 画像をスクロールさせるときにユーザが見る領域を示した図。
１…情報処理装置、１０１…バス、１０２…制御部、１０２Ａ…ＣＰＵ、１０２Ｂ…ＲＯＭ、１０２Ｃ…ＲＡＭ、１０３…記憶部、１０４…操作部、１０４Ａ…タッチスクリーン、１０４１…位置検出部、１０４２…表示部、１０５…通信部、１０６…撮像部、２０１…操作検出部、２０２…視線検出部、２０３…方向决定部、２０４…速度决定部、２０５…表示制御部
［実施形態］
（ハードウェアの構成）
　図１は、本発明の一実施形態に係る情報処理装置１のハードウェア構成を示した図である。本実施形態の情報処理装置１は、板状の筐体にタッチスクリーンやハードウェアのボタンなどを備えた所謂タブレット端末と呼ばれるコンピュータ装置である。情報処理装置１は、タッチスクリーンで画像を表示する表示装置の一例である。図１に示したように、情報処理装置１の各部はバス１０１により接続されている。
　通信部１０５は、無線通信を行う通信インターフェースの機能を備えている。情報処理装置１は、通信部１０５を制御して無線ＬＡＮ（Local Area Network）や移動体通信網に接続し、データ通信や音声通信を行う。
　操作部１０４は、情報処理装置１を操作するための複数のハードウェアのボタンを備えている。また、操作部１０４は、画像を表示する表示手段の一例である表示部１０４２と、表示部１０４２の表面に設けられ、表示部１０４２が表示した画像を透過し、指が触れた位置を検出する位置検出部１０４１とが一体化したタッチスクリーン１０４Ａを備えている。なお、表示部１０４２としては、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイが用いられるが、これらに限定されるものではなく他のディスプレイであってもよい。また、位置検出部１０４１としては、触れている複数の指の位置を検出するもの（例えば静電容量方式のもの）が用いられる。ユーザの指がタッチスクリーン１０４Ａに触れていると、位置検出部１０４１において指の触れた位置を表す位置データが生成され、生成された位置データが位置検出部１０４１から制御部１０２へ供給される。
　撮像部１０６は、レンズや固体撮像素子を備えており、レンズによって固体撮像素子に結像した像を表す画像を生成する。
　記憶部１０３は、不揮発性メモリを備えている。記憶部１０３は、オペレーティングシステムを実現させるプログラムＯＳや、各種アプリケーションプログラムを記憶する。制御部１０２は、ＣＰＵ（Central Processing Unit）１０２Ａ、ＲＯＭ（Read Only Memory）１０２ＢおよびＲＡＭ（Random Access Memory）１０２Ｃ等を備えている。ＣＰＵ１０２Ａが、ＲＯＭ１０２Ｂに記憶されているＩＰＬ（Initial Program Loader）を実行すると、記憶部１０３に記憶されているプログラムＯＳが実行されてオペレーティングシステムが実現し、各種アプリケーションプログラムの実行が可能となる。本実施形態においては、オペレーティングシステムが実現すると、タッチスクリーン１０４Ａと撮像部１０６を用いるユーザインターフェースが実現する。
（機能ブロックの説明）
　図２は、制御部１０２において実現する機能のうち本発明に係る特徴的な機能に関係する機能ブロックを示した図である。本実施形態においては、上述したように、タッチスクリーン１０４Ａと撮像部１０６を用いるユーザインターフェースが実現する。図２は、このユーザインターフェース機能に係る機能ブロック図である。
　操作検出部２０１は、位置検出部１０４１で生成される位置データを取得する。この位置データは、表示部１０４２の表示面上でユーザが指で触れた位置を表し、ユーザの指が移動した場合には位置データの内容が変化する。操作検出部２０１は、この位置データを基にしてユーザが指で行った操作を検出する。
　視線検出部２０２は、ユーザの視線を検出するものである。視線検出部２０２は、ユーザの顔の画像を取得する。視線検出部２０２は、取得した顔の画像からユーザの視線を検出する。
　方向决定部２０３は、視線検出部２０２で検出した視線を基にして画像をスクロールさせるときのスクロール方向を决定する。
　速度决定部２０４は、操作検出部２０１で行われた操作に応じて画像をスクロールさせるときのスクロール速度を决定する。例えば、速度决定部２０４は、指をタッチスクリーン１０４上で移動させる操作が行われた場合、指が触れたときの位置から移動後の指の位置までの距離に応じてスクロール速度を决定する。
　表示制御部２０５は、画像がスクロールするように表示部１０４２を制御するものである。表示制御部２０５は、方向决定部２０３で决定したスクロール方向と速度决定部２０４で决定したスクロール速度を用いて画像をスクロールさせる。
（実施形態の動作例）
　次に本実施形態の動作の一例について、図３～４のフローチャートと、図５～１０に示した画面例を用いて説明する。図５は、情報処理装置１においてＷｅｂブラウザを実現するアプリケーションプログラムを実行したときに表示される画面の一例を示したものである。この画面においては、ユーザが選択したＷｅｂページが表示されている状態を示している。
　制御部１０２は、撮像部１０６を制御して撮像部１０６での撮像を行う。ユーザが表示画面に目を向けると、ユーザの顔が撮像部１０６で撮像される。撮像部１０６においては、ユーザの顔を含む画像（以下、顔画像と称する）が生成される。
　制御部１０２は、顔画像が生成される毎に図３に示した処理を実行する。まず、制御部１０２は、この顔画像を取得する（ステップＳＡ１）。制御部１０２は、顔画像を取得すると、例えば、特開平１０－３９９９５号公報に開示されている技術を用いてユーザの視線を検出し、表示画面においてユーザが見ている位置を特定する（ステップＳＡ２）。なお、ユーザの視線を検知する技術は、上記の方法に限定されるものではなく、ユーザの頭部に取り付けられたカメラでユーザの眼球を撮像し、この撮像した画像から視線を検知する方法など、他の周知の方法を用いてもよい。
　制御部１０２は、ステップＳＡ２でユーザが見ている位置を特定すると、特定した位置にカーソル１０が表示されるように表示部１０４２を制御する（ステップＳＡ３）。ステップＳＡ３の処理が行われると、図５に示したように、ユーザが見ている位置にカーソル１０が表示される。
　ユーザは、表示されているＷｅｂページをスクロールさせる場合、表示部１０４２の矩形の表示領域の縁の方向へ視線を移動させる。制御部１０２は、撮像部１０６で得られる顔画像からユーザが見ている位置を特定し、特定した位置へカーソル１０を移動させる。制御部１０２は、カーソル１０を移動させると、ユーザが見ている位置が、図６に示した領域Ｂ１～Ｂ８のいずれかへ移動したか判断する。
　制御部１０２は、ユーザが見ている位置が、図６に示した領域Ａ内から領域Ｂ１～Ｂ８のいずれかへ移動した場合、ユーザの指がタッチスクリーン１０４Ａに触れているか判断する。制御部１０２は、ユーザが見ている位置が領域Ａから領域Ｂ１～Ｂ８のいずれかへ移動したときに位置データがタッチスクリーン１０４Ａから供給されていない場合（ステップＳＢ１でＮＯ）、ユーザが見ている位置が領域Ｂ１～Ｂ８のいずれかの領域内であるか判断する。制御部１０２は、ユーザが見ている位置が領域Ａ内または表示部１０４２の表示領域外など、領域Ｂ１～Ｂ８の領域外である場合（ステップＳＢ２でＮＯ）、図４に示した処理を終了する。
　一方、制御部１０２は、ステップＳＢ１でＹＥＳと判断した場合、表示画面上において指の触れている位置を、取得した位置データを用いて特定する（ステップＳＢ３）。制御部１０２は、ステップＳＢ３で特定した位置（以下、第１位置と称する）をＲＡＭ１０２Ｃに記憶させる（ステップＳＢ４）。また、制御部１０２は、領域Ａ内から領域Ｂ１～Ｂ８のいずれかへ移動したときの移動後の領域を記憶する（ステップＳＢ５）。
　次に制御部１０２は、ユーザが見ている位置が領域Ｂ１～Ｂ８のいずれかの領域内であるか判断する。制御部１０２は、ユーザが見ている位置が領域Ｂ１～Ｂ８の領域外である場合（ステップＳＢ６でＮＯ）、図４に示した処理を終了する。一方、制御部１０２は、ユーザの見ている位置が領域Ｂ１～Ｂ８のいずれかの領域内である場合（ステップＳＢ６でＹＥＳ）、この時点でユーザが見ている領域がステップＳＢ５で記憶した領域と同じであるか判断する。制御部１０２は、この時点でユーザが見ている領域がステップＳＢ５で記憶した領域と異なる場合（ステップＳＢ７でＮＯ）、処理の流れをステップＳＢ１へ戻す。
　一方、制御部１０２は、ステップＳＢ７でＹＥＳと判断した場合、位置データが供給されているか判断する。制御部１０２は、位置データが供給されていない場合（ステップＳＢ８でＮＯ）、指がタッチスクリーンから離れたものと判断し、図４に示した処理を終了する。
　制御部１０２は、ステップＳＢ８でＹＥＳと判断した場合、位置データからユーザの指の位置を特定し（ステップＳＢ９７）、ユーザの指の位置が第１位置と同じであるか判断する。制御部１０２は、ステップＳＢ９で特定した位置が第１位置と同じである場合（ステップＳＢ１０でＹＥＳ）、処理の流れをステップＳＢ６へ戻す。
　また、制御部１０２は、ステップＳＢ９で特定した位置が第１位置と異なる場合（ステップＳＢ１０でＮＯ）、ユーザの指の位置が第１位置から変化したものと判断する。制御部１０２は、ユーザの指の位置が変化した場合、ステップＳＢ９で特定した指の位置と第１位置との間の距離を算出する（ステップＳＢ１１）。
　制御部１０２は、ステップＳＢ１１で距離を算出すると、表示されている画像を、カーソル１０がある位置と、算出した距離とに応じてスクロールさせる（ステップＳＢ１２）。具体的には、制御部１０２は、画像をスクロールさせる方向をカーソル１０がある領域の方向とする。例えば、図５の状態から領域Ｂ１へカーソル１０を移動させて画像をスクロールさせた場合、図７に示したように表示されている画像は領域Ｂ１の方向へスクロールされる。また、図５の状態から領域Ｂ５へカーソル１０を移動させて画像をスクロールさせた場合、図８に示したように表示されている画像は領域Ｂ５の方向へスクロールされる。なお、図７、８においては、タッチスクリーン１０４Ａに触れている指の図示を省略している。
　また、制御部１０２は、画像をスクロールさせるスピード（単位時間（例えば１秒）あたりの画像の移動量）を、ステップＳＢ１１で算出した距離に応じて設定する。例えば、制御部１０２は、ステップＳＢ１１で算出した距離が長くなるにつれてスクロールのスピードを速くする。このため、指を第１位置から移動させた場合、図９に示したように移動後の指の位置が第１位置から近い場合にはスクロールのスピードが遅く、移動後の指の位置が第１位置から遠くなるに従って、スクロールのスピードが速くなる。このため、図１０に示したように、移動後の位置が図９の位置より第１位置から遠い場合には、図９の場合より図１０の場合の方がスクロールのスピードが速くなる。
　制御部１０２は、ステップＳＢ１２の処理の後、処理の流れをステップＳＢ６へ戻す。そして、ユーザが見ている領域が領域Ｂ１～Ｂ８の領域外となった場合、又はユーザの指がタッチスクリーン１０４Ａから離れた場合、画像をスクロールさせる処理を終了する。
　なお、画像をスクロールしているときにユーザが見ている領域が、ステップＳＢ５で記憶した領域から変化した場合、制御部１０２は、ステップＳＢ７でＮＯと判断する。
　次に制御部１０２は、ユーザが見ている領域がステップＳＢ５で記憶した領域と反対方向の領域であるか判断する。例えば、領域Ｂ１から領域Ｂ５へ視線を移動した場合、領域Ｂ５から領域Ｂ１へ視線を移動した場合、領域Ｂ３から領域Ｂ７へ視線を移動した場合、及び領域Ｂ７から領域Ｂ３へ視線を移動した場合、制御部１０２は、ユーザが見ている領域がステップＳＢ５で記憶した領域と反対方向であると判断し（ステップＳＢ１３でＹＥＳ）、処理の流れをステップＳＢ１へ移す。
　ステップＳＢ１３でＹＥＳと判断してステップＳＢ１に戻った場合、この時点での指の位置が第１位置として新たに記憶される。そして、制御部１０２は、この第１位置から指が移動しない場合には画像をスクロールさせない。つまり、画像のスクロール中にユーザが見ている方向が反対方向へ変化した場合には、画像のスクロールが一旦停止することになる。そして、新たに記憶した第１位置から指が移動した場合には、視線を移動させたときに記憶した第１位置から移動後の指の位置までの距離に応じて、画像がスクロールされることとなる。
　一方、制御部１０２は、ステップＳＢ１３でＮＯと判断した場合、処理の流れをステップＳＢ８へ移す。この場合、第１位置からの指の位置までの距離に応じてスクロールのスピードが設定されるため、視線が移動する前と比較すると、スクロールのスピードは同じでスクロールの方向が変化することになる。例えば、領域Ｂ１から領域Ｂ７へ視線を移動した場合、領域Ｂ１に視線があったときのスクロールのスピードを維持したままでスクロールの方向が領域Ｂ７の方向となる。
　このように本実施形態によれば、視線で画像のスクロールの方向を決定し、指による操作でスクロールのスピードを制御することができる。また、本実施形態によれば、画像をスクロールさせている途中で視線を反対方向へ動かすと、画像のスクロールが一旦停止することになる。このため、スクロールのスピードを維持したままでスクロールの方向を反対方向へ変更する場合と比較すると、ユーザが所望する位置を容易に表示させることが可能となる。
［変形例］
　以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。
　上述した実施形態においては、領域Ｂ１～領域Ｂ８のいずれかに視線があるときに画像をスクロールさせる構成となっているが、画像をスクロールさせるときの視線の位置は、これらの領域内に限定されるものではなく、表示部１０４２の表示領域の外側に視線が移動した場合にも画像をスクロールさせるようにしてもよい。
　例えば、図１１において実線で示したように画像の表示領域がある場合、領域Ｂ１～Ｂ８に替えて、この表示領域より外側の領域Ｃ１～Ｃ８に視線があるときに画像をスクロールさせるようにしてもよい。
　また、図１２に示したように、画像の表示領域が実線で示した領域である場合、領域Ｂ１～Ｂ８に替えて、図１２に示した領域Ｄ１～Ｄ８に視線があるときに画像をスクロールさせるようにしてもよい。
　上述した実施形態においては、画像のスクロールのスピードを指の移動量に応じて決定しているが、スクロールのスピードを設定する方法は、上述した実施形態の方法に限定されるものではない。
　例えば、タッチスクリーンにおいては、指によってタッチスクリーンに掛かる圧力を測定できるものがある。この場合、指によって掛かる圧力が大きくなるにつれて画像のスクロールのスピードを速くするようにしてもよい。
　また、領域Ｂ１～Ｂ８のいずれかへ視線を移動させた後に指でタッチスクリーンに触り、指がタッチスクリーンに触れてから経過した時間が長くなるにつれて画像のスクロールのスピードを速くするようにしてもよい。
　また、領域Ｂ１～Ｂ８のいずれかへ視線を移動させた後に指でタッチスクリーンを叩く操作を行い、叩いた回数が増えるにつれて画像のスクロールのスピードを速くするようにしてもよい。
　上述した実施形態においては、ユーザが視線を移動させると画像のスクロールが一旦停止する。そして、画像を再びスクロールさせる場合、視線を移動させた後、指を移動させる必要がある。しかしながら、スクロールが停止する前に見ていた位置に視線を戻した場合には、以下のような動作となるようにしてもよい。
　例えば、制御部１０２は、指がタッチスクリーン１０４Ａに触れている状態でユーザが見ている位置が領域Ｂ１～Ｂ８のいずれかから領域Ａ内へ移動した場合、領域Ａ内へ移動する前にユーザが見ていた領域と、見ている位置が領域Ａへ移動する前の状態におけるスクロールのスピードを記憶する。次にユーザが指をタッチスクリーン１０４Ａから離さずに、ユーザの見ている位置が記憶した領域に戻った場合、制御部１０２は、記憶したスピードより速いスピードでユーザが見ている方向へ画像をスクロールさせる。なお、見ている位置が記憶した位置に戻らず、他の位置となった場合には、制御部１０２は、新たに第１位置を記憶し、指の位置が移動するまでスクロールが行われないようにする。
　本変形例によれば、続けて画像を同じ方向へスクロールさせる場合、一旦スクロールが停止しないので、スクロールを一旦停止させる構成と比較すると、より速く画像をスクロールさせることができる。
　上述した実施形態においては、第１位置を記憶した後に視線がスクロールの方向と反対方向へ移動した場合、画像のスクロールが一旦停止するが、この構成に限定されるものではない。例えば、領域Ｂ１から領域Ｂ５へ視線を移動させた場合、制御部１０２は、視線が領域Ｂ５へ移動したときの指の位置を第１位置として記憶し、領域Ｂ５の方向へ予め定められたスピードで画像をスクロールさせ、さらに第１位置から指が移動した場合、予め定められたスピードを基準にし、第１位置から指の位置までの距離に応じてスクロールのスピードを速くするようにしてもよい。
　上述した実施形態においては、アプリケーション毎、又は表示するコンテンツ毎にスクロールのスピードが異なるようにしてもよい。例えば、ＷｅｂブラウザでＷｅｂページを表示している場合と、ワードプロセッサーのアプリケーションで文書を表示している場合とで、第１位置からの指の移動量が同じであってもＷｅｂブラウザにおけるスクロールのスピードと、ワードプロセッサーにおけるスクロールのスピードとが異なるようにしてもよい。また、Ｗｅｂブラウザで文字列のページを表示している場合と、Ｗｅｂブラウザで地図のページを表示している場合とで、文字列を表示している場合のスクロールのスピードと、地図を表示している場合のスクロールのスピードとが異なるようにしてもよい。
　上述した実施形態においては、指の位置と視線とで画像をスクロールさせる機能がオペレーティングシステムのプログラムを実行することにより実現しているが、これら機能を実現するのは、オペレーティングシステムのプログラムに限定されるものではない。例えば、オペレーティングシステムのプログラムとは別のアプリケーションプログラムを実行することにより、指の位置と視線とで画像をスクロールさせる機能が実現するようにしてもよい。
　上述した実施形態においては、撮像部１０６が情報処理装置１に内蔵されている構成となっているが、この構成に限定されるものではない。例えば、レンズと固定撮像素子とを備えるカメラを情報処理装置１に接続し、このカメラでユーザの顔を撮像するようにしてもよい。また、レンズと固定撮像素子とを備えるカメラを眼鏡のフレームに配置し、このフレームに設けられたカメラでユーザの顔を撮像するようにしてもよい。
　上述した実施形態においては、情報処理装置１は、通信ネットワークを介した通信を行う機能を備えているが、この機能を備えたものに限定されるものではない。例えば、電子ブックリーダなど、通信ネットワークを介した通信を行う機能を備えていないものであってもよい。
　上述した実施形態の機能を実現するプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk）））など、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し、情報処理装置１にインストールしてもよい。また、通信回線を介して情報処理装置１にダウンロードしてインストールしてもよい。

Claims (4)

  1. 　画像を表示する表示面を有する表示部と、
    　ユーザの視線を検出する第１検出部と、
    　前記表示面上において行われたユーザの操作を検出する第２検出部と、
    　前記第１検出部で検出された視線に応じて前記画像のスクロール方向を決定する方向決定部と、
    　前記第２検出部で検出された操作に応じて前記画像のスクロール速度を決定する速度決定部と、
    　前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御部と
    　を備える表示装置。
  2. 　前記表示制御部は、前記表示面の予め定められた領域内に前記視線が移動した後、当該移動前の方向に前記視線が移動した場合、前記領域内に視線が移動する前のスクロール速度より速いスクロール速度で前記画像のスクロールを開始すること
    　を特徴とする請求項１に記載の表示装置。
  3. 　ユーザの視線を検出するステップと、
    　画像を表示する表示部の表示面上において行われたユーザの操作を検知する検知ステップと、
    　前記検出された視線に応じて前記画像のスクロール方向を決定する方向決定ステップと、
    　前記検出された操作に応じて前記画像のスクロール速度を決定する速度決定ステップと、
    　前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせるステップと
    　を備える表示方法。
  4. 　コンピュータに、
    　ユーザの視線を検出するステップと、
    　画像を表示する表示部の表示面上において行われたユーザの操作を検知するステップと、
    　前記検出された視線に応じて前記画像のスクロール方向を決定するステップと、
    　前記検出された操作に応じて前記画像のスクロール速度を決定するステップと、
    　前記スクロール方向へ前記画像がスクロールされるように前記表示部を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせるステップと
    　を実行させるためのプログラム。
PCT/JP2013/065411 2012-06-22 2013-06-03 表示装置、表示方法及びプログラム WO2013190989A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13807807.6A EP2866132B1 (en) 2012-06-22 2013-06-03 Display device, display method and program
US14/405,883 US9411418B2 (en) 2012-06-22 2013-06-03 Display device, display method, and program
CN201380003174.7A CN103827800B (zh) 2012-06-22 2013-06-03 显示装置和显示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-140818 2012-06-22
JP2012140818A JP5783957B2 (ja) 2012-06-22 2012-06-22 表示装置、表示方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2013190989A1 true WO2013190989A1 (ja) 2013-12-27

Family

ID=49768591

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/065411 WO2013190989A1 (ja) 2012-06-22 2013-06-03 表示装置、表示方法及びプログラム

Country Status (5)

Country Link
US (1) US9411418B2 (ja)
EP (1) EP2866132B1 (ja)
JP (1) JP5783957B2 (ja)
CN (1) CN103827800B (ja)
WO (1) WO2013190989A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793173A (zh) * 2014-01-29 2014-05-14 宇龙计算机通信科技(深圳)有限公司 显示方法及装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6153487B2 (ja) * 2014-03-14 2017-06-28 株式会社Ｎｔｔドコモ 端末及び制御方法
CN104360787A (zh) * 2014-10-17 2015-02-18 联想(北京)有限公司 一种显示方法及电子设备
US9501853B2 (en) * 2015-01-09 2016-11-22 Adobe Systems Incorporated Providing in-line previews of a source image for aid in correcting OCR errors
JP2016136351A (ja) * 2015-01-23 2016-07-28 京セラ株式会社 電子機器及び制御方法
US10222966B2 (en) * 2015-02-09 2019-03-05 Flipboard, Inc. Parallax discrete page scrolling
CN104899306B (zh) * 2015-06-12 2019-06-28 百度在线网络技术（北京）有限公司 信息处理方法、信息显示方法及装置
JP6588834B2 (ja) * 2016-01-18 2019-10-09 株式会社東海理化電機製作所 操作装置
JP6565791B2 (ja) * 2016-05-26 2019-08-28 京セラドキュメントソリューションズ株式会社 表示装置及び表示制御プログラム
JP6729069B2 (ja) * 2016-06-28 2020-07-22 富士ゼロックス株式会社 情報処理装置
JP6809022B2 (ja) * 2016-07-29 2021-01-06 富士ゼロックス株式会社 画像表示装置、画像形成装置、および、プログラム
WO2018123231A1 (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 電子機器、入力制御方法、及びプログラム
JP7116295B2 (ja) * 2018-04-03 2022-08-10 株式会社ミクシィ 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム
CN110543274B (zh) * 2019-07-29 2024-02-20 惠州Tcl移动通信有限公司 一种图像显示方法、移动终端以及具有存储功能的装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1039995A (ja) 1996-07-19 1998-02-13 Nec Corp 視線・音声入力装置
JPH10124035A (ja) * 1996-06-26 1998-05-15 Sun Microsyst Inc アイトラッカ駆動のスクロール操作
JPH1185452A (ja) * 1997-09-02 1999-03-30 Sanyo Electric Co Ltd スクロール制御装置
JP2000020212A (ja) * 1998-07-07 2000-01-21 Osk:Kk 表データ表示装置および方法ならびに表データ表示のためのプログラムを格納した記憶媒体
JP2002099386A (ja) 2000-09-25 2002-04-05 Sanyo Electric Co Ltd 画面表示制御システム
JP2005308411A (ja) * 2004-04-16 2005-11-04 Xanavi Informatics Corp 車載情報端末、道路地図表示方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US7719520B2 (en) * 2005-08-18 2010-05-18 Scenera Technologies, Llc Systems and methods for processing data entered using an eye-tracking system
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
KR101446521B1 (ko) * 2008-08-12 2014-11-03 삼성전자주식회사 터치 스크린의 정보 스크롤 제어 방법 및 장치
US20100283722A1 (en) * 2009-05-08 2010-11-11 Sony Ericsson Mobile Communications Ab Electronic apparatus including a coordinate input surface and method for controlling such an electronic apparatus
JP5535585B2 (ja) * 2009-11-10 2014-07-02 株式会社ソニー・コンピュータエンタテインメント プログラム、情報記憶媒体、情報入力装置、及びその制御方法
CN102073435A (zh) * 2009-11-23 2011-05-25 英业达股份有限公司 画面操作方法及应用该方法的电子装置
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US10268661B2 (en) * 2010-09-30 2019-04-23 Georgia Tech Research Corporation Systems and methods to facilitate active reading
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8589977B1 (en) * 2011-12-30 2013-11-19 Time Warner Cable Enterprises Llc Methods and apparatus for improving scrolling through program channel listings

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124035A (ja) * 1996-06-26 1998-05-15 Sun Microsyst Inc アイトラッカ駆動のスクロール操作
JPH1039995A (ja) 1996-07-19 1998-02-13 Nec Corp 視線・音声入力装置
JPH1185452A (ja) * 1997-09-02 1999-03-30 Sanyo Electric Co Ltd スクロール制御装置
JP2000020212A (ja) * 1998-07-07 2000-01-21 Osk:Kk 表データ表示装置および方法ならびに表データ表示のためのプログラムを格納した記憶媒体
JP2002099386A (ja) 2000-09-25 2002-04-05 Sanyo Electric Co Ltd 画面表示制御システム
JP2005308411A (ja) * 2004-04-16 2005-11-04 Xanavi Informatics Corp 車載情報端末、道路地図表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MASATAKE YAMATO: "Scrolling the Text Windows by Looking", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 40, no. 2, 15 February 1999 (1999-02-15), pages 613 - 622, XP055152925 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793173A (zh) * 2014-01-29 2014-05-14 宇龙计算机通信科技(深圳)有限公司 显示方法及装置

Also Published As

Publication number Publication date
CN103827800B (zh) 2017-07-14
CN103827800A (zh) 2014-05-28
EP2866132A1 (en) 2015-04-29
JP5783957B2 (ja) 2015-09-24
JP2014006640A (ja) 2014-01-16
EP2866132A4 (en) 2015-12-02
EP2866132B1 (en) 2018-10-24
US20150185833A1 (en) 2015-07-02
US9411418B2 (en) 2016-08-09

Similar Documents

Publication Publication Date Title
JP5783957B2 (ja) 表示装置、表示方法及びプログラム
CN109155821B (zh) 相机的可移动用户界面快门按钮
JP5970086B2 (ja) タッチスクリーンホバリング入力処理
KR101669079B1 (ko) 표시제어장치 및 그 제어 방법
JP5701569B2 (ja) 画像表示装置、画像表示制御方法及びプログラム
JP2009140368A (ja) 入力装置、表示装置、入力方法、表示方法及びプログラム
CN108733302B (zh) 手势触发方法
EP3109749B1 (en) Crop frame adjusting method, image processing device, and non-transitory computer readable storage medium
US10296130B2 (en) Display control apparatus, display control method, and storage medium storing related program
JP2015138360A (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
JP6758922B2 (ja) 電子機器及びその制御方法
WO2013183533A1 (ja) 表示装置、表示方法及びプログラム
JP2017004377A (ja) 情報処理プログラム、表示制御装置、表示制御システム及び表示方法
JP6197559B2 (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
JP6907368B2 (ja) 電子機器及びその制御方法
KR20090017828A (ko) 인터페이스 제어 방법 및 인터페이스 제어 장치
CN110032323B (zh) 电子设备及手势导航方法
JP6282876B2 (ja) 情報処理装置
JP6374155B2 (ja) 表示装置、スクロール表示方法、および、スクロール表示プログラム
JP6940172B2 (ja) 情報端末、表示制御方法、及びプログラム
JP2019053196A (ja) 情報処理装置、画面制御方法
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치
CN109078325B (zh) 用户接口处理方法及记录介质
WO2019230188A1 (ja) 表示装置及び表示制御プログラム
JP2014174926A (ja) 情報処理装置および制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13807807

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14405883

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE