WO2014034031A1 - 情報入力装置及び情報表示方法 - Google Patents

情報入力装置及び情報表示方法 Download PDF

Info

Publication number
WO2014034031A1
WO2014034031A1 PCT/JP2013/004766 JP2013004766W WO2014034031A1 WO 2014034031 A1 WO2014034031 A1 WO 2014034031A1 JP 2013004766 W JP2013004766 W JP 2013004766W WO 2014034031 A1 WO2014034031 A1 WO 2014034031A1
Authority
WO
WIPO (PCT)
Prior art keywords
display screen
pointer
unit
mode
display
Prior art date
Application number
PCT/JP2013/004766
Other languages
English (en)
French (fr)
Inventor
浩靖 井本
知成 高橋
山内　真樹
良宏 小島
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2014501116A priority Critical patent/JP6062416B2/ja
Priority to US14/353,876 priority patent/US9798456B2/en
Priority to EP13833330.7A priority patent/EP2891949A4/en
Publication of WO2014034031A1 publication Critical patent/WO2014034031A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Definitions

  • the present invention relates to an information input device and an information display method that provide a GUI (Graphical User Interface), and more particularly, to a device for inputting information and a method for displaying information based on the position of an indicator in a three-dimensional space.
  • GUI Graphic User Interface
  • Patent Document 1 proposes a virtual sensation presentation device that controls a scroll speed and a direction by operating a pointer when a positional relationship between a pointer on a display screen and a scroll target image becomes a predetermined relationship. ing. According to this, a virtual sensation presentation apparatus capable of reliably presenting a virtual skin sensation / force sensation and a virtual equilibrium sensation is provided.
  • the present invention has been made in view of the above problems, and an object thereof is to provide an information input device and the like that avoids an accidental pointing operation from executing a function of a device that is not intended by the user. .
  • an embodiment of an information input device is an information input device that acquires a user's instruction for an image displayed on a display screen.
  • the pointer detection unit that detects at least one of the directions, and the pointer that is displayed on the display screen in association with at least one of the position and direction of the pointer detected in the three-dimensional space detected by the pointer detection unit.
  • a pointer position determination unit that determines a position on the display screen; a storage unit that acquires and holds a time series of position information indicating the position determined by the pointer position determination unit; and a position information stored in the storage unit
  • a first passage detection unit for detecting that the pointer has passed through a first specific area, which is a predetermined area on the display screen, using a time series; When the passage is detected by the detection unit, the display screen according to the direction discriminated by the direction discriminating unit that discriminates the direction when the pointer passes the first specific area, and the direction discriminated by the direction discriminating unit. And a first image changing unit that changes the image displayed on the screen.
  • an aspect of the information display method is an information display method executed by a computer, the display step displaying at least one item on a display screen, and a three-dimensional display.
  • At least two areas in which the user instruction acquired in the step is set on the display screen If from one which is moved to the other, the second mode from the first mode, or to change from the second mode to the first mode.
  • the above general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium such as a computer-readable CD-ROM.
  • an information input device or the like that avoids a device function unintended by a user from being accidentally operated by a pointing operation.
  • FIG. 1 is an external view of an information input device according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a hardware configuration of the information input device.
  • FIG. 3 is a functional block diagram of the information input device.
  • FIG. 4 is a flowchart showing the operation of the information input device.
  • FIG. 5A is a diagram illustrating an example of a characteristic operation (scrolling) of the information input device.
  • FIG. 5B is a diagram illustrating an example of a characteristic operation (icon selection operation) of the information input device.
  • FIG. 6 is a functional block diagram of the information input device according to the first embodiment of the present invention.
  • FIG. 7 is a flowchart showing the operation of the information input device.
  • FIG. 1 is an external view of an information input device according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a hardware configuration of the information input device.
  • FIG. 3 is a functional block diagram of the information input device.
  • FIG. 4 is
  • FIG. 8 is a diagram illustrating an example of user interaction indicating a procedure for detecting a repetitive motion.
  • FIG. 9 is a diagram illustrating an example of typical repetitive exercise user interaction.
  • FIG. 10 is a diagram illustrating an example of user interaction of repetitive motion by reciprocating motion.
  • FIG. 11 is a flowchart showing an operation related to the end of the repetitive exercise among the operations of the information input device.
  • FIG. 12A is a diagram showing an example of user interaction (immediately before the end operation) regarding the end operation of the repetitive exercise shown in FIG. 11.
  • FIG. 12B is a diagram illustrating an example of user interaction (end operation) regarding the end operation of the repetitive exercise shown in FIG. 11.
  • FIG. 12A is a diagram showing an example of user interaction (immediately before the end operation) regarding the end operation of the repetitive exercise shown in FIG. 11.
  • FIG. 12B is a diagram illustrating an example of user interaction (end operation) regarding the end operation of the repetitive exercise shown in FIG. 11.
  • FIG. 13 is a flowchart which shows the operation
  • FIG. 14 is a diagram illustrating user interaction examples in two cases where the positions of the second specific areas illustrated in FIG. 13 are different.
  • FIG. 15 is a diagram illustrating reciprocation detection logic by the repetitive detection unit.
  • FIG. 16 is a diagram illustrating the rotational motion detection logic by the repeated detection unit.
  • FIG. 17 is a functional block diagram of the information input device according to the second embodiment of the present invention.
  • FIG. 18 is a flowchart showing the basic operation of the information input apparatus.
  • FIG. 19 is a flowchart showing an operation when the pointer passes through two predetermined directions among the operations of the information input apparatus.
  • FIG. 20 is a flowchart showing the basic operation of the direction determining unit provided in the information input device.
  • FIG. 21 is a flowchart illustrating an operation in consideration of the main operation direction among the operation of the direction determination unit included in the information input device.
  • FIG. 22 is a diagram illustrating an example of user interaction corresponding to the operation illustrated in FIG.
  • FIG. 23A is a diagram illustrating an example of user interaction corresponding to the operation illustrated in FIG. 20 (operation depending on the position and density of the first specific region).
  • FIG. 23B is a diagram illustrating another example of user interaction corresponding to the operation illustrated in FIG. 20 (operation depending on the position and density of the first specific region).
  • FIG. 24 is a diagram illustrating an example of user interaction corresponding to the motion illustrated in FIG. 20 (motion depending on the posture of the user's hand / finger).
  • FIG. 25 is a diagram showing a detailed procedure of the operation shown in FIG. 20 (operation depending on the posture of the user's hand / finger).
  • FIG. 26 is a diagram showing an example of user interaction corresponding to the operation (determination of the main operation direction) shown in FIG.
  • FIG. 27 is a diagram illustrating an example of user interaction corresponding to the operation illustrated in FIG. 21 (operation depending on the main operation direction).
  • FIG. 28 is a flowchart showing an information display method according to the third embodiment of the present invention.
  • FIG. 29 is a diagram showing state transition in the display step shown in FIG.
  • FIG. 30 is a diagram illustrating a screen display example of mode transition between two modes.
  • FIG. 31 is a diagram showing another example of the state transition in the display step shown in FIG.
  • FIG. 32 is a diagram illustrating a screen display
  • an embodiment of an information input device is an information input device that acquires a user's instruction for an image displayed on a display screen.
  • the pointer detection unit that detects at least one of the directions, and the pointer that is displayed on the display screen in association with at least one of the position and direction of the pointer detected in the three-dimensional space detected by the pointer detection unit.
  • a pointer position determination unit that determines a position on the display screen; a storage unit that acquires and holds a time series of position information indicating the position determined by the pointer position determination unit; and a position information stored in the storage unit
  • a first passage detection unit that detects that the pointer has passed through a first specific region that is a predetermined region on the display screen using a time series; and the first passage A direction determining unit that determines a direction when the pointer passes the first specific area when the passage is detected by the exit unit; and the display screen according to the direction determined by the direction determining unit.
  • a first image changing unit that changes the image displayed on the screen.
  • the action is determined according to the direction in which the pointer has passed, so that the function of the device that is not intended by the user is executed by an accidental pointing operation as in the prior art.
  • the problem of end up being avoided. That is, the user can perform the pointing operation and the selection operation as continuous and reliable operations.
  • the first specific area is at least one line segment displayed on the display screen, and the first passage detection unit is configured such that the pointer is the at least one line segment.
  • the first image changing unit may detect that the image has passed so as to cross one of the images, and may scroll the image along the direction determined by the direction determining unit.
  • the first specific area is two line segments arranged in parallel displayed on the display screen, and the first passage detection unit is configured such that the pointer is the two line segments.
  • the direction discriminating unit detects that the two lines are crossed from the first region sandwiched between the two line segments as the direction. Thus, it may be determined whether the pointer has moved. Thereby, a normal pointing operation and a scroll operation are clearly distinguished.
  • the first specific area is an icon displayed on the display screen, and the first image changing unit is configured to display the icon when the direction determined by the direction determining unit is a predetermined direction.
  • the image may be changed so that is divided into two or more partial icons. Thereby, the normal pointing operation and the icon selecting operation are clearly distinguished.
  • a repeat detection unit that detects that the pointer is repeatedly moving on the display screen, and detection by the repeat detection unit.
  • the repeated detection validation unit that validates the detection by the repeated detection unit, and when the valid detection is performed by the repeated detection unit
  • a second image changing unit that repeats the change of the image.
  • the repetitive movement includes at least one of moving the pointer so as to draw a circle on the display screen and reciprocating the pointer on the display screen.
  • One may be included.
  • the repetition detection unit further detects the end of the repetitive motion
  • the repetitive detection validation unit further detects the detection by the repetitive detection unit when the repetitive detection unit detects the end of the repetitive motion.
  • a second passage detection unit that detects that the pointer has passed through a predetermined second specific area on the display screen by using a time series of position information stored in the storage unit, or invalidating The repeated detection validation unit may further invalidate the detection by the repeated detection unit when the second passage detection unit detects the passage.
  • the second passage detection unit further determines a direction when the pointer passes the second specific area, and the repeated detection validation unit detects the passage by the second passage detection unit.
  • the detection by the repetitive detection unit may be invalidated. Thereby, the user can end a repetitive exercise reliably.
  • a third image changing unit that changes the second specific area may be provided depending on the degree of change by the second image changing unit.
  • the change corresponding to the repetitive movement with respect to the image is scrolling of the image on the display screen and movement of the pointer, and the third image changing unit is configured to scroll the image, and An image indicating the position of the second specific area may be displayed by disposing the second specific area at a position farther from the first specific area as the speed of movement of the pointer increases.
  • the second specific area for performing the operation of invalidating the detection of the repetitive motion is displayed, or the display position of the second specific area is adaptively changed, so that an erroneous operation is not performed. Certainly, the repetitive operation can be terminated.
  • it further comprises a direction determining unit that determines a direction in which the pointer should pass through the first specific region depending on the attribute of the first specific region, and the first image changing unit includes the direction determining unit.
  • the image may be changed when the direction determined in is the direction determined by the direction determination unit.
  • the direction determining unit may determine the direction as the direction when the first specific region is arranged in contact with the side constituting the frame of the display screen.
  • the direction determining unit determines the direction to be parallel to the side as the direction.
  • the direction determining unit may determine the direction depending on the density of the plurality of first specific regions.
  • a main operation direction determination unit that determines a user's main operation direction with respect to the image based on the attribute of the first specific area is provided, and the direction determination unit is determined by the main operation direction determination unit. You may determine the said direction from the direction of the range which does not include the main operation direction.
  • it further includes a display screen state detection unit that detects the position and orientation of the display screen with respect to the indicator detection unit, and the main operation direction determination unit includes the position detected by the display screen state detection unit and The main operation direction may be determined depending on the posture.
  • the main operation direction and the direction of the selection operation are clearly distinguished. For example, an operation of selecting one of the plurality of objects while scrolling the plurality of objects in the main operation direction becomes easy. .
  • the indicator detection unit may detect a posture of the user's hand or finger, and the direction determination unit may determine the direction depending on the posture detected by the indicator detection unit. Good. Thereby, the user can perform a selection operation in a direction in which the user can easily operate using a hand or a finger.
  • An information display method executed by a computer is a display step for displaying at least one item on a display screen, and detects at least one of a position and an orientation of an indicator in a three-dimensional space, so that a user can
  • An instruction acquisition step of acquiring an instruction wherein the display step selects at least one item from the at least one item according to a user instruction acquired in the instruction acquisition step;
  • a second mode for performing a process involving a display change on the at least one item selected in the first mode, and the user instruction acquired in the instruction acquisition step is at least two set on the display screen When the movement is from one of the areas to the other, the second mode to the second Over de, or may be changed from the second mode to the first mode.
  • the user can switch between a screen display for selecting an object (item) and a screen display for determining a process for the selected object by continuous operation in the three-dimensional space.
  • all operations can be performed simply by switching between the two display modes, the operation is simpler than a deeply layered menu or the like, and the operation method can be learned in a short time.
  • the at least two areas include two areas separated by a line segment displayed on the display screen, and the movement may include movement exceeding the line segment.
  • the display step displays a plurality of groups on the display screen with at least one item as a group.
  • the first group of the plurality of groups is displayed. May be selectable, and a second group of the plurality of groups may not be selectable.
  • the user instruction acquired in the instruction acquisition step is the movement, the item belonging to the first group moves to become an item belonging to the second group, It may be impossible to select.
  • an icon associated with the process for the item selected in the first mode is displayed on the display screen, and the icon includes at least two areas. Is associated with the icon when the user instruction acquired in the instruction acquisition step is a movement from one of at least two regions associated with the icon to the other. May be executed. At this time, the icon may take a state where the process associated with the icon can be executed or a state where the icon cannot be executed depending on the attribute of the item associated with the icon.
  • the display step further includes a third mode for displaying a menu, and the display step is performed when the movement of the pointer indicated by the user instruction acquired in the instruction acquisition step belongs to the first pattern.
  • the third mode The mode may be changed to the original mode.
  • the instruction acquisition step further detects the number of the indicators in a three-dimensional space, and the first pattern and the second pattern are user instructions using different numbers of the indicators. Also good.
  • the third mode for displaying a menu common to both the first mode and the second mode is provided, the menu in the first mode and the second mode is simplified and the operability is improved.
  • the three modes can be changed from any of the three modes, the user can complete a desired process without being restricted by troublesome rules for switching the screen display.
  • the above general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium such as a computer-readable CD-ROM.
  • the present embodiment is an information input device that provides a GUI using as input information at least one of the position and orientation of an indicator in a three-dimensional space detected by a camera.
  • the information input device as input information, unlike the input using the mouse and the touch panel, there is no intuitive and direct operation for performing the “selection (or determination)” operation.
  • selection or determination
  • some device is required to implement the pointing operation and the selection operation as continuous operations.
  • a method of separating the pointing operation from the selection operation by recognizing that the selection operation has been performed when the user makes a specific gesture can be considered.
  • a method of separating the pointing operation from the selection operation by recognizing that the selection operation has been performed when a specific gesture of keeping the palm stationary with respect to the object for a certain period of time can be considered.
  • the pointing object needs to be stationary with respect to the target object during the pointing operation for moving the pointing object, which is not immediate and is not a comfortable operation.
  • the selection operation is performed when a specific gesture such as rotating around the hand or pushing the hand forward is performed.
  • a specific gesture such as rotating around the hand or pushing the hand forward is performed.
  • the operation is recognized depending on the recognition rate of the gesture or the display resolution in the depth direction, a reliable operation cannot be realized.
  • FIG. 1 is an external view of an information input device 10 according to an embodiment of the present invention.
  • a stereo camera 12 and a display screen 16 are shown.
  • the user moves the indicator 11 (here, the user's finger) within the imaging range of the stereo camera 12 so that the indicator 11 is displayed on the display screen 16 corresponding to the position of the indicator 11 in the three-dimensional space.
  • the pointer can be moved. As a result, various interactions between the user and the image displayed on the display screen 16 are realized.
  • the indicator 11 is not limited to the user's finger, but may be an article such as a user's hand, arm, or pen held by the user.
  • FIG. 2 is a diagram illustrating a hardware configuration of the information input device 10 according to the present embodiment.
  • the information input device 10 is a device that acquires a user instruction for an image displayed on the display screen 16, and includes a stereo camera 12, a communication unit 14, a display screen 16, an input unit 18, and a control unit 20.
  • the stereo camera 12 is an imaging device having at least two cameras, and is a sensor for detecting at least one of the position and orientation of the indicator 11 in the three-dimensional space (both position and orientation in the present embodiment). It is. In the present embodiment, the stereo camera 12 captures the indicator 11 at a constant frame rate, and wirelessly transmits the two obtained images to the communication unit 14. In the present embodiment, the stereo camera 12 is a device independent of the display screen 16 or the like, but may be incorporated in a device including the display screen 16. For example, it may be provided on a frame surrounding the TV display screen.
  • the communication unit 14 is a wireless communication interface or the like that acquires an image sent from the stereo camera 12 and sends it to the control unit 20.
  • the display screen 16 is a display such as a liquid crystal that displays an image to be presented to the user.
  • the input unit 18 is an input device such as a button for turning on the power or a remote controller. In the present embodiment, since any instruction is given to the control unit 20 through the stereo camera 12, the input unit 18 is a preliminary component.
  • the control unit 20 is a computer that executes information processing for realizing an interaction with the user, and includes a CPU 22, a ROM 24, a RAM 26, and a nonvolatile memory 28.
  • the CPU 22 is a processor that executes a program.
  • the ROM 24 is a read-only memory that holds programs and data in advance.
  • the RAM 26 is a working temporary storage memory used when the CPU 22 executes a program.
  • the nonvolatile memory 28 is a readable / writable memory such as a hard disk device capable of storing data even when the power is not turned on, and stores a program and data.
  • the control unit 20 more specifically, a computer that executes a program.
  • the information input device according to the present invention is typically realized by software. Therefore, another peripheral device is an arbitrary component and may be equipped as an information input device according to the present invention as necessary.
  • both the ROM 24 and the nonvolatile memory 28 are nonvolatile storage devices, and only one of them may be provided.
  • FIG. 3 is a functional block diagram of the information input device 10 in the present embodiment. Here, the functional configuration of the information input device 10 realized by the hardware configuration shown in FIG. 2 is shown.
  • the information input device 10 is a device that acquires a user's operation on an image displayed on the display screen 52, and includes an indicator detection unit 42, a pointer position determination unit 44, a storage unit 46, and a first unit.
  • a passage detection unit 48, a direction determination unit 50, a display control unit 60a, and a display screen 52 are provided.
  • the display screen 52 corresponds to the display screen 16 of FIG. 2 and does not necessarily have to be provided in the information input device 10 as described above.
  • the indicator detection unit 42 is a processing unit that detects at least one of the position and orientation of the indicator 11 in the three-dimensional space, and is realized by the stereo camera 12, the communication unit 14, and the control unit 20 of FIG. For example, in the case where it is predetermined that the indicator 11 is one hand in which only the index finger is extended and another finger is held, the indicator detection unit 42 has two images taken at the same time. For each of the above, the shape of the hand including the index finger is recognized, and the positions and orientations of the two cameras built in the stereo camera 12 are determined from the position and orientation of the indicator 11 in each image by image matching or the like. The position and orientation of the indicator 11 in the three-dimensional space are detected using the distance between the cameras.
  • the pointer position determination unit 44 determines the position of the pointer displayed on the display screen 52 on the display screen 52 in correspondence with at least one of the position and orientation of the indicator in the three-dimensional space detected by the indicator detection unit 42.
  • the processing unit which is realized by the control unit 20 of FIG.
  • the pointer position determination unit 44 uses the position and orientation of the indicator 11 in the three-dimensional space
  • the indicator 11 is displayed on the virtual two-dimensional operation surface set in advance in the three-dimensional space. It is identified which position it is pointed to, and a pointer of a specific shape (for example, a cross shape) and / or a specific color (for example, red) is displayed at a position on the display screen 52 corresponding to the pointed position.
  • the pointer position determination unit 44 is a case where the position in the three-dimensional space is projected on a preset virtual two-dimensional operation surface. A position on the two-dimensional operation surface is specified, and a pointer is displayed at a position on the display screen 52 corresponding to the specified position.
  • the pointer position determination unit 44 stores the correspondence relationship between the orientation of the indicator 11 and the display screen 52 in advance and is detected. A pointer is displayed at a position on the display screen 52 corresponding to the direction of the indicator 11.
  • the storage unit 46 is a memory or the like that acquires and holds a time series of position information indicating the position determined by the pointer position determination unit 44, and is realized by the RAM 26 or the nonvolatile memory 28 in FIG.
  • the first passage detection unit 48 uses a time series of position information stored in the storage unit 46 to detect that the pointer has passed through a first specific area that is a predetermined area on the display screen 52. This is realized by the control unit 20 of FIG.
  • the first specific area is a marker used for recognizing a user's special gesture operation that is distinguished from simple movement of the pointer, and may be displayed on the display screen 52 or displayed on the display screen 52. There is no need (the user only needs to know the position in advance).
  • the direction discriminating unit 50 is a processing unit that discriminates the direction when the pointer passes the first specific area when the first passage detecting unit 48 detects passage, and is realized by the control unit 20 of FIG.
  • the direction discriminating unit 50 is a processing unit that discriminates the direction when the pointer passes the first specific area when the first passage detecting unit 48 detects passage, and is realized by the control unit 20 of FIG.
  • the display control unit 60a is a processing unit that displays an image to be interacted with the user on the display screen 52, and is realized by the control unit 20 of FIG.
  • the display control unit 60 a includes a first image changing unit 62.
  • the first image changing unit 62 is a processing unit that changes the image displayed on the display screen 52 in accordance with the direction determined by the direction determining unit 50.
  • the functions excluding the first image changing unit 62 are general image display functions, and need to be equipped in the information input device 10 as with the display screen 52. Absent.
  • the first specific area is, for example, at least one line segment displayed on the display screen 52.
  • the first passage detection unit 48 detects that the pointer has passed so as to cross at least one of the line segments. Then, for example, the first image changing unit 62 scrolls the image along the direction determined by the direction determining unit 50.
  • the first specific area is, for example, two line segments arranged in parallel displayed on the display screen 52.
  • the first passage detection unit 48 detects that the pointer has passed so as to cross one of the two line segments.
  • the direction determination unit 50 determines, as the passing direction, whether the pointer has moved so as to intersect the two line segments from the first region sandwiched between the two line segments.
  • the first image changing unit 62 scrolls the image along the direction of the line segment through which the pointer passes from the first area.
  • the first specific area is an icon displayed on the display screen 52 as another example.
  • the first image changing unit 62 changes the image so that the icon is divided into two or more partial icons when the direction determined by the direction determining unit 50 is a predetermined direction. Thereby, it is possible to clearly notify the user that the pointer has passed the icon.
  • FIG. 4 is a flowchart showing the operation of the information input device 10 in the present embodiment.
  • 5A and 5B are diagrams for explaining an example of characteristic operations (scrolling and icon selection operations, respectively) of the information input device 10.
  • the indicator detection unit 42 detects at least one of the position and orientation of the indicator 11 in the three-dimensional space (both position and orientation in the present embodiment) (S10).
  • the pointer position determination unit 44 displays the pointer displayed on the display screen 52 in accordance with the position and orientation detected by the indicator detection unit 42.
  • the position on the display screen 52 is determined (S12).
  • the indicator detection unit 42 repeats detection of the indicator 11 at a constant period, thereby generating a time series of position information indicating the position of the pointer and storing it in the storage unit 46 (S14).
  • the first passage detection unit 48 determines whether or not the pointer has passed through a first specific area, which is a predetermined area on the display screen 52, using the time series of the position information stored in the storage unit 46. (S16). When the passage is not detected (No in S16), the above steps S10 to S16 are repeated.
  • the direction determination unit 50 determines the direction when the pointer passes the first specific area (S18).
  • the first image changing unit 62 changes the image displayed on the display screen 52 according to the direction determined by the direction determining unit 50 (S20).
  • FIG. 5A shows a state of scrolling which is an example of a GUI provided by the information input device 10.
  • three photographs 101 to 103 are arranged in the horizontal direction and displayed on the display screen 52.
  • two line segments 105 and 106 are arranged and displayed in the vertical direction of the display screen 52 so as to be parallel to each other.
  • the user moves the pointer 11 in the three-dimensional space, so that the pointer 108 crosses the line segment 105 located on the left from the area sandwiched between the two line segments 105 and 106.
  • the state of moving is shown.
  • the first passage detection unit 48 detects that the pointer 108 has passed the line segment 105, and the direction determination unit 50 follows the detection of the line segment 105 that is the first specific region. Is determined as the left direction.
  • the first image changing unit 62 displays a certain amount (for example, one photo) of the images (lineup of photos) displayed on the display screen 52 in the left direction. Just scroll.
  • the indicator 11 shown in this figure is illustrated so as to touch the display screen 52, this is for ease of understanding, and actually the shooting space of the stereo camera 12 shown in FIG. It is moved in (three-dimensional space). The same applies to the drawings showing GUI examples.
  • directions such as “right (right side)”, “left (left side)”, “up (upward)”, and “down (downward)” on the display screen 52 are directed to the display screen 52. Means the direction.
  • the user looks at the two line segments 105 and 106 displayed on the display screen 52 and the pointer 108.
  • Scroll display in the left direction can be started. Therefore, a problem that a function of a device that is not intended by the user is executed by an accidental pointing operation as in the prior art is avoided, and a GUI with excellent operability that reliably reflects the user's intention is realized.
  • FIG. 5B shows a state of an icon selection operation as an example of a GUI provided by the information input device 10.
  • an icon 109 is displayed on the display screen 52 indicating a button for sequentially reproducing the arrangement of the photos shown in FIG. 5A.
  • the icon 109 is an example of a first specific area.
  • the icon 109 is moved from the upper side to the lower side (crossing the upper side of the icon 109 and subsequently crossing the lower side).
  • a state in which the pointer is moved is shown.
  • the first passage detection unit 48 detects that the pointer has passed the icon 109, and in accordance with the detection, the direction determination unit 50 moves the icon 109, which is the first specific area, to the pointer 108. Is the direction from the top to the bottom (the direction across the upper side of the icon 109 and then the lower side).
  • the first image changing unit 62 replaces the icon 109 that has been displayed so far with two divided icons 109a and 109b, and displays them on the display screen 52. Thereby, the user knows that an operation for selecting the icon 109 (an operation corresponding to a click on a mouse operation or a touch on a touch panel) has been performed.
  • the user can view the icon 109 and the pointer displayed on the display screen 52 from the upper side to the lower side of the icon 109.
  • the icon 109 can be selected by performing an operation of passing the pointer. Therefore, a problem that a function of a device that is not intended by the user is executed by an accidental pointing operation as in the prior art is avoided, and a GUI with excellent operability that reliably reflects the user's intention is realized.
  • the operation after the icon 109 is selected is an operation depending on the application software displaying these photos by the control unit 20 or the like, for example, a photo collection associated with the photo displayed in the center.
  • the slide show starts.
  • the image is changed depending on the passing direction when the pointer passes through the first specific area displayed on the display screen 52.
  • the problem that the function of the device which the user does not intend is executed by the accidental pointing operation as in the prior art is avoided.
  • the pointer is moved to a specific position”, although the position of the indicator 11 in the three-dimensional space detected by the camera is input information.
  • “Function execution operation (determination of determination operation)” can be distinguished from each other. That is, according to the present embodiment, it is determined that the determination operation has been performed when the pointer passes through the first specific area displayed on the display screen 52 in a predetermined direction. While watching, it is possible to easily perform a selection or determination operation corresponding to a mouse click or a touch on the touch panel.
  • the first passage detection unit 48 uses a time series of position information stored in the storage unit 46 to preliminarily store a first specific region that is a predetermined region on the display screen 52. It may be a processing unit that detects that the pointer has passed at a speed or acceleration greater than a predetermined value. With such a configuration, the image displayed on the first image changing unit 62 and the display screen 52 is changed only when the pointer passes through the first specific area at a predetermined speed or acceleration or higher. In other words, in order to change the image displayed on the display screen 52, the user needs to quickly move the indicator 11 with respect to the first specific area, and an accidental operation that is not intended by the user due to an accidental pointing operation occurs. It becomes possible to lower the probability.
  • Example 1 Next, Example 1 will be described as a first specific example of the above-described embodiment.
  • one action is associated with one decision operation.
  • the screen display can be scrolled by a certain amount.
  • the operation burden is very large.
  • FIG. 6 is a functional block diagram of the information input device 40a according to the first embodiment of the present invention.
  • the information input device 40a is a device realized by the hardware configuration shown in FIG. 2 as in the above-described embodiment.
  • This information input device 40a is a device characterized in that it detects the repetitive movement of the pointer. Functionally, the information input device 40a, the pointer detection unit 42, the pointer position determination unit 44, the storage unit 46, and the first passage detection unit 48 , A direction determination unit 50, a display control unit 60b, a display screen 52, a repetition processing unit 70, and a second passage detection unit 76.
  • the information input device 40a includes a second image change unit 64, a third image change unit 65, a repetitive processing unit 70, and a component included in the information input device 10 according to the above-described embodiment.
  • a second passage detection unit 76 is provided. The following description will focus on differences from the above-described embodiment.
  • the repetitive processing unit 70 is a processing unit that detects a repetitive movement of the pointer on the display screen 52, and includes a repetitive detection enabling unit 72 and a repetitive detection unit 74.
  • the repetition detection unit 74 is a processing unit that detects that the pointer is repeatedly moving on the display screen 52 using the time series of the position information stored in the storage unit 46, and is the control unit 20 of FIG. It is realized by.
  • the iterative detection enabling unit 72 is a processing unit that invalidates the detection by the iterative detection unit 74 and validates the detection by the iterative detection unit 74 after the passage is detected by the first passage detection unit 48. This is realized by two control units 20.
  • the display control unit 60b includes a second image change unit 64 and a third image change unit 65 in addition to the first image change unit 62 in the above-described embodiment.
  • the second image changing unit 64 repeats image change corresponding to the repetitive operation, for example, image change such as screen scrolling, when the detection is performed by the repeat detection unit 74.
  • the third image changing unit 65 changes the second specific area depending on the degree of change by the second image changing unit 64.
  • the second passage detection unit 76 is a processing unit that detects that the pointer has passed through a predetermined second specific area on the display screen 52 using the time series of the position information stored in the storage unit 46, This is realized by the control unit 20 of FIG.
  • the repeated detection validation unit 72 invalidates the detection by the repeated detection unit 74 when the second passage detection unit 76 detects passage.
  • the second specific area is a marker used to end the repetitive exercise, and may be displayed on the display screen 52 or may not be displayed on the display screen 52 (the user sets the position in advance). Just know.)
  • the second specific area is different from the first specific area in usage, but the area (position and shape) in the display screen 52 may be the same as the first specific area.
  • the second passage detection unit 76 may further determine the direction when the pointer passes through the second specific area.
  • the repeated detection validation unit 72 detects the above-mentioned passage by the second passage detection unit 76 and the direction determined by the second passage detection unit 76 is a predetermined direction. The detection by the repeated detection unit 74 is invalidated.
  • the pointer moves so as to draw a circle on the display screen 52 (that is, rotational movement), and the pointer reciprocates on the display screen 52 (that is, the movement). , Reciprocating motion).
  • the second image changing unit 64 repeats changing the image along the direction determined by the direction determining unit 50. Specifically, the second image changing unit 64 performs a certain amount of scrolling of the image on the display screen 52 and a certain amount of movement of the pointer as the image change.
  • the repeat detection unit 74 further detects the magnitude of the amount of movement of the pointer on the display screen 52 in the repeated motion (for example, the radius of the circle in the rotational motion or the amplitude in the reciprocating motion).
  • the second image changing unit 64 further increases the degree of image change (for example, scroll granularity (unit of movement) or scroll speed) as the movement amount detected by the repeated detection unit 74 is larger.
  • the repeat detection unit 74 further detects the end of the repeat motion. For example, the repetition detection unit 74 detects that the repeated movement has ended when the amount of movement of the pointer becomes smaller than a predetermined value. Then, the repeat detection validation unit 72 invalidates the detection by the repeat detection unit 74 when the repeat detection unit 74 detects the end of the repeated exercise.
  • the third image changing unit 65 changes the second specific area depending on the degree of image change by the second image changing unit 64. More specifically, the third image changing unit 65 changes an image (for example, a line segment) on the display screen 52 indicating the second specific area, depending on the degree of image change by the second image changing unit 64. Specifically, the third image changing unit 65 changes the position of an image (for example, a line segment) on the display screen indicating the second specific area depending on the degree of image change by the second image changing unit 64. By doing so, the image displayed on the display screen is changed.
  • an example of the change of the image corresponding to the repetitive motion with respect to the image is the scrolling of the image on the display screen 52 and the movement of the pointer.
  • the third image changing unit 65 arranges the position of the second specific area by disposing the second specific area at a position farther from the first specific area as the speed of image scrolling and pointer movement increases.
  • the image shown is displayed. This is because when the user tries to speed up the repetitive exercise, the user's operation becomes an over action, and therefore, an erroneous operation that exceeds the second specific region, which is a marker for ending the repetitive exercise unintentionally, is performed. This is to avoid being broken.
  • FIG. 7 is a flowchart showing the operation of the information input device 40a in this embodiment. Here, the detection procedure of the repetitive motion by the information input device 40a is shown.
  • FIG. 8 is a diagram illustrating an example of user interaction indicating a procedure for detecting a repetitive motion.
  • the repeated detection validation unit 72 invalidates the detection by the repeated detection unit 74, and determines whether or not the pointer has passed through the first specific area by the first passage detection unit 48 (S30). This determination is repeated until it is determined that the pointer 108 has passed through the first specific area (here, the line segment 105) as shown in FIG. 8A (No in S30).
  • the repeated detection validation unit 72 validates the detection by the repeated detection unit 74.
  • the repeated detection unit 74 detects the same action, such as the rotational motion shown in FIG. 8B or the reciprocating motion shown in FIG. It is detected by the repeated detection unit 74 (S32).
  • the second image changing unit 64 repeats the change of the image displayed on the display screen 52 so as to correspond to the repeated movement. For example, the second image changing unit 64 repeats image scrolling in the left direction while repeatedly exercising.
  • FIG. 9 is a diagram showing an example of typical repetitive exercise user interaction.
  • the user moves the pointer 11 in the three-dimensional space to move the pointer 108 so that the pointer 108 passes the line segment 105 from the right side to the left side, and then, in the region on the left side of the line segment 105, Rotate. Then, the image displayed on the display screen 52 is repeatedly scrolled to the left.
  • FIG. 10 is a diagram showing an example of user interaction of repetitive motion by reciprocating motion.
  • the user moves the line 108 from the right side to the left side of the pointer 108 (strictly speaking, the line from the central region sandwiched between the two line segments 105 and 106.
  • the reciprocating motion is performed after the operation to pass to the left area from the minute 105).
  • the same result that the operation from the right side to the left side of the line segment 105 is repeated, that is, scroll display in the left direction is performed.
  • the user moves the pointer 108 from the left side to the right side (strictly speaking, a central area sandwiched between two line segments 105 and 106). To the right of the line segment 106) and then reciprocating. In this case, the same result that the operation from the left side to the right side of the line segment 106 is repeated, that is, scroll display in the right direction is performed.
  • FIG. 11 is a flowchart showing an operation related to the end of the repetitive exercise among the operations of the information input device 40a in the present embodiment.
  • 12A and 12B are diagrams showing examples of user interaction related to the end operation of the repetitive exercise shown in FIG.
  • the repeat detection enabler 72 monitors whether the end of the repeat motion is detected by the repeat detector 74 or whether the second passage detector 76 detects that the pointer has passed the second specific area. (S40). This monitoring is repeated until either is detected (No in S40).
  • the passage direction when the pointer passes the second specific area is a predetermined direction.
  • the repetitive motion it may be detected that the repetitive motion has ended when the pointer passes through the second specific area from the left side to the right side.
  • the repetitive detection is performed.
  • the validation unit 72 invalidates the detection by the repeated detection unit 74 (S42). That is, the repetition detection validation unit 72 stops the detection of the repetition rate by the repetition detection unit 74.
  • images 110a, 111a to 111c, 112a to 112c corresponding to each of a plurality of songs are arranged, and for each album composed of a plurality of songs, frames 110, 111 and 112 surrounding the corresponding images are provided. It is displayed.
  • the granularity of scrolling is switched depending on the amount of movement of the pointer on the display screen 52 in repetitive motion (for example, the radius of a circle in a rotational motion or the amplitude in a reciprocating motion). For example, in the case of a large repetitive exercise, the display on the display screen 52 is scrolled in units of albums, while in the case of a small repetitive exercise, it is scrolled in units of one song.
  • the size of the repetitive motion may be defined by the time during which the repetitive motion is continued or the speed of the pointer movement on the display screen 52 for performing the repetitive motion. If the duration of repeated exercise is long, or if the speed of the pointer movement for repeating exercise is fast, scrolling by album unit and the duration of repeating exercise is short, When the speed of the movement of the pointer for performing repetitive movement is slow, scrolling may be performed in units of music.
  • FIG. 12B is a diagram illustrating an example of the interaction performed by the user when the scroll illustrated in FIG. 12A is performed.
  • the user performs an operation of passing the pointer 108 from the left side to the right side of the line segment 115 as an example of the second specific area.
  • detection by the repeated detection unit 74 is invalidated, and scrolling is stopped.
  • FIG. 13 is a flowchart showing an operation related to the determination of the position of the second specific area, which is a marker for ending the repetitive motion, among the operations of the information input device 40a in the present embodiment.
  • FIG. 14 is a diagram illustrating user interaction examples in two cases where the positions of the second specific areas illustrated in FIG. 13 are different.
  • the third image changing unit 65 detects the scrolling speed of the image (or the moving speed of the pointer) (S50), and moves the position where the second specific area is arranged depending on the speed (S52). For example, the third image changing unit 65 arranges the second specific area at a position farther from the first specific area as the image scrolling speed (or the moving speed of the pointer) increases.
  • the position of the second specific area is dynamically changed according to the degree of change of the image due to repeated movement, and erroneous operation is prevented.
  • a simple rotation operation can be performed after a single pass operation without repeating the operation of passing the pointer over the first specific area.
  • a repetitive operation such as a reciprocating operation
  • the second specific area for performing the operation of invalidating the detection of the repetitive motion is displayed, or the display position of the second specific area is adaptively changed, without performing an erroneous operation, It is possible to reliably end the repeated operation.
  • An example of reciprocation detection logic by the repeated detection unit 74 is as shown in FIG. That is, all the extreme values in the curve indicating the change in position indicated by the time series of the position information stored in the storage unit 46 are specified, and the period at that time is determined from two consecutive extreme values among the specified extreme values. By calculating, the time change of the cycle is specified. As a result, when the cycle does not change significantly (that is, when the time change of the cycle is within a predetermined range), it can be determined that the reciprocating motion is being performed. For example, in FIG. 15, since the period T1 and the period T2 do not change significantly, it can be detected that the reciprocating motion continues at this point, and since the period Tm changes greatly, the reciprocating motion does not change at this point. Can be detected as finished.
  • an example of the rotational motion detection logic by the repeated detection unit 74 is as shown in FIG. That is, based on the time series of the position information stored in the storage unit 46, a curve indicating a change in the position of the display screen 52 in the x-axis direction and a curve indicating a change in the position of the display screen 52 in the y-axis direction are obtained. calculate. And based on both curves, the period T and the phase difference of both curves are calculated. When the phase difference is in the vicinity of + T / 4 or ⁇ T / 4, it can be detected that the rotational motion is continuing.
  • Example 2 Next, Example 2 will be described as a second specific example of the above-described embodiment.
  • the action is determined depending on the passing direction. For example, if the pointer passes to cross the line from its right side to the left side, the display scrolls to the left. If the pointer passes to cross the line from its left side to the right side, the display moves to the right. Scroll to.
  • an action is defined in which an icon is selected when the first specific area is an icon and the pointer passes the icon, there are various directions across the icon, unlike a line segment. Due to an erroneous operation, an icon that is not intended by the user may be selected.
  • the operation direction can be suppressed by narrowing the passing direction of the pointer where the icon selection is valid.
  • the attribute of the first specific area that is, the attribute of the icon indicates the density of the icon, the position of the icon on the display screen 52, the arrangement method of a plurality of icons, and the like.
  • FIG. 17 is a functional block diagram of the information input device 40b according to the second embodiment of the present invention.
  • the information input device 40b is a device realized by the hardware configuration shown in FIG. 2 as in the above-described embodiment.
  • This information input device 40b is a device characterized in that the direction in which the pointer passes in the icon selection operation is determined according to various factors (or dynamically).
  • the display control unit 60 c includes a first image change unit 62, a direction determination unit 66, and a main operation direction determination unit 68.
  • the information input device 40b includes a direction determining unit 66, a main operation direction determining unit 68, a display screen state detecting unit 80, and a component included in the information input device 10 according to the above-described embodiment.
  • a pointing area determination unit 69 is provided. The following description will focus on differences from the above-described embodiment.
  • the display screen state detection unit 80 is a processing unit that detects the position and orientation of the display screen 52 in the three-dimensional space with respect to the pointing object detection unit 42, and is realized by a three-axis acceleration sensor or the like built in the display screen 16.
  • the pointing area determination unit 69 is a processing unit that determines an area that can be specified as the position of the pointer displayed on the display screen 52, and the area is determined based on the detection range of the pointing unit in the pointing object detection unit 42.
  • the main operation direction determination unit 68 is a processing unit that determines the main operation direction of the user with respect to the image based on the attribute of the icon that is the first specific area and the state of the display screen 52, and is realized by the control unit 20 of FIG. Is done. For example, the main operation direction determination unit 68 determines the main operation direction depending on the position and orientation of the display screen 52 detected by the display screen state detection unit 80.
  • the direction determination unit 66 is a processing unit that determines the direction in which the pointer should pass through the first specific area depending on the attribute of the icon that is the first specific area, and is realized by the control unit 20 of FIG. That is, the first image changing unit 62 performs an effective operation (in this case, an icon selection operation) when the direction determined by the direction determining unit 50 is the direction determined by the direction determining unit 66. The image on the display screen 52 is changed.
  • the direction determination unit 66 determines two directions as effective directions, that is, a first direction and a second direction different from the first direction.
  • the first image changing unit 62 selects an icon when the direction determined by the direction determining unit 50 is the first direction and the direction determined by the direction determining unit 50 is the second direction after that. And the image on the display screen 52 is changed. Further, the first image changing unit 62 determines that the icon selection operation has been performed when the direction determined by the direction determining unit 50 is the first direction, and changes the image on the display screen 52.
  • the direction determined by the direction determination unit 50 is the second direction, it may be determined that the icon selection operation has been canceled and the image on the display screen 52 is canceled.
  • the first direction and the second direction are directions opposite to each other, for example.
  • the direction determining unit 66 when the icon is arranged in contact with the side constituting the frame of the display screen 52, the direction across the side as the direction of the icon selection operation. To decide. That is, among the directions that pass through the first specific area, the direction that crosses the frame (side) of the display screen 52 that is in contact with the first specific area is determined as the effective direction. It is determined as an effective direction.
  • the direction determining unit 66 is parallel to the side as the direction of the icon selection operation when the icon is arranged in contact with the side constituting the frame of the display screen 52. Determine the direction. That is, among the directions passing through the first specific area, a direction parallel to the frame (side) of the display screen 52 in contact with the first specific area is determined as an effective direction. Thereby, it is possible to detect an icon selection operation in distinction from the movement of the pointer that moves in and out of the display screen 52.
  • the direction determining unit 66 touches the side of the display screen 52 where the icon constitutes the frame of the pointing capable region with respect to the pointing possible region determined by the pointing possible region determining unit 69. If the icons are arranged, the icon selection direction is determined to cross the side. In other words, among the directions that pass through the icon, the direction that crosses the frame (side) of the pointing area where the icon touches is determined as the effective direction, so the direction that always goes outside the pointing area is determined as the effective direction.
  • the direction determination unit 66 uses a direction parallel to the side as the direction of the icon selection operation. To decide. That is, of the directions passing through the icon, the direction parallel to the frame (side) of the pointing enabled area that the icon touches is determined as the effective direction. As a result, the direction in which the pointer can always move within the pointing enabled area is determined as the effective direction.
  • the direction determining unit 66 also has a function of determining the direction of the icon selection operation depending on the attribute of the icon, for example, the density of the icon (that is, the density of a plurality of icons on the display screen).
  • the direction determining unit 66 determines the direction of the icon selection operation from the direction of the range not including the main operation direction determined by the main operation direction determining unit 68. That is, of the directions passing through the icon, the direction in a range that does not include the main operation direction determined by the main operation direction determination unit 68 is determined as an effective direction. As a result, it is reliably detected that the icon has been selected in distinction from the main operation such as a scroll instruction. For example, it becomes easy to select one of the plurality of icons while scrolling the plurality of icons in the main operation direction.
  • the direction determination unit 66 determines the direction of the icon selection operation depending on the orientation of the indicator 11 detected by the indicator detection unit 42. For example, when the indicator 11 is a finger, a direction orthogonal to the direction pointed by the finger is determined as an effective direction. Thereby, the direction in which the operation is easier is determined as the moving direction of the pointer when the icon is selected, and the operability is improved.
  • FIG. 18 is a flowchart showing the basic operation of the information input device 40b in the present embodiment.
  • the direction determining unit 66 determines the direction in which the pointer should pass through the first specific area depending on the attribute of the icon that is the first specific area (S60).
  • the pointer passes the icon by a pointing operation by the user, and the direction of the pointer movement at the time of passing (that is, the direction determined by the direction determining unit 50) is determined by the direction determining unit 66. It is determined whether or not the direction is the same (S62). This determination is repeated until it is determined that the direction of movement of the pointer when the icon passes is the same as the direction determined by the direction determination unit 66 (No in S62).
  • the first image changing unit 62 When it is determined that the direction of movement of the pointer when passing through the first specific area is the same as the direction determined by the direction determining unit 66 (Yes in S62), the first image changing unit 62 performs an effective operation. It is determined that it has been performed, and the image on the display screen 52, that is, the icon image is changed (S64).
  • the pointer passes the icon that is the first specific area and the movement direction of the pointer at the time of passing is the same as the direction determined by the direction determination unit 66, it is considered that the icon has been selected, and FIG. As shown in FIG. 6, the icon 109 displayed so far is replaced with two divided icons 109 a and 109 b and displayed on the display screen 52.
  • FIG. 19 is a flowchart showing the operation of the information input device 40b according to the present embodiment when the pointer passes through two predetermined directions.
  • the direction determining unit 66 has determined two directions, that is, a first direction and a second direction, as effective directions in which the pointer should pass the icon that is the first specific area.
  • the first direction is determined as a direction passing through the first specific area from the upper side to the lower side
  • the second direction is determined as the opposite direction, that is, the direction passing through the icon from the lower side to the upper side.
  • the first image changing unit 62 determines whether or not the pointer passing direction determined by the direction determining unit 50 is the first direction. (S70). This determination is repeated until it is determined that the passing direction of the pointer is the first direction (No in S70).
  • the first image changing unit 62 subsequently detects that the pointer has passed the icon by the first passing detecting unit 48. In this case, it is determined whether or not the passing direction of the pointer determined by the direction determining unit 50 is the second direction (S72). This determination is repeated until it is determined that the direction in which the pointer passes the icon again is the second direction (No in S70).
  • the determination in the second direction (S72) may be performed only within a predetermined time after the passage in the first direction (Yes in S70) is detected. That is, if the passage in the second direction is not detected within a predetermined time after the passage in the first direction (Yes in S70) is detected, the flow is reset and the passage in the first direction again. Detection (S70) may be performed.
  • the first image changing unit 62 determines that the icon selection operation has been performed, and displays the image on the display screen 52. It is determined that the icon selection operation has been canceled, or the image on the display screen 52 is not changed (S74). Whether or not to change the image is determined by a user's prior setting.
  • FIG. 22 is a diagram showing an example of user interaction corresponding to the operation shown in FIG.
  • the user moves the pointer so that the icon 118 passes downward from above, and then moves the pointer so that the icon 118 passes upward from below. Thereby, the selection of the icon 118 can be completed or the selection of the icon 118 temporarily selected by the movement of the pointer from the top to the bottom can be canceled according to the prior setting.
  • FIG. 20 is a flowchart showing the basic operation of the direction determining unit 66 provided in the information input device 40b in the present embodiment.
  • the direction determining unit 66 detects the attribute of the icon that is the first specific area, for example, the position of the icon on the display screen 52 or the density of the plurality of icons (S90).
  • the posture of the pointing object 11 such as the user's hand or finger is detected by the pointing object detection unit 42 (S90).
  • which of these three types of parameters is determined by a user's prior setting. At that time, only one of these three types of parameters may be valid, or two or more parameters may be valid.
  • the direction determining unit 66 depends on at least one of the detected position of the icon, the density of the icon, and the attitude of the indicator 11, and the direction in which the pointer should pass (that is, the icon selection).
  • the operation direction is determined (S92).
  • the direction determining unit 66 is arranged such that the first specific area (icons 122a to 122c) is in contact with the side constituting the frame of the display screen 52. If it is, the direction for selecting the icons 122a to 122c is determined as a direction across the side. As a result, the direction toward the outside of the display screen 52 is always determined as an effective direction. Therefore, when a plurality of icons are arranged along the frame (side) of the display screen 52, the plurality of icons are mistakenly displayed. Even if the pointer moves linearly so as to cross all of the above, since it is not recognized as an icon selection operation, an erroneous operation is prevented.
  • the direction determining unit 66 is arranged such that the first specific area (icons 124a to 124c) is in contact with the side constituting the frame of the display screen 52. If it is, the direction for selecting the icons 124a to 124c is determined in a direction parallel to the side. Thus, the direction along the frame (side) of the display screen 52 is determined as an effective direction. Therefore, when a plurality of icons are arranged along the side of the frame of the display screen 52, the plurality of icons are displayed. By moving the pointer so as to cross all, it becomes easy to select the plurality of icons at once. Further, since the selection operation of the icon can be detected by distinguishing the movement of the pointer that moves in and out of the display screen 52, an erroneous operation is prevented.
  • the direction determination unit 66 determines the direction of the icon selection operation depending on the density of the first specific area (icons 120a to 120d). To do. For example, when the selectable icons are not dense like the icon 120a, the three directions are determined as the direction of the selection operation. On the other hand, when the selectable icons are dense like the icons 120b to 120d, the same one direction is determined as the direction of the selection operation for these icons. As a result, when the icons are densely packed, the icon selection operation is limited, so that an erroneous operation of selecting a plurality of icons by mistake is avoided.
  • whether or not the icons are dense is determined based on, for example, whether the icons are larger or smaller than a predetermined density threshold (for example, the number of icons per unit area).
  • the direction determining unit 66 displays the pointing-enabled area determined by the pointing-enabled area determining unit 69 on the display screen 52 (FIG. 23B).
  • the direction of the icon selection operation is determined.
  • the direction of the icon selection operation is as follows. Determine the direction across the side. As a result, the direction toward the outside of the pointing-enabled area is always determined as the effective direction.
  • the direction determining unit 66 may determine the posture of the indicator 11 such as a user's hand or finger detected by the indicator detection unit 42.
  • the direction of the icon selection operation For example, when the indicator 11 is a finger, the direction orthogonal to the direction indicated by the finger is determined as the direction of the icon selection operation. Accordingly, the direction in which the user can easily operate is determined as the direction of the icon selection operation in consideration of the direction of the user's hand or finger, so that the operability is improved and the erroneous operation is prevented.
  • FIGS. 24A and 24C when the user's finger as the indicator 11 is pointing in the direction pointing to the display screen 52, the finger is moved in the vertical direction (or The icon can be selected by bending the finger or wrist. Also, as shown in FIGS. 24B and 24C, when the user's finger as the indicator 11 is pointing in a direction parallel to the display screen 52 (for example, a direction pointing to the ground) ( 24 (b)), by moving the finger in a direction parallel to the ground plane (for example, the direction from the back of the display screen 52 to the front) (or bending the finger or wrist) ((c) of FIG. )), The icon can be selected.
  • the indicator detection unit 42 When determining the direction of the icon selection operation according to the posture of the user's hand or finger, first, as shown in the procedure of FIG. 25, the indicator detection unit 42 first determines the posture of the user's hand or finger. (Orientation) is recognized ((a) in FIG. 25), and the orientation database of the direction determining unit 66 is referred to ((b) in FIG. 25). The direction is determined ((c) in FIG. 25).
  • the posture database is information indicating a correspondence between a predetermined posture of the pointing object and an easy-to-operate direction.
  • FIG. 21 is a flowchart showing an operation in consideration of the main operation direction among the operations of the direction determining unit 66 provided in the information input device 40b in the present embodiment.
  • the display screen state detection unit 80 detects the position and orientation of the display screen 52 with respect to the pointing object detection unit 42 (S80). For example, is the display screen 52 placed in a direction along the vertical direction (for example, is the display screen 52 placed upright on a desk) or placed in a direction parallel to the ground plane ( As an example, it is detected whether the display screen 52 is placed on a desk.
  • the main operation direction determination unit 68 determines the main operation direction depending on the position and orientation of the display screen 52 detected by the display screen state detection unit 80 (S82). For example, the movement of the indicator 11 on a plane parallel to the display screen 52 is determined as the main operation direction.
  • the direction determining unit 66 selects the direction in which the pointer should pass the icon that is the first specific area from the direction that does not include the main operation direction determined by the main operation direction determining unit 68, that is, the icon selection operation. Is determined (S84). For example, a direction orthogonal to the main operation direction is determined as the direction of the icon selection operation.
  • 26 and 27 are diagrams showing examples of user interaction corresponding to the operation shown in FIG.
  • the display screen state detection unit 68 determines the movement of the indicator 11 on the plane parallel to the display screen 52 (that is, the plane along the vertical direction) as the main operation direction.
  • the display screen 52 when the display screen 52 is placed in a direction parallel to the ground plane (for example, the display screen 52 is placed on a desk), the display screen is displayed.
  • the main operation direction determination unit 68 determines the movement of the indicator 11 on the plane parallel to the display screen 52 (that is, the plane along the ground plane) as the main operation direction. .
  • the direction determination unit 66 determines the direction of the icon selection operation from the direction of the range not including the main operation direction determined by the main operation direction determination unit 68.
  • the main operation direction is the horizontal direction of the display screen 52
  • the movement of the indicator 11 that moves the pointer in the vertical direction of the display screen 52 is changed to an icon.
  • the main operation directions are the vertical direction and the horizontal direction of the display screen 52 as shown in FIG. 27C
  • a pointer is pointed in the depth direction of the display screen 52. Is determined as the direction of the icon selection operation.
  • Example 3 will be described as a third specific example of the above-described embodiment.
  • the information input device has been described in which the pointing operation for moving the pointer and the selection operation for selecting an icon or the like are realized as continuous and reliable operations.
  • a screen display for selecting an object (item) and a screen display for determining a process for the selected object can be switched by a continuous operation in a three-dimensional space. An information display method will be described.
  • Example 3 is an example focusing on the display function (that is, information display method) by the information input device 10 in the above-described embodiment. That is, the present embodiment is one of information display methods realized by the information input device 10 having the hardware configuration shown in FIG. 2 and the functional configuration shown in FIG.
  • FIG. 28 is a flowchart showing an information display method in the present embodiment.
  • the information input apparatus 10 is an apparatus that executes an information display method executed by a computer. Basically, a display step (S96) for displaying at least one item on the display screen 52, and 3 By detecting at least one of the position and orientation of the pointing object in the dimensional space (both position and orientation in the present embodiment), the instruction obtaining step (S98) for obtaining an instruction from the user is repeated.
  • the item indicates, for example, an icon indicating an application, a thumbnail indicating content such as a photo or a moving image, or the like.
  • FIG. 29 is a diagram showing state transition in the display step (S96) shown in FIG.
  • the display step (S96) includes a first mode (S100) in which at least one item is selected from at least one item according to the user instruction acquired in the instruction acquisition step, and at least one item selected in the first mode. And a second mode (S102) for performing a process involving a display change for the item. That is, in the display step (S96), the information input device 10 is in one of the first mode (S100) and the second mode (S102).
  • the information input device 10 performs the first operation.
  • the mode (S100) is changed to the second mode (S102), or the second mode (S102) is changed to the first mode (S100).
  • the “at least two areas” may include two areas separated by a line segment displayed on the display screen 52, or may be separated by an implicit line segment not displayed on the display screen 52. Two regions may be included.
  • the “at least two areas” include areas outside the display screen 52 (virtually set areas).
  • the “at least two areas” may include an area on the display screen 52 and an area outside the display screen 52.
  • the “movement” includes movement exceeding such an explicit or implicit line segment (for example, passage of the first specific area in the above-described embodiment).
  • the information input device 10 may display a plurality of groups on the display screen 52 with at least one item as a group.
  • the information input device 10 sets the first group of the plurality of groups to be selectable and sets the second group of the plurality of groups to be unselectable. To do.
  • an icon associated with the process for the item selected in the first mode (S100) is displayed on the display screen 52, and at least two areas are associated with the icon.
  • the user instruction acquired in the instruction acquisition step (S98) is a movement from one of at least two regions associated with the icon to the other, the process associated with the icon is executed.
  • the icon can take a state where the process associated with the icon can be executed and a state where the icon cannot be executed depending on the attribute of the item associated with the icon.
  • FIG. 30 is a diagram showing a screen display example of mode transition between two modes in the present embodiment.
  • screen display examples in the first mode four screen displays 130 to 133 are shown, and as screen display examples in the second mode, three screen displays 140 to 142 are shown.
  • the screen display 130 is a typical display example in the first mode in which an item to be processed is selected according to a user instruction, and here, three items are displayed. Here, among the items arranged in the horizontal direction, the item located in the center is an item to be selected.
  • the screen display 131 is a detailed display example of the screen display 130, and the screen displays 132 and 133 are display examples after the screen display 131 is scrolled.
  • the screen display 140 is a typical display example in the second mode in which processing is performed on the item selected in the first mode.
  • the item selected in the first mode (the item located in the center of the horizontal line)
  • Four icons corresponding to each of the four processes are displayed.
  • the screen display 141 is a diagram (a diagram for explaining a selection operation) showing one icon (an icon corresponding to one process) in the screen display 140, and the screen display 142 has one icon selected, and the icon It is an example of a display when the corresponding process is performed with respect to the item selected in the 1st mode.
  • the screen display 130 of the first mode is displayed on the display screen 52.
  • the display screen is displayed.
  • the display at 52 changes from the first mode screen display 130 to the second mode screen display 140. That is, in the screen display 130, four icons indicating four processes for the item located at the center in the horizontal arrangement are displayed.
  • the screen display 140 of the second mode when the screen display 140 of the second mode is displayed on the display screen 52, the user changes from the other of the at least two areas set on the display screen 52 to one side (for example, outside the display screen 52).
  • the display on the display screen 52 is the screen display 140 in the second mode.
  • the screen display 130 in the first mode That is, the screen display returns to a screen where one item can be selected from a plurality of items.
  • the display screen 52 has 2 in the center of the display screen 52 as shown in the screen display 131.
  • the line segments 105 and 106 are arranged and displayed in the vertical direction of the display screen 52 so as to be parallel to each other.
  • User operations on this screen display 131 are as described in the above-described embodiment shown in FIG. 5A and the like.
  • the screen displays 132 and 133 show the screen display 132 and 133.
  • each item is scrolled and displayed by one item in the left direction. Note that when the transition is made from the first mode to the second mode, the item located at the center of the horizontal alignment on the display screen 52 is selected immediately before the transition.
  • the screen display 140 when the screen display 140 is displayed on the display screen 52, the user passes the single icon selected from the plurality of icons as shown in the screen display 141.
  • the icon can be selected by operating the indicator 11.
  • the process associated with the currently selected icon can be executed for the item selected in the first mode.
  • the item selected in the first mode is a thumbnail image of a moving image and the icon selected in the second mode is an icon corresponding to “play”
  • the thumbnail image is displayed on the display screen 52. The corresponding video is played.
  • the user can switch between the first mode in which an item can be selected while viewing the display screen 52 and the second mode in which processing for the selected item is performed. Any processing can be completed. Therefore, since all operations can be performed simply by switching between the two display modes, the operation is simpler than a deeply layered menu and the like, and the operation method can be learned in a short time.
  • FIG. 31 is a diagram showing another example of the state transition in the display step (S96) shown in FIG.
  • a third mode (S104) for displaying a menu is provided in addition to the first mode (S100) and the second mode (S102).
  • the third mode (S104) is, for example, a menu set in advance as a detailed menu, a menu for instructions common to the first mode (S100) and the second mode (S102), and the display screen 52.
  • At least one of a menu for turning off the power and a menu for starting a predetermined program including a browser is included.
  • the information input device 10 determines whether the pointer movement indicated by the user instruction acquired in the instruction acquisition step (S98) belongs to the first pattern in the display step (S96). From the first mode (S100) or the second mode (S102), which is the first mode, to the third mode (S104), while the pointer movement indicated by the user instruction acquired in the instruction acquisition step (S98) is the first mode. In the case of belonging to two patterns, a transition is made from the third mode (S104) to the original mode.
  • the first pattern and the second pattern are, for example, user instructions using different numbers of the indicators 11.
  • a pointing operation with one finger belongs to the first pattern
  • a gesture operation with five fingers belongs to the second pattern.
  • the number of the indication objects 11 in the three-dimensional space is detected in the instruction acquisition step (S98).
  • FIG. 32 is a diagram showing a screen display example of mode transition between three modes in the present embodiment.
  • a screen display 130 is shown as a screen display example in the first mode
  • a screen display 140 is shown as a screen display example in the second mode
  • a screen display 150 is shown as a screen display example in the third mode. .
  • the screen display 150 is a typical display example in the third mode for displaying a menu.
  • a detailed menu a global menu that can instruct common operations (power off, startup of utility software including a browser) throughout the menu. Display.
  • the mode is changed from the first mode (S100) or the second mode (S102).
  • Transition to the third mode (S104) when the pointer belonging to the second pattern is moved, for example, when an operation of quickly moving five fingers up or down is performed, the original mode is switched from the third mode (S104). It is possible to transition to the first mode (S100) or the second mode (S102).
  • the user can select an item while viewing the display screen 52, the second mode in which processing for the selected item is executed, and the first mode. All processes can be completed while switching to the third mode in which operations common to the second mode can be performed. Therefore, since all operations can be performed simply by switching between the three display modes, the operation is simpler than a deeply hierarchized menu, and the operation method can be learned in a short time. In addition, since the three modes can be changed from any of the three modes, the user can complete a desired process without being restricted by troublesome rules for switching the screen display.
  • the information display method in the present embodiment is realized by the information input device 10 shown in FIGS. 2 and 3, but may be realized by an information display device that is a device specialized in the present embodiment.
  • the information display device is a device including a computer configured by the control unit 20 and the like in FIG. 2 and the display screen 16 in FIG.
  • the computer includes a display step of displaying at least one item on the display screen, and an instruction acquisition step of acquiring an instruction from the user by detecting at least one of the position and orientation of the indicator in the three-dimensional space. Execute. In the display step, the computer selects a first mode in which at least one item is selected from at least one item in accordance with the user instruction acquired in the instruction acquisition step, and the at least one item selected in the first mode.
  • a second mode for performing a process involving a display change and when the user instruction acquired in the instruction acquisition step is a movement from one of at least two areas set in the display screen 16 to the other, The mode is changed from the first mode to the second mode, or from the second mode to the first mode.
  • the information display method in the present embodiment can be realized by a general-purpose computer.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • Example 1 the software for realizing the information input device in the above-described embodiment, Example 1 and Example 2 is the following program.
  • the information input method is an information input method by a device that acquires a user instruction for an image displayed on a display screen, and an indicator detection step of detecting at least one of the position and orientation of the indicator in a three-dimensional space;
  • the pointer position determining step for determining the position on the display screen of the pointer displayed on the display screen in correspondence with at least one of the position and orientation of the indicator detected in the indicator detecting step, and the pointer position determining step
  • a storage step for acquiring and holding a time series of position information indicating a position, and a pointer passes through a first specific area that is a predetermined area on the display screen using the time series of position information stored in the storage step
  • a first passage detection step for detecting the occurrence of a failure and a point when passage is detected by the first passage detection step.
  • the software that realizes the information display method in the third embodiment is the following program.
  • the program causes the computer to execute the steps constituting the following information display method.
  • the information display method includes a display step of displaying at least one item on the display screen, and an instruction acquisition step of acquiring an instruction from the user by detecting at least one of the position and orientation of the indicator in the three-dimensional space. Including, in the display step, a first mode in which at least one item is selected from at least one item in accordance with a user instruction acquired in the instruction acquisition step, and a display change for at least one item selected in the first mode
  • the first mode when the user instruction acquired in the instruction acquisition step is a movement from one of the at least two areas set on the display screen to the other. To the second mode, or the second mode to the first mode.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is stored in the ROM.
  • the system LSI achieves its functions by the microprocessor loading a computer program from the ROM to the RAM and performing operations such as operations in accordance with the loaded computer program.
  • each of the above-described devices may be configured from an IC card that can be attached to and detached from each device or a single module.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its functions by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention also relates to a computer readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray (registered trademark)). ) Disc), or recorded in a semiconductor memory or the like. Further, it may be realized by a digital signal recorded on these recording media.
  • a computer readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray (registered trademark)).
  • the computer program or digital signal according to the present invention may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present invention is implemented by another independent computer system by recording and transferring a program or digital signal on a recording medium or by transferring a program or digital signal via a network or the like. Also good.
  • each process may be realized by centralized processing by a single device (system), or may be distributedly processed by a plurality of devices. It may be realized by.
  • the present invention provides, as an information input device and an information display method for providing a GUI, software for realizing an information input device or an information display method provided in a device having a display screen such as a TV, a computer display, or a tablet terminal, and the like. Available as hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうことを回避した情報入力装置を提供する。３次元空間における指示物の位置及び向きの少なくとも一方を検出する指示物検出部（４２）と、検出された位置及び向きの少なくとも一方に対応させて表示画面（５２）に表示するポインタの位置を決定するポインタ位置決定部（４４）と、決定された位置を示す位置情報の時系列を取得して保持する記憶部（４６）と、位置情報の時系列を用いて、表示画面における予め定められた領域である第１特定領域をポインタが通過したことを検出する第１通過検出部（４８）と、通過が検出された場合に、ポインタが第１特定領域を通過したときの方向を判別する方向判別部（５０）と、判別された方向に応じて、表示されている画像を変更する第１画像変更部（６２）とを備える。

Description

情報入力装置及び情報表示方法
　本発明は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を提供する情報入力装置及び情報表示方法に関し、特に、３次元空間における指示物の位置等に基づいて情報を入力する装置及び情報を表示する方法に関する。
　近年、コンピュータ技術の発展と、情報端末の高機能化に伴い、様々なＧＵＩが提案されている（例えば、特許文献１参照）。
　特許文献１では、表示画面上のポインタとスクロール対象画像との位置関係が予め定められた関係になったときにポインタを操作することで、スクロール速度及び方向を制御する仮想感覚提示装置が提案されている。これによれば、仮想の皮膚感覚・力感覚や仮想の平衡感覚を、確実に提示することができる仮想感覚提示装置を提供されるというものである。
国際公開第２００８／１１１２４５号
　しかしながら、特許文献１の技術では、ユーザが操作するつもりがなくてポインタを移動させている場合であっても、偶然に、ポインタとスクロール対象画像との位置関係が予め定められた関係になったときには、スクロールが開始されてしまう。そのために、ユーザが意図しない機能が実行されてしまうという問題がある。
　そこで、本発明は、上記課題に鑑みてなされたものであり、偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうことを回避した情報入力装置等を提供することを目的とする。
　上記目的を達成するために、本発明に係る情報入力装置の一形態は、表示画面に表示された画像に対するユーザの指示を取得する情報入力装置であって、３次元空間における指示物の位置及び向きの少なくとも一方を検出する指示物検出部と、前記指示物検出部で検出された前記指示物の３次元空間における位置及び向きの少なくとも一方に対応させて、前記表示画面に表示するポインタの前記表示画面における位置を決定するポインタ位置決定部と、前記ポインタ位置決定部で決定された位置を示す位置情報の時系列を取得して保持する記憶部と、前記記憶部に記憶された位置情報の時系列を用いて、前記表示画面における予め定められた領域である第１特定領域を前記ポインタが通過したことを検出する第１通過検出部と、前記第１通過検出部によって前記通過が検出された場合に、前記ポインタが前記第１特定領域を通過したときの方向を判別する方向判別部と、前記方向判別部によって判別された方向に応じて、前記表示画面に表示されている画像を変更する第１画像変更部とを備える。
　また、上記目的を達成するために、本発明に係る情報表示方法の一形態は、コンピュータによって実行される情報表示方法であって、少なくとも一つのアイテムを表示画面に表示する表示ステップと、３次元空間における指示物の位置及び向きの少なくとも一方を検出することによって、ユーザからの指示を取得する指示取得ステップとを含み、前記表示ステップは、前記指示取得ステップで取得されたユーザの指示に従って前記少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、前記第１モードで選択された前記少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、前記指示取得ステップで取得されたユーザの指示が、前記表示画面に設定された少なくとも二つの領域の一つから他方への移動である場合に、前記第１モードから前記第２モード、又は、前記第２モードから第１モードに変更する。
　なお、以上の全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明により、偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうことを回避した情報入力装置等が提供される。
　これにより、ユーザの意図が確実に反映される操作性に優れたＧＵＩが実現され、広く情報端末装置が普及してきた今日における本発明の実用的価値は極めて高い。
図１は、本発明の実施の形態における情報入力装置の外観図である。 図２は、同情報入力装置のハードウェア構成を示す図である。 図３は、同情報入力装置の機能ブロック図である。 図４は、同情報入力装置の動作を示すフローチャートである。 図５Ａは、同情報入力装置の特徴的な動作（スクロール）の一例を説明する図である。 図５Ｂは、同情報入力装置の特徴的な動作（アイコンの選択動作）の一例を説明する図である。 図６は、本発明の実施例１における情報入力装置の機能ブロック図である。 図７は、同情報入力装置の動作を示すフローチャートである。 図８は、繰り返し運動の検出手順を示すユーザ・インタラクションの例を示す図である。 図９は、典型的な繰り返し運動のユーザ・インタラクションの例を示す図である。 図１０は、往復運動による繰り返し運動のユーザ・インタラクションの例を示す図である。 図１１は、同情報入力装置の動作のうち、繰り返し運動の終了に関する動作を示すフローチャートである。 図１２Ａは、図１１に示される繰り返し運動の終了操作に関するユーザ・インタラクション（終了操作の直前）の例を示す図である。 図１２Ｂは、図１１に示される繰り返し運動の終了操作に関するユーザ・インタラクション（終了操作）の例を示す図である。 図１３は、同情報入力装置の動作のうち、繰り返し運動の終了用のマーカである第２特定領域の位置の決定に関する動作を示すフローチャートである。 図１４は、図１３に示される第２特定領域の位置が異なる２つのケースにおけるユーザ・インタラクション例を示す図である。 図１５は、繰り返し検出部による往復運動の検出ロジックを説明する図である。 図１６は、繰り返し検出部による回転運動の検出ロジックを説明する図である。 図１７は、本発明の実施例２における情報入力装置の機能ブロック図である。 図１８は、同情報入力装置の基本動作を示すフローチャートである。 図１９は、同情報入力装置の動作のうち、ポインタが予め定められた２つの方向を通過した場合における動作を示すフローチャートである。 図２０は、同情報入力装置が備える方向決定部の基本動作を示すフローチャートである。 図２１は、同情報入力装置が備える方向決定部動作のうち、主操作方向を考慮した動作を示すフローチャートである。 図２２は、図１９に示される動作に対応するユーザ・インタラクションの例を示す図である。 図２３Ａは、図２０に示される動作（第１特定領域の位置・粗密に依存する動作）に対応するユーザ・インタラクションの例を示す図である。 図２３Ｂは、図２０に示される動作（第１特定領域の位置・粗密に依存する動作）に対応するユーザ・インタラクションの別の例を示す図である。 図２４は、図２０に示される動作（ユーザの手・指の姿勢に依存する動作）に対応するユーザ・インタラクションの例を示す図である。 図２５は、図２０に示される動作（ユーザの手・指の姿勢に依存する動作）の詳細手順を示す図である。 図２６は、図２１に示される動作（主操作方向の決定）に対応するユーザ・インタラクションの例を示す図である。 図２７は、図２１に示される動作（主操作方向に依存した動作）に対応するユーザ・インタラクションの例を示す図である。 図２８は、本発明の実施例３における情報表示方法を示すフローチャートである。 図２９は、図２８に示された表示ステップにおける状態遷移を示す図である。 図３０は、２つのモード間でのモード遷移の画面表示例を示す図である。 図３１は、図２８に示された表示ステップにおける状態遷移の別の一例を示す図である。 図３２は、３つのモード間でのモード遷移の画面表示例を示す図である。
　（本発明の概要）
　上記目的を達成するために、本発明に係る情報入力装置の一形態は、表示画面に表示された画像に対するユーザの指示を取得する情報入力装置であって、３次元空間における指示物の位置及び向きの少なくとも一方を検出する指示物検出部と、前記指示物検出部で検出された前記指示物の３次元空間における位置及び向きの少なくとも一方に対応させて、前記表示画面に表示するポインタの前記表示画面における位置を決定するポインタ位置決定部と、前記ポインタ位置決定部で決定された位置を示す位置情報の時系列を取得して保持する記憶部と、前記記憶部に記憶された位置情報の時系列を用いて、前記表示画面における予め定められた領域である第１特定領域を前記ポインタが通過したことを検出する第１通過検出部と、前記第１通過検出部によって前記通過が検出された場合に、前記ポインタが前記第１特定領域を通過したときの方向を判別する方向判別部と、前記方向判別部によって判別された方向に応じて、前記表示画面に表示されている画像を変更する第１画像変更部とを備える。
　これにより、ポインタが第１特定領域を通過した場合に、その通過した方向に応じて、アクションが決定されるので、従来技術のように偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうという不具合が回避される。つまり、ユーザは、ポインティング操作と選択操作とを連続的かつ確実な操作として行うことができる。
　ここで、具体的には、前記第１特定領域は、前記表示画面に表示された少なくとも一本の線分であり、前記第１通過検出部は、前記ポインタが前記少なくとも一本の線分のうちの一本を交差するように通過したことを検出し、前記第１画像変更部は、前記方向判別部によって判別された方向に沿って、前記画像をスクロールさせてもよい。より詳しくは、前記第１特定領域は、前記表示画面に表示された、平行に配置された２本の線分であり、前記第１通過検出部は、前記ポインタが前記２本の線分のいずれかを交差するように通過したことを検出し、前記方向判別部は、前記方向として、前記２本の線分で挟まれた第１領域から、前記２本の線分のいずれを交差するように前記ポインタが移動したかを判別してもよい。これにより、通常のポインティング操作とスクロール操作とが明確に区別される。
　また、前記第１特定領域は、前記表示画面に表示されたアイコンであり、前記第１画像変更部は、前記方向判別部によって判別された方向が予め定められた方向である場合に、前記アイコンを２以上の部分アイコンに分割するように、前記画像を変更してもよい。これにより、通常のポインティング操作とアイコンの選択操作とが明確に区別される。
　また、さらに、前記記憶部に記憶された位置情報の時系列を用いて、前記ポインタが前記表示画面上における繰り返し運動をしていることを検出する繰り返し検出部と、前記繰り返し検出部による検出を無効化しておき、前記第１通過検出部によって前記通過が検出された後に、前記繰り返し検出部による検出を有効化する繰り返し検出有効化部と、前記繰り返し検出部によって有効な検出が行われた場合に、前記画像の変更を繰り返す第２画像変更部とを備えてもよい。これにより、ポインタが第１特定領域を通過した後は、再びポインタが第１特定領域を通過することを繰り返す必要がなく、所定の繰り返し操作が行われるだけで、ポインタが第１特定領域を通過することを繰り返すのと同様の結果が得られる。よって、ユーザは、簡易な操作で、かつ、確実に、繰り返し操作を行うことができ、ユーザの繰り返し操作の負担が軽減される。
　なお、繰り返し運動の具体例としては、前記繰り返し運動は、前記ポインタが前記表示画面上で円を描くように移動すること、及び、前記ポインタが前記表示画面上で往復移動をすることの少なくとも一つを含んでもよい。
　また、前記繰り返し検出部はさらに、前記繰り返し運動の終了を検出し、前記繰り返し検出有効化部はさらに、前記繰り返し検出部が前記繰り返し運動の終了を検出した場合に、前記繰り返し検出部による検出を無効化したり、さらに、前記記憶部に記憶された位置情報の時系列を用いて、前記表示画面における予め定められた第２特定領域を前記ポインタが通過したことを検出する第２通過検出部を備え、前記繰り返し検出有効化部はさらに、前記第２通過検出部が前記通過を検出した場合に、前記繰り返し検出部による検出を無効化したりしてもよい。このとき、前記第２通過検出部はさらに、前記ポインタが前記第２特定領域を通過したときの方向を判別し、前記繰り返し検出有効化部は、前記第２通過検出部が前記通過を検出し、かつ、前記第２通過検出部によって判別された方向が予め定められた方向である場合に、前記繰り返し検出部による検出を無効化してもよい。これにより、ユーザは、確実に、繰り返し運動を終了させることができる。
　また、さらに、前記第２画像変更部による変更の程度に依存して、前記第２特定領域を変更する第３画像変更部を備えてもよい。具体的には、前記画像に対する前記繰り返し運動に対応する変更は、前記表示画面における前記画像のスクロール、及び、前記ポインタの移動であり、前記第３画像変更部は、前記画像のスクロール、及び、前記ポインタの移動における速度が大きいほど、前記第１特定領域から遠い位置に前記第２特定領域を配置することによって、前記第２特定領域の位置を示す画像を表示してもよい。これにより、繰り返し運動の検出を無効化する操作を行うための第２特定領域が表示されたり、その第２特定領域の表示位置が適応的に変更されたりするので、誤った操作をすることなく、確実に、繰り返し操作を終了させることができる。
　また、さらに、前記第１特定領域の属性に依存して、前記ポインタが前記第１特定領域を通過すべき方向を決定する方向決定部を備え、前記第１画像変更部は、前記方向判別部で判別された方向が、前記方向決定部で決定された方向である場合に、前記画像を変更してもよい。これにより、第１特定領域を通過するポインタの通過方向が絞られるので、誤操作を抑制したり、操作性を向上したりすることが可能になる。
　また、通過方向の適応的な例として、前記方向決定部は、前記第１特定領域が前記表示画面の枠を構成する辺に接して配置されている場合には、前記方向として、前記辺を横切る方向に決定したり、前記方向決定部は、前記第１特定領域が前記表示画面の枠を構成する辺に接して配置されている場合には、前記方向として、前記辺と平行な方向に決定したり、前記方向決定部は、複数の前記第１特定領域の密集度に依存して、前記方向を決定したりしてもよい。これにより、ユーザは、第１特定領域が複数配置されている場合に、それら複数の第１特定領域の中から確実に一つの第１特定領域だけを選択したり、それら複数の第１特定領域をまとめて選択したりすることが容易になる。
　また、さらに、前記第１特定領域の属性に基づいて、前記画像に対するユーザの主操作方向を決定する主操作方向決定部を備え、前記方向決定部は、前記主操作方向決定部で決定された主操作方向を含まない範囲の方向から前記方向を決定してもよい。このとき、さらに、前記指示物検出部に対する前記表示画面の位置及び姿勢を検出する表示画面状態検出部を備え、前記主操作方向決定部は、前記表示画面状態検出部で検出された前記位置及び前記姿勢に依存して前記主操作方向を決定してもよい。これにより、主操作方向と選択操作の方向とが明確に区別され、例えば、複数の対象物を主操作方向にスクロールさせながら、それら複数の対象物から一つを選択するという操作が容易になる。
　また、前記指示物検出部は、前記ユーザの手又は指の姿勢を検出し、前記方向決定部は、前記指示物検出部で検出された前記姿勢に依存して、前記方向を決定してもよい。これにより、ユーザは、手又は指を用いて、操作し易い方向で選択操作を行うことができる。
　また、コンピュータによって実行される情報表示方法であって、少なくとも一つのアイテムを表示画面に表示する表示ステップと、３次元空間における指示物の位置及び向きの少なくとも一方を検出することによって、ユーザからの指示を取得する指示取得ステップとを含み、前記表示ステップは、前記指示取得ステップで取得されたユーザの指示に従って前記少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、前記第１モードで選択された前記少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、前記指示取得ステップで取得されたユーザの指示が、前記表示画面に設定された少なくとも二つの領域の一つから他方への移動である場合に、前記第１モードから前記第２モード、又は、前記第２モードから第１モードに変更してもよい。これにより、ユーザは、３次元空間における連続的な操作によって、対象物（アイテム）を選択する画面表示と、選択した対象物に対する処理を決定する画面表示との切り替えを行うことができる。また、２つの表示モードを遷移するだけで全ての操作をできるので、深く階層化されたメニュー等と比べ、操作が簡単であり、短時間で操作方法を習得できる。
　ここで、前記少なくとも二つの領域は、前記表示画面に表示された線分によって区切られる二つの領域が含まれ、前記移動には、前記線分を超える移動が含まれてもよい。
　また、第１モードの詳細として、前記表示ステップは、少なくとも一つのアイテムをグループとする、複数のグループを前記表示画面に表示し、前記第１モードでは、前記複数のグループのうちの第１グループが選択可能であり、前記複数のグループのうちの第２グループが選択不可能であってもよい。このとき、前記第１モードでは、前記指示取得ステップで取得されたユーザの指示が前記移動である場合に、前記第１グループに属していたアイテムが移動して前記第２グループに属するアイテムとなり、選択不可能になってもよい。
　また、第２モードの詳細として、前記第２モードでは、前記第１モードで選択されたアイテムに対する前記処理に対応づけられたアイコンが前記表示画面に表示され、前記アイコンには、少なくとも二つの領域が対応づけられ、前記指示取得ステップで取得されたユーザの指示が、前記アイコンに対応づけられた少なくとも二つの領域の一つから他方への移動である場合に、前記アイコンに対応づけられた処理が実行されてもよい。このとき、前記アイコンは、当該アイコンに対応づけられたアイテムの属性に依存して、当該アイコンに対応づけられた処理が実行可能である状態、及び、実行不可能な状態をとってもよい。
　また、前記表示ステップはさらに、メニューを表示する第３モードを有し、前記表示ステップは、前記指示取得ステップで取得されたユーザの指示が示すポインタの移動が第１パターンに属する場合に、元のモードである前記第１モード又は前記第２モードから前記第３モードに遷移し、前記指示取得ステップで取得されたユーザの指示が示すポインタの移動が第２パターンに属する場合に、前記第３モードから前記元のモードに遷移してもよい。このとき、前記指示取得ステップはさらに、３次元空間における前記指示物の個数を検出し、前記第１パターンと前記第２パターンとは、異なる個数の前記指示物を用いたユーザの指示であってもよい。これにより、第１モード及び第２モードの両方に共通するメニューを表示する第３モードが設けられるので、第１モード及び第２モードにおけるメニューが簡素化され、操作性が向上される。また、３つのモードについては、３つのモードのいずれからいずれにも遷移できるので、ユーザは、画面表示を切り替える際の煩わしいルールに拘束されることなく、所望の処理を完遂することができる。
　なお、以上の全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　以下、本発明の一態様に係る情報入力装置及び情報表示方法について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態及び実施例は、いずれも本発明の一具体例を示すものである。以下の実施の形態及び実施例で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序、画面表示例などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態及び実施例における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態）
　まず、後述する本発明の具体的な実施例１～３に共通する情報入力装置１０の構成及び基本機能について、本実施の形態で説明する。その後に、本実施の形態の具体例として、実施例１～３を説明する。
　本実施の形態は、カメラによって検出される３次元空間における指示物の位置及び向きの少なくとも一方を入力情報とするＧＵＩを提供する情報入力装置であるが、このような３次元空間における位置等を入力情報とする情報入力装置では、マウス及びタッチパネルを用いた入力と異なり、「選択（あるいは、決定）」操作を行う直感的で直接的な操作が存在しない。特に、ポインティング（つまり、ポインタの移動）操作を行う場合には、ポインティング操作と選択操作とを連続的な操作として実装するには、何らかの工夫が必要とされる。
　ここで、ユーザが特定のジェスチャをした場合に選択操作が行われたと認識することで、ポインティング操作と選択操作とを切り分ける手法が考えられる。たとえば、手のひらを一定時間、対象物に対して静止させるという特定のジェスチャをした場合に選択操作が行われたと認識することで、ポインティング操作と選択操作とを切り分ける手法が考えられる。しかしながら、このような手法では、指示物を移動させるポインティング操作中に対象物に対して指示物を静止させる必要があり、即時性に乏しく、快適な操作とはいえない。
　また、手をぐるぐる回転させる、あるいは、手を前方に押し込む等の特定のジェスチャをした場合に選択操作が行われたと認識することも考えられる。しかしながら、このような手法では、ジェスチャの認識率、あるいは、奥行き方向の表示解像度に依存して操作が認識されるために、確実な操作が実現されない。
　さらに、「決定！」と話す等の他のモーダルを用いて選択操作を認識する方法も考えられる。しかしながら、音声認識を用いる手法では、マイク等の装備のためにコストがかかり、かつ、音声認識率に依存するために確実な操作が実現されない。
　そこで、本実施の形態では、ポインティング操作と選択操作とを連続的かつ確実な操作として実現した情報入力装置を説明する。
　図１は、本発明の実施の形態における情報入力装置１０の外観図である。ここには、ステレオカメラ１２及び表示画面１６が図示されている。ユーザは、指示物１１（ここでは、ユーザの指）を、ステレオカメラ１２の撮像範囲内で移動させることで、その指示物１１の３次元空間における位置に対応して表示される表示画面１６上のポインタを移動させることができる。これによって、ユーザと表示画面１６に表示された画像との様々なインタラクションが実現される。
　なお、指示物１１は、ユーザの指に限られず、ユーザの手、腕、又は、ユーザが持っているペン等の物品であってもよい。
　図２は、本実施の形態における情報入力装置１０のハードウェア構成を示す図である。
　この情報入力装置１０は、表示画面１６に表示された画像に対するユーザの指示を取得する装置であって、ステレオカメラ１２、通信部１４、表示画面１６、入力部１８及び制御部２０を備える。
　ステレオカメラ１２は、少なくとも２台のカメラを有する撮像装置であり、３次元空間における指示物１１の位置及び向きの少なくとも一方（本実施の形態では、位置及び向きの両方）を検出するためのセンサである。本実施の形態では、ステレオカメラ１２は、一定のフレームレートで、指示物１１を撮影し、得られた２枚の画像を通信部１４に無線送信する。なお、本実施の形態では、このステレオカメラ１２は、表示画面１６等とは独立した装置であったが、表示画面１６を備える装置内に内蔵されてもよい。たとえば、ＴＶの表示画面を囲む枠体に設けられてもよい。
　通信部１４は、ステレオカメラ１２から送られてくる画像を取得し、制御部２０に送る無線通信インターフェース等である。
　表示画面１６は、ユーザに提示するための画像を表示する液晶等のディスプレイである。
　入力部１８は、電源を投入するためのボタン、リモコン等の入力装置である。なお、本実施の形態では、あらゆる指示がステレオカメラ１２を通じて制御部２０に与えられるので、この入力部１８は、予備的な構成要素である。
　制御部２０は、ユーザとのインタラクションを実現する情報処理を実行するコンピュータであり、ＣＰＵ２２、ＲＯＭ２４、ＲＡＭ２６及び不揮発性メモリ２８を有する。ＣＰＵ２２は、プログラムを実行するプロセッサである。ＲＯＭ２４は、プログラム及びデータを予め保持している読み取り専用メモリである。ＲＡＭ２６は、ＣＰＵ２２がプログラムを実行する際に使用されるワーキング用の一時記憶用メモリである。不揮発性メモリ２８は、電源が投入されていないときでもデータを記憶できるハードディスク装置等の読み書き可能なメモリであり、プログラム及びデータを記憶している。
　なお、情報入力装置１０の必須のハードウェア構成としては、制御部２０、より具体的には、プログラムを実行するコンピュータが備えられていればよい。本発明に係る情報入力装置は、典型的には、ソフトウェアによって実現されるからである。よって、他の周辺機器は、任意の構成要素であり、必要に応じて、本発明に係る情報入力装置として装備されればよい。また、ＲＯＭ２４及び不揮発性メモリ２８は、いずれも不揮発性の記憶装置であり、いずれか一方だけが装備されればよい。
　図３は、本実施の形態における情報入力装置１０の機能ブロック図である。ここでは、図２に示されるハードウェア構成によって実現される情報入力装置１０の機能的な構成が示されている。
　この情報入力装置１０は、機能的には、表示画面５２に表示された画像に対するユーザの操作を取得する装置であって、指示物検出部４２、ポインタ位置決定部４４、記憶部４６、第１通過検出部４８、方向判別部５０、表示制御部６０ａ及び表示画面５２を備える。なお、表示画面５２は、図２の表示画面１６に相当し、上述したように、必ずしも情報入力装置１０に装備されている必要はない。
　指示物検出部４２は、３次元空間における指示物１１の位置及び向きの少なくとも一方を検出する処理部であり、図２のステレオカメラ１２、通信部１４及び制御部２０によって実現される。たとえば、指示物１１として、人差し指だけを伸ばし、かつ、他の指を握った状態の片手であるとして予め定められている場合には、指示物検出部４２は、同時に撮影された２枚の画像のそれぞれについて、人さし指を含む手の形状を認識し、各画像中の指示物１１の位置及び向きから、画像マッチング等によって、ステレオカメラ１２に内蔵された２台のカメラの３次元空間における位置及びカメラ間の距離を用いて、３次元空間における指示物１１の位置及び向きを検出する。
　ポインタ位置決定部４４は、指示物検出部４２で検出された３次元空間における指示物の位置及び向きの少なくとも一方に対応させて、表示画面５２に表示するポインタの表示画面５２における位置を決定する処理部であり、図２の制御部２０によって実現される。たとえば、ポインタ位置決定部４４は、３次元空間における指示物１１の位置及び向きを利用する場合には、指示物１１が、上記３次元空間内に予め設定された仮想の２次元操作面上のいずれの位置を指したかを特定し、その指した位置に対応する表示画面５２における位置に特定形状（例えば、十字形状）、及び／又は、特定色（例えば、赤色）のポインタを表示する。あるいは、ポインタ位置決定部４４は、３次元空間における指示物１１の位置だけを利用する場合には、その３次元空間における位置が、予め設定された仮想の２次元操作面に投影された場合の２次元操作面における位置を特定し、特定した位置に対応する表示画面５２における位置にポインタを表示する。あるいは、ポインタ位置決定部４４は、３次元空間における指示物１１の向きだけを利用する場合には、予め、指示物１１の向きと表示画面５２との対応関係を記憶しておき、検出された指示物１１の向きに対応する表示画面５２における位置にポインタを表示する。
　記憶部４６は、ポインタ位置決定部４４で決定された位置を示す位置情報の時系列を取得して保持するメモリ等であり、図２のＲＡＭ２６又は不揮発性メモリ２８によって実現される。
　第１通過検出部４８は、記憶部４６に記憶された位置情報の時系列を用いて、表示画面５２における予め定められた領域である第１特定領域をポインタが通過したことを検出する処理部であり、図２の制御部２０によって実現される。この第１特定領域は、単なるポインタの移動とは区別されるユーザの特別なジェスチャ操作の認識に用いられるマーカであり、表示画面５２に表示されていてもよいし、表示画面５２に表示されていなくてもよい（ユーザがその位置を予め知っていればよい）。
　方向判別部５０は、第１通過検出部４８によって通過が検出された場合に、ポインタが第１特定領域を通過したときの方向を判別する処理部であり、図２の制御部２０によって実現される。
　表示制御部６０ａは、ユーザとのインタラクションの対象となる画像を表示画面５２に表示する処理部であり、図２の制御部２０によって実現される。この表示制御部６０ａは、第１画像変更部６２を有する。第１画像変更部６２は、方向判別部５０によって判別された方向に応じて、表示画面５２に表示されている画像を変更する処理部である。なお、表示制御部６０ａが有する機能のうち、第１画像変更部６２を除く機能は、一般的な画像表示機能であり、表示画面５２と同様に、情報入力装置１０に装備されている必要はない。
　ここで、第１特定領域は、例えば、表示画面５２に表示された少なくとも一本の線分である。このときには、第１通過検出部４８は、ポインタが少なくとも一本の線分のうちの一本を交差するように通過したことを検出する。そして、第１画像変更部６２は、例えば、方向判別部５０によって判別された方向に沿って、画像をスクロールさせる。
　より具体的には、第１特定領域は、例えば、表示画面５２に表示された、平行に配置された２本の線分である。このときには、第１通過検出部４８は、ポインタが２本の線分のいずれかを交差するように通過したことを検出する。そして、方向判別部５０は、その通過方向として、２本の線分で挟まれた第１領域から、２本の線分のいずれを交差するようにポインタが移動したかを判別する。そして、第１画像変更部６２は、例えば、第１領域からポインタが通過した線分の方向に沿って、画像をスクロールさせる。
　また、第１特定領域は、他の例として、表示画面５２に表示されたアイコンである。このときには、第１画像変更部６２は、方向判別部５０によって判別された方向が予め定められた方向である場合に、アイコンを２以上の部分アイコンに分割するように、画像を変更する。これによって、ポインタがアイコンを通過したことを明確にユーザに伝えることができる。
　次に、以上のように構成された本実施の形態における情報入力装置１０の動作について説明する。
　図４は、本実施の形態における情報入力装置１０の動作を示すフローチャートである。図５Ａ及び図５Ｂは、情報入力装置１０の特徴的な動作（それぞれ、スクロール、アイコンの選択動作）の一例を説明する図である。
　まず、指示物検出部４２は、３次元空間における指示物１１の位置及び向きの少なくとも一方（本実施の形態では、位置及び向きの両方）を検出する（Ｓ１０）。
　指示物検出部４２によって指示物１１の位置及び向きが検出されると、ポインタ位置決定部４４は、指示物検出部４２で検出された位置及び向きに対応させて、表示画面５２に表示するポインタの表示画面５２における位置を決定する（Ｓ１２）。この指示物検出部４２は、指示物１１の検出を一定周期で繰り返し行うことで、ポインタの位置を示す位置情報の時系列を生成して記憶部４６に格納する（Ｓ１４）。
　第１通過検出部４８は、記憶部４６に記憶された位置情報の時系列を用いて、表示画面５２における予め定められた領域である第１特定領域をポインタが通過したか否かを判断する（Ｓ１６）。通過が検出されない場合には（Ｓ１６でＮｏ）、上記ステップＳ１０～Ｓ１６が繰り返される。
　第１通過検出部４８によって通過が検出されると（Ｓ１６でＹｅｓ）、方向判別部５０は、そのポインタが第１特定領域を通過したときの方向を判別する（Ｓ１８）。
　そして、第１画像変更部６２は、方向判別部５０によって判別された方向に応じて、表示画面５２に表示されている画像を変更する（Ｓ２０）。
　図５Ａは、情報入力装置１０によって提供されるＧＵＩの一例であるスクロールの様子を示している。ここには、３つの写真１０１～１０３が水平方向に並べられて表示画面５２に表示されている。中央の写真１０２を示す画像には、第１特定領域の一例として、２本の線分１０５及び１０６がお互いに平行になるように、表示画面５２の縦方向に配置されて表示されている。
　本図では、ユーザが、指示物１１を３次元空間内で移動させることで、２本の線分１０５及び１０６で挟まれた領域から、左に位置する線分１０５を横切るように、ポインタ１０８を移動した様子が示されている。このような操作が行われると、第１通過検出部４８が、ポインタ１０８が線分１０５を通過したことを検出し、その検出に従って、方向判別部５０は、第１特定領域である線分１０５を、ポインタ１０８が通過した方向を左方向と判定する。そして、方向判別部５０での判定に従って、第１画像変更部６２は、表示画面５２に表示している画像（写真の並び）を、左方向に、一定量（例えば、１枚の写真分）だけ、スクロールする。
　なお、本図に示される指示物１１は、表示画面５２をタッチするように図示されているが、これは理解を容易にするためであり、実際は、図１に示されるステレオカメラ１２の撮影空間（３次元空間）内において移動される。以下、ＧＵＩの例示を示す図についても同様である。
　また、本明細書では、表示画面５２における「右（右側）」、「左（左側）」、「上（上方）」、「下（下方）」等の方向は、表示画面５２に向かったときの方向を意味する。
　このように、図５Ａに示されるように、本実施の形態における情報入力装置１０によれば、ユーザは、表示画面５２に表示された２本の線分１０５及び１０６とポインタ１０８とを見ながら、ポインタを中央の領域から左の領域に移動させる操作を行うことで、左方向へのスクロール表示を開始することができる。よって、従来技術のように偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうという不具合が回避され、ユーザの意図が確実に反映される操作性に優れたＧＵＩが実現される。
　図５Ｂは、情報入力装置１０によって提供されるＧＵＩの一例であるアイコンの選択動作の様子を示している。ここには、図５Ａに示された写真の並びを順に再生させるためのボタンを示すアイコン１０９が表示画面５２に表示されている。このアイコン１０９は、第１特定領域の一例である。
　本図では、ユーザが、指示物１１を３次元空間内で移動させることで、アイコン１０９を、その上方から下方に向かって（アイコン１０９の上辺を横切り、続いて、下辺を横切るように）、ポインタを移動させた様子が示されている。このような操作が行われると、第１通過検出部４８が、ポインタがアイコン１０９を通過したことを検出し、その検出に従って、方向判別部５０は第１特定領域であるアイコン１０９を、ポインタ１０８が通過した方向を、上方から下方に向かう方向（アイコン１０９の上辺を横切り、続いて、下辺を横切る方向）、と判定する。そして、方向判別部５０での判定結果に従って、第１画像変更部６２は、それまで表示していたアイコン１０９を、２つの分割されたアイコン１０９ａ及び１０９ｂに置き換えて表示画面５２に表示する。これにより、ユーザは、アイコン１０９を選択する操作（マウス操作におけるクリック、あるいは、タッチパネルにおけるタッチにあたる操作）ができたことを知る。
　このように、図５Ｂに示されるように、本実施の形態における情報入力装置１０によれば、ユーザは、表示画面５２に表示されたアイコン１０９とポインタとを見ながら、アイコン１０９の上方から下方にポインタを通過させる操作をすることで、アイコン１０９を選択することができる。よって、従来技術のように偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうという不具合が回避され、ユーザの意図が確実に反映される操作性に優れたＧＵＩが実現される。
　なお、アイコン１０９が選択された後の動作は、制御部２０等により、これらの写真を表示しているアプリケーションソフトウェアに依存した動作、例えば、中央に表示されている写真に対応付けられた写真集のスライドショーが開始される。
　以上のように、本実施の形態における情報入力装置１０によれば、表示画面５２に表示された第１特定領域をポインタが通過したときの通過方向に依存して画像の変更が行われるので、従来技術のように偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうという不具合が回避される。
　また、本実施の形態における情報入力装置１０では、カメラによって検出される３次元空間における指示物１１の位置等を入力情報とするにも拘わらず、「ポインタを特定の位置に移動すること」と、「機能の実行操作（決定操作の判別）」とを区別して行うことができる。つまり、本実施の形態によれば、表示画面５２に表示された第１特定領域をポインタが所定の方向に通過したときに決定操作が行われたと判定されるので、ユーザは、表示画面５２を見ながら、簡単に、マウスのクリック、あるいは、タッチパネルのタッチに相当する選択または決定操作をすることができる。
　なお、本実施の形態において、第１通過検出部４８は、記憶部４６に記憶された位置情報の時系列を用いて、表示画面５２における予め定められた領域である第１特定領域を、予め定められた値以上の速度、または、加速度でポインタが通過したことを検出する処理部であってもよい。このような構成にすると、ポインタが、第１特定領域を予め定められた速度または加速度以上で通過したときのみ、第１画像変更部６２、表示画面５２に表示されている画像を変更する。つまり、表示画面５２に表示されている画像を変更するためには、ユーザは、第１特定領域に対し、指示物１１を素早く動かす必要があり、偶然のポインティング操作によるユーザの意図しない誤動作の発生確率をより低くすることが可能となる。
　（実施例１）
　次に、上述した実施の形態の第１の具体例として、実施例１を説明する。
　上述した実施の形態では、一つの決定操作に対して、一つのアクションが対応づけられている。たとえば、ポインタが線分を通過する１回のジェスチャ操作をすると、画面表示を一定量だけ、スクロールさせることができる。しかしながら、このようなアクションを繰り返させる場合には、線分に対し、ポインタを、常に同一方向に通過させる操作を繰り返す必要がある。即ち、ユーザは常に線分を意識して操作を行わなければならず、操作の負担が大きい。たとえば、左へのスクロールを繰り返す場合には、ユーザは、ポインタが線分をその右側から左側に通過するような操作を繰り返す必要がある。つまり、ユーザは、常に、線分の右側にポインタを意識して戻す必要があるので、操作の負担が非常に大きい。
　そこで、本実施例１では、繰り返し操作の負担を軽減することができる、改良された情報入力装置を説明する。
　図６は、本発明の実施例１における情報入力装置４０ａの機能ブロック図である。なお、この情報入力装置４０ａは、上述した実施の形態と同様に、図２に示されるハードウェア構成によって実現される装置である。この情報入力装置４０ａは、ポインタの繰り返し運動を検出する点に特徴を有する装置であり、機能的には、指示物検出部４２、ポインタ位置決定部４４、記憶部４６、第１通過検出部４８、方向判別部５０、表示制御部６０ｂ、表示画面５２、繰り返し処理部７０及び第２通過検出部７６を備える。なお、本実施例１における情報入力装置４０ａは、上述した実施の形態における情報入力装置１０が備える構成要素に加えて、第２画像変更部６４、第３画像変更部６５、繰り返し処理部７０及び第２通過検出部７６を備える。以下、上述した実施の形態と異なる点を中心に説明する。
　繰り返し処理部７０は、表示画面５２におけるポインタの繰り返し運動を検出する処理部であり、繰り返し検出有効化部７２及び繰り返し検出部７４を有する。
　繰り返し検出部７４は、記憶部４６に記憶された位置情報の時系列を用いて、ポインタが表示画面５２上における繰り返し運動をしていることを検出する処理部であり、図２の制御部２０によって実現される。
　繰り返し検出有効化部７２は、繰り返し検出部７４による検出を無効化しておき、第１通過検出部４８によって通過が検出された後に、繰り返し検出部７４による検出を有効化する処理部であり、図２の制御部２０によって実現される。
　表示制御部６０ｂは、上述した実施の形態における第１画像変更部６２に加えて、第２画像変更部６４及び第３画像変更部６５を有する。第２画像変更部６４は、繰り返し検出部７４によって有効な検出が行われた場合に、繰り返し操作に対応する画像の変更、例えば、画面スクロール等の画像の変更を繰り返す。第３画像変更部６５は、第２画像変更部６４による変更の程度に依存して、第２特定領域を変更する。
　第２通過検出部７６は、記憶部４６に記憶された位置情報の時系列を用いて、表示画面５２における予め定められた第２特定領域をポインタが通過したことを検出する処理部であり、図２の制御部２０によって実現される。繰り返し検出有効化部７２は、第２通過検出部７６が通過を検出した場合に、繰り返し検出部７４による検出を無効化する。この第２特定領域は、繰り返し運動を終了させるのに用いられるマーカであり、表示画面５２に表示されていてもよいし、表示画面５２に表示されていなくてもよい（ユーザがその位置を予め知っていればよい）。また、この第２特定領域は、用途としては、第１特定領域と異なるが、表示画面５２における領域（位置及び形状）としては、第１特定領域と同じであってもよい。
　なお、第２通過検出部７６はさらに、ポインタが第２特定領域を通過したときの方向を判別してもよい。この場合には、繰り返し検出有効化部７２は、第２通過検出部７６が上記通過を検出し、かつ、第２通過検出部７６によって判別された方向が予め定められた方向である場合に、繰り返し検出部７４による検出を無効化する。
　ここで、繰り返し運動には、具体例として、ポインタが表示画面５２上で円を描くように移動すること（つまり、回転運動）、及び、ポインタが表示画面５２上で往復移動をすること（つまり、往復運動）の少なくとも一つが含まれる。
　また、画像の変更例として、第２画像変更部６４は、方向判別部５０で判別された方向に沿って、画像の変更を繰り返す。具体的には、第２画像変更部６４は、画像の変更として、表示画面５２における画像の一定量のスクロール、及び、ポインタの一定量の移動を行う。
　ここで、繰り返し検出部７４はさらに、繰り返し運動における表示画面５２上でのポインタの移動量の大きさ（例えば、回転運動における円の半径、又は、往復運動における振幅）を検出する。そして、第２画像変更部６４はさらに、繰り返し検出部７４で検出された移動量が大きいほど、画像の変更における度合い（例えば、スクロールの粒度（移動する単位）又はスクロールの速度）を大きくする。
　また、繰り返し検出部７４はさらに、繰り返し運動の終了を検出する。たとえば、繰り返し検出部７４は、ポインタの移動量が予め定められた値より小さくなった場合に、繰り返し運動が終了したと検出する。そして、繰り返し検出有効化部７２は、繰り返し検出部７４が繰り返し運動の終了を検出した場合に、繰り返し検出部７４による検出を無効化する。
　なお、第３画像変更部６５は、第２画像変更部６４による画像の変更の程度に依存して、第２特定領域を変更する。より詳しくは、第３画像変更部６５は、第２画像変更部６４による画像の変更の程度に依存して、第２特定領域を示す表示画面５２における画像（例えば、線分）を変更する。具体的には、第３画像変更部６５は、第２画像変更部６４による画像の変更の程度に依存して、第２特定領域を示す表示画面における画像（例えば、線分）の位置を変更することによって、表示画面に表示される画像を変更する。ここで、画像に対する繰り返し運動に対応する画像の変更の一例は、表示画面５２における画像のスクロール、及び、ポインタの移動である。そして、第３画像変更部６５は、画像のスクロール、及び、ポインタの移動における速度が大きいほど、第１特定領域から遠い位置に第２特定領域を配置することによって、第２特定領域の位置を示す画像を表示する。これは、ユーザが繰り返し運動を早めようとすると、ユーザの操作がオーバーアクションになるので、意図せずに繰り返し運動を終了させるマーカである第２特定領域を超えてしまうような誤った操作が行われることを避けるためである。
　次に、以上のように構成された本実施例における情報入力装置１０の動作について説明する。
　図７は、本実施例における情報入力装置４０ａの動作を示すフローチャートである。ここでは、情報入力装置４０ａによる繰り返し運動の検出手順が示されている。図８は、繰り返し運動の検出手順を示すユーザ・インタラクションの例を示す図である。
　まず、繰り返し検出有効化部７２は、繰り返し検出部７４による検出を無効化しておき、第１通過検出部４８によってポインタが第１特定領域を通過したか否かを判断する（Ｓ３０）。この判断は、図８の（ａ）に示されるように、ポインタ１０８が第１特定領域（ここでは、線分１０５）を通過したと判断されるまで、繰り返される（Ｓ３０でＮｏ）。
　ポインタが第１特定領域を通過したと判断されると、繰り返し検出有効化部７２は、繰り返し検出部７４による検出を有効化する。その結果、図８の（ｂ）に示される回転運動、あるいは、図８の（ｃ）に示される往復運動のように、ユーザが繰り返し、同一のアクションを行った場合には、そのことが、繰り返し検出部７４によって検出される（Ｓ３２）。
　繰り返し検出部７４によって有効な検出が行われると（Ｓ３２でＹｅｓ）、第２画像変更部６４は、その繰り返し運動に対応するように、表示画面５２に表示している画像の変更を繰り返す。たとえば、第２画像変更部６４は、繰り返し運動がされている間、左方向への画像スクロールを繰り返す。
　図９は、典型的な繰り返し運動のユーザ・インタラクションの例を示す図である。ユーザは、指示物１１を３次元空間で移動させることで、ポインタ１０８が線分１０５をその右側から左側に通過するように、ポインタ１０８を移動させ、その後、線分１０５の左側の領域において、回転運動をする。すると、表示画面５２に表示される画像は、左方向へのスクロールが繰り返される。
　このように、本実施例では、一旦、ポインタが第１特定領域を通過した後は、再びポインタが第１特定領域を通過することを繰り返す必要がなく、所定の繰り返し操作が行われるだけで、ポインタが第１特定領域を通過することを繰り返すのと同様の結果が得られる。これにより、ユーザは、簡易な操作で、かつ、確実に、繰り返し操作を行うことができ、ユーザの繰り返し操作の負担が軽減される。
　図１０は、往復運動による繰り返し運動のユーザ・インタラクションの例を示す図である。図１０の上段に示されたユーザ・インタラクションの例では、ユーザは、ポインタ１０８が線分１０５をその右側から左側（厳密には、２本の線分１０５及び１０６に挟まれた中央領域から線分１０５よりも左の領域）に通過する操作をした後に、往復運動をしている。この場合には、線分１０５の右側から左側への操作が繰り返されたとの同じ結果、つまり、左方向へのスクロール表示が行われる。
　一方、図１０の下段に示されたユーザ・インタラクションの例では、ユーザは、ポインタ１０８が線分１０６をその左側から右側（厳密には、２本の線分１０５及び１０６に挟まれた中央領域から線分１０６よりも右の領域）に通過する操作をした後に、往復運動をしている。この場合には、線分１０６の左側から右側への操作が繰り返されたとの同じ結果、つまり、右方向へのスクロール表示が行われる。
　図１１は、本実施例における情報入力装置４０ａの動作のうち、繰り返し運動の終了に関する動作を示すフローチャートである。図１２Ａ及び図１２Ｂは、図１１に示される繰り返し運動の終了操作に関するユーザ・インタラクションの例を示す図である。
　繰り返し検出有効化部７２は、繰り返し検出部７４によって繰り返し運動の終了が検出されるか、又は、第２通過検出部７６によってポインタが第２特定領域を通過したことが検出されるかを監視している（Ｓ４０）。この監視は、いずれかが検出されるまで、繰り返される（Ｓ４０でＮｏ）。
　なお、第２通過検出部７６による通過の検出では、その通過の検出に加えて、ポインタが第２特定領域を通過したときの通過方向が予め定められた方向であることも検出されてもよい。たとえば、繰り返し運動が行われているときに、ポインタが第２特定領域をその左側から右側に通過した場合に、繰り返し運動が終了したと検出されてもよい。
　その結果、繰り返し検出部７４によって繰り返し運動の終了が検出されるか、又は、第２通過検出部７６によってポインタが第２特定領域を通過したことが検出されると（Ｓ４０でＹｅｓ）、繰り返し検出有効化部７２は、繰り返し検出部７４による検出を無効化する（Ｓ４２）。つまり、繰り返し検出有効化部７２は、繰り返し検出部７４による繰り返し運度の検出を停止させる。
　具体的なユーザ・インタラクションの例として、いま、図１２Ａに示されるように、ユーザによるポインタの繰り返し運動によって表示画面５２に並べて表示された画像の並びがスクロールしているとする。なお、ここでは、複数の楽曲のそれぞれに対応する画像１１０ａ、１１１ａ～１１１ｃ、１１２ａ～１１２ｃが並べられ、複数の楽曲から構成されるアルバムごとに、対応する画像を囲む枠１１０、１１１及び１１２が表示されている。スクロールにおいては、繰り返し運動における表示画面５２上でのポインタの移動量の大きさ（例えば、回転運動における円の半径、又は、往復運動における振幅）に依存して、スクロールの粒度が切り替えられる。たとえば、大きな繰り返し運動の場合には、表示画面５２での表示は、アルバム単位でスクロールされ、一方、小さな繰り返し運動の場合には、一曲単位でスクロールされる。
　なお、繰り返し運動の大きさは、繰り返し運動を継続している時間、または、繰り返し運動を行うための表示画面５２上でのポインタの動きの速さ、などで定義しても良い。繰り返し運動を継続している時間が長い場合や、繰り返し運動を行うためのポインタの動きの速さが速い場合には、アルバム単位でスクロールされ、繰り返し運動を継続している時間が短い場合や、繰り返し運動を行うためのポインタの動きの速さが遅い場合には、一曲単位でスクロールされるようにしても良い。
　図１２Ｂは、図１２Ａに示されるスクロールが行われているときにユーザによって行われたインタラクションの例を示す図である。ここでは、スクロール中において、ユーザは、第２特定領域の一例である線分１１５を、その左側から右側にポインタ１０８を通過させる操作をしている。これにより、ポインタ１０８が第２特定領域を特定の方向に通過したことが検出され、繰り返し検出部７４による検出が無効化され、スクロールが停止する。
　図１３は、本実施例における情報入力装置４０ａの動作のうち、繰り返し運動の終了用のマーカである第２特定領域の位置の決定に関する動作を示すフローチャートである。図１４は、図１３に示される第２特定領域の位置が異なる２つのケースにおけるユーザ・インタラクション例を示す図である。
　第３画像変更部６５は、画像のスクロールの速度（あるいは、ポインタの移動速度）を検出し（Ｓ５０）、その速度に依存して、第２特定領域を配置する位置を移動させる（Ｓ５２）。たとえば、第３画像変更部６５は、画像のスクロールの速度（あるいは、ポインタの移動速度）が大きいほど、第１特定領域から遠い位置に第２特定領域を配置する。
　このような動作の意義は、図１４に示される通りである。つまり、このような動作の工夫がない場合には、図１４の左図に示されるように、ユーザがスクロール速度を大きくしようとすると、ユーザの操作がオーバーアクションになり、例えば、往復運動における振幅が大きくなり、誤って、ポインタ１０８が第２特定領域（ここでは、線分１１５）を超えてしまう可能性がある。これに対して、本実施例では、図１４の右図に示されるように、スクロールの速度が大きくなるに従って、第２特定領域（ここでは、線分１１５）の位置が第１特定領域（ここでは、線分１０５）から遠くなる。よって、スクロール速度を大きくしようとしてユーザがオーバーアクションをしても、誤ってポインタ１０８が第２特定領域（ここでは、線分１１５）を超えてしまう可能性が低くなる。
　このように、繰り返し運動による画像の変更の程度に応じて、動的に第２特定領域の位置が変更され、誤操作が防止される。
　以上のように、本実施例によれば、繰り返し操作を行う際、第１特定領域に対し、ポインタを通過させる操作を何度も繰り返すことなく、一回の通過操作の後に、簡単な回転操作や往復操作等の繰り返し操作を行うだけで、１回目に行った操作を連続して行ったことと同様の結果を得ることができ、繰り返し操作の負担を軽減することができる。また、繰り返し運動の検出を無効化する操作を行うための第２特定領域が表示されたり、その第２特定領域の表示位置が適応的に変更されたりするので、誤った操作をすることなく、確実に、繰り返し操作を終了させることもできる。
　なお、繰り返し検出部７４による往復運動の検出ロジックの一例は、図１５に示される通りである。つまり、記憶部４６に記憶された位置情報の時系列が示す位置の変化を示すカーブにおける全ての極値を特定し、特定した極値のうち、連続する２つの極値からその時点での周期を算出することで、周期の時間変化を特定する。その結果、周期が大きく変化していない（つまり、周期の時間変化が所定の範囲内である）場合には、往復運動が行われていると判定できる。たとえば、図１５において、周期Ｔ１と周期Ｔ２とは大きく変化していないので、この時点では往復運動が継続していると検出でき、周期Ｔｍでは大きく変化しているので、この時点で往復運動が終了したと検出できる。
　また、繰り返し検出部７４による回転運動の検出ロジックの一例は、図１６に示される通りである。つまり、記憶部４６に記憶された位置情報の時系列に基づいて、表示画面５２のｘ軸方向の位置の変化を示すカーブと、表示画面５２のｙ軸方向の位置の変化を示すカーブとを算出する。そして、両カーブに基づいて、周期Ｔと、両カーブの位相差とを算出する。その位相差が＋Ｔ／４又は－Ｔ／４の近傍である場合に、回転運動が継続していると検出できる。
　（実施例２）
　次に、上述した実施の形態の第２の具体例として、実施例２を説明する。
　上述した実施の形態では、ポインタが第１特定領域を通過したときに、その通過方向に依存してアクションが決定される。たとえば、線分をその右側から左側に横切るようにポインタが通過した場合には表示を左方向にスクロールさせ、線分をその左側から右側に横切るようにポインタが通過した場合には表示を右方向にスクロールさせた。しかしながら、第１特定領域をアイコンとし、ポインタがアイコンを通過したときに、アイコンが選択されるというアクションを定義した場合においては、線分と異なり、アイコンを横切る方向は様々な方向が存在するので、誤操作により、ユーザの意図しないアイコンの選択も起こり得る。
　そこで、本実施例２では、アイコンの属性や表示画面の状態（表示画面の位置や姿勢）に基づいて、アイコンの選択が有効となるポインタの通過方向を絞ることで、誤操作を抑制したり、操作性を向上したりすることを可能にした、改良された情報入力装置を説明する。
　なお、ここで、第１特定領域の属性、即ち、アイコンの属性とは、アイコンの粗密、表示画面５２におけるアイコンの位置、複数のアイコンの配置方法などを示す。
　図１７は、本発明の実施例２における情報入力装置４０ｂの機能ブロック図である。なお、この情報入力装置４０ｂは、上述した実施の形態と同様に、図２に示されるハードウェア構成によって実現される装置である。この情報入力装置４０ｂは、アイコンの選択操作におけるポインタの通過方向が様々な要因に応じて（あるいは、動的に）決定される点に特徴を有する装置であり、機能的には、指示物検出部４２、ポインタ位置決定部４４、記憶部４６、第１通過検出部４８、方向判別部５０、表示制御部６０ｃ、表示画面５２、表示画面状態検出部８０及びポインティング可能領域決定部６９を備える。表示制御部６０ｃは、第１画像変更部６２、方向決定部６６及び主操作方向決定部６８を有する。
　なお、本実施例２における情報入力装置４０ｂは、上述した実施の形態における情報入力装置１０が備える構成要素に加えて、方向決定部６６、主操作方向決定部６８、表示画面状態検出部８０及びポインティング可能領域決定部６９を備える。以下、上述した実施の形態と異なる点を中心に説明する。
　表示画面状態検出部８０は、指示物検出部４２に対する表示画面５２の３次元空間における位置及び姿勢を検出する処理部であり、表示画面１６に内蔵された３軸加速度センサ等によって実現される。
　ポインティング可能領域決定部６９は、表示画面５２に表示するポインタの位置として指定可能な領域を決定する処理部であり、指示物検出部４２における指示部の検出範囲に基づいて領域が決定される。
　主操作方向決定部６８は、第１特定領域であるアイコンの属性や表示画面５２の状態に基づいて、画像に対するユーザの主操作方向を決定する処理部であり、図２の制御部２０によって実現される。たとえば、この主操作方向決定部６８は、表示画面状態検出部８０で検出された表示画面５２の位置及び姿勢に依存して主操作方向を決定する。
　方向決定部６６は、第１特定領域であるアイコンの属性に依存して、ポインタが第１特定領域を通過すべき方向を決定する処理部であり、図２の制御部２０によって実現される。つまり、第１画像変更部６２は、方向判別部５０で判別された方向が、方向決定部６６で決定された方向である場合に、有効な操作（ここでは、アイコンの選択操作）が行われたと判定し、表示画面５２における画像を変更する。
　より詳しくは、この方向決定部６６は、有効な方向として、２つの方向、つまり、第１方向と、第１方向と異なる第２方向とを決定する。そして、第１画像変更部６２は、方向判別部５０で判別された方向が第１方向であり、その後に方向判別部５０で判別された方向が第２方向である場合に、アイコンの選択操作が行われたと判定し、表示画面５２における画像を変更する。さらに、第１画像変更部６２は、方向判別部５０で判別された方向が第１方向である場合に、アイコンの選択操作が行われたと判定し、表示画面５２における画像を変更するが、その後に方向判別部５０で判別された方向が第２方向である場合に、アイコンの選択操作がキャンセルされたと判定し、表示画面５２における画像の変更をキャンセルする動作をしてもよい。なお、第１方向と第２方向とは、例えば、お互いに正反対の方向である。
　また、各種状況に応じた動的な方向の決定例として、以下の態様がある。
　つまり、一つの方向の決定例として、方向決定部６６は、アイコンが表示画面５２の枠を構成する辺に接して配置されている場合には、アイコンの選択操作の方向として、辺を横切る方向に決定する。つまり、第１特定領域を通過する方向のうち、第１特定領域が接する表示画面５２の枠（辺）を横切る方向が有効な方向と決定されるので、常に表示画面５２の外に向かう方向が有効な方向として決定される。
　また、他の方向の決定例として、方向決定部６６は、アイコンが表示画面５２の枠を構成する辺に接して配置されている場合には、アイコンの選択操作の方向として、辺と平行な方向に決定する。つまり、第１特定領域を通過する方向のうち、第１特定領域が接する表示画面５２の枠（辺）に平行な方向が有効な方向と決定される。これにより、表示画面５２の外と内とを出入りするポインタの移動と区別して、アイコンの選択操作を検出することができる。
　また、他の方向の決定例として、方向決定部６６は、表示画面５２における、ポインティング可能領域決定部６９で決定されたポインティング可能領域に対し、アイコンがポインティング可能領域の枠を構成する辺に接して配置されている場合には、アイコンの選択方向として辺を横切る方向に決定する。つまり、アイコンを通過する方向のうち、アイコンが接するポインティング可能領域の枠（辺）を横切る方向が有効な方向と決定されるので、常にポインティング可能領域の外に向かう方向が有効な方向として決定される。
　また、他の方向決定の例として、方向決定部６６は、アイコンがポインティング可能領域の枠を構成する辺に接して配置されている場合には、アイコン選択操作の方向として、辺と平行な方向に決定する。つまり、アイコンを通過する方向のうち、アイコンが接するポインティング可能領域の枠（辺）に平行な方向が有効な方向として決定される。これにより、常にポインティング可能領域内でポインタの移動が可能な方向が有効な方向として決定される。なお、方向決定部６６は、アイコンの属性、例えば、アイコンの粗密（つまり、表示画面における複数のアイコンの密集度）に依存して、アイコンの選択操作の方向を決定する機能も有する。
　また、他の方向の決定例として、方向決定部６６は、主操作方向決定部６８で決定された主操作方向を含まない範囲の方向からアイコンの選択操作の方向を決定する。つまり、アイコンを通過する方向のうち、主操作方向決定部６８で決定された主操作方向を含まない範囲の方向が有効な方向と決定される。これにより、スクロール指示等の主操作と区別して、アイコンが選択されたことが確実に検出される。たとえば、複数のアイコンを主操作方向にスクロールさせながら、それら複数のアイコンの中から一つを選択するという操作が容易になる。
　また、他の方向の決定例として、方向決定部６６は、指示物検出部４２で検出された指示物１１の姿勢に依存して、アイコンの選択操作の方向を決定する。たとえば、指示物１１が指である場合には、指が指す方向と直交する方向が有効な方向と決定される。これにより、より操作し易い方向がアイコンを選択する場合のポインタの移動方向として決定され、操作性が向上される。
　次に、以上のように構成された本実施例における情報入力装置４０ｂの動作について、図１８～図２１のフローチャート、及び、図２２～図２６のユーザ・インタラクション例を示す図を用いて、説明する。
　図１８は、本実施例における情報入力装置４０ｂの基本動作を示すフローチャートである。
　方向決定部６６は、第１特定領域であるアイコンの属性に依存して、ポインタが第１特定領域を通過すべき方向を決定する（Ｓ６０）。
　第１画像変更部６２は、ユーザによるポインティング操作によってポインタがアイコンを通過し、その通過時におけるポインタの移動方向（つまり、方向判別部５０で判別された方向）が、方向決定部６６で決定された方向と同じであるか否かを判断する（Ｓ６２）。この判断は、アイコンの通過時におけるポインタの移動方向が方向決定部６６で決定された方向と同じであると判断されるまで、繰り返される（Ｓ６２でＮｏ）。
　第１特定領域の通過時におけるポインタの移動方向が方向決定部６６で決定された方向と同じであると判断した場合には（Ｓ６２でＹｅｓ）、第１画像変更部６２は、有効な操作が行われたと判定し、表示画面５２上の画像、即ち、アイコンの画像を変更する（Ｓ６４）。
　たとえば、ポインタが第１特定領域であるアイコンを通過し、その通過時におけるポインタの移動方向が方向決定部６６で決定された方向と同じである場合に、そのアイコンが選択されたとみなし、図５Ｂに示されるように、それまで表示していたアイコン１０９を、２つの分割されたアイコン１０９ａ及び１０９ｂに置き換えて表示画面５２に表示する。
　これにより、ポインタがアイコンを所定の方向に通過したときにだけ、有効な操作と認識されるので、誤った操作によってポインタがアイコンを所定の方向以外の方向に通過した場合であっても、ユーザの意図しない誤操作として無視される。
　図１９は、本実施例における情報入力装置４０ｂの動作のうち、ポインタが予め定められた２つの方向を通過した場合における動作を示すフローチャートである。
　いま、方向決定部６６により、ポインタが第１特定領域であるアイコンを通過すべき有効な方向として、２つの方向、つまり、第１方向及び第２方向が決定されているとする。たとえば、第１方向として、第１特定領域をその上方から下方に通過する方向と決定され、第２方向として、その正反対の方向、つまり、アイコンをその下方から上方に通過する方向と決定されているとする。
　まず、第１画像変更部６２は、ポインタがアイコンを通過したと第１通過検出部４８で検出された場合に、方向判別部５０で判別されたポインタの通過方向が第１方向であるか否かを判断する（Ｓ７０）。この判断は、ポインタの通過方向が第１方向であると判断されるまで、繰り返される（Ｓ７０でＮｏ）。
　ポインタの通過方向が第１方向であると判断した場合には（Ｓ７０でＹｅｓ）、第１画像変更部６２は、続いて、ポインタがアイコンを通過したと第１通過検出部４８で検出された場合に、方向判別部５０で判別されたポインタの通過方向が第２方向であるか否かを判断する（Ｓ７２）。この判断は、アイコンをポインタが再び通過する方向が第２方向であると判断されるまで、繰り返される（Ｓ７０でＮｏ）。なお、この第２方向の判断（Ｓ７２）は、第１方向の通過（Ｓ７０でＹｅｓ）が検出されてから、予め定められた時間内だけで行われてもよい。つまり、第１方向の通過（Ｓ７０でＹｅｓ）が検出されてから、予め定められた時間内に第２方向の通過が検出されない場合には、当該フローがリセットされ、再び、第１方向の通過の検出（Ｓ７０）が行われてもよい。
　その結果、ポインタの通過方向が第２方向であると判断した場合には（Ｓ７２でＹｅｓ）、第１画像変更部６２は、アイコンの選択操作が行われた判定し、表示画面５２における画像を変更するか、あるいは、アイコンの選択操作がキャンセルされたと判定し、表示画面５２における画像変更をしない（Ｓ７４）。なお、画像の変更をするかしないかは、ユーザによる事前の設定によって定まる。
　図２２は、図１９に示される動作に対応するユーザ・インタラクションの例を示す図である。ユーザは、アイコン１１８をその上方から下方に通過するようにポインタを移動させた後に、続いて、そのアイコン１１８をその下方から上方に通過するようにポインタを移動させる。これにより、事前の設定に応じて、アイコン１１８の選択を完了するか、あるいは、上方から下方へのポインタの移動によって暫定的に選択されたアイコン１１８の選択をキャンセルすることができる。
　これにより、２つの異なる方向にポインタがアイコンを通過した場合にだけ、所定の操作が完了するので、１つの方向だけで操作が決定される場合に比べ、誤操作が防止される。
　図２０は、本実施例における情報入力装置４０ｂが備える方向決定部６６の基本動作を示すフローチャートである。
　まず、方向決定部６６によって、第１特定領域であるアイコンの属性、例えば、表示画面５２におけるアイコンの位置、又は、複数のアイコンの粗密が検出される（Ｓ９０）。あるいは、指示物検出部４２によって、ユーザの手又は指等の指示物１１の姿勢が検出される（Ｓ９０）。なお、これら３種類のパラメータ（アイコンの位置、アイコンの粗密、指示物１１の姿勢）のいずれを有効とするかは、ユーザによる事前の設定によって決定されている。そのときに、これら３種類のパラメータのうちの一つだけが有効になっていてもよいし、２つ以上のパラメータが有効になっていてもよい。
　そして、方向決定部６６は、検出されたアイコンの位置、アイコンの粗密、及び、指示物１１の姿勢の少なくとも一つに依存して、そのアイコンをポインタが通過すべき方向（つまり、アイコンの選択操作の方向）を決定する（Ｓ９２）。
　たとえば、図２３Ａの（ａ）のユーザ・インタラクション例に示されるように、方向決定部６６は、第１特定領域（アイコン１２２ａ～１２２ｃ）が表示画面５２の枠を構成する辺に接して配置されている場合には、アイコン１２２ａ～１２２ｃの選択操作の方向として、辺を横切る方向に決定する。これにより、常に表示画面５２の外に向かう方向が有効な方向として決定されるので、複数のアイコンが表示画面５２の枠（辺）に沿って並べられている場合に、誤ってそれら複数のアイコンの全てを横切るようにポインタが直線的に動いてしまった場合であっても、アイコンの選択操作として認識されないので、誤操作が防止される。
　あるいは、図２３Ａの（ｂ）のユーザ・インタラクション例に示されるように、方向決定部６６は、第１特定領域（アイコン１２４ａ～１２４ｃ）が表示画面５２の枠を構成する辺に接して配置されている場合には、アイコン１２４ａ～１２４ｃの選択操作の方向として、辺と平行な方向に決定する。これにより、表示画面５２の枠（辺）に沿う方向が有効な方向として決定されるので、複数のアイコンが表示画面５２の枠の辺に沿って並べられている場合に、それら複数のアイコンの全てを横切るようにポインタを移動させることで、それら複数のアイコンの一括選択が容易になる。また、表示画面５２の外と内とを出入りするポインタの移動と区別して、アイコンの選択操作を検出することができるため、誤操作が防止される。
　あるいは、図２３Ａの（ｃ）のユーザ・インタラクション例に示されるように、方向決定部６６は、第１特定領域（アイコン１２０ａ～１２０ｄ）の粗密に依存して、アイコンの選択操作の方向を決定する。たとえば、アイコン１２０ａのように、選択可能なアイコンが密集していない場合には、３つの方向を選択操作の方向として決定する。一方、アイコン１２０ｂ～１２０ｄのように、選択可能なアイコンが密集している場合には、それらのアイコンについて同一の一つの方向を選択操作の方向として決定する。これにより、アイコンが密集している場合には、アイコンの選択操作が限定されるので、誤って複数のアイコンを選択してしまう誤操作が回避される。
　なお、アイコンが密集しているか否かは、例えば、予め定められた密集度の閾値（例えば、単位面積当たりのアイコンの個数）より大きいか小さいかで判断される。
　あるいは、図２３Ｂの（ａ）～（ｃ）のユーザ・インタラクション例に示されるように、方向決定部６６は、表示画面５２における、ポインティング可能領域決定部６９で決定されたポインティング可能領域（図２３Ｂの（ａ）参照）に対し、アイコンの選択操作の方向を決定する。図２３Ｂの（ｃ）に示されるように、第１特定領域（アイコン１２８ａ～１２８ｂ）がポインティング可能領域の枠を構成する辺に接して配置されている場合には、アイコンの選択操作の方向として、辺を横切る方向に決定する。これにより、常にポインティング可能領域の外に向かう方向が有効な方向として決定されるので、複数のアイコンがポインティング可能領域の枠（辺）に沿って並べられている場合に、誤ってそれら複数のアイコンの全てを横切るようにポインタが直線的に動いてしまった場合であっても、アイコンの選択操作として認識されないので、誤操作が防止される。また、図２３Ｂの（ｂ）に示されるように、第１特定領域（アイコン１２６ａ～１２６ｂ）がポインティング可能領域の枠を構成する辺に接して配置されている場合には、アイコンの選択操作の方向として、辺と平行な方向に決定することとしても良い。これにより、ポインティング可能領域内でポインタの移動が可能な方向が有効な方向として決定されるので、アイコン選択操作の操作性が向上する。
　あるいは、図２４の（ａ）～（ｃ）のユーザ・インタラクション例に示されるように、方向決定部６６は、指示物検出部４２で検出されたユーザの手又は指等の指示物１１の姿勢に依存して、アイコンの選択操作の方向を決定する。たとえば、指示物１１が指である場合には、指が指す方向と直交する方向が、アイコンの選択操作の方向と決定する。これにより、ユーザの手又は指等の向きを考慮して、ユーザが操作し易い方向がアイコンの選択操作の方向として決定されるので、操作性が向上されるとともに、誤操作が防止される。具体的には、図２４の（ａ）に示されるように、指示物１１であるユーザの指が表示画面５２を指す方向に向いている場合には、指を鉛直方向に移動させる（あるいは、指又は手首を曲げる）ことで、アイコンを選択することができる。また、図２４の（ｂ）及び（ｃ）に示されるように、指示物１１であるユーザの指が表示画面５２と並行する方向（例えば、地面を指す方向）に向いている場合には（図２４の（ｂ））、地平面と平行な方向（例えば、表示画面５２の奥から手前への方向）に指を移動させる（あるいは、指又は手首を曲げる）ことで（図２４の（ｃ））、アイコンを選択することができる。
　なお、ユーザの手又は指の姿勢に応じてアイコンの選択操作の方向を決定する場合には、図２５の手順に示されるように、まず、指示物検出部４２がユーザの手又は指の姿勢（向き）を認識し（図２５の（ａ））、次に、方向決定部６６が有する姿勢データベースを参照することで（図２５の（ｂ））、操作し易い方向をアイコンの選択操作の方向として決定する（図２５の（ｃ））。ここで、姿勢データベースとは、予め定められた指示物の姿勢と操作し易い方向との対応づけを示す情報である。
　図２１は、本実施例における情報入力装置４０ｂが備える方向決定部６６の動作のうち、主操作方向を考慮した動作を示すフローチャートである。
　まず、表示画面状態検出部８０は、指示物検出部４２に対する表示画面５２の位置及び姿勢を検出する（Ｓ８０）。たとえば、表示画面５２が鉛直方向に沿う方向に置かれているか（例として、表示画面５２が机の上に立てて設置されているか）、あるいは、地平面と平行する方向に置かれているか（例として、表示画面５２が机の上に寝かせて設置されているか）を検出する。
　次に、主操作方向決定部６８は、表示画面状態検出部８０で検出された表示画面５２の位置及び姿勢に依存して主操作方向を決定する（Ｓ８２）。たとえば、表示画面５２と平行な面における指示物１１の動きを主操作方向と決定する。
　そして、方向決定部６６は、主操作方向決定部６８で決定された主操作方向を含まない範囲の方向から、ポインタが第１特定領域であるアイコンを通過すべき方向、つまり、アイコンの選択操作の方向を決定する（Ｓ８４）。たとえば、主操作方向と直交する方向をアイコンの選択操作の方向として決定する。
　図２６及び図２７は、図２１に示される動作に対応するユーザ・インタラクションの例を示す図である。
　図２６の（ａ）に示されるように、表示画面５２が鉛直方向に沿う方向に置かれている（例えば、表示画面５２が机の上に立てて設置されている）と表示画面状態検出部８０によって検出された場合には、主操作方向決定部６８は、表示画面５２と平行な面（つまり、鉛直方向に沿った面）における指示物１１の動きを主操作方向と決定する。
　一方、図２６の（ｂ）に示されるように、表示画面５２が地平面と平行する方向に置かれている（例えば、表示画面５２が机の上に寝かせて設置されている）と表示画面状態検出部８０によって検出された場合には、主操作方向決定部６８は、表示画面５２と平行な面（つまり、地平面に沿った面）における指示物１１の動きを主操作方向と決定する。
　そして、図２７に示されるように、方向決定部６６は、主操作方向決定部６８で決定された主操作方向を含まない範囲の方向から、アイコンの選択操作の方向を決定する。たとえば、図２７の（ｂ）に示されるように、主操作方向が表示画面５２の横方向である場合には、表示画面５２の縦方向にポインタを動かすような指示物１１の動きを、アイコンの選択操作の方向として決定し、一方、図２７の（ｃ）に示されるように、主操作方向が表示画面５２の縦方向及び横方向である場合には、表示画面５２の奥行き方向にポインタを動かすような指示物１１の動きを、アイコンの選択操作の方向として決定する。
　これにより、スクロール指示等の主操作と区別してアイコンの選択が確実に行われ、誤操作が防止される。
　（実施例３）
　次に、上述した実施の形態の第３の具体例として、実施例３を説明する。
　上述した実施の形態では、ポインタを移動させるポインティング操作とアイコン等を選択する選択操作とを連続的かつ確実な操作として実現した情報入力装置が説明された。本実施例３では、その機能に加えて、３次元空間における連続的な操作によって、対象物（アイテム）を選択する画面表示と、選択した対象物に対する処理を決定する画面表示との切り替えができる情報表示方法を説明する。
　本実施例３は、上述の実施の形態における情報入力装置１０による表示機能（つまり、情報表示方法）に着目した実施例である。つまり、本実施例は、図２に示されるハードウェア構成及び図３に示される機能構成を備える情報入力装置１０によって実現される情報表示方法の一つである。
　図２８は、本実施例における情報表示方法を示すフローチャートである。
　本実施例では、情報入力装置１０は、コンピュータによって実行される情報表示方法を実行する装置であり、基本的には、少なくとも一つのアイテムを表示画面５２に表示する表示ステップ（Ｓ９６）と、３次元空間における指示物の位置及び向きの少なくとも一方（本実施の形態では、位置及び向きの両方）を検出することによって、ユーザからの指示を取得する指示取得ステップ（Ｓ９８）とを繰り返す。なお、ここでアイテムとは、例えば、アプリケーションを示すアイコンや、写真、動画等のコンテンツを示すサムネイル等を示す。
　図２９は、図２８に示された表示ステップ（Ｓ９６）における状態遷移を示す図である。
　表示ステップ（Ｓ９６）は、指示取得ステップで取得されたユーザの指示に従って少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モード（Ｓ１００）と、第１モードで選択された少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モード（Ｓ１０２）とを有する。つまり、表示ステップ（Ｓ９６）では、情報入力装置１０は、第１モード（Ｓ１００）及び第２モード（Ｓ１０２）のいずれかの状態にある。
　ここで、指示取得ステップ（Ｓ９８）で取得されたユーザの指示が、表示画面５２に設定された少なくとも二つの領域の一つから他方への移動である場合に、情報入力装置１０は、第１モード（Ｓ１００）から第２モード（Ｓ１０２）、又は、第２モード（Ｓ１０２）から第１モード（Ｓ１００）に変更する。
　なお、「少なくとも二つの領域」とは、表示画面５２に表示された線分によって区切られる二つの領域が含まれてもよいし、表示画面５２に表示されていない暗黙的な線分によって区切られる二つの領域が含まれてもよい。また、「少なくとも二つの領域」には、表示画面５２の外の領域（仮想的に設定された領域）も含まれる。たとえば、「少なくとも二つの領域」には、表示画面５２上の領域と、表示画面５２外の領域とが含まれてもよい。また、「移動」には、そのような明示的又は暗黙的な線分を超える移動（例えば、上述の実施の形態における第１特定領域の通過）が含まれる。
　なお、表示ステップ（Ｓ９６）では、情報入力装置１０は、少なくとも一つのアイテムをグループとする、複数のグループを表示画面５２に表示する場合がある。この場合には、情報入力装置１０は、第１モード（Ｓ１００）では、複数のグループのうちの第１グループを選択可能に設定し、複数のグループのうちの第２グループを選択不可能に設定する。
　このとき、第１モード（Ｓ１００）では、指示取得ステップ（Ｓ９８）で取得されたユーザの指示が移動である場合に、第１グループに属していたアイテムが移動して第２グループに属するアイテムとなり、選択不可能になる。
　一方、第２モード（Ｓ１０２）では、第１モード（Ｓ１００）で選択されたアイテムに対する処理に対応づけられたアイコンが表示画面５２に表示され、アイコンには、少なくとも二つの領域が対応づけられ、指示取得ステップ（Ｓ９８）で取得されたユーザの指示が、アイコンに対応づけられた少なくとも二つの領域の一つから他方への移動である場合に、アイコンに対応づけられた処理が実行される。
　なお、アイコンは、当該アイコンに対応づけられたアイテムの属性に依存して、当該アイコンに対応づけられた処理が実行可能である状態、及び、実行不可能な状態をとり得る。
　図３０は、本実施例における２つのモード間でのモード遷移の画面表示例を示す図である。ここには、第１モードにおける画面表示例として、４つの画面表示１３０～１３３が示され、第２モードにおける画面表示例として、３つの画面表示１４０～１４２が示されている。
　画面表示１３０は、処理対象となるアイテムをユーザの指示に従って選択する第１モードでの代表的な表示例であり、ここには、３つのアイテムが表示されている。なお、ここでは、横方向に並ぶアイテムのうち、中央に位置するアイテムが選択されるアイテムとなる。画面表示１３１は、画面表示１３０を詳細化した表示例であり、画面表示１３２及び１３３は、画面表示１３１がスクロールした後の表示例である。
　画面表示１４０は、第１モードで選択されたアイテムに対する処理を行う第２モードでの代表的な表示例であり、ここには、第１モードで選択されたアイテム（横並びの中央に位置するアイテム）に対する４つの処理のそれぞれに対応する４つのアイコンが表示されている。画面表示１４１は、画面表示１４０における一つのアイコン（一つの処理に対応するアイコン）を示す図（選択操作を説明する図）であり、画面表示１４２は、一つのアイコンが選択され、そのアイコンに対応する処理が、第１モードで選択されたアイテムに対して実行されたときの表示例である。
　いま、表示画面５２に、第１モードの画面表示１３０が表示されているとする。この状態で、ユーザが、表示画面５２に設定された少なくとも二つの領域の一つから他方へ（例えば、表示画面５２上の領域から表示画面５２外の領域へ）ポインタを移動させると、表示画面５２での表示は、第１モードの画面表示１３０から第２モードの画面表示１４０に変わる。つまり、画面表示１３０において横並びにおける中央に位置するアイテムに対する４つの処理を示す４つのアイコンが表示される。
　逆に、いま、表示画面５２に第２モードの画面表示１４０が表示されている状態で、ユーザが、表示画面５２に設定された少なくとも二つの領域の他方から一方へ（例えば、表示画面５２外の領域から表示画面５２内の領域へ）ポインタを移動させるか、あるいは、ポインタが表示画面５２外に出たまま所定時間が経過すると、表示画面５２での表示は、第２モードの画面表示１４０から第１モードの画面表示１３０に戻る。つまり、複数のアイテムから一つを選択できる画面表示に戻る。
　ここで、第１モードにおいて、表示画面５２に画面表示１３０が表示されている状態では、より詳しくは、表示画面５２には、画面表示１３１に示されるように、表示画面５２の中央に、２本の線分１０５及び１０６がお互いに平行になるように、表示画面５２の縦方向に配置して表示される。この画面表示１３１に対するユーザ操作は、図５Ａ等に示される上述した実施の形態の通りである。たとえば、ユーザが、２本の線分１０５及び１０６で挟まれた領域から、左に位置する線分１０５を横切るようにポインタ１０８を移動する操作をした場合には、画面表示１３２及び１３３に示されるように、１回の操作のたびに、左方向に１アイテム分だけ、スクロールして表示される。なお、この第１モードから第２モードに遷移した場合には、遷移の直前において、表示画面５２における横並びの中央に位置するアイテムが選択されたことになる。
　また、第２モードにおいて、表示画面５２に画面表示１４０が表示されている状態において、ユーザは、画面表示１４１に示されるように、ポインタ１０８が、複数のアイコンから選択した一つのアイコンを通過するように、指示物１１を操作することで、そのアイコンを選択することができる。これによって、第１モードで選択されたアイテムに対して、いま選択したアイコンに対応づけられた処理を実行することができる。たとえば、第１モードで選択されたアイテムが、動画のサムネイル画像であり、第２モードで選択されたアイコンが「再生」に対応するアイコンである場合には、表示画面５２に、そのサムネイル画像に対応する動画が再生される。
　このように、本実施例における情報表示方法によれば、ユーザは、表示画面５２を見ながら、アイテムを選択できる第１モードと、選択したアイテムに対する処理を実行する第２モードとを切り替えながら、あらゆる処理を完遂することができる。よって、２つの表示モードを遷移するだけで全ての操作をできるので、深く階層化されたメニュー等と比べ、操作が簡単であり、短時間で操作方法を習得できる。
　図３１は、図２８に示された表示ステップ（Ｓ９６）における状態遷移の別の一例を示す図である。ここでは、表示ステップ（Ｓ９６）には、第１モード（Ｓ１００）及び第２モード（Ｓ１０２）に、さらに、メニューを表示する第３モード（Ｓ１０４）が設けられている。ここで、第３モード（Ｓ１０４）とは、例えば、詳細メニューとして予め定められたメニュー、第１モード（Ｓ１００）及び第２モード（Ｓ１０２）に共通する指示のためのメニュー、表示画面５２への電源をオフするためのメニュー、及び、ブラウザを含む予め定められたプログラムを立ち上げるためのメニューの少なくとも一つが含まれる。
　３つのモード間の遷移については、情報入力装置１０は、表示ステップ（Ｓ９６）において、指示取得ステップ（Ｓ９８）で取得されたユーザの指示が示すポインタの移動が第１パターンに属する場合に、元のモードである第１モード（Ｓ１００）又は第２モード（Ｓ１０２）から第３モード（Ｓ１０４）に遷移し、一方、指示取得ステップ（Ｓ９８）で取得されたユーザの指示が示すポインタの移動が第２パターンに属する場合に、第３モード（Ｓ１０４）から元のモードに遷移する。
　ここで、第１パターンと第２パターンとは、例えば、異なる個数の指示物１１を用いたユーザの指示である。例として、一本の指でのポインティング操作が第１パターンに属し、５本の指でのジェスチャ操作が第２パターンに属する。なお、３次元空間における指示物１１の個数は、指示取得ステップ（Ｓ９８）で検出される。
　図３２は、本実施例における３つのモード間でのモード遷移の画面表示例を示す図である。ここには、第１モードにおける画面表示例として画面表示１３０が示され、第２モードにおける画面表示例として画面表示１４０が示され、第３モードにおける画面表示例として画面表示１５０が示されている。
　画面表示１５０は、メニューを表示する第３モードでの代表的な表示例であり、例えば、詳細メニュー、全体を通じて共通する操作（電源オフ、ブラウザを含むユーティリティ・ソフトウェアの起動）を指示できるグローバルメニューの表示等である。
　ユーザは、第１パターンに属するポインタの移動、例えば、一本の指を左、または、右に素早く動かす操作をした場合に、モードである第１モード（Ｓ１００）又は第２モード（Ｓ１０２）から第３モード（Ｓ１０４）に遷移し、一方、第２パターンに属するポインタの移動、例えば、５本の指を上、または、下に素早く動かす操作をした場合に、第３モード（Ｓ１０４）から元のモードである第１モード（Ｓ１００）又は第２モード（Ｓ１０２）に遷移することができる。
　このように、本実施例における情報表示方法によれば、ユーザは、表示画面５２を見ながら、アイテムを選択できる第１モードと、選択したアイテムに対する処理を実行する第２モードと、第１モード及び第２モードに共通する操作ができる第３モードとを切り替えながら、あらゆる処理を完遂することができる。よって、３つの表示モードを遷移するだけで全ての操作をできるので、深く階層化されたメニュー等と比べ、操作が簡単であり、短時間で操作方法を習得できる。また、３つのモードについては、３つのモードのいずれからいずれにも遷移できるので、ユーザは、画面表示を切り替える際の煩わしいルールに拘束されることなく、所望の処理を完遂することができる。
　なお、本実施例における情報表示方法は、図２及び図３に示される情報入力装置１０によって実現されたが、本実施例に特化した装置である情報表示装置によって実現されてもよい。その情報表示装置は、図２における制御部２０等で構成されるコンピュータと図２における表示画面１６とを備える装置である。そして、そのコンピュータは、少なくとも一つのアイテムを表示画面に表示する表示ステップと、３次元空間における指示物の位置及び向きの少なくとも一方を検出することによってユーザからの指示を取得する指示取得ステップとを実行する。その表示ステップでは、コンピュータは、指示取得ステップで取得されたユーザの指示に従って少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、第１モードで選択された少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、指示取得ステップで取得されたユーザの指示が表示画面１６に設定された少なくとも二つの領域の一つから他方への移動である場合に、第１モードから第２モード、又は、第２モードから第１モードに変更する。
　これにより、本実施例における情報表示方法は、汎用のコンピュータによって実現され得る。
　以上、本発明の一つまたは複数の態様に係る情報入力装置及び情報表示方法について、実施の形態及び実施例１～３に基づいて説明したが、本発明は、これらの実施の形態及び実施例１～３に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態及び実施例１～３に施したものや、異なる実施の形態及び実施例１～３における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
　たとえば、上記実施の形態及び実施例１～３において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　ここで、上述の実施の形態、実施例１及び実施例２における情報入力装置を実現するソフトウェアは、次のようなプログラムである。
　すなわち、そのプログラムは、コンピュータに、以下の情報入力方法を構成する各ステップを実行させる。その情報入力方法は、表示画面に表示された画像に対するユーザの指示を取得する装置による情報入力方法であって、３次元空間における指示物の位置及び向きの少なくとも一方を検出する指示物検出ステップと、指示物検出ステップで検出された指示物の位置及び向きの少なくとも一方に対応させて表示画面に表示するポインタの表示画面における位置を決定するポインタ位置決定ステップと、ポインタ位置決定ステップで決定された位置を示す位置情報の時系列を取得して保持する記憶ステップと、記憶ステップで記憶された位置情報の時系列を用いて表示画面における予め定められた領域である第１特定領域をポインタが通過したことを検出する第１通過検出ステップと、第１通過検出ステップによって通過が検出された場合にポインタが第１特定領域を通過したときの方向を判別する方向判別ステップと、方向判別ステップによって判別された方向に応じて表示画面に表示されている画像を変更する第１画像変更ステップとを含む。
　また、上記実施例３における情報表示方法を実現するソフトウェアは、次のようなプログラムである。
　すなわち、そのプログラムは、コンピュータに、以下の情報表示方法を構成する各ステップを実行させる。その情報表示方法は、少なくとも一つのアイテムを表示画面に表示する表示ステップと、３次元空間における指示物の位置及び向きの少なくとも一方を検出することによってユーザからの指示を取得する指示取得ステップとを含み、表示ステップでは、指示取得ステップで取得されたユーザの指示に従って少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、第１モードで選択された少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、指示取得ステップで取得されたユーザの指示が表示画面に設定された少なくとも二つの領域の一つから他方への移動である場合に、第１モードから第２モード、又は、第２モードから第１モードに変更する。
　また、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。
　また、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。
　また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。さらに、これらの記録媒体に記録されているデジタル信号で実現してもよい。
　また、本発明に係るコンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
　また、本発明は、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　また、上記実施の形態及び実施例において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
　本発明は、ＧＵＩを提供する情報入力装置及び情報表示方法として、例えば、ＴＶ、コンピュータディスプレイ、又は、タブレット端末等の表示画面を有する機器に備えられる情報入力装置又は情報表示方法を実現するソフトウェア及びハードウェアとして、利用できる。
　　　１０、４０ａ、４０ｂ　　情報入力装置
　　　１１　　指示物
　　　１２　　ステレオカメラ
　　　１４　　通信部
　　　１６　　表示画面
　　　１８　　入力部
　　　２０　　制御部
　　　２２　　ＣＰＵ
　　　２４　　ＲＯＭ
　　　２６　　ＲＡＭ
　　　２８　　不揮発性メモリ
　　　４２　　指示物検出部
　　　４４　　ポインタ位置決定部
　　　４６　　記憶部
　　　４８　　第１通過検出部
　　　５０　　方向判別部
　　　５２　　表示画面
　　　６０ａ、６０ｂ、６０ｃ　表示制御部
　　　６２　　第１画像変更部
　　　６４　　第２画像変更部
　　　６５　　第３画像変更部
　　　６６　　方向決定部
　　　６８　　主操作方向決定部
　　　６９　　ポインティング可能領域決定部
　　　７０　　繰り返し処理部
　　　７２　　繰り返し検出有効化部
　　　７４　　繰り返し検出部
　　　７６　　第２通過検出部
　　　８０　　表示画面状態検出部

Claims (30)

  1. 　表示画面に表示された画像に対するユーザの指示を取得する情報入力装置であって、
    　３次元空間における指示物の位置及び向きの少なくとも一方を検出する指示物検出部と、
    　前記指示物検出部で検出された前記指示物の３次元空間における位置及び向きの少なくとも一方に対応させて、前記表示画面に表示するポインタの前記表示画面における位置を決定するポインタ位置決定部と、
    　前記ポインタ位置決定部で決定された位置を示す位置情報の時系列を取得して保持する記憶部と、
    　前記記憶部に記憶された位置情報の時系列を用いて、前記表示画面における予め定められた領域である第１特定領域を前記ポインタが通過したことを検出する第１通過検出部と、
    　前記第１通過検出部によって前記通過が検出された場合に、前記ポインタが前記第１特定領域を通過したときの方向を判別する方向判別部と、
    　前記方向判別部によって判別された方向に応じて、前記表示画面に表示されている画像を変更する第１画像変更部と
    　を備える情報入力装置。
  2. 　前記第１特定領域は、前記表示画面に表示された少なくとも一本の線分であり、
    　前記第１通過検出部は、前記ポインタが前記少なくとも一本の線分のうちの一本を交差するように通過したことを検出し、
    　前記第１画像変更部は、前記方向判別部によって判別された方向に沿って、前記画像をスクロールさせる
    　請求項１記載の情報入力装置。
  3. 　前記第１特定領域は、前記表示画面に表示された、平行に配置された２本の線分であり、
    　前記第１通過検出部は、前記ポインタが前記２本の線分のいずれかを交差するように通過したことを検出し、
    　前記方向判別部は、前記方向として、前記２本の線分で挟まれた第１領域から、前記２本の線分のいずれを交差するように前記ポインタが移動したかを判別する
    　請求項１記載の情報入力装置。
  4. 　前記第１特定領域は、前記表示画面に表示されたアイコンであり、
    　前記第１画像変更部は、前記方向判別部によって判別された方向が予め定められた方向である場合に、前記アイコンを２以上の部分アイコンに分割するように、前記画像を変更する
    　請求項１～３のいずれか１項に記載の情報入力装置。
  5. 　さらに、
    　前記記憶部に記憶された位置情報の時系列を用いて、前記ポインタが前記表示画面上における繰り返し運動をしていることを検出する繰り返し検出部と、
    　前記繰り返し検出部による検出を無効化しておき、前記第１通過検出部によって前記通過が検出された後に、前記繰り返し検出部による検出を有効化する繰り返し検出有効化部と、
    　前記繰り返し検出部によって有効な検出が行われた場合に、前記画像の変更を繰り返す第２画像変更部とを備える
    　請求項１～４のいずれか１項に記載の情報入力装置。
  6. 　前記繰り返し運動は、前記ポインタが前記表示画面上で円を描くように移動すること、及び、前記ポインタが前記表示画面上で往復移動をすることの少なくとも一つを含む
    　請求項５記載の情報入力装置。
  7. 　前記繰り返し検出部はさらに、前記繰り返し運動の終了を検出し、
    　前記繰り返し検出有効化部はさらに、前記繰り返し検出部が前記繰り返し運動の終了を検出した場合に、前記繰り返し検出部による検出を無効化する
    　請求項５又は６記載の情報入力装置。
  8. 　さらに、前記記憶部に記憶された位置情報の時系列を用いて、前記表示画面における予め定められた第２特定領域を前記ポインタが通過したことを検出する第２通過検出部を備え、
    　前記繰り返し検出有効化部はさらに、前記第２通過検出部が前記通過を検出した場合に、前記繰り返し検出部による検出を無効化する
    　請求項５～７のいずれか１項に記載の情報入力装置。
  9. 　前記第２通過検出部はさらに、前記ポインタが前記第２特定領域を通過したときの方向を判別し、
    　前記繰り返し検出有効化部は、前記第２通過検出部が前記通過を検出し、かつ、前記第２通過検出部によって判別された方向が予め定められた方向である場合に、前記繰り返し検出部による検出を無効化する
    　請求項８記載の情報入力装置。
  10. 　さらに、前記第２画像変更部による変更の程度に依存して、前記第２特定領域を変更する第３画像変更部を備える
    　請求項９記載の情報入力装置。
  11. 　前記画像に対する前記繰り返し運動に対応する変更は、前記表示画面における前記画像のスクロール、及び、前記ポインタの移動であり、
    　前記第３画像変更部は、前記画像のスクロール、及び、前記ポインタの移動における速度が大きいほど、前記第１特定領域から遠い位置に前記第２特定領域を配置することによって、前記第２特定領域の位置を示す画像を表示する
    　請求項１０記載の情報入力装置。
  12. 　さらに、前記第１特定領域の属性に依存して、前記ポインタが前記第１特定領域を通過すべき方向を決定する方向決定部を備え、
    　前記第１画像変更部は、前記方向判別部で判別された方向が、前記方向決定部で決定された方向である場合に、前記画像を変更する
    　請求項１～１１のいずれか１項に記載の情報入力装置。
  13. 　前記方向決定部は、前記第１特定領域が前記表示画面の枠を構成する辺に接して配置されている場合には、前記方向として、前記辺を横切る方向に決定する
    　請求項１２記載の情報入力装置。
  14. 　前記方向決定部は、前記第１特定領域が前記表示画面の枠を構成する辺に接して配置されている場合には、前記方向として、前記辺と平行な方向に決定する
    　請求項１２記載の情報入力装置。
  15. 　前記方向決定部は、複数の前記第１特定領域の密集度に依存して、前記方向を決定する
    　請求項１２～１４のいずれか１項に記載の情報入力装置。
  16. 　さらに、前記第１特定領域の属性に基づいて、前記画像に対するユーザの主操作方向を決定する主操作方向決定部を備え、
    　前記方向決定部は、前記主操作方向決定部で決定された主操作方向を含まない範囲の方向から前記方向を決定する
    　請求項１２～１５のいずれか１項に記載の情報入力装置。
  17. 　さらに、前記指示物検出部に対する前記表示画面の位置及び姿勢を検出する表示画面状態検出部を備え、
    　前記主操作方向決定部は、前記表示画面状態検出部で検出された前記位置及び前記姿勢に依存して前記主操作方向を決定する
    　請求項１６記載の情報入力装置。
  18. 　前記指示物検出部は、前記ユーザの手又は指の姿勢を検出し、
    　前記方向決定部は、前記指示物検出部で検出された前記姿勢に依存して、前記方向を決定する
    　請求項１２～１７のいずれか１項に記載の情報入力装置。
  19. 　表示画面に表示された画像に対するユーザの指示を取得する装置による情報入力方法であって、
    　３次元空間における指示物の位置及び向きの少なくとも一方を検出する指示物検出ステップと、
    　前記指示物検出ステップで検出された前記位置及び向きの少なくとも一方に対応させて、前記表示画面に表示するポインタの前記表示画面における位置を決定するポインタ位置決定ステップと、
    　前記ポインタ位置決定ステップで決定された位置を示す位置情報の時系列を取得して保持する記憶ステップと、
    　前記記憶ステップで記憶された位置情報の時系列を用いて、前記表示画面における予め定められた領域である第１特定領域を前記ポインタが通過したことを検出する第１通過検出ステップと、
    　前記第１通過検出ステップによって前記通過が検出された場合に、前記ポインタが前記第１特定領域を通過したときの方向を判別する方向判別ステップと、
    　前記方向判別ステップによって判別された方向に応じて、前記表示画面に表示されている画像を変更する第１画像変更ステップと
    　を含む情報入力方法。
  20. 　請求項１９記載の情報入力方法に含まれるステップをコンピュータに実行させるプログラム。
  21. 　コンピュータによって実行される情報表示方法であって、
    　少なくとも一つのアイテムを表示画面に表示する表示ステップと、
    　３次元空間における指示物の位置及び向きの少なくとも一方を検出することによって、ユーザからの指示を取得する指示取得ステップとを含み、
    　前記表示ステップは、
    　前記指示取得ステップで取得されたユーザの指示に従って前記少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、前記第１モードで選択された前記少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、
    　前記指示取得ステップで取得されたユーザの指示が、前記表示画面に設定された少なくとも二つの領域の一つから他方への移動である場合に、前記第１モードから前記第２モード、又は、前記第２モードから第１モードに変更する
    　情報表示方法。
  22. 　前記少なくとも二つの領域は、前記表示画面に表示された線分によって区切られる二つの領域が含まれ、
    　前記移動には、前記線分を超える移動が含まれる
    　請求項２１記載の情報表示方法。
  23. 　前記表示ステップは、少なくとも一つのアイテムをグループとする、複数のグループを前記表示画面に表示し、
    　前記第１モードでは、前記複数のグループのうちの第１グループが選択可能であり、前記複数のグループのうちの第２グループが選択不可能である
    　請求項２１又は２２記載の情報表示方法。
  24. 　前記第１モードでは、前記指示取得ステップで取得されたユーザの指示が前記移動である場合に、前記第１グループに属していたアイテムが移動して前記第２グループに属するアイテムとなり、選択不可能になる
    　請求項２３記載の情報表示方法。
  25. 　前記第２モードでは、
    　前記第１モードで選択されたアイテムに対する前記処理に対応づけられたアイコンが前記表示画面に表示され、
    　前記アイコンには、少なくとも二つの領域が対応づけられ、
    　前記指示取得ステップで取得されたユーザの指示が、前記アイコンに対応づけられた少なくとも二つの領域の一つから他方への移動である場合に、前記アイコンに対応づけられた処理が実行される
    　請求項２１～２４のいずれか１項に記載の情報表示方法。
  26. 　前記アイコンは、当該アイコンに対応づけられたアイテムの属性に依存して、当該アイコンに対応づけられた処理が実行可能である状態、及び、実行不可能な状態をとる
    　請求項２５記載の情報表示方法。
  27. 　前記表示ステップはさらに、メニューを表示する第３モードを有し、
    　前記表示ステップは、
    　前記指示取得ステップで取得されたユーザの指示が示すポインタの移動が第１パターンに属する場合に、元のモードである前記第１モード又は前記第２モードから前記第３モードに遷移し、
    　前記指示取得ステップで取得されたユーザの指示が示すポインタの移動が第２パターンに属する場合に、前記第３モードから前記元のモードに遷移する
    　請求項２１～２６のいずれか１項に記載の情報表示方法。
  28. 　前記指示取得ステップはさらに、３次元空間における前記指示物の個数を検出し、
    　前記第１パターンと前記第２パターンとは、異なる個数の前記指示物を用いたユーザの指示である
    　請求項２７記載の情報表示方法。
  29. 　請求項２１記載の情報表示方法に含まれるステップをコンピュータに実行させるプログラム。
  30. 　コンピュータと表示画面とを備える情報表示装置であって、
    　前記コンピュータは、
    　少なくとも一つのアイテムを表示画面に表示する表示ステップと、
    　３次元空間における指示物の位置及び向きの少なくとも一方を検出することによって、ユーザからの指示を取得する指示取得ステップとを実行し、
    　前記表示ステップは、
    　前記指示取得ステップで取得されたユーザの指示に従って前記少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、前記第１モードで選択された前記少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、
    　前記指示取得ステップで取得されたユーザの指示が、前記表示画面に設定された少なくとも二つの領域の一つから他方への移動である場合に、前記第１モードから前記第２モード、又は、前記第２モードから前記第１モードに変更する
    　情報表示装置。
PCT/JP2013/004766 2012-08-30 2013-08-07 情報入力装置及び情報表示方法 WO2014034031A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014501116A JP6062416B2 (ja) 2012-08-30 2013-08-07 情報入力装置及び情報表示方法
US14/353,876 US9798456B2 (en) 2012-08-30 2013-08-07 Information input device and information display method
EP13833330.7A EP2891949A4 (en) 2012-08-30 2013-08-07 INFORMATION INPUT DEVICE AND INFORMATION DISPLAY METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012190622 2012-08-30
JP2012-190622 2012-08-30

Publications (1)

Publication Number Publication Date
WO2014034031A1 true WO2014034031A1 (ja) 2014-03-06

Family

ID=50182872

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/004766 WO2014034031A1 (ja) 2012-08-30 2013-08-07 情報入力装置及び情報表示方法

Country Status (4)

Country Link
US (1) US9798456B2 (ja)
EP (1) EP2891949A4 (ja)
JP (1) JP6062416B2 (ja)
WO (1) WO2014034031A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016139340A (ja) * 2015-01-28 2016-08-04 富士ゼロックス株式会社 情報入力システムおよび入力装置
JP2018032130A (ja) * 2016-08-23 2018-03-01 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
JP2018163668A (ja) * 2018-05-14 2018-10-18 株式会社ユピテル 電子情報システム及びそのプログラム
JPWO2022191276A1 (ja) * 2021-03-10 2022-09-15
US11861145B2 (en) 2018-07-17 2024-01-02 Methodical Mind, Llc Graphical user interface system

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5664103B2 (ja) * 2010-10-08 2015-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9372598B2 (en) * 2014-01-14 2016-06-21 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Reference-based circular scrolling menu
CN106569549B (zh) * 2016-10-17 2023-04-07 广州第贰人类科技有限公司 一种基于液晶触摸屏的显示方法及装置
EP3783903A1 (en) * 2018-04-27 2021-02-24 Spotify AB Media playback actions based on knob rotation
WO2023149671A1 (ko) * 2022-02-03 2023-08-10 삼성전자 주식회사 입력 모드를 전환하는 증강 현실 장치 및 그 방법
US12050726B2 (en) 2022-02-03 2024-07-30 Samsung Electronics Co., Ltd. Augmented reality device for changing input mode and method thereof
JP2023172541A (ja) * 2022-05-24 2023-12-06 セイコーエプソン株式会社 表示方法および表示システム
EP4400956A1 (en) * 2023-01-12 2024-07-17 ameria AG Touchless user interface provision method based on an electronic device case
EP4400942A1 (en) * 2023-01-12 2024-07-17 ameria AG Touchless user interface control method, system, computer program and computer-readable medium
WO2024149695A1 (en) * 2023-01-12 2024-07-18 Ameria Ag Touchless user interface operating method based on an electronic device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101874A (ja) * 1995-10-06 1997-04-15 Fujitsu Ltd 表示制御方法
JP2006277666A (ja) * 2005-03-30 2006-10-12 Nhk Engineering Services Inc 表示画面上位置解析装置及び表示画面上位置解析プログラム
WO2008111245A1 (ja) 2007-03-14 2008-09-18 Japan Science And Technology Agency 仮想感覚提示装置
JP2011505045A (ja) * 2007-11-28 2011-02-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 検知装置及び方法
JP2012123563A (ja) * 2010-12-07 2012-06-28 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP2012141978A (ja) * 2010-12-29 2012-07-26 Samsung Electronics Co Ltd タッチスクリーンを含む装置及びその装置のスクロール方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7730401B2 (en) * 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
US20060256109A1 (en) * 2005-03-18 2006-11-16 Kristin Acker Interactive floorplan viewer
EP2169926B1 (en) 2008-09-23 2018-01-03 Vodafone Holding GmbH Method and apparatus for providing access to data items
JP4752900B2 (ja) 2008-11-19 2011-08-17 ソニー株式会社 画像処理装置、画像表示方法および画像表示プログラム
JP5182202B2 (ja) 2009-04-14 2013-04-17 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
KR101640463B1 (ko) * 2009-05-19 2016-07-18 삼성전자 주식회사 휴대 단말기의 운용 방법 및 이를 지원하는 휴대 단말기
JP5658500B2 (ja) * 2010-07-26 2015-01-28 キヤノン株式会社 情報処理装置及びその制御方法
JP5449074B2 (ja) 2010-07-27 2014-03-19 日本電信電話株式会社 情報入力装置
JP5547139B2 (ja) 2011-07-29 2014-07-09 株式会社東芝 認識装置、方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101874A (ja) * 1995-10-06 1997-04-15 Fujitsu Ltd 表示制御方法
JP2006277666A (ja) * 2005-03-30 2006-10-12 Nhk Engineering Services Inc 表示画面上位置解析装置及び表示画面上位置解析プログラム
WO2008111245A1 (ja) 2007-03-14 2008-09-18 Japan Science And Technology Agency 仮想感覚提示装置
JP2011505045A (ja) * 2007-11-28 2011-02-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 検知装置及び方法
JP2012123563A (ja) * 2010-12-07 2012-06-28 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP2012141978A (ja) * 2010-12-29 2012-07-26 Samsung Electronics Co Ltd タッチスクリーンを含む装置及びその装置のスクロール方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2891949A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016139340A (ja) * 2015-01-28 2016-08-04 富士ゼロックス株式会社 情報入力システムおよび入力装置
JP2018032130A (ja) * 2016-08-23 2018-03-01 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
JP2018163668A (ja) * 2018-05-14 2018-10-18 株式会社ユピテル 電子情報システム及びそのプログラム
US11861145B2 (en) 2018-07-17 2024-01-02 Methodical Mind, Llc Graphical user interface system
JPWO2022191276A1 (ja) * 2021-03-10 2022-09-15
WO2022191276A1 (ja) * 2021-03-10 2022-09-15 株式会社ネクステッジテクノロジー 操作入力装置、操作入力方法及びプログラム
JP7452917B2 (ja) 2021-03-10 2024-03-19 株式会社ネクステッジテクノロジー 操作入力装置、操作入力方法及びプログラム

Also Published As

Publication number Publication date
EP2891949A4 (en) 2015-09-16
US9798456B2 (en) 2017-10-24
JPWO2014034031A1 (ja) 2016-08-08
JP6062416B2 (ja) 2017-01-18
EP2891949A1 (en) 2015-07-08
US20140298261A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
JP6062416B2 (ja) 情報入力装置及び情報表示方法
US9465437B2 (en) Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor
JP6159323B2 (ja) 情報処理方法及び情報処理装置
US9836146B2 (en) Method of controlling virtual object or view point on two dimensional interactive display
US8810509B2 (en) Interfacing with a computing application using a multi-digit sensor
JP4557058B2 (ja) 情報表示端末、情報表示方法、およびプログラム
JP6021335B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
WO2011142317A1 (ja) ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US8830273B2 (en) Display control apparatus and display control method, display control program, and recording medium
US20160283054A1 (en) Map information display device, map information display method, and map information display program
EP1969450A1 (en) Mobile device and operation method control available for using touch and drag
JP6004693B2 (ja) 表示制御装置及びその制御方法
JP2011134111A (ja) タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体
KR20080095085A (ko) 회전 가능한 입력 수단을 이용한 사용자 인터페이스 방법및 장치
JP2015060303A (ja) 情報処理装置
JP5627314B2 (ja) 情報処理装置
JP2019023849A (ja) 入力制御方法、コンピュータ、および、プログラム
JP5595312B2 (ja) 表示装置、表示装置の制御方法、及びプログラム
JP6008904B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
KR101231105B1 (ko) 휴대기기의 ｕｉ를 위한 모션 센서 제어 시스템 및 그 방법
JP6362110B2 (ja) 表示制御装置、その制御方法、プログラム、及び記録媒体
KR101136327B1 (ko) 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기
JP5645530B2 (ja) 情報処理装置及びその制御方法
US20150323999A1 (en) Information input device and information input method
JP2014215815A (ja) 入力装置および入力制御プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014501116

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13833330

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14353876

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE