WO2014207971A1 - ユーザインタフェース装置及び表示オブジェクト操作方法 - Google Patents

ユーザインタフェース装置及び表示オブジェクト操作方法 Download PDF

Info

Publication number
WO2014207971A1
WO2014207971A1 PCT/JP2014/001871 JP2014001871W WO2014207971A1 WO 2014207971 A1 WO2014207971 A1 WO 2014207971A1 JP 2014001871 W JP2014001871 W JP 2014001871W WO 2014207971 A1 WO2014207971 A1 WO 2014207971A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
user
motion
finger
knob
Prior art date
Application number
PCT/JP2014/001871
Other languages
English (en)
French (fr)
Inventor
公一 石野
田中　義照
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to US14/422,936 priority Critical patent/US9836199B2/en
Priority to JP2014553565A priority patent/JP6227563B2/ja
Priority to CN201480002144.9A priority patent/CN104583913B/zh
Publication of WO2014207971A1 publication Critical patent/WO2014207971A1/ja
Priority to US15/680,492 priority patent/US10466880B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a user interface device and a display object operation method for a display object in a three-dimensional stereoscopic video.
  • Patent Document 1 As a detailed display object operation method using a user's finger in a 3D stereoscopic image, there is a technique described in Patent Document 1.
  • a user performs an operation by wearing a glove with a marker.
  • the user interface device detects a pinching action using the distance between the two finger markers.
  • Such a user interface device is desired to be able to detect user actions with high accuracy.
  • an object of the present invention is to provide a user interface device that can accurately detect a user's action.
  • a user interface device includes a display unit that displays a two-dimensional or three-dimensional object in a display space, a sensor unit that measures a three-dimensional coordinate of a user's finger in the display space, and the sensor unit Using the three-dimensional coordinates of the user's finger measured by the operation detection unit that detects the operation of the user's finger with respect to the object, and the display unit displays according to the detection result of the operation detection unit A display control unit for changing display contents.
  • the present invention can provide a user interface device that can accurately detect a user's action.
  • FIG. 1 is a block diagram of a user interface device according to an embodiment.
  • FIG. 2 is a diagram illustrating an outline of the user interface device according to the embodiment.
  • FIG. 3 is a block diagram of the motion detection unit according to the embodiment.
  • FIG. 4A is a diagram illustrating an outline of finger motion modeling according to the embodiment.
  • FIG. 4B is a diagram illustrating an outline of finger motion modeling according to the embodiment.
  • FIG. 5 is a diagram illustrating an example of a knob operation model according to the embodiment.
  • FIG. 6A is a diagram for explaining the knob detection method according to the embodiment.
  • FIG. 6B is a diagram for explaining the knob detection method according to the embodiment.
  • FIG. 7A is a diagram for explaining an angle calculation process formed by two straight lines connecting the fingertip and the sensor unit according to the embodiment.
  • FIG. 7B is a diagram for explaining an angle calculation process formed by two straight lines connecting the fingertip and the sensor unit according to the embodiment.
  • FIG. 8A is a diagram illustrating an outline of knob detection and display control according to the embodiment.
  • FIG. 8B is a diagram illustrating an outline of knob detection and display control according to the embodiment.
  • FIG. 9 is a flowchart of the knob detection process according to the embodiment.
  • FIG. 10A is a diagram for describing an operation example 1 according to the embodiment.
  • FIG. 10B is a diagram for explaining the operation example 1 according to the embodiment.
  • FIG. 11A is a diagram for explaining an operation example 2 according to the embodiment.
  • FIG. 11B is a diagram for explaining an operation example 2 according to the embodiment.
  • FIG. 11A is a diagram for explaining an operation example 2 according to the embodiment.
  • FIG. 11C is a diagram for describing an operation example 2 according to the embodiment.
  • FIG. 12A is a diagram for explaining an operation example 3 according to the embodiment.
  • FIG. 12B is a diagram for explaining an operation example 3 according to the embodiment.
  • FIG. 12C is a diagram for describing an operation example 3 according to the embodiment.
  • FIG. 13A is a diagram for explaining an operation example 4 according to the embodiment.
  • FIG. 13B is a diagram for explaining an operation example 4 according to the embodiment.
  • FIG. 13C is a diagram for describing an operation example 4 according to the embodiment.
  • FIG. 14A is a diagram for describing an operation example 5 according to the embodiment.
  • FIG. 14B is a diagram for explaining an operation example 5 according to the embodiment.
  • FIG. 14C is a diagram for describing an operation example 5 according to the embodiment.
  • FIG. 15A is a diagram for explaining an operation example 6 according to the embodiment.
  • FIG. 15B is a diagram for describing an operation example 6 according to the embodiment.
  • FIG. 15C is a diagram for describing an operation example 6 according to the embodiment.
  • FIG. 16A is a diagram for explaining an operation example 7 according to the embodiment.
  • FIG. 16B is a diagram for explaining an operation example 7 according to the embodiment.
  • FIG. 17 is a diagram for explaining an operation example 8 according to the embodiment.
  • FIG. 18 is a diagram for explaining an operation example 8 according to the embodiment.
  • Patent Document 1 In the configuration described in Patent Document 1, there is a problem that a load that a user puts on a glove is generated. Further, the configuration described in Patent Document 1 detects only the planar position of the fingertip and does not detect the position in the depth direction. As a result, depending on the position of the finger, it may be determined that the marker is approaching even when the user is not actually performing the pinching motion. As described above, the present inventor has found that the technique described in Patent Document 1 has a problem of causing erroneous detection of the operation of the knob.
  • a user interface device that can detect a user's knob operation without attaching a marker to a finger and can detect the knob operation with high accuracy will be described.
  • a user interface device that enables intuitive operation of a display object in a 3D stereoscopic image will be described.
  • a user interface device includes a display unit that displays a two-dimensional or three-dimensional object in a display space, a sensor unit that measures a three-dimensional coordinate of a user's finger in the display space, and the sensor unit Using the three-dimensional coordinates of the user's finger measured by the operation detection unit that detects the operation of the user's finger with respect to the object, and the display unit displays according to the detection result of the operation detection unit A display control unit for changing display contents.
  • the user interface device measures the three-dimensional coordinates of the user's finger and detects the movement of the user's finger using the three-dimensional coordinate. Thereby, the user interface device can detect the user's operation with high accuracy.
  • the motion detection unit may detect a pinch motion that the user pinches the object using the three-dimensional coordinates of the user's finger measured by the sensor unit.
  • the user interface device can accurately detect the knob operation using the measured three-dimensional coordinates of the user's finger.
  • the display control unit may change the display method of the target object pinched by the knob operation when the knob operation is detected by the movement detection unit.
  • the user can easily determine whether or not the knob operation has been appropriately performed.
  • the display unit displays a plurality of the objects in the display space
  • the display control unit further includes the target among the plurality of objects when the knob operation is detected by the motion detection unit. You may change the display method of objects other than an object.
  • the user interface device can relatively emphasize the target object by making objects other than the target object inconspicuous.
  • the display control unit moves the three-dimensional position of the target object in conjunction with the movement operation when the movement detection unit detects a movement operation in which the user pinches and moves the target object. May be.
  • the user interface device can realize an intuitive input operation as an object movement operation.
  • the display control unit may delete the target object when the motion detection unit detects a motion of the user breaking or tearing the target object.
  • the user interface device can realize an intuitive input operation as an object deletion operation.
  • the display control unit enlarges the target object and detects the motion when the motion detection unit detects a motion of stretching the target object while the user pinches two points of the target object.
  • the unit detects an action of shrinking the target object in a state where the user pinches two points of the target object, the target object may be reduced.
  • the user interface device can realize an intuitive input operation as an object enlargement / reduction operation.
  • the display control unit may perform the page turning operation of the target object when the motion detection unit detects a motion of turning the page of the target object while the user pinches the target object. Good.
  • the user interface device can realize an intuitive input operation as an object page turning operation.
  • the display control unit may move the target object in a direction in which the target object is repelled when the motion detection unit detects a motion of the user flicking the target object.
  • the user interface device can realize an intuitive input operation as an object movement operation.
  • the motion detection unit generates a finger motion model by recognizing a portion of the user's part that is thinner than a predetermined threshold as a finger, and detects the finger motion using the finger motion model. May be.
  • the user interface device can detect the pinch motion with high accuracy by using the finger motion model.
  • the motion detection unit detects a three-dimensional position of the user's fingertip using the finger motion model, a part of the target object exists between the fingertips, and an interval between the fingertips is When the thickness is equal to or smaller than the thickness of the target object, it may be determined that the knob operation has been performed.
  • the user interface device can detect the knob operation with high accuracy.
  • the motion detection unit may determine that the knob motion has been performed when the shape of the finger motion model matches the shape of a predetermined knob motion model.
  • the user interface device can detect the knob operation with high accuracy.
  • the display object operation method includes a display step of displaying a two-dimensional or three-dimensional object in a display space, a measurement step of measuring the three-dimensional coordinates of a user's finger in the display space, Using the three-dimensional coordinates of the user's finger measured in the measurement step, a motion detection step for detecting the motion of the user's finger with respect to the object, and display content according to the detection result of the motion detection step Display control step to be changed.
  • the display object operation method measures the three-dimensional coordinates of the user's finger and detects the movement of the user's finger using the three-dimensional coordinate. Thereby, the display object operation method can detect the user's motion with high accuracy.
  • FIG. 1 is a block diagram showing a configuration of a user interface device 100 according to the present embodiment.
  • a display unit 111 includes a display unit 111, a sensor unit 112, an operation detection unit 113, a display control unit 114, and a display data holding unit 115.
  • the display unit 111 displays a stereoscopic image including a two-dimensional or three-dimensional display object in a display space 116 that is an arbitrary area in the space.
  • the stereoscopic video is, for example, an aerial display or a hologram.
  • the stereoscopic video may be a video displayed on a so-called 3D television or the like.
  • the two-dimensional object is, for example, an object that is stereoscopically displayed and has no thickness.
  • FIG. 2 is a diagram for explaining an overview of the user interface device 100 according to the present embodiment.
  • the display space 116 is a space area where a stereoscopic video is displayed by the display unit 111.
  • the display object 117 is an image displayed on the display space 116 by the display unit 111. Although only one display object 117 is shown here, there may be a plurality of display objects. Further, the arrangement of the display unit 111 and the sensor unit 112 is not necessarily the arrangement shown in FIG.
  • the display unit 111 projects and displays a two-dimensional or three-dimensional image on an arbitrary area in space under the control of the display control unit 114.
  • the sensor unit 112 measures the three-dimensional coordinates of the object in the display space 116.
  • the sensor unit 112 measures the three-dimensional coordinates of the user's finger in the display space 116.
  • the sensor unit 112 acquires a two-dimensional image of the display space 116 by photographing the display space 116 and measures a distance between an object in the display space 116 and the sensor unit 112. It is.
  • the sensor unit 112 is a sensor device that captures an RGB image and a near infrared region image of the display space 116.
  • the sensor unit 112 measures the distance of the object in the RGB image using the captured near-infrared region image.
  • the sensor unit 112 is a TOF (Time-Of-Flight) type distance image sensor device.
  • the sensor unit 112 can realize distance measurement for each pixel.
  • the sensor unit 112 may include image sensors arranged in stereo and calculate the distance by a stereo method.
  • the image data including the measured distance information is passed to the motion detection unit 113.
  • the motion detection unit 113 detects the motion of the user's finger with respect to the display object 117 using the three-dimensional coordinates of the user's finger measured by the sensor unit 112. Specifically, the motion detection unit 113 detects a knob motion in which the user pinches the display object 117 using the three-dimensional coordinates.
  • FIG. 3 is a block diagram illustrating a configuration of the motion detection unit 113.
  • the motion detection unit 113 includes a finger motion modeling unit 131, a knob motion detection unit 132, and a knob motion model holding unit 133.
  • the finger motion modeling unit 131 includes a finger width threshold holding unit 134 and a finger motion model registration unit 135.
  • the finger motion modeling unit 131 is a model that schematically shows a user's finger using information from the sensor unit 112 when the user's hand 118 is in the display space 116.
  • a model 119 is generated.
  • the finger motion modeling unit 131 specifies a portion corresponding to the user's hand 118 using the information measured by the sensor unit 112.
  • the finger motion modeling unit 131 recognizes, as a finger, a portion that is narrower than a predetermined threshold among the specified portions.
  • the finger motion modeling unit 131 determines that a portion where the width 120 is smaller than the threshold held by the finger width threshold holding unit 134 is a finger.
  • the threshold value held in the finger width threshold value holding unit 134 may be changeable by the user.
  • the finger movement modeling unit 131 sets the center line along the longitudinal direction of the portion having the width 120 smaller than the threshold value in the finger movement model 119.
  • the generation process of the finger movement model 119 is repeatedly performed at predetermined time intervals. That is, the finger movement model 119 is updated as needed in real time.
  • the detection result of the finger motion model 119 in the immediately preceding frame is also used to create the finger motion model 119. Thereby, even when a part or the whole of a certain finger is hidden by another finger or the like, the finger motion model 119 of the hidden finger can be estimated.
  • the finger movement model registration unit 135 detects a knob movement by the user's hand 118 in advance and generates a knob movement model 136.
  • the knob operation model 136 is a reference model for use in determining whether or not a knob operation is being performed. Also, the finger movement model registration unit 135 holds the generated knob movement model 136 in the knob movement model holding unit 133.
  • FIG. 5 is a diagram illustrating an example of a knob operation model. Note that the knob operation model 136 shown in FIG. 5 is an example, and other models may be used.
  • the finger movement model registration unit 135 may hold the knob movement model 136 input from the outside in the knob movement model holding unit 133.
  • the knob movement model holding unit 133 holds the knob movement model 136 generated by the finger movement model registration unit 135, and passes the held knob movement model 136 to the knob movement detection unit 132.
  • the knob motion detection unit 132 detects the finger motion using the finger motion model 119 generated by the finger motion modeling unit 131 and the knob motion model 136 from the knob motion model holding unit 133. Further, the knob operation detection unit 132 detects the knob position coordinates which are the three-dimensional coordinates of the position pinched by the knob operation. The knob operation detection unit 132 notifies the display control unit 114 that the knob operation has been detected. In addition, after detecting the knob operation, the knob operation detection unit 132 also passes to the display control unit 114 information indicating a change in the knob position coordinates moved in accordance with the user's operation.
  • the display control unit 114 passes the display object information held in the display data holding unit 115 to the display unit 111.
  • the display control unit 114 changes the display content of the pinched display object in accordance with the change in the knob position coordinates, and passes the changed display data to the display unit 111. That is, the display control unit 114 changes the display content displayed on the display unit 111 according to the detection result of the motion detection unit 113.
  • the display control unit 114 not only delivers the changed display content to the display unit 111 according to the user's knob operation, but also changes the display object information held in the display data holding unit 115.
  • the display data holding unit 115 holds display object information displayed in the display space 116.
  • the motion detection unit 113 uses the following two knob detection methods. Note that the motion detection unit 113 may use both of the following two methods, or may use only one of them.
  • the first method will be described with reference to FIGS. 6A and 6B.
  • the finger motion modeling unit 131 generates a finger motion model 119 of the user's hand 118.
  • a finger motion model 119 of the user's hand 118 In FIG. 6A, only the finger motion model 119 of two fingers is shown, but a finger motion model 119 of three or more fingers may be used.
  • the knob motion detection unit 132 obtains the distance between the finger tip of the finger motion model 119 and the sensor unit 112 using the measurement result of the sensor unit 112 that enables distance measurement. Note that the knob motion detection unit 132 has an end portion of each finger motion model 119 corresponding to a fingertip (finger tip) based on an arrangement relationship of a plurality of finger motion models 119 assumed from a general hand shape. Determine whether.
  • the distance L1 and the distance L2 indicate the distance between the sensor unit 112 and each of the finger tips of the two fingers that perform the pinching operation.
  • knob motion detection unit 132 determines an angle ⁇ formed by a straight line connecting one finger tip and the sensor unit 112 and a straight line connecting the other finger tip and the sensor unit 112 based on image information obtained from the sensor unit 112. Ask for.
  • knob motion detection unit 132 obtains the angle ⁇ by the following method.
  • 7A and 7B are diagrams for explaining a method of calculating the angle ⁇ .
  • FIG. 7A is a diagram illustrating an example of two-dimensional image information obtained by the sensor unit 112.
  • the knob motion detection unit 132 obtains distances M1 and M2 between the center C of the sensor unit 112 and the two fingertips.
  • the coordinates of the center C of the sensor unit 112 are, for example, the center coordinates of the image.
  • the distance d between the tips of the two fingers is obtained by the following (formula 3).
  • the knob motion detection unit 132 displays the distance d between the tips of the two fingers, and the display.
  • the thickness 117 of the object 117 is compared, and if (display object thickness t) ⁇ (distance between two finger tips d) is satisfied, a pinch action is detected.
  • the motion detection unit 113 detects the three-dimensional position of the user's fingertip using the finger motion model 119. Then, the motion detection unit 113 determines that the knob motion has been performed when a part of the display object exists between the fingertips and the fingertip interval is equal to or smaller than the thickness of the display object.
  • the knob movement detection unit 132 performs pattern matching between the knob movement model 136 and the finger movement model 119 held in the knob movement model holding unit 133 in advance by the user, and detects a knob when it is determined that they match. .
  • the motion detection unit 113 determines that the knob motion has been performed when the shape of the finger motion model 119 matches the shape of the predetermined knob motion model 136.
  • the term “match” is not limited to the case of a complete match, and includes a case where the similarity is greater than a predetermined threshold.
  • the position coordinate 122 is the position coordinate of the display object 117.
  • FIG. 8A shows a state before the display object 117 is pinched by the user's hand 118, and the display object 117 is not pinched yet.
  • FIG. 8B shows a state in which the display object 117 is pinched by the user's hand 118.
  • the knob operation detecting unit 132 detects the knob operation and obtains the knob position coordinates 201 (Tx, Ty, Tz).
  • the knob motion detection unit 132 notifies the display control unit 114 that the knob detection has been performed on the display object 117.
  • the display control unit 114 passes to the display unit 111 a display instruction for performing a visual effect on the display object 117 to notify the user that the display object 117 has been pinched. That is, the display control unit 114 changes the display method of the display object 117 pinched by the knob operation.
  • the display control unit 114 highlights the pinched display object 117. For example, as illustrated in FIG. 8B, the display control unit 114 makes the outline of the display object 117 stand out. Note that the display control unit 114 may display character information indicating that it has been pinched.
  • the display control unit 114 may change the display method of display objects other than the pinched display object 117 (here, the display object 121). Specifically, the display control unit 114 makes the display object 121 inconspicuous. For example, the display control unit 114 passes a display instruction for implementing a visual effect such as increasing the transparency of the display object 121 or temporarily hiding the display object 121 to the display unit 111.
  • FIG. 9 is a flowchart showing a flow of knob detection processing according to the present embodiment.
  • step S ⁇ b> 101 the finger motion modeling unit 131 obtains distance information between each part of the user's hand 118 and the sensor unit 112 from the sensor unit 112. Further, based on the width 120 of each part, the finger movement modeling unit 131 determines that the part whose width 120 is narrower than the threshold held in the finger width threshold holding part 134 is a finger, and generates a finger movement model 119. .
  • step S102 the knob motion detection unit 132 determines whether there is a display object between the tips of any two fingers.
  • step S102 If there is no display object between the tips of any two fingers (No in S102), the process proceeds to step S108 where the knob is not detected, and the process ends without detecting the knob operation.
  • step S102 if there is a display object between the tips of any two fingers (Yes in S102), the process proceeds to step S103.
  • step S103 the knob motion detection unit 132 compares the distance d between the tips of any two fingers with the thickness t of the display object. If (display object thickness t) ⁇ (distance d between two fingers) (No in S103), the process proceeds to step S104. On the other hand, if (display object thickness t) ⁇ (distance between two finger tips d) (Yes in S103), the process proceeds to step S105.
  • step S104 the knob movement detection unit 132 performs pattern matching between the finger movement model 119 obtained in step S101 and the knob movement model 136 held in the knob movement model holding unit 133. If the finger movement model 119 and the knob movement model 136 do not match (No in SS104), the process proceeds to step S108 where no knob movement is detected, and the knob movement is terminated without being detected. On the other hand, when the finger motion model 119 and the knob motion model 136 match (Yes in S104), the process proceeds to step S105.
  • step S105 the display control unit 114 satisfies (display object thickness t) ⁇ (distance between two finger tips d) (Yes in S103) or pattern matching with the knob motion model 136 (S104). Yes), a display instruction indicating knob detection for the display object determined to be pinched is passed to the display unit 111. Thereby, the display unit 111 displays a video according to the display instruction in the display space 116. Details of the display instruction indicating the knob detection will be described later in [Operation Example 1] to [Operation Example 8].
  • step S106 the display control unit 114 gives a display instruction to the display unit 111 to increase the transparency or temporarily hide the display object other than the pinched display object.
  • step S107 the knob is detected.
  • both the determination using the thickness t of the display object and the distance d between the finger tips (S103) and the pattern matching (S104) between the finger motion model 119 and the knob motion model 136 are performed. Only one of them may be performed. Further, the order of steps S103 and S104 may be reversed.
  • steps S105 to S107 may be any order. Also, some or all of steps S105 to S107 may be processed simultaneously (in parallel).
  • the above process is performed in real time (repeatedly performed at a predetermined time interval), so that the finger movement model 119 is updated at any time and the knob movement is detected.
  • the motion detection unit 113 generates the finger motion model 119 by recognizing a portion of the user's part that is thinner than a predetermined threshold value as a finger, and uses the finger motion model 119 to make a knob Detect motion. Specifically, the motion detection unit 113 detects the three-dimensional position of the user's fingertip using the finger motion model 119, a part of the target object (display object 117) exists between the fingertips, and If the fingertip interval is equal to or smaller than the thickness of the target object, it is determined that the pinching operation has been performed. Alternatively, the motion detection unit 113 determines that the knob motion has been performed when the shape of the finger motion model 119 matches the shape of the predetermined knob motion model 136.
  • the motion detection unit 113 can appropriately detect the pinch motion by using the finger motion model 119.
  • the operation example 1 is an operation in which the user moves the display object 117 using a knob operation.
  • 10A and 10B are diagrams for explaining the operation example 1.
  • FIG. 10A and 10B are diagrams for explaining the operation example 1.
  • FIG. 10A shows a state where the user has pinched the display object 117 at the position coordinates 122 (O1x, O1y, O1z).
  • the coordinates of the knob position at this time are the knob position coordinates 202 (T1x, T1y, T1z).
  • FIG. 10B shows a case where the user moves the knob position to the knob position coordinates 203 (T2x, T2y, T2z) while holding the display object 117.
  • the display control unit 114 Moves the display position of the display object 117 from the position coordinate 122 (O1x, O1y, O1z) to the position coordinate 123 (O2x, O2y, O2z).
  • O2x O1x + (T2x ⁇ T1x)
  • O2y O1y + (T2y ⁇ T1y)
  • O2z O1z + (T2z ⁇ T1z).
  • the display control unit 114 is linked to the moving motion in three dimensions of the target object. Move position. Specifically, after the movement detecting unit 113 detects a knob operation in which the user pinches the target object, the display control unit 114 changes the movement when the knob position is moved while the knob operation is maintained. In conjunction with this, the three-dimensional position of the target object is moved.
  • interlocking means, for example, moving the target object in the same direction and the same movement amount as the movement of the knob position. Note that the movement direction and the movement amount do not have to be exactly the same, and a predetermined offset or correction may be added.
  • the operation example 2 is an operation in which the user deletes the display object 117 using a knob operation.
  • 11A to 11C are diagrams for explaining the operation example 2.
  • FIG. 1 is a diagram for explaining the operation example 2.
  • the deletion reservation area 400 and the deletion reservation area 401 shown in FIGS. 11A to 11C are predetermined areas included in the display object 117. As shown in FIG. 11A, when the user performs a knob operation on the deletion reservation area 400 and the deletion reservation area 401, the display object 117 enters a deletion waiting state.
  • the display control unit 114 displays the notification image 300 on the display unit 111 in order to notify the user that the display object 117 is in a deletion waiting state.
  • an image showing a trash can is used as the notification image 300, but the notification image 300 is not limited to this pattern.
  • the two knob positions are respectively changed from the knob position coordinates 204 to the knob position coordinates 206 (T3x, T3y, T3z), and from the knob position coordinates 205 to the knob position coordinates 207 (T4x, T4y,
  • the display control unit 114 causes the display unit 111 to display a display effect that tears the display object 117 in accordance with the user's action.
  • the distance between the knob position coordinates 206 and the knob position coordinates 207 is expressed by the following (formula 4).
  • the display control unit 114 determines that the display object 117 has been deleted, and passes an instruction to turn off the display of the display object 117 to the display unit 111. Furthermore, the display control unit 114 also deletes information on the display object 117 held in the display data holding unit 115.
  • the two knob positions are respectively changed from the knob position coordinates 204 to the knob position coordinates 208 (T5x, T5y, T5z), and from the knob position coordinates 205 to the knob position coordinates 209.
  • the display control unit 114 causes the display unit 111 to display a display effect that tears the display object 117 in accordance with the user's action.
  • the distance between the knob position coordinates 206 and the knob position coordinates 207 is expressed by the following (formula 5).
  • the display control unit 114 determines that the display object 117 has been deleted, and passes an instruction to turn off the display of the display object 117 to the display unit 111. Furthermore, the display control unit 114 also deletes information on the display object 117 held in the display data holding unit 115.
  • the display control unit 114 deletes the target object when the motion detection unit 113 detects a motion of the user breaking or tearing the target object (display object 117). For example, after the movement detection unit 113 detects a pinch operation in which the user pinches two points of the target object with both hands, the display control unit 114 is configured such that the distance between the two points is greater than a predetermined deletion threshold. When the knob position is moved, the target object is deleted.
  • the deletion wait state is entered.
  • the deletion waiting area 400 can enter the deletion waiting state. Good.
  • the operation example 3 is an operation in which the user enlarges or reduces the display object 117 in the horizontal direction by using a knob operation.
  • 12A to 12C are diagrams for explaining the operation example 3.
  • FIG. 12A to 12C are diagrams for explaining the operation example 3.
  • the horizontal expansion / reduction reservation area 402 and the horizontal expansion / reduction reservation area 403 are predetermined areas included in the display object 117.
  • the horizontal enlargement / reduction reservation area 402 is an area around the left end of the display object 117
  • the horizontal enlargement / reduction reservation area 403 is an area around the right end of the display object 117.
  • the display control unit 114 displays a notification image 301 on the display unit 111 in order to notify the user that the display object 117 is in the state of waiting for enlargement / reduction in the horizontal direction.
  • a notification image 301 is used as the notification image 301, but the notification image 301 is not limited to this pattern.
  • the two knob positions change from the knob position coordinates 210 (T7x, T7y, T7z) to the knob position coordinates 212 (T9x, T9y, T9z), respectively.
  • the display control unit 114 changes according to the amount of change (T9x-T7x) and (T10x-T8x) in the horizontal direction.
  • a display instruction for enlarging or reducing the horizontal size of the display object 117 is passed to the display unit 111.
  • the display control unit 114 enlarges the target object when the motion detection unit 113 detects a motion of stretching the target object while the user pinches two points of the target object (display object 117). .
  • the motion detection unit 113 performs a knob operation in which the user pinches each of the horizontal enlargement / reduction reservation area 402 and the horizontal enlargement / reduction reservation area 403 included in the target object with both hands. After detection, if the knob position is moved so that the difference between the horizontal coordinates of the knob position is increased while the knob operation is maintained, the horizontal size of the target object is enlarged by the same amount as the difference. To do. Note that the amount of enlargement of the horizontal size need not be exactly the same as the amount of increase in the difference in the horizontal direction of the knob position, and a predetermined offset or correction may be added.
  • the display control unit 114 reduces the target object when the motion detection unit 113 detects an operation of contracting the target object while the user pinches two points of the target object. Specifically, in the display control unit 114, the motion detection unit 113 performs a knob operation in which the user pinches each of the horizontal enlargement / reduction reservation area 402 and the horizontal enlargement / reduction reservation area 403 included in the target object with both hands. After detection, if the knob position is moved so that the difference in the horizontal coordinate of the knob position is reduced while the knob operation is maintained, the horizontal size of the target object is reduced by the same amount as the difference. To do. Note that the amount of reduction in the horizontal size need not be exactly the same as the amount of reduction in the difference in the horizontal direction of the knob position, and a predetermined offset or correction may be added.
  • the operation example 4 is an operation in which the user enlarges or reduces the display object 117 diagonally using a knob operation.
  • 13A to 13C are diagrams for explaining the operation example 4. FIG.
  • the diagonal expansion / reduction reservation area 404 and the diagonal expansion / reduction reservation area 405 are predetermined areas included in the display object 117.
  • the oblique enlargement / reduction reservation area 404 is an area around the upper left end of the display object 117
  • the oblique enlargement / reduction reservation area 405 is an area around the lower right end of the display object 117.
  • the display object 117 enters an oblique enlargement / reduction waiting state.
  • the two diagonally enlarged / reduced reservation areas may be an area around the lower left end and an area around the upper right end of the display object 117.
  • a pinch motion is detected for one of the pair of the area around the upper left corner and the area around the lower right edge, and the pair of the area around the lower left edge and the area around the upper right edge.
  • the object 117 may be in a state of waiting for enlargement / reduction in an oblique direction. In other words, the display object 117 may be in a state of waiting for enlargement / reduction in the diagonal direction when the areas around the two opposite corners of the display object 117 are pinched.
  • the display control unit 114 displays the notification image 302 on the display unit 111 in order to notify the user that the display object 117 is in the diagonally enlarging / reducing standby state.
  • an image showing an arrow in an oblique direction is used as the notification image 302, but the notification image 302 is not limited to this pattern.
  • the two knob positions change from the knob position coordinates 214 (T11x, T11y, T11z) to the knob position coordinates 216 (T13x, T13y, T13z), respectively.
  • the amount of change in the diagonal direction is expressed by the following (Expression 6) and (Expression 7).
  • the display control unit 114 passes a display instruction for enlarging or reducing the size of the display object 117 in an oblique direction to the display unit 111 according to the amount of change.
  • the display control unit 114 enlarges the target object when the motion detection unit 113 detects a motion of stretching the target object while the user pinches two points of the target object (display object 117). . Specifically, the display control unit 114 causes the motion detection unit 113 to perform a pinch operation in which the user pinches each of the oblique enlargement / reduction reservation area 404 and the oblique enlargement / reduction reservation area 405 included in the target object with both hands. After detection, if the knob position is moved so that the difference in the coordinate in the diagonal direction of the knob position is increased while the knob operation is maintained, the size of the target object in the diagonal direction is enlarged by the same amount as the difference. To do. Note that the amount of enlargement in the diagonal direction need not be exactly the same as the amount of increase in the difference in the diagonal direction of the knob position, and a predetermined offset or correction may be added.
  • the display control unit 114 reduces the target object when the motion detection unit 113 detects an operation of contracting the target object while the user pinches two points of the target object. Specifically, the display control unit 114 causes the motion detection unit 113 to perform a pinch operation in which the user pinches each of the oblique enlargement / reduction reservation area 404 and the oblique enlargement / reduction reservation area 405 included in the target object with both hands. After detection, if the knob position is moved so that the difference in the coordinate in the diagonal direction of the knob position is reduced while the knob operation is maintained, the size of the target object in the diagonal direction is reduced by the same amount as the difference. To do. Note that the amount of size reduction in the oblique direction need not be exactly the same as the amount of decrease in the difference in the oblique direction of the knob position, and a predetermined offset or correction may be added.
  • the operation example 5 is an operation in which the user enlarges or reduces the display object 117 in the vertical direction by using a knob operation.
  • 14A to 14C are diagrams for explaining the operation example 5.
  • FIG. 1 is a diagram for explaining the operation example 5.
  • the vertical direction enlargement / reduction reservation area 406 and the vertical direction enlargement / reduction reservation area 407 are predetermined areas included in the display object 117.
  • the vertical enlargement / reduction reservation area 406 is an area around the upper end of the display object 117
  • the vertical enlargement / reduction reservation area 407 is an area around the lower end of the display object 117.
  • the display object 117 enters a vertical enlargement / reduction waiting state.
  • the display control unit 114 displays a notification image 303 on the display unit 111 in order to notify the user that the display object 117 is in a state of waiting for enlargement / reduction in the vertical direction.
  • a notification image 303 is used as the notification image 303, but the notification image 303 is not limited to this pattern.
  • the two knob positions change from the knob position coordinates 218 (T15x, T15y, T15z) to the knob position coordinates 220 (T17x, T17y, T17z), respectively.
  • the display control unit 114 changes according to the amount of vertical change (T17y-T15y) and (T18y-T16y).
  • a display instruction for enlarging or reducing the vertical size of the display object 117 is passed to the display unit 111.
  • the display control unit 114 enlarges the target object when the motion detection unit 113 detects a motion of stretching the target object while the user pinches two points of the target object (display object 117). To do. Specifically, the display control unit 114 causes the motion detection unit 113 to perform a pinch operation in which the user pinches each of the vertical enlargement / reduction reservation area 406 and the vertical enlargement / reduction reservation area 407 included in the target object with both hands. After detection, if the knob position is moved so that the difference in the vertical coordinate of the knob position is increased while the knob operation is maintained, the vertical size of the target object is enlarged by the same amount as the difference. To do. Note that the amount of enlargement in the vertical direction does not have to be exactly the same as the amount of increase in the difference in the vertical direction of the knob position, and a predetermined offset or correction may be added.
  • the display control unit 114 reduces the target object when the motion detection unit 113 detects an operation of contracting the target object while the user pinches two points of the target object. Specifically, the display control unit 114 causes the motion detection unit 113 to perform a pinch operation in which the user pinches each of the vertical enlargement / reduction reservation area 406 and the vertical enlargement / reduction reservation area 407 included in the target object with both hands. After detection, if the knob position is moved so that the difference in the vertical coordinate of the knob position is reduced while the knob operation is maintained, the vertical size of the target object is reduced by the same amount as the difference. To do. Note that the amount of reduction in size in the vertical direction does not have to be exactly the same as the amount of reduction in the difference in the vertical direction of the knob position, and a predetermined offset or correction may be added.
  • the operation example 6 is a page turning operation in which the user uses a knob operation.
  • 15A to 15C are diagrams for explaining the operation example 6. FIG.
  • the page turning reservation area 408 and the page turning reservation area 409 are predetermined areas of the display object 117.
  • the page turning reserved area 408 is an area around the left end of the display object 117
  • the page turning reserved area 409 is an area around the right end of the display object 117.
  • the display object 117 enters a page turning waiting state.
  • the display control unit 114 displays a notification image 304 on the display unit 111 in order to notify the user that the display object 117 is in a page turning waiting state.
  • a notification image 304 is used as the notification image 304, but the notification image 304 is not limited to this picture.
  • the display control unit 114 determines that the user has performed the page turning operation, and displays the page turning operation of the display object 117. An instruction is passed to the display unit 111.
  • the display control unit 114 can be changed by the user. It is determined that a page turning operation has been performed, and a display instruction for the page turning operation of the display object 117 is passed to the display unit 111.
  • the display control unit 114 performs the page turning operation of the target object when the motion detection unit 113 detects a motion of turning the page of the target object while the user pinches the target object (display object 117).
  • the target object is an object that can turn a page, for example, a three-dimensional or two-dimensional electronic book.
  • the display control unit 114 uses the motion detection unit 113 to detect the gripping motion in which the user pinches the area around the page edge of the target object, and the gripping position is maintained on the near side and the center of the page while the gripping motion is maintained.
  • the page turning operation of the target object is performed.
  • the page turning operation is, for example, an operation of switching the page of the electronic book to be displayed to the next page.
  • the operation example 7 is an operation in which the user flips the display object 117 with a finger.
  • 16A and 16B are diagrams for explaining the operation example 7.
  • FIG. 1 is a diagram for explaining the operation example 7.
  • the user performs an operation of repelling the display object 117 by releasing the finger performing the knob operation from the knob state shown in FIG. 16A, as shown in FIG. 16B.
  • the position coordinates 500 (T21x, T21y, T21z) and the position coordinates 501 (T22x, T22y, T22z) are the position coordinates of the tip portions of the two fingers performing the knob operation.
  • a time immediately before two fingers are separated from the knob operation of FIG. 16A is t1.
  • the position of the tip of each of the two fingers when performing the repelling motion of FIG. 16B is changed from a position coordinate 500 (T21x, T21y, T21z) to a position coordinate 502 (T23x, T23y, T23z).
  • T22x, T22y, T22z) is changed to position coordinates 503 (T24x, T24y, T24z), and the time when the repelling operation is performed is t2.
  • the display object 117 is moved from the position coordinate 124 (O3x, O3y, O3z) to the position coordinate 125 (O4x, O4y, O4z) by the repelling action.
  • the gain setting value can be set by the user.
  • the display control unit 114 moves the target object in the direction in which the target object is repelled when the motion detection unit 113 detects a motion of the user flicking the target object (display object 117). Specifically, the display control unit 114 moves the target object further from the original position as the speed at which the target object is repelled and the change amount of the finger are larger.
  • the operation example 8 is another operation example.
  • the display control unit 114 displays the display object 117 as You may perform the display which was shaken.
  • a plurality of display objects may be pinched by a single knob operation.
  • processing is performed on all of the plurality of pinched display objects by the operations of the operation examples 1 to 7.
  • the user interface device according to the embodiment of the present invention has been described above, but the present invention is not limited to this embodiment.
  • the shape of the display object is not limited to this.
  • each processing unit included in the user interface device according to the above embodiment is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • division of functional blocks in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, a single functional block can be divided into a plurality of functions, or some functions can be transferred to other functional blocks. May be.
  • functions of a plurality of functional blocks having similar functions may be processed in parallel or time-division by a single hardware or software.
  • the present invention can be realized not only as the above-described user interface device, but also as a display object operation method using a characteristic means included in the user interface device as a step, or a control method of the user interface device.
  • the order in which the above steps are executed in the user interface device is for illustration in order to specifically describe the present invention, and may be in an order other than the above. Also, some of the above steps may be executed simultaneously (in parallel) with other steps.
  • the user interface device has been described based on the embodiment, but the present invention is not limited to this embodiment. Unless it deviates from the gist of the present invention, various modifications conceived by those skilled in the art have been made in this embodiment, and forms constructed by combining components in different embodiments are also within the scope of one or more aspects. May be included.
  • the present invention can be applied to a user interface device.
  • the present invention is useful as a user interface device in an entertainment system using a three-dimensional stereoscopic video, a digital signage system, and the like.

Abstract

　ユーザインタフェース装置（１００）は、表示空間（１１６）に二次元又は三次元の表示オブジェクト（１１７）を表示する表示部（１１１）と、表示空間（１１６）におけるユーザの指（１１８）の三次元座標を計測するセンサ部（１１２）と、センサ部（１１２）により計測されたユーザの指（１１８）の三次元座標を用いて、表示オブジェクト（１１７）に対するユーザの指（１１８）の動作を検出する動作検出部（１１３）と、動作検出部（１１３）の検出結果に応じて、表示部（１１１）が表示する表示内容を変更する表示制御部（１１４）とを備える。

Description

ユーザインタフェース装置及び表示オブジェクト操作方法
　本発明は、三次元立体視映像における表示オブジェクトに対するユーザインタフェース装置及び表示オブジェクト操作方法に関する。
　三次元立体視映像において、ユーザの指を使った細かな表示オブジェクト操作方法としては、特許文献１に記載の技術がある。特許文献１では、ユーザはマーカのついた手袋をはめて操作を行う。ユーザインタフェース装置は、２つの指のマーカ間の距離を用いてつまみ動作を検出する。
特開２０１２－２５６１１０号公報
　しかしながら、このようなユーザインタフェース装置では、精度良くユーザの動作を検出できることが望まれている。
　そこで、本発明は、精度良くユーザの動作を検出できるユーザインタフェース装置を提供することを目的とする。
　本発明の一態様に係るユーザインタフェース装置は、表示空間に二次元又は三次元のオブジェクトを表示する表示部と、前記表示空間におけるユーザの指の三次元座標を計測するセンサ部と、前記センサ部により計測された前記ユーザの指の三次元座標を用いて、前記オブジェクトに対する前記ユーザの指の動作を検出する動作検出部と、前記動作検出部の検出結果に応じて、前記表示部が表示する表示内容を変更する表示制御部とを備える。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本発明は、精度良くユーザの動作を検出できるユーザインタフェース装置を提供できる。
図１は、実施の形態に係るユーザインタフェース装置のブロック図である。 図２は、実施の形態に係るユーザインタフェース装置の概要を示す図である。 図３は、実施の形態に係る動作検出部のブロック図である。 図４Ａは、実施の形態に係る指動作モデリングの概要を示す図である。 図４Ｂは、実施の形態に係る指動作モデリングの概要を示す図である。 図５は、実施の形態に係るつまみ動作モデルの一例を示す図である。 図６Ａは、実施の形態に係るつまみ検出方法を説明するための図である。 図６Ｂは、実施の形態に係るつまみ検出方法を説明するための図である。 図７Ａは、実施の形態に係る指先とセンサ部とを結ぶ二つの直線がなす角度の算出処理を説明するための図である。 図７Ｂは、実施の形態に係る指先とセンサ部とを結ぶ二つの直線がなす角度の算出処理を説明するための図である。 図８Ａは、実施の形態に係るつまみ検出と表示制御の概要を示す図である。 図８Ｂは、実施の形態に係るつまみ検出と表示制御の概要を示す図である。 図９は、実施の形態に係るつまみ検出処理のフローチャートである。 図１０Ａは、実施の形態に係る操作例１を説明するための図である。 図１０Ｂは、実施の形態に係る操作例１を説明するための図である。 図１１Ａは、実施の形態に係る操作例２を説明するための図である。 図１１Ｂは、実施の形態に係る操作例２を説明するための図である。 図１１Ｃは、実施の形態に係る操作例２を説明するための図である。 図１２Ａは、実施の形態に係る操作例３を説明するための図である。 図１２Ｂは、実施の形態に係る操作例３を説明するための図である。 図１２Ｃは、実施の形態に係る操作例３を説明するための図である。 図１３Ａは、実施の形態に係る操作例４を説明するための図である。 図１３Ｂは、実施の形態に係る操作例４を説明するための図である。 図１３Ｃは、実施の形態に係る操作例４を説明するための図である。 図１４Ａは、実施の形態に係る操作例５を説明するための図である。 図１４Ｂは、実施の形態に係る操作例５を説明するための図である。 図１４Ｃは、実施の形態に係る操作例５を説明するための図である。 図１５Ａは、実施の形態に係る操作例６を説明するための図である。 図１５Ｂは、実施の形態に係る操作例６を説明するための図である。 図１５Ｃは、実施の形態に係る操作例６を説明するための図である。 図１６Ａは、実施の形態に係る操作例７を説明するための図である。 図１６Ｂは、実施の形態に係る操作例７を説明するための図である。 図１７は、実施の形態に係る操作例８を説明するための図である。 図１８は、実施の形態に係る操作例８を説明するための図である。
　（本発明の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した、ユーザインタフェース装置に関し、以下の問題が生じることを見出した。
　特許文献１記載の構成では、ユーザが手袋をはめるという負荷が生じるという課題がある。また、特許文献１記載の構成は、指先の平面的な位置のみを検知し、奥行き方向の位置を検知していない。これにより、指の位置によっては、実際にユーザがつまみ動作をしていない場合でもマーカ間が近づいたと判断されることがある。このように、特許文献１記載の技術には、つまみの動作の誤検出を生じるという課題があることを本発明者は見出した。
　以下の実施の形態では、指にマーカを付けることなく、ユーザのつまみ動作を検出できるとともに、つまみ動作を精度良く検出できるユーザインタフェース装置について説明する。また、三次元立体視映像における表示オブジェクトの直感的な操作を可能とするユーザインタフェース装置について説明する。
　本発明の一態様に係るユーザインタフェース装置は、表示空間に二次元又は三次元のオブジェクトを表示する表示部と、前記表示空間におけるユーザの指の三次元座標を計測するセンサ部と、前記センサ部により計測された前記ユーザの指の三次元座標を用いて、前記オブジェクトに対する前記ユーザの指の動作を検出する動作検出部と、前記動作検出部の検出結果に応じて、前記表示部が表示する表示内容を変更する表示制御部とを備える。
　この構成によれば、当該ユーザインタフェース装置は、ユーザの指の三次元座標を計測し、当該三次元座標を用いてユーザの指の動作を検出する。これにより、当該ユーザインタフェース装置は、精度良くユーザの動作を検出できる。
　例えば、前記動作検出部は、前記センサ部により計測された前記ユーザの指の三次元座標を用いて、前記ユーザが前記オブジェクトをつまむつまみ動作を検出してもよい。
　この構成によれば、当該ユーザインタフェース装置は、計測したユーザの指の三次元座標を用いて、つまみ動作を精度良く検出できる。
　例えば、前記表示制御部は、前記動作検出部により前記つまみ動作が検出された場合、当該つまみ動作によりつままれた対象オブジェクトの表示方法を変更してもよい。
　この構成によれば、ユーザは、つまみ動作が適切に行われたか否かを容易に判断できる。
　例えば、前記表示部は、前記表示空間に複数の前記オブジェクトを表示し、前記表示制御部は、前記動作検出部により前記つまみ動作が検出された場合、さらに、前記複数のオブジェクトのうち、前記対象オブジェクト以外のオブジェクトの表示方法を変更してもよい。
　この構成によれば、当該ユーザインタフェース装置は、例えば、対象オブジェクト以外のオブジェクトを目立たなくすることで、相対的に対象オブジェクトを強調できる。また、例えば、引き続き行われる対象オブジェクトに対する入力操作において、他のオブジェクトの表示が邪魔になることを抑制できる。
　例えば、前記表示制御部は、前記動作検出部が、前記ユーザが前記対象オブジェクトをつまんで移動させる移動動作を検出した場合、当該移動動作に連動して、前記対象オブジェクトの三次元位置を移動させてもよい。
　この構成によれば、当該ユーザインタフェース装置は、オブジェクトの移動操作として、直感的な入力操作を実現できる。
　例えば、前記表示制御部は、前記動作検出部が、前記ユーザが前記対象オブジェクトを破る又は引き裂く動作を検出した場合、前記対象オブジェクトを削除してもよい。
　この構成によれば、当該ユーザインタフェース装置は、オブジェクトの削除操作として、直感的な入力操作を実現できる。
　例えば、前記表示制御部は、前記動作検出部が、前記ユーザが前記対象オブジェクトの２点をつまんだ状態で、当該対象オブジェクトを引き伸ばす動作を検出した場合、前記対象オブジェクトを拡大し、前記動作検出部が、前記ユーザが前記対象オブジェクトの２点をつまんだ状態で、当該対象オブジェクトを縮める動作を検出した場合、前記対象オブジェクトを縮小してもよい。
　この構成によれば、当該ユーザインタフェース装置は、オブジェクトの拡大縮小操作として、直感的な入力操作を実現できる。
　例えば、前記表示制御部は、前記動作検出部が、前記ユーザが前記対象オブジェクトをつまんだ状態で、前記対象オブジェクトのページをめくる動作を検出した場合、前記対象オブジェクトのページめくり動作を行ってもよい。
　この構成によれば、当該ユーザインタフェース装置は、オブジェクトのページめくり操作として、直感的な入力操作を実現できる。
　例えば、前記表示制御部は、前記動作検出部が、前記ユーザが前記対象オブジェクトを指ではじく動作を検出した場合、前記対象オブジェクトをはじかれた方向に移動させてもよい。
　この構成によれば、当該ユーザインタフェース装置は、オブジェクトの移動操作として、直感的な入力操作を実現できる。
　例えば、前記動作検出部は、前記ユーザの部位のうち、予め定められた閾値より細い部分を指と認識することにより指動作モデルを生成し、当該指動作モデルを用いて、前記つまみ動作を検出してもよい。
　この構成によれば、当該ユーザインタフェース装置は、指動作モデルを用いることで、つまみ動作を精度良く検出できる。
　例えば、前記動作検出部は、前記指動作モデルを用いて前記ユーザの指先の三次元位置を検出し、前記指先の間に、前記対象オブジェクトの一部が存在し、かつ、前記指先の間隔が前記対象オブジェクトの厚み以下の場合、前記つまみ動作が行われたと判定してもよい。
　この構成によれば、当該ユーザインタフェース装置は、つまみ動作を精度良く検出できる。
　例えば、前記動作検出部は、前記指動作モデルの形状が、予め定められたつまみ動作モデルの形状と一致する場合、前記つまみ動作が行われたと判定してもよい。
　この構成によれば、当該ユーザインタフェース装置は、つまみ動作を精度良く検出できる。
　また、本発明の一態様に係る表示オブジェクト操作方法は、表示空間に二次元又は三次元のオブジェクトを表示する表示ステップと、前記表示空間におけるユーザの指の三次元座標を計測する計測ステップと、前記計測ステップで計測された前記ユーザの指の三次元座標を用いて、前記オブジェクトに対する前記ユーザの指の動作を検出する動作検出ステップと、前記動作検出ステップの検出結果に応じて、表示内容を変更する表示制御ステップとを含む。
　これによれば、当該表示オブジェクト操作方法は、ユーザの指の三次元座標を計測し、当該三次元座標を用いてユーザの指の動作を検出する。これにより、当該表示オブジェクト操作方法は、精度良くユーザの動作を検出できる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態）
　図１は、本実施の形態に係るユーザインタフェース装置１００の構成を示すブロック図である。
　図１に示すユーザインタフェース装置１００は、表示部１１１と、センサ部１１２と、動作検出部１１３と、表示制御部１１４と、表示データ保持部１１５とを備える。
　表示部１１１は、空間上の任意の領域である表示空間１１６に二次元又は三次元の表示オブジェクトを含む立体視映像を表示する。ここで、立体視映像とは、例えば、空中ディスプレイ又はホログラムである。なお、立体視映像とは、所謂３Ｄテレビ等で表示される映像であってもよい。また、二次元のオブジェクトとは、例えば、立体視表示された、厚みを有さないオブジェクトである。
　図２は、本実施の形態に係るユーザインタフェース装置１００の概要を説明するための図である。表示空間１１６は、表示部１１１により立体視映像が表示される空間領域である。表示オブジェクト１１７は、表示部１１１が、表示空間１１６に表示した映像である。なお、ここでは、表示オブジェクト１１７は、一つしか記載していないが、複数あってもよい。また、表示部１１１及びセンサ部１１２の配置は、図２に示す配置である必要はない。
　表示部１１１は、表示制御部１１４からの制御により、空間上の任意領域に二次元又は三次元の映像を投影表示する。
　センサ部１１２は、表示空間１１６内の物体の三次元座標を計測する。例えば、センサ部１１２は、表示空間１１６におけるユーザの指の三次元座標を計測する。具体的には、センサ部１１２は、表示空間１１６を撮影することで表示空間１１６の二次元画像を取得するとともに、表示空間１１６内にある物体とセンサ部１１２との間の距離を測定するデバイスである。例えば、センサ部１１２は、表示空間１１６のＲＧＢ画像と近赤外領域画像とをそれぞれの撮像するセンサデバイスである。センサ部１１２は、撮影された近赤外領域画像を用いて、ＲＧＢ画像内の物体の距離を測定する。または、センサ部１１２は、ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式の距離画像センサデバイスである。この場合、センサ部１１２は、画素ごとの距離測定を実現できる。または、センサ部１１２は、ステレオ配置された画像センサを含み、ステレオ法により距離を算出してもよい。
　測定された距離情報を含む画像データは、動作検出部１１３に渡される。
　動作検出部１１３は、センサ部１１２により計測されたユーザの指の三次元座標を用いて、表示オブジェクト１１７に対するユーザの指の動作を検出する。具体的には、動作検出部１１３は、上記三次元座標を用いて、ユーザが表示オブジェクト１１７をつまむつまみ動作を検出する。
　図３は、動作検出部１１３の構成を示すブロック図である。動作検出部１１３は、指動作モデリング部１３１と、つまみ動作検出部１３２と、つまみ動作モデル保持部１３３とを備える。
　指動作モデリング部１３１は、指幅閾値保持部１３４と、指動作モデル登録部１３５とを有する。
　指動作モデリング部１３１は、図４Ａに示すように、表示空間１１６にユーザの手１１８がある場合に、センサ部１１２からの情報を用いて、ユーザの指を模式的に示すモデルである指動作モデル１１９を生成する。具体的には、指動作モデリング部１３１は、センサ部１１２で計測され情報を用いて、ユーザの手１１８に対応する部分を特定する。次に、指動作モデリング部１３１は、特定された部分の部位のうち、予め定められた閾値より細い部分を指と認識する。具体的には、指動作モデリング部１３１は、図４Ｂに示すように幅１２０が、指幅閾値保持部１３４が保持している閾値より小さい部分を、指であると判断する。なお、指幅閾値保持部１３４に保持される閾値は、ユーザにより変更可能であってもよい。例えば、指動作モデリング部１３１は、幅１２０が閾値より小さい部分の長手方向に沿った中心線を指動作モデル１１９に設定する。
　また、この指動作モデル１１９の生成処理は、所定の時間間隔で繰り返し行われる。つまり、指動作モデル１１９はリアルタイムに随時更新される。また、指動作モデル１１９の作成には、例えば、直前のフレームにおける指動作モデル１１９の検出結果も用いられる。これにより、ある指の一部又は全体が他の指等により隠れている場合でも、隠れている指の指動作モデル１１９を推定することができる。
　指動作モデリング部１３１で生成された指動作モデル１１９の情報は、つまみ動作検出部１３２及び指動作モデル登録部１３５に渡される。
　指動作モデル登録部１３５は、予めユーザの手１１８によるつまみ動作を検出し、つまみ動作モデル１３６を生成する。つまみ動作モデル１３６は、つまみ動作をしているか否かの判断に使用するための参照モデルである。また、指動作モデル登録部１３５は、生成したつまみ動作モデル１３６をつまみ動作モデル保持部１３３に保持する。図５は、つまみ動作モデルの一例を示す図である。なお、図５に示す、つまみ動作モデル１３６は一例であってこれ以外であってもよい。
　後述する［つまみ検出動作］において、つまみ動作モデル保持部１３３に保持されたつまみ動作モデル１３６と指動作モデル１１９とのパターンマッチングが行われる。つまり、つまみ検出を行うためには、ユーザインタフェース装置１００を用いたつまみ検出を行う前に、つまみ動作モデル１３６をユーザインタフェース装置１００に登録しておく必要がある。
　なお、指動作モデル登録部１３５は、外部から入力されたつまみ動作モデル１３６をつまみ動作モデル保持部１３３に保持してもよい。
　つまみ動作モデル保持部１３３は、指動作モデル登録部１３５により生成された、つまみ動作モデル１３６を保持し、保持しているつまみ動作モデル１３６をつまみ動作検出部１３２に渡す。
　つまみ動作検出部１３２は、指動作モデリング部１３１で生成された指動作モデル１１９と、つまみ動作モデル保持部１３３からのつまみ動作モデル１３６とを用いて、つまみ動作を検出する。また、つまみ動作検出部１３２は、つまみ動作によりつままれた位置の三次元座標であるつまみ位置座標を検出する。つまみ動作検出部１３２は、つまみ動作を検出したことを表示制御部１１４に通知する。また、つまみ動作検出部１３２は、つまみ動作を検出後、ユーザの操作に応じて移動したつまみ位置座標の変化を示す情報も表示制御部１１４に渡す。
　表示制御部１１４は、表示データ保持部１１５に保持されている表示オブジェクト情報を表示部１１１に渡す。また、表示制御部１１４は、つまみ位置座標の変化に応じて、つままれた表示オブジェクトの表示内容を変更し、表示部１１１に変更後の表示データを渡す。つまり、表示制御部１１４は、動作検出部１１３の検出結果に応じて、表示部１１１が表示する表示内容を変更する。
　表示内容の変更については、［操作例１］～［操作例８］で後述する。
　また、表示制御部１１４は、ユーザのつまみ動作に応じて、変更された表示内容を表示部１１１に渡すだけでなく、表示データ保持部１１５に保持されている表示オブジェクト情報の変更も行う。
　表示データ保持部１１５は、表示空間１１６に表示される表示オブジェクト情報を保持している。
　［つまみ検出動作］
　動作検出部１１３は、以下に示す二つのつまみ検出方法を用いる。なお、動作検出部１１３は、以下に示す二つの方法の両方を用いてもよいし、いずれか一方のみを用いてもよい。
　一つ目の方法を、図６Ａ及び図６Ｂを用いて説明する。
　まず、指動作モデリング部１３１は、ユーザの手１１８の指動作モデル１１９を生成する。なお、図６Ａでは、２本の指の指動作モデル１１９のみを記載しているが、３本以上の指の指動作モデル１１９が用いられてもよい。
　次に、つまみ動作検出部１３２は、距離測定を可能とするセンサ部１１２の計測結果を用いて、指動作モデル１１９の指先端とセンサ部１１２との距離を求める。なお、つまみ動作検出部１３２は、一般的な手の形状から想定される複数の指動作モデル１１９の配置関係に基づき、各指動作モデル１１９のいずれの端部が指先（指先端）に対応するかを判定する。
　また、図６Ａでは、距離Ｌ１及び距離Ｌ２は、センサ部１１２と、つまみ動作を行う２本の指の指先端の各々との距離を示す。
　また、つまみ動作検出部１３２は、センサ部１１２より得られた画像情報から一方の指先端とセンサ部１１２とを結ぶ直線と、他方の指先端とセンサ部１１２とを結ぶ直線とがなす角度θを求める。
　例えば、つまみ動作検出部１３２は、角度θを以下の方法で求める。図７Ａ及び図７Ｂは、角度θの算出方法を説明するための図である。
　図７Ａは、センサ部１１２で得られた二次元の画像情報の一例を示す図である。図７Ａに示すように、つまみ動作検出部１３２は、センサ部１１２の中央Ｃと、２つの指先との距離Ｍ１及びＭ２を求める。ここで、センサ部１１２の中央Ｃの座標は、例えば、画像の中心座標である。
　次に、図７Ｂに示すように、指先からセンサ部１１２側に垂直な直線ＡＢ及びＤＥが引かれる。よって、二つの垂直三角形ＡＢＣ及びＣＤＥが形成される。ここで、角ＢＡＣの内角をφ１とし、角ＣＤＥの内角をφ２とすると、角度θ＝φ１＋φ２である。よって、下記（式１）及び（式２）から角度θが求まる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　距離Ｌ１、距離Ｌ２、及び角度θより、２本の指の先端間距離ｄは、以下の（式３）で求められる。
Figure JPOXMLDOC01-appb-M000003
　次に、つまみ動作検出部１３２は、図６Ｂに示すように、この２本の指の先端間につまむ対象となる表示オブジェクト１１７が存在する場合、２本の指の先端間距離ｄと、表示オブジェクト１１７の厚みｔとを比較し、（表示オブジェクトの厚みｔ）≧（２本の指の先端間距離ｄ）が満たされる場合に、つまみ動作を検出する。
　このように動作検出部１１３は、指動作モデル１１９を用いてユーザの指先の三次元位置を検出する。そして、動作検出部１１３は、指先の間に、表示オブジェクトの一部が存在し、かつ、指先の間隔が表示オブジェクトの厚み以下の場合、つまみ動作が行われたと判定する。
　次に二つ目のつまみ検出方法について説明する。
　つまみ動作検出部１３２は、事前にユーザにより、つまみ動作モデル保持部１３３に保持されたつまみ動作モデル１３６と指動作モデル１１９とのパターンマッチングを行い、一致したと判断された場合につまみを検出する。
　このように、動作検出部１１３は、指動作モデル１１９の形状が、予め定められたつまみ動作モデル１３６の形状と一致する場合、つまみ動作が行われたと判定する。ここで、一致とは、完全に一致する場合に限定されず、類似度が予め定められた閾値より大きい場合も含む。
　［つまみ検出時の表示制御］
　以下、図８Ａ及び図８Ｂを用いて、本実施の形態における、つまみ検出と表示制御の概要について説明する。なお、図８Ａ及び図８Ｂでは、表示空間１１６に表示されている表示オブジェクトは、表示オブジェクト１１７と表示オブジェクト１２１との２つであるが、表示オブジェクトの数は３つ以上であってもよい。ここでは、表示オブジェクト１１７がつままれる場合について説明する。
　また、位置座標１２２は表示オブジェクト１１７の位置座標である。
　図８Ａは、ユーザの手１１８により表示オブジェクト１１７がつままれる前の状態を示し、まだ、表示オブジェクト１１７はつままれてはいない。図８Ｂは、ユーザの手１１８により表示オブジェクト１１７がつままれた状態を示す。
　図８Ｂに示すように、つまみ動作検出部１３２は、つまみ動作を検出し、つまみ位置座標２０１（Ｔｘ、Ｔｙ、Ｔｚ）を得る。
　また、つまみ動作検出部１３２は表示オブジェクト１１７に対してつまみ検出がなされたことを表示制御部１１４に通知する。表示制御部１１４は、表示オブジェクト１１７に対するつまみ検出を受けて、表示オブジェクト１１７がつままれたことをユーザに通知する視覚効果を表示オブジェクト１１７に対して実施する表示指示を表示部１１１に渡す。つまり、表示制御部１１４は、つまみ動作によりつままれた表示オブジェクト１１７の表示方法を変更する。
　具体的には、表示制御部１１４は、つままれた表示オブジェクト１１７を強調表示する。例えば、図８Ｂに示すように、表示制御部１１４は、表示オブジェクト１１７の輪郭を際立たせる。なお、表示制御部１１４は、つままれたことを示す文字情報を表示してもよい。
　また、表示制御部１１４は、つままれた表示オブジェクト１１７以外の表示オブジェクト（ここでは表示オブジェクト１２１）の表示方法を変更してもよい。具体的には、表示制御部１１４は、表示オブジェクト１２１を目立たなくする。例えば、表示制御部１１４は、表示オブジェクト１２１の透過度を上げる、又は、一時的に非表示にするといった視覚効果を実施する表示指示を表示部１１１に渡す。
　［つまみ検出のフローチャート］
　図９は、本実施の形態に係るつまみ検出処理の流れを示すフローチャートである。
　まず、ステップＳ１０１において、指動作モデリング部１３１は、センサ部１１２から、ユーザの手１１８の各部位とセンサ部１１２との間の距離情報を得る。さらに、指動作モデリング部１３１は、各部位の幅１２０をもとに、幅１２０が指幅閾値保持部１３４に保持されている閾値より細い部位を指と判断し、指動作モデル１１９を生成する。
　次に、ステップＳ１０２において、つまみ動作検出部１３２は、任意の二本の指の先端間に表示オブジェクトがあるか判定する。
　任意の二本の指の先端間に表示オブジェクトがない場合（Ｓ１０２でＮｏ）、ステップＳ１０８のつまみ未検出に進み、つまみ動作は検出されずに処理が終了する。
　一方、任意の二本の指の先端間に表示オブジェクトがある場合（Ｓ１０２でＹｅｓ）、ステップＳ１０３に進む。
　ステップＳ１０３では、つまみ動作検出部１３２は、任意の二本の指の先端間の距離ｄと表示オブジェクトの厚みｔとを比較する。（表示オブジェクトの厚みｔ）＜（２本の指の先端間距離ｄ）であれば（Ｓ１０３でＮｏ）、ステップＳ１０４に進む。一方、（表示オブジェクトの厚みｔ）≧（２本の指の先端間距離ｄ）であれば（Ｓ１０３でＹｅｓ）、ステップＳ１０５に進む。
　ステップＳ１０４では、つまみ動作検出部１３２は、ステップＳ１０１で得られた指動作モデル１１９と、つまみ動作モデル保持部１３３に保持されたつまみ動作モデル１３６とのパターンマッチングを実施する。指動作モデル１１９とつまみ動作モデル１３６とが一致しない場合は（ＳＳ１０４でＮｏ）、ステップＳ１０８のつまみ未検出に進み、つまみ動作は検出されずに終了する。一方、指動作モデル１１９とつまみ動作モデル１３６とが一致した場合（Ｓ１０４でＹｅｓ）は、ステップＳ１０５に進む。
　ステップＳ１０５では、表示制御部１１４は、（表示オブジェクトの厚みｔ）≧（２本の指の先端間距離ｄ）となること（Ｓ１０３でＹｅｓ）、又はつまみ動作モデル１３６とのパターンマッチングにより（Ｓ１０４でＹｅｓ）、つままれたと判定された表示オブジェクトに対する、つまみ検出を示す表示指示を表示部１１１に渡す。これにより、表示部１１１は、表示空間１１６に当該表示指示に従った映像を表示する。なお、つまみ検出を示す表示指示の詳細は、［操作例１］～［操作例８］で後述する。
　次にステップＳ１０６では、表示制御部１１４は、つままれた表示オブジェクト以外の表示オブジェクトに対して、透過度を上げる、又は、一時的に非表示にするといった表示指示を表示部１１１に渡す。また、ステップＳ１０７に進み、つまみ検出となる。
　なお、表示オブジェクトの厚みｔと指の先端間距離ｄとを用いた判定（Ｓ１０３）と、指動作モデルと１１９とつまみ動作モデル１３６とのパターンマッチング（Ｓ１０４）との両方が行われているが、いずれか一方のみが行われてもよい。また、ステップＳ１０３とＳ１０４の順序は逆であってもよい。
　また、ステップＳ１０５～Ｓ１０７の順序は任意の順序でよい。また、ステップＳ１０５～Ｓ１０７の一部又は全てが同時（並列）に処理されてもよい。
　また、上記処理は、リアルタイムに行われる（所定の時間間隔で繰り返し行われる）ことで、随時、指動作モデル１１９が更新されるとともに、つまみ動作が検出される。
　以上のように、動作検出部１１３は、ユーザの部位のうち、予め定められた閾値より細い部分を指と認識することにより指動作モデル１１９を生成し、当該指動作モデル１１９を用いて、つまみ動作を検出する。具体的には、動作検出部１１３は、指動作モデル１１９を用いてユーザの指先の三次元位置を検出し、指先の間に、対象オブジェクト（表示オブジェクト１１７）の一部が存在し、かつ、指先の間隔が対象オブジェクトの厚み以下の場合、つまみ動作が行われたと判定する。または、動作検出部１１３は、指動作モデル１１９の形状が、予め定められたつまみ動作モデル１３６の形状と一致する場合、つまみ動作が行われたと判定する。
　このように、動作検出部１１３は、指動作モデル１１９を用いることで、適切につまみ動作を検出できる。
　以降では、つまみ検出後のユーザによる表示オブジェクト操作の方法について説明する。
　［操作例１］
　操作例１は、ユーザがつまみ動作を用いて表示オブジェクト１１７を移動させる動作である。図１０Ａ及び図１０Ｂは、操作例１を説明するための図である。
　図１０Ａは、位置座標１２２（Ｏ１ｘ，Ｏ１ｙ，Ｏ１ｚ）にある表示オブジェクト１１７をユーザがつまんだ状態を示す。このときの、つまみ位置の座標は、つまみ位置座標２０２（Ｔ１ｘ，Ｔ１ｙ，Ｔ１ｚ）である。
　図１０Ｂは、ユーザが表示オブジェクト１１７をつまんだまま、つまみ位置座標２０３（Ｔ２ｘ，Ｔ２ｙ，Ｔ２ｚ）までつまみ位置を移動させた場合を示している。
　このユーザによる表示オブジェクト１１７の移動である、つまみ位置の、つまみ位置座標２０２（Ｔ１ｘ，Ｔ１ｙ，Ｔ１ｚ）から、つまみ位置座標２０３（Ｔ２ｘ，Ｔ２ｙ，Ｔ２ｚ）への移動に応じて、表示制御部１１４は、表示オブジェクト１１７の表示位置を、位置座標１２２（Ｏ１ｘ，Ｏ１ｙ，Ｏ１ｚ）から、位置座標１２３（Ｏ２ｘ，Ｏ２ｙ，Ｏ２ｚ）へ移動させる。
　具体的には、Ｏ２ｘ＝Ｏ１ｘ＋（Ｔ２ｘ－Ｔ１ｘ）、Ｏ２ｙ＝Ｏ１ｙ＋（Ｔ２ｙ－Ｔ１ｙ）、Ｏ２ｚ＝Ｏ１ｚ＋（Ｔ２ｚ－Ｔ１ｚ）となる。
　このように、表示制御部１１４は、動作検出部１１３が、ユーザが対象オブジェクト（表示オブジェクト１１７）をつまんで移動させる移動動作を検出した場合、当該移動動作に連動して、対象オブジェクトの三次元位置を移動させる。具体的には、表示制御部１１４は、動作検出部１１３が、ユーザが対象オブジェクトをつまむつまみ動作を検出した後、当該つまみ動作が維持されたまま、つまみ位置が移動された場合、当該移動に連動して、対象オブジェクトの三次元位置を移動させる。ここで、連動するとは、例えば、つまみ位置の移動と同じ方向かつ同じ移動量、対象オブジェクトを移動させることでる。なお、この移動方向及び移動量は、厳密に同一である必要はなく、所定のオフセット又は補正が加えられてもよい。
　［操作例２］
　操作例２は、ユーザがつまみ動作を用いて表示オブジェクト１１７を削除する動作である。図１１Ａ～図１１Ｃは、操作例２を説明するための図である。
　図１１Ａ～図１１Ｃに示す削除予約領域４００及び削除予約領域４０１は、表示オブジェクト１１７に含まれる予め定められた領域である。図１１Ａに示すように、ユーザによる削除予約領域４００及び削除予約領域４０１に対するつまみ動作が検出されると、表示オブジェクト１１７は削除待ち状態となる。
　この時、表示制御部１１４は、ユーザに表示オブジェクト１１７が削除待ち状態になったことを通知するため、表示部１１１に通知画像３００を表示する。ここでは、通知画像３００としてゴミ箱を示す画像が用いられているが、通知画像３００はこの絵柄に限らない。
　次に、図１１Ｂに示すように、二つのつまみ位置が、それぞれ、つまみ位置座標２０４からつまみ位置座標２０６（Ｔ３ｘ，Ｔ３ｙ，Ｔ３ｚ）へ、つまみ位置座標２０５からつまみ位置座標２０７（Ｔ４ｘ，Ｔ４ｙ，Ｔ４ｚ）へ変化した場合、表示制御部１１４は、ユーザの動作に合わせて、表示オブジェクト１１７を引き裂くような表示効果を表示部１１１に表示させる。
　ここで、つまみ位置座標２０６とつまみ位置座標２０７との間の距離は下記（式４）で表される。
Figure JPOXMLDOC01-appb-M000004
　この距離が、予め定められた削除閾値より大きくなった場合、表示制御部１１４は、表示オブジェクト１１７が削除されたと判断し、表示オブジェクト１１７の表示を消す指示を表示部１１１に渡す。更に、表示制御部１１４は、表示データ保持部１１５に保持されている表示オブジェクト１１７の情報も削除する。
　また、図１１Ｂと同様に、図１１Ｃに示すように、二つのつまみ位置が、それぞれ、つまみ位置座標２０４からつまみ位置座標２０８（Ｔ５ｘ，Ｔ５ｙ，Ｔ５ｚ）へ、つまみ位置座標２０５からつまみ位置座標２０９（Ｔ６ｘ，Ｔ６ｙ，Ｔ６ｚ）へ変化した場合、表示制御部１１４は、ユーザの動作に合わせて、表示オブジェクト１１７を引き裂くような表示効果を表示部１１１に表示させる。
　ここで、つまみ位置座標２０６とつまみ位置座標２０７との間の距離は下記（式５）で表される。
Figure JPOXMLDOC01-appb-M000005
　この距離が、予め定められた削除閾値より大きくなった場合、表示制御部１１４は表示オブジェクト１１７が削除されたと判断し、表示オブジェクト１１７の表示を消す指示を表示部１１１に渡す。更に、表示制御部１１４は、表示データ保持部１１５に保持されている表示オブジェクト１１７の情報も削除する。
　このように、表示制御部１１４は、動作検出部１１３が、ユーザが対象オブジェクト（表示オブジェクト１１７）を破る又は引き裂く動作を検出した場合、対象オブジェクトを削除する。例えば、表示制御部１１４は、動作検出部１１３が、ユーザが両手で対象オブジェクトの２点をつまむつまみ動作を検出した後、当該２点の距離が予め定められた削除閾値以上大きくなるように、つまみ位置が移動された場合、対象オブジェクトを削除する。
　なお、上記説明では、削除予約領域４００及び削除予約領域４０１がつままれた場合に削除待ち状態になるとしたが、表示オブジェクト１１７の任意の２点がつままれた場合に削除待ち状態になってもよい。
　［操作例３］
　操作例３は、ユーザがつまみ動作を用いて表示オブジェクト１１７を横方向に拡大又は縮小する動作である。図１２Ａ～図１２Ｃは、操作例３を説明するための図である。
　横方向拡大縮小予約領域４０２及び横方向拡大縮小予約領域４０３は、表示オブジェクト１１７に含まれる予め定められた領域である。例えば、横方向拡大縮小予約領域４０２は、表示オブジェクト１１７の左端周辺の領域であり、横方向拡大縮小予約領域４０３は、表示オブジェクト１１７の右端周辺の領域である。
　図１２Ａに示すように、ユーザによる横方向拡大縮小予約領域４０２及び横方向拡大縮小予約領域４０３に対するつまみ動作が検出されると、表示オブジェクト１１７は横方向拡大縮小待ち状態となる。
　この時、表示制御部１１４は、ユーザに表示オブジェクト１１７が横方向拡大縮小待ち状態になったことを通知するため、表示部１１１に通知画像３０１を表示する。ここでは、通知画像３０１として横方向の矢印を示す画像が用いられているが、通知画像３０１はこの絵柄に限らない。
　次に、図１２Ｂ及び図１２Ｃに示すように、二つのつまみ位置が、それぞれ、つまみ位置座標２１０（Ｔ７ｘ，Ｔ７ｙ，Ｔ７ｚ）からつまみ位置座標２１２（Ｔ９ｘ，Ｔ９ｙ，Ｔ９ｚ）へ、つまみ位置座標２１１（Ｔ８ｘ，Ｔ８ｙ，Ｔ８ｚ）からつまみ位置座標２１３（Ｔ１０ｘ，Ｔ１０ｙ，Ｔ１０ｚ）へ変化した場合、表示制御部１１４は、横方向の変化量（Ｔ９ｘ－Ｔ７ｘ）及び（Ｔ１０ｘ－Ｔ８ｘ）に応じて、表示オブジェクト１１７の横方向のサイズを拡大、又は縮小する表示指示を表示部１１１に渡す。
　このように、表示制御部１１４は、動作検出部１１３が、ユーザが対象オブジェクト（表示オブジェクト１１７）の２点をつまんだ状態で、当該対象オブジェクトを引き伸ばす動作を検出した場合、対象オブジェクトを拡大する。具体的には、表示制御部１１４は、動作検出部１１３が、ユーザが両方の手で対象オブジェクトに含まれる横方向拡大縮小予約領域４０２及び横方向拡大縮小予約領域４０３の各々をつまむつまみ動作を検出した後、当該つまみ動作が維持されたまま、つまみ位置の横方向の座標の差が大きくなるようにつまみ位置が移動された場合、当該差と同じ量、対象オブジェクトの横方向のサイズを拡大する。なお、この横方向のサイズの拡大量は、つまみ位置の横方向の差の増加量と厳密に同一である必要はなく、所定のオフセット又は補正が加えられてもよい。
　また、表示制御部１１４は、動作検出部１１３が、ユーザが対象オブジェクトの２点をつまんだ状態で、当該対象オブジェクトを縮める動作を検出した場合、対象オブジェクトを縮小する。具体的には、表示制御部１１４は、動作検出部１１３が、ユーザが両方の手で対象オブジェクトに含まれる横方向拡大縮小予約領域４０２及び横方向拡大縮小予約領域４０３の各々をつまむつまみ動作を検出した後、当該つまみ動作が維持されたまま、つまみ位置の横方向の座標の差が小さくなるようにつまみ位置が移動された場合、当該差と同じ量、対象オブジェクトの横方向のサイズを縮小する。なお、この横方向のサイズの縮小量は、つまみ位置の横方向の差の減少量と厳密に同一である必要はなく、所定のオフセット又は補正が加えられてもよい。
　［操作例４］
　操作例４は、ユーザがつまみ動作を用いて表示オブジェクト１１７を斜め向に拡大又は縮小する動作である。図１３Ａ～図１３Ｃは、操作例４を説明するための図である。
　斜め方向拡大縮小予約領域４０４及び斜め方向拡大縮小予約領域４０５は、表示オブジェクト１１７に含まれる予め定められた領域である。例えば、斜め方向拡大縮小予約領域４０４は、表示オブジェクト１１７の左上端周辺の領域であり、斜め方向拡大縮小予約領域４０５は、表示オブジェクト１１７の右下端周辺の領域である。
　図１３Ａに示すように、ユーザによる斜め方向拡大縮小予約領域４０４及び斜め方向拡大縮小予約領域４０５に対するつまみ動作が検出されると、表示オブジェクト１１７は斜め方向拡大縮小待ち状態となる。なお、２つの斜め方向拡大縮小予約領域は、表示オブジェクト１１７の左下端周辺の領域及び右上端周辺の領域であってもよい。また、左上端周辺の領域及び右下端周辺の領域との組、及び、左下端周辺の領域及び右上端周辺の領域との組の一方の組に対してつまみ動作が検出された場合に、表示オブジェクト１１７は斜め方向拡大縮小待ち状態となってもよい。言い換えると、表示オブジェクト１１７の対向する２つの角部周辺の領域がつままれた場合に、表示オブジェクト１１７は斜め方向拡大縮小待ち状態となってもよい。
　この時、表示制御部１１４は、ユーザに表示オブジェクト１１７が斜め方向拡大縮小待ち状態になったことを通知するため、通知画像３０２を表示部１１１に表示させる。ここでは、通知画像３０２として斜め方向の矢印を示す画像が用いられているが、通知画像３０２はこの絵柄に限らない。
　次に、図１３Ｂ及び図１３Ｃに示すように、２つのつまみ位置が、それぞれ、つまみ位置座標２１４（Ｔ１１ｘ，Ｔ１１ｙ，Ｔ１１ｚ）からつまみ位置座標２１６（Ｔ１３ｘ，Ｔ１３ｙ，Ｔ１３ｚ）へ、つまみ位置座標２１５（Ｔ１２ｘ，Ｔ１２ｙ，Ｔ１２ｚ）からつまみ位置座標２１７（Ｔ１４ｘ，Ｔ１４ｙ，Ｔ１４ｚ）へ変化した場合、斜め方向の変化量は、下記（式６）及び（式７）で表される。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　表示制御部１１４は、この変化量に応じて、表示オブジェクト１１７の斜め方向のサイズを拡大又は縮小する表示指示を表示部１１１に渡す。
　このように、表示制御部１１４は、動作検出部１１３が、ユーザが対象オブジェクト（表示オブジェクト１１７）の２点をつまんだ状態で、当該対象オブジェクトを引き伸ばす動作を検出した場合、対象オブジェクトを拡大する。具体的には、表示制御部１１４は、動作検出部１１３が、ユーザが両方の手で対象オブジェクトに含まれる斜め方向拡大縮小予約領域４０４及び斜め方向拡大縮小予約領域４０５の各々をつまむつまみ動作を検出した後、当該つまみ動作が維持されたまま、つまみ位置の斜め方向の座標の差が大きくなるようにつまみ位置が移動された場合、当該差と同じ量、対象オブジェクトの斜め方向のサイズを拡大する。なお、この斜め方向のサイズの拡大量は、つまみ位置の斜め方向の差の増加量と厳密に同一である必要はなく、所定のオフセット又は補正が加えられてもよい。
　また、表示制御部１１４は、動作検出部１１３が、ユーザが対象オブジェクトの２点をつまんだ状態で、当該対象オブジェクトを縮める動作を検出した場合、対象オブジェクトを縮小する。具体的には、表示制御部１１４は、動作検出部１１３が、ユーザが両方の手で対象オブジェクトに含まれる斜め方向拡大縮小予約領域４０４及び斜め方向拡大縮小予約領域４０５の各々をつまむつまみ動作を検出した後、当該つまみ動作が維持されたまま、つまみ位置の斜め方向の座標の差が小さくなるようにつまみ位置が移動された場合、当該差と同じ量、対象オブジェクトの斜め方向のサイズを縮小する。なお、この斜め方向のサイズの縮小量は、つまみ位置の斜め方向の差の減少量と厳密に同一である必要はなく、所定のオフセット又は補正が加えられてもよい。
　［操作例５］
　操作例５は、ユーザがつまみ動作を用いて表示オブジェクト１１７を縦方向に拡大又は縮小する動作である。図１４Ａ～図１４Ｃは、操作例５を説明するための図である。
　縦方向拡大縮小予約領域４０６及び縦方向拡大縮小予約領域４０７は、表示オブジェクト１１７に含まれる予め定められた領域である。例えば、縦方向拡大縮小予約領域４０６は、表示オブジェクト１１７の上端周辺の領域であり、縦方向拡大縮小予約領域４０７は、表示オブジェクト１１７の下端周辺の領域である。図１４Ａに示すように、ユーザによる縦方向拡大縮小予約領域４０６及び縦方向拡大縮小予約領域４０７に対するつまみ動作が検出されると、表示オブジェクト１１７は縦方向拡大縮小待ち状態となる。
　この時、表示制御部１１４は、ユーザに表示オブジェクト１１７が縦方向拡大縮小待ち状態になったことを通知するため、通知画像３０３を表示部１１１に表示させる。ここでは、通知画像３０３として縦方向の矢印を示す画像が用いられているが、通知画像３０３はこの絵柄に限らない。
　次に、図１４Ｂ及び図１４Ｃに示すように、二つのつまみ位置が、それぞれ、つまみ位置座標２１８（Ｔ１５ｘ，Ｔ１５ｙ，Ｔ１５ｚ）からつまみ位置座標２２０（Ｔ１７ｘ，Ｔ１７ｙ，Ｔ１７ｚ）へ、つまみ位置座標２１９（Ｔ１６ｘ，Ｔ１６ｙ，Ｔ１６ｚ）からつまみ位置座標２２１（Ｔ１８ｘ，Ｔ１８ｙ，Ｔ１８ｚ）へ変化した場合、表示制御部１１４は、縦方向の変化量（Ｔ１７ｙ－Ｔ１５ｙ）及び（Ｔ１８ｙ－Ｔ１６ｙ）に応じて、表示オブジェクト１１７の縦方向のサイズを拡大又は縮小する表示指示を表示部１１１に渡す。
　このように、表示制御部１１４は、動作検出部１１３が、ユーザが対象オブジェクト（表示オブジェクト１１７）の２点をつまんだ状態で、当該対象オブジェクトを引き伸ばす動作を検出した場合、前記対象オブジェクトを拡大する。具体的には、表示制御部１１４は、動作検出部１１３が、ユーザが両方の手で対象オブジェクトに含まれる縦方向拡大縮小予約領域４０６及び縦方向拡大縮小予約領域４０７の各々をつまむつまみ動作を検出した後、当該つまみ動作が維持されたまま、つまみ位置の縦方向の座標の差が大きくなるようにつまみ位置が移動された場合、当該差と同じ量、対象オブジェクトの縦方向のサイズを拡大する。なお、この縦方向のサイズの拡大量は、つまみ位置の縦方向の差の増加量と厳密に同一である必要はなく、所定のオフセット又は補正が加えられてもよい。
　また、表示制御部１１４は、動作検出部１１３が、ユーザが対象オブジェクトの２点をつまんだ状態で、当該対象オブジェクトを縮める動作を検出した場合、対象オブジェクトを縮小する。具体的には、表示制御部１１４は、動作検出部１１３が、ユーザが両方の手で対象オブジェクトに含まれる縦方向拡大縮小予約領域４０６及び縦方向拡大縮小予約領域４０７の各々をつまむつまみ動作を検出した後、当該つまみ動作が維持されたまま、つまみ位置の縦方向の座標の差が小さくなるようにつまみ位置が移動された場合、当該差と同じ量、対象オブジェクトの縦方向のサイズを縮小する。なお、この縦方向のサイズの縮小量は、つまみ位置の縦方向の差の減少量と厳密に同一である必要はなく、所定のオフセット又は補正が加えられてもよい。
　［操作例６］
　操作例６は、ユーザがつまみ動作を用いたページめくり動作である。図１５Ａ～図１５Ｃは、操作例６を説明するための図である。
　ページめくり予約領域４０８及びページめくり予約領域４０９は、表示オブジェクト１１７の予め定められた領域である。例えば、ページめくり予約領域４０８は、表示オブジェクト１１７の左端周辺の領域であり、ページめくり予約領域４０９は、表示オブジェクト１１７の右端周辺の領域である。
　図１５Ａに示すように、ユーザによるページめくり予約領域４０８又はページめくり予約領域４０９に対するつまみ動作が検出されると、表示オブジェクト１１７はページめくり待ち状態となる。
　この時、表示制御部１１４は、ユーザに表示オブジェクト１１７がページめくり待ち状態になったことを通知するため、通知画像３０４を表示部１１１に表示させる。ここでは、通知画像３０４として本を示す画像が用いられているが、通知画像３０４はこの絵柄に限らない。
　次に、図１５Ｂ及び図１５Ｃに示すように、つまみ位置が、つまみ位置座標２２２（Ｔ１９ｘ，Ｔ１９ｙ，Ｔ１９ｚ）からつまみ位置座標２２３（Ｔ２０ｘ，Ｔ２０ｙ，Ｔ２０ｚ）へ変化した場合、（Ｔ２０ｘ－Ｔ１９ｘ≧０）、（Ｔ２０ｙ－Ｔ１９ｙ≦０）かつ（Ｔ２０ｚ－Ｔ１９ｚ≦０）が満たされれば、表示制御部１１４は、ユーザによるページめくり操作が実施されたと判断し、表示オブジェクト１１７のページめくり動作の表示指示を表示部１１１に渡す。
　ページめくり予約領域４０９がつままれた場合も同様に、（Ｔ２０ｘ－Ｔ１９ｘ≦０）、（Ｔ２０ｙ－Ｔ１９ｙ≦０）かつ（Ｔ２０ｚ－Ｔ１９ｚ≦０）が満たされれば、表示制御部１１４は、ユーザによるページめくり操作が実施されたと判断し、表示オブジェクト１１７のページめくり動作の表示指示を表示部１１１に渡す。
　このように、表示制御部１１４は、動作検出部１１３が、ユーザが対象オブジェクト（表示オブジェクト１１７）をつまんだ状態で、対象オブジェクトのページをめくる動作を検出した場合、対象オブジェクトのページめくり動作を行う。具体的には、対象オブジェクトは、ページをめくることが可能なオブジェクトであり、例えば、三次元又は二次元の電子書籍である。表示制御部１１４は、動作検出部１１３により、ユーザが対象オブジェクトのページ端部周辺の領域をつまむつまみ動作を検出した後に、当該つまみ動作が維持されたまま、つまみ位置が、手前側かつページ中央方向に移動した場合、対象オブジェクトのページめくり動作を行う。ここで、ページめくり動作とは、例えば表示する電子書籍のページを、次のページに切り替える動作である。
　［操作例７］
　操作例７は、ユーザが表示オブジェクト１１７を指ではじく動作である。図１６Ａ及び図１６Ｂは、操作例７を説明するための図である。
　ユーザは、図１６Ａに示すつまみ状態から、図１６Ｂに示すように、つまみ動作をしている指を離して、表示オブジェクト１１７をはじく動作を行う。位置座標５００（Ｔ２１ｘ，Ｔ２１ｙ，Ｔ２１ｚ）及び位置座標５０１（Ｔ２２ｘ，Ｔ２２ｙ，Ｔ２２ｚ）は、つまみ動作を行っている２本の指のそれぞれの先端箇所の位置座標である。図１６Ａのつまみ動作から２本の指が離れる直前の時刻をｔ１とする。
　図１６Ｂのはじく動作を行った際の２本の指のそれぞれの先端箇所の位置は、位置座標５００（Ｔ２１ｘ，Ｔ２１ｙ，Ｔ２１ｚ）から位置座標５０２（Ｔ２３ｘ，Ｔ２３ｙ，Ｔ２３ｚ）へ、位置座標５０１（Ｔ２２ｘ，Ｔ２２ｙ，Ｔ２２ｚ）から位置座標５０３（Ｔ２４ｘ，Ｔ２４ｙ，Ｔ２４ｚ）へ変化し、はじく動作が行われた時刻をｔ２とする。
　この時、二本の指の先端箇所の移動速度ｖは、下記（式８）で表される。
Figure JPOXMLDOC01-appb-M000008
　この時、はじく動作により表示オブジェクト１１７は、位置座標１２４（Ｏ３ｘ，Ｏ３ｙ，Ｏ３ｚ）から位置座標１２５（Ｏ４ｘ，Ｏ４ｙ，Ｏ４ｚ）に移る。このとき、例えば、表示オブジェクト１１７は、Ｚ軸方向に、（Ｏ４ｚ＝Ｏ３ｚ＋ｖ×ゲイン設定値）で求める移動距離１３０だけ移動する。例えば、ゲイン設定値は、ユーザにより設定することを可能である。
　このように、表示制御部１１４は、動作検出部１１３が、ユーザが対象オブジェクト（表示オブジェクト１１７）を指ではじく動作を検出した場合、対象オブジェクトをはじかれた方向に移動させる。具体的には、表示制御部１１４は、対象オブジェクトがはじかれた速度及び指の変化量が大きいほど、対象オブジェクトを元の位置からより遠くに移動させる。
　［操作例８］
　操作例８は、その他の操作例である。
　操作例１を応用して、図１７に示すように、ユーザが、表示オブジェクト１１７をつまんだ状態で、表示オブジェクト１１７を振るような動作を行った場合、表示制御部１１４は、表示オブジェクト１１７が振られたような表示を行ってもよい。
　また、図１８に示ように、一回のつまみ動作により複数の表示オブジェクトがつままれてもよい。この場合、上記操作例１～７の動作により、つままれた複数の表示オブジェクトの全てに対して、処理が行われる。
　以上、本発明の実施の形態に係るユーザインタフェース装置について説明したが、本発明は、この実施の形態に限定されるものではない。
　例えば、上記説明では、表示オブジェクトとして板状のオブジェクトが用いられる例を示したが、表示オブジェクトの形状はこれに限らない。
　また、上記実施の形態に係るユーザインタフェース装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、本発明は、上述したユーザインタフェース装置として実現できるだけでなく、ユーザインタフェース装置に含まれる特徴的な手段をステップとする表示オブジェクト操作方法、又はユーザインタフェース装置の制御方法等として実現できる。
　また、上記ユーザインタフェース装置において上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係るユーザインタフェース装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本発明は、ユーザインタフェース装置に適用できる。特に、本発明は、三次元立体視映像を用いたエンタテイメントシステム、及びデジタルサイネージシステム等におけるユーザインタフェース装置として有用である。
　１００　ユーザインタフェース装置
　１１１　表示部
　１１２　センサ部
　１１３　動作検出部
　１１４　表示制御部
　１１５　表示データ保持部
　１１６　表示空間
　１１７、１２１　表示オブジェクト
　１１８　ユーザの手
　１１９　指動作モデル
　１２０　幅
　１２２、１２３、１２４、１２５、５００、５０１、５０２、５０３　位置座標
　１３０　移動距離
　１３１　指動作モデリング部
　１３２　つまみ動作検出部
　１３３　つまみ動作モデル保持部
　１３４　指幅閾値保持部
　１３５　指動作モデル登録部
　１３６　つまみ動作モデル
　２０１、２０２、２０３、２０４、２０５、２０６、２０７、２０８、２０９、２１０、２１１、２１２、２１３、２１４、２１５、２１６、２１７、２１８、２１９、２２０、２２１、２２２、２２３　つまみ位置座標
　３００、３０１、３０２、３０３、３０４　通知画像
　４００、４０１　削除予約領域
　４０２、４０３　横方向拡大縮小予約領域
　４０４、４０５　斜め方向拡大縮小予約領域
　４０６、４０７　縦方向拡大縮小予約領域
　４０８、４０９　ページめくり予約領域

Claims (15)

  1. 　表示空間に二次元又は三次元のオブジェクトを表示する表示部と、
    　前記表示空間におけるユーザの指の三次元座標を計測するセンサ部と、
    　前記センサ部により計測された前記ユーザの指の三次元座標を用いて、前記オブジェクトに対する前記ユーザの指の動作を検出する動作検出部と、
    　前記動作検出部の検出結果に応じて、前記表示部が表示する表示内容を変更する表示制御部とを備える
    　ユーザインタフェース装置。
  2. 　前記動作検出部は、前記センサ部により計測された前記ユーザの指の三次元座標を用いて、前記ユーザが前記オブジェクトをつまむつまみ動作を検出する
    　請求項１記載のユーザインタフェース装置。
  3. 　前記表示制御部は、前記動作検出部により前記つまみ動作が検出された場合、当該つまみ動作によりつままれた対象オブジェクトの表示方法を変更する
    　請求項２記載のユーザインタフェース装置。
  4. 　前記表示部は、前記表示空間に複数の前記オブジェクトを表示し、
    　前記表示制御部は、前記動作検出部により前記つまみ動作が検出された場合、さらに、前記複数のオブジェクトのうち、前記対象オブジェクト以外のオブジェクトの表示方法を変更する
    　請求項３記載のユーザインタフェース装置。
  5. 　前記表示制御部は、前記動作検出部が、前記ユーザが前記対象オブジェクトをつまんで移動させる移動動作を検出した場合、当該移動動作に連動して、前記対象オブジェクトの三次元位置を移動させる
    　請求項２～４のいずれか１項に記載のユーザインタフェース装置。
  6. 　前記表示制御部は、前記動作検出部が、前記ユーザが前記対象オブジェクトを破る又は引き裂く動作を検出した場合、前記対象オブジェクトを削除する
    　請求項２～５のいずれか１項に記載のユーザインタフェース装置。
  7. 　前記表示制御部は、
    　前記動作検出部が、前記ユーザが前記対象オブジェクトの２点をつまんだ状態で、当該対象オブジェクトを引き伸ばす動作を検出した場合、前記対象オブジェクトを拡大し、
    　前記動作検出部が、前記ユーザが前記対象オブジェクトの２点をつまんだ状態で、当該対象オブジェクトを縮める動作を検出した場合、前記対象オブジェクトを縮小する
    　請求項２～６のいずれか１項に記載のユーザインタフェース装置。
  8. 　前記表示制御部は、前記動作検出部が、前記ユーザが前記対象オブジェクトをつまんだ状態で、前記対象オブジェクトのページをめくる動作を検出した場合、前記対象オブジェクトのページめくり動作を行う
    　請求項２～７のいずれか１項に記載のユーザインタフェース装置。
  9. 　前記表示制御部は、前記動作検出部が、前記ユーザが前記対象オブジェクトを指ではじく動作を検出した場合、前記対象オブジェクトをはじかれた方向に移動させる
    　請求項１～８のいずれか１項に記載のユーザインタフェース装置。
  10. 　前記動作検出部は、前記ユーザの部位のうち、予め定められた閾値より細い部分を指と認識することにより指動作モデルを生成し、当該指動作モデルを用いて、前記つまみ動作を検出する
    　請求項２～８のいずれか１項に記載のユーザインタフェース装置。
  11. 　前記動作検出部は、
    　前記指動作モデルを用いて前記ユーザの指先の三次元位置を検出し、
    　前記指先の間に、前記対象オブジェクトの一部が存在し、かつ、前記指先の間隔が前記対象オブジェクトの厚み以下の場合、前記つまみ動作が行われたと判定する
    　請求項１０記載のユーザインタフェース装置。
  12. 　前記動作検出部は、
    　前記指動作モデルの形状が、予め定められたつまみ動作モデルの形状と一致する場合、前記つまみ動作が行われたと判定する
    　請求項１０記載のユーザインタフェース装置。
  13. 　表示空間に二次元又は三次元のオブジェクトを表示する表示ステップと、
    　前記表示空間におけるユーザの指の三次元座標を計測する計測ステップと、
    　前記計測ステップで計測された前記ユーザの指の三次元座標を用いて、前記オブジェクトに対する前記ユーザの指の動作を検出する動作検出ステップと、
    　前記動作検出ステップの検出結果に応じて、表示内容を変更する表示制御ステップとを含む
    　表示オブジェクト操作方法。
  14. 　請求項１３記載の表示オブジェクト操作方法をコンピュータに実行させるための
    　プログラム。
  15. 　表示空間に二次元又は三次元のオブジェクトを表示する表示部と、
    　前記表示空間におけるユーザの指の三次元座標を計測するセンサ部と、
    　前記センサ部により計測された前記ユーザの指の三次元座標を用いて、前記オブジェクトに対する前記ユーザの指の動作を検出する動作検出部と、
    　前記動作検出部の検出結果に応じて、前記表示部が表示する表示内容を変更する表示制御部とを備える
    　集積回路。
PCT/JP2014/001871 2013-06-26 2014-03-31 ユーザインタフェース装置及び表示オブジェクト操作方法 WO2014207971A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/422,936 US9836199B2 (en) 2013-06-26 2014-03-31 User interface device and display object operating method
JP2014553565A JP6227563B2 (ja) 2013-06-26 2014-03-31 ユーザインタフェース装置及び表示オブジェクト操作方法
CN201480002144.9A CN104583913B (zh) 2013-06-26 2014-03-31 用户界面装置及显示目标物操作方法
US15/680,492 US10466880B2 (en) 2013-06-26 2017-08-18 User interface device and display object operating method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-134054 2013-06-26
JP2013134054 2013-06-26

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/422,936 A-371-Of-International US9836199B2 (en) 2013-06-26 2014-03-31 User interface device and display object operating method
US15/680,492 Continuation US10466880B2 (en) 2013-06-26 2017-08-18 User interface device and display object operating method

Publications (1)

Publication Number Publication Date
WO2014207971A1 true WO2014207971A1 (ja) 2014-12-31

Family

ID=52141351

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/001871 WO2014207971A1 (ja) 2013-06-26 2014-03-31 ユーザインタフェース装置及び表示オブジェクト操作方法

Country Status (4)

Country Link
US (2) US9836199B2 (ja)
JP (1) JP6227563B2 (ja)
CN (1) CN104583913B (ja)
WO (1) WO2014207971A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017169158A1 (ja) * 2016-03-29 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019021236A (ja) * 2017-07-21 2019-02-07 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JPWO2017187708A1 (ja) * 2016-04-26 2019-02-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019091479A (ja) * 2017-07-21 2019-06-13 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
WO2019150430A1 (ja) * 2018-01-30 2019-08-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP6919050B1 (ja) * 2020-12-16 2021-08-11 株式会社あかつき ゲームシステム、プログラム及び情報処理方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10102824B2 (en) * 2015-05-19 2018-10-16 Microsoft Technology Licensing, Llc Gesture for task transfer
CN107315355B (zh) * 2017-06-30 2021-05-18 京东方科技集团股份有限公司 一种电器控制设备及方法
US10521947B2 (en) * 2017-09-29 2019-12-31 Sony Interactive Entertainment Inc. Rendering of virtual hand pose based on detected hand input
TWI682877B (zh) * 2018-06-04 2020-01-21 宏碁股份有限公司 移動裝置控制方法、伺服器裝置及移動裝置控制系統
US10712901B2 (en) * 2018-06-27 2020-07-14 Facebook Technologies, Llc Gesture-based content sharing in artificial reality environments
US10783712B2 (en) 2018-06-27 2020-09-22 Facebook Technologies, Llc Visual flairs for emphasizing gestures in artificial-reality environments
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
EP3677997B1 (en) * 2019-01-03 2021-10-13 HTC Corporation Electronic system and controller
US11054896B1 (en) * 2019-02-07 2021-07-06 Facebook, Inc. Displaying virtual interaction objects to a user on a reference plane
JP6711979B1 (ja) * 2019-06-07 2020-06-17 株式会社セルシス 書籍表示プログラム及び書籍表示装置
CN112130659A (zh) * 2019-06-25 2020-12-25 幻景启动股份有限公司 互动式立体显示装置与互动感应方法
CN113377190A (zh) * 2020-03-09 2021-09-10 幻景启动股份有限公司 漂浮影像显示设备、互动方法与其系统
CN113867521B (zh) * 2020-06-30 2024-01-23 京东方科技集团股份有限公司 一种基于手势视觉识别的手写输入方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2005031799A (ja) * 2003-07-08 2005-02-03 Sony Computer Entertainment Inc 制御システムおよび制御方法
JP2005321870A (ja) * 2004-05-06 2005-11-17 Alpine Electronics Inc 操作入力装置および操作入力方法
JP2010257359A (ja) * 2009-04-28 2010-11-11 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2013047924A (ja) * 2011-08-29 2013-03-07 Kyocera Corp 表示機器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7893920B2 (en) 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
US8453065B2 (en) * 2004-06-25 2013-05-28 Apple Inc. Preview and installation of user interface elements in a display environment
KR101426718B1 (ko) * 2007-02-15 2014-08-05 삼성전자주식회사 휴대단말기에서 터치 이벤트에 따른 정보 표시 장치 및방법
US7979809B2 (en) * 2007-05-11 2011-07-12 Microsoft Corporation Gestured movement of object to display edge
JP5229083B2 (ja) * 2009-04-14 2013-07-03 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20120235947A1 (en) 2010-01-29 2012-09-20 Saeko Yano Map information processing device
US9519356B2 (en) * 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US9075522B2 (en) * 2010-02-25 2015-07-07 Microsoft Technology Licensing, Llc Multi-screen bookmark hold gesture
KR101729523B1 (ko) * 2010-12-21 2017-04-24 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP2012256110A (ja) * 2011-06-07 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
WO2013063409A1 (en) * 2011-10-28 2013-05-02 General Mills, Inc. Dispenser

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2005031799A (ja) * 2003-07-08 2005-02-03 Sony Computer Entertainment Inc 制御システムおよび制御方法
JP2005321870A (ja) * 2004-05-06 2005-11-17 Alpine Electronics Inc 操作入力装置および操作入力方法
JP2010257359A (ja) * 2009-04-28 2010-11-11 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2013047924A (ja) * 2011-08-29 2013-03-07 Kyocera Corp 表示機器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HIROSHI KAWADE: "Development of AR -based information presentation device considering interaction with real objects and virtual objects", ITE TECHNICAL REPORT, vol. 35, no. 9, 14 February 2011 (2011-02-14), pages 59 - 63 *
KAZUKI TOKUDA: "Function Design and Implementation of Document-Metaphor Interface for Tabletop Systems", PROCEEDINGS OF THE 2012 IEICE GENERAL CONFERENCE KISO KYOKAI, 6 March 2012 (2012-03-06), pages 223 *
TOSHIKI SATO: "Implementation and Evaluations of Flicking Gesture Recognition with a High- Speed Camera", TRANSACTIONS OF THE VIRTUAL REALITY SOCIETY OF JAPAN, vol. 12, no. 3, 30 September 2007 (2007-09-30), pages 355 - 364 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017169158A1 (ja) * 2016-03-29 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2017187708A1 (ja) * 2016-04-26 2019-02-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11017257B2 (en) 2016-04-26 2021-05-25 Sony Corporation Information processing device, information processing method, and program
JP7092028B2 (ja) 2016-04-26 2022-06-28 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019021236A (ja) * 2017-07-21 2019-02-07 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP2019091479A (ja) * 2017-07-21 2019-06-13 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
WO2019150430A1 (ja) * 2018-01-30 2019-08-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JPWO2019150430A1 (ja) * 2018-01-30 2020-09-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US11500453B2 (en) 2018-01-30 2022-11-15 Sony Interactive Entertainment Inc. Information processing apparatus
JP6919050B1 (ja) * 2020-12-16 2021-08-11 株式会社あかつき ゲームシステム、プログラム及び情報処理方法
WO2022130681A1 (ja) * 2020-12-16 2022-06-23 株式会社あかつき ゲームシステム、プログラム及び情報処理方法
JP2022094975A (ja) * 2020-12-16 2022-06-28 株式会社あかつき ゲームシステム、プログラム及び情報処理方法

Also Published As

Publication number Publication date
JPWO2014207971A1 (ja) 2017-02-23
CN104583913A (zh) 2015-04-29
US20150242101A1 (en) 2015-08-27
CN104583913B (zh) 2018-04-13
US20170344237A1 (en) 2017-11-30
US10466880B2 (en) 2019-11-05
JP6227563B2 (ja) 2017-11-08
US9836199B2 (en) 2017-12-05

Similar Documents

Publication Publication Date Title
JP6227563B2 (ja) ユーザインタフェース装置及び表示オブジェクト操作方法
US10101898B2 (en) Multi-touch graphical user interface for interacting with menus on a handheld device
JP6482196B2 (ja) 画像処理装置、その制御方法、プログラム、及び記憶媒体
US9208547B2 (en) Stereo correspondence smoothness tool
US9645735B2 (en) Information processing device and information processing method
US10318152B2 (en) Modifying key size on a touch screen based on fingertip location
KR101660576B1 (ko) 시각 장애 사용자들에 의한 이미지 캡처 및 이미지 검토의 촉진
JP5802247B2 (ja) 情報処理装置
JP6410537B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2017199289A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US9235293B2 (en) Optical touch device and touch sensing method
TWI547887B (zh) 用以利用積分梯度投影作臉部追蹤之方法、裝置與電腦程式
JP2014029656A (ja) 画像処理装置および画像処理方法
JP5342484B2 (ja) 座標入力装置及びプログラム
JP6366267B2 (ja) 情報処理装置、その情報処理方法、プログラム、及び記憶媒体
Ju et al. A novel approach to extract hand gesture feature in depth images
JP5620895B2 (ja) 表示制御装置、方法及びプログラム
TWI448918B (zh) 光學觸控系統
KR102122793B1 (ko) 전자 디바이스 및 전자 디바이스에서 이미지 처리 방법
US20150042621A1 (en) Method and apparatus for controlling 3d object
WO2018161421A1 (zh) 终端设备的触摸显示屏幕的性能测试方法和性能测试装置
US11789543B2 (en) Information processing apparatus and information processing method
JP5950806B2 (ja) 入力装置、情報処理方法、及び情報処理プログラム
JP2003248830A (ja) 指紋画像解析装置及び入力装置
JP2014074988A (ja) 表示装置、表示方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014553565

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14817983

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14422936

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14817983

Country of ref document: EP

Kind code of ref document: A1