JP5558899B2 - The information processing apparatus, the processing method and program - Google Patents

The information processing apparatus, the processing method and program Download PDF

Info

Publication number
JP5558899B2
JP5558899B2 JP2010099065A JP2010099065A JP5558899B2 JP 5558899 B2 JP5558899 B2 JP 5558899B2 JP 2010099065 A JP2010099065 A JP 2010099065A JP 2010099065 A JP2010099065 A JP 2010099065A JP 5558899 B2 JP5558899 B2 JP 5558899B2
Authority
JP
Japan
Prior art keywords
gesture operation
object
performed
based
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010099065A
Other languages
Japanese (ja)
Other versions
JP2011227828A5 (en
JP2011227828A (en
Inventor
智之 清水
光 伊藤
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2010099065A priority Critical patent/JP5558899B2/en
Publication of JP2011227828A publication Critical patent/JP2011227828A/en
Publication of JP2011227828A5 publication Critical patent/JP2011227828A5/ja
Application granted granted Critical
Publication of JP5558899B2 publication Critical patent/JP5558899B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理装置、その処理方法及びプログラムに関する。 The present invention relates to an information processing apparatus, a processing method therefor, and a program.

近年、電子的に表示されたオブジェクトに対する操作として、ユーザが直感的な入力により指示を行なえるジェスチャ入力によるものが増えている。 Recently, as the operation for electronically displayed objects, the user is increasing due to perform gesture input an instruction intuitive input. 例えば、オブジェクトを利用して電子的なデータの作成・編集作業を行なう場合等には、表示されているオブジェクトを指定して、作成・編集中のデータにコピー又は移動して配置する操作が良く行なわれる。 For example, in a case such as to perform the work of creating and editing electronic data using an object, by specifying the objects displayed, good operation of placing copy or move data in a creating and editing It is carried out.

従来、このような操作は、表示されているオブジェクトを選択するジェスチャ動作を行なった後、オブジェクト選択状態のまま、移動先へとオブジェクトを動かすようなジェスチャ動作を行なうものが多い(特許文献1参照)。 Conventionally, such an operation, after performing a gesture operation for selecting an object displayed while the object selection state, to perform a gesture operation to move the object to the destination is large (see Patent Document 1 ).

特開2005−301693号公報 JP 2005-301693 JP

上述したように、従来、オブジェクトを移動等させる際には、選択したオブジェクトをユーザの手に追随させて、選択した位置から移動先までオブジェクトを動かさなければならなかった。 As described above, conventionally, when moving like an object, by tracking the selected object in the hand of the user, it had moved the object to the new location from the selected position. そのため、例えば、片手で届く範囲を越える位置にオブジェクトをコピー又は移動させるような場合には、ユーザは、体全体を大きく動かさなければならない。 Therefore, for example, when a position beyond the range of reach by hand, such as to copy or move an object, the user must move a large whole body. このような場合には、オブジェクトを容易に移動できる範囲が制限されてしまう。 In such a case, it is limited in the range that can be easily moved objects.

本発明は、上記課題に鑑みてなされたものであり、ジェスチャ動作によりオブジェクトを他の領域にコピー又は移動させる際の操作性を向上させるようにした技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a technology to improve the operability at the time of copying or moving the object to another area by the gesture operation.

上記課題を解決するため、本発明の一態様による情報処理装置は、 To solve the above problems, an information processing apparatus according to an aspect of the present invention,
三次元空間におけるユーザの手の検出に基づいて、ユーザにより行なわれたジェスチャ動作と、該ジェスチャ動作が行なわれた表示領域上の位置とを示す情報を取得する取得手段と、 Based on the detection of the user's hand in three-dimensional space, a gesture operation performed by a user, an acquisition unit configured to acquire information indicating the position on the display area in which the gesture motion has been performed,
前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかのオブジェクトの選択を指示する第1のジェスチャ動作が行なわれたか否かを判定する第1の判定手段と、 Based on the information acquired by the acquisition unit, a first determining means for determining whether the first gesture operation is performed for instructing the selection of one of the objects in the display area,
前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかの領域の選択を指示する第2のジェスチャ動作が行なわれたか否かを判定する第2の判定手段と、 Based on the information acquired by the acquisition unit, a second determination means for determining whether the second gesture operation is performed for instructing the selection of one of the regions in the display region,
前記第1のジェスチャ動作に基づいて選択されたオブジェクトを特定するとともに、前記第2のジェスチャ動作に基づいて選択された領域を特定する特定手段と、 With identifying the selected object based on the first gesture operation, an identification unit configured to identify a selected area on the basis of the second gesture operation,
前記取得手段により取得された情報に基づいて、前記オブジェクト及び前記領域が特定されている状態で前記特定された前記オブジェクトに対する処理を指示する第3のジェスチャ動作が行なわれたか否かを判定する第3の判定手段と、 Based on the information acquired by the acquisition unit, the determining whether the third gesture operation for instructing processing for said identified the object in a state where the object and the region has been identified is performed and third determination means,
前記第3のジェスチャ動作が行なわれたと判定された場合、前記特定されたオブジェクトを前記特定された領域にコピー又は移動させるオブジェクト処理手段とを具備し、 If the third gesture operation is determined to have been performed, comprising a object processing means for copying or moving the identified object to the specified region,
前記第3の判定手段は、 It said third determination means,
前記特定されているオブジェクトを一定量以上移動させ、かつ、当該移動の方向が前記特定されているオブジェクトから前記特定された領域に向かう方向となるジェスチャ動作を、前記第3のジェスチャ動作として判定することを特徴とする。 Wherein the object being identified is moved a predetermined amount or more, and determines the gesture operation as a direction toward the direction of the movement is the specific from the object being the specific area, as the third gesture operation it is characterized in.

本発明によれば、ジェスチャ動作によりオブジェクトを他の領域にコピー又は移動させる際の操作性を向上させられる。 According to the present invention is to improve the operability at the time of copying or moving the object to another area by the gesture operation.

本発明の一実施の形態に係わる情報処理装置10のハードウェア構成の一例を示す図。 It illustrates an example of a hardware configuration of the information processing apparatus 10 according to an embodiment of the present invention. 図1に示すCPU11において実現される機能的な構成の一例を示す図。 Diagram illustrating an example of the functions structure realized in CPU11 shown in FIG. 図1に示す情報処理装置10における処理の概要を示す図。 Diagram showing an outline of processing in the information processing apparatus 10 shown in FIG. 図1に示す情報処理装置10の処理の流れの一例を示すフローチャート。 Flow chart illustrating an example of the processing flow of the information processing apparatus 10 shown in FIG. 図1に示す情報処理装置10の処理の流れの一例を示すフローチャート。 Flow chart illustrating an example of the processing flow of the information processing apparatus 10 shown in FIG. 図1に示す情報処理装置10の処理の流れの一例を示すフローチャート。 Flow chart illustrating an example of the processing flow of the information processing apparatus 10 shown in FIG. 実施形態2に係わるCPU11において実現される機能的な構成の一例を示す図。 Diagram showing an example of the functional arrangement implemented in a CPU11 according to the second embodiment. 実施形態3に係わるCPU11において実現される機能的な構成の一例を示す図。 Diagram showing an example of the functional arrangement implemented in a CPU11 according to the third embodiment.

以下、本発明の一実施の形態について添付図面を参照して詳細に説明する。 It will be described in detail with reference to the accompanying drawings an embodiment of the present invention.

(実施形態1) (Embodiment 1)
図1は、本発明の一実施の形態に係わる情報処理装置10のハードウェア構成の一例を示す図である。 Figure 1 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 10 according to an embodiment of the present invention.

情報処理装置10は、CPU11と、ROM12と、RAM13と、記憶部14と、入力I/F15と、出力I/F16と、システムバス17と、入力デバイス18と、出力デバイス19とを具備して構成される。 The information processing apparatus 10 includes a CPU 11, a ROM 12, a RAM 13, a storage unit 14, an input I / F15, and the output I / F16, and a system bus 17, and includes an input device 18, and an output device 19 constructed. これら各部間における通信は、システムバス17により実現される。 Communication between these components is realized by a system bus 17.

RAM(Random Access Memory)13は、CPU11によるプログラムの実行時にワークエリアとして使用され、各種演算結果や座標データ等を一時的に記憶する。 RAM (Random Access Memory) 13 is used as a work area during execution of the program by the CPU 11, and temporarily stores various calculation results and coordinate data, and the like. ROM(Read Only Memory)12は、プログラムや各種データを記憶する。 ROM (Read Only Memory) 12 stores programs and various data.

記憶部14は、ハードディスクドライブ(HDD)やフラッシュメモリドライブ(SSD)、着脱可能なメモリカードや光ディスク等により実現され、各種データを記憶する。 Storage unit 14, a hard disk drive (HDD) or flash memory drive (SSD), is implemented by a removable memory card or optical disk or the like, stores various data. 記憶部14には、例えば、オペレーティングシステムやアプリケーション等の各種プログラムが記憶される。 The storage unit 14, for example, an operating system and various programs such as an application are stored.

CPU(Central Processing Unit)11は、情報処理装置10の動作を統括制御する。 CPU (Central Processing Unit) 11 performs overall control of the operation of the information processing apparatus 10. 情報処理装置10における各種処理は、例えば、CPU11がRAM13をワーク領域として記憶部14に記憶されたプログラムを読み込み実行することで行なわれる。 Various processes in the information processing apparatus 10, for example, CPU 11 is performed by executing read a program stored in the storage unit 14 to RAM13 as a work area.

入力デバイス18は、例えば、各種センサやカメラ等で実現され、入力I/F15を介して各種情報を装置内に入力する。 Input device 18 may, for example, be realized by various sensors and a camera or the like, via the input I / F15 to enter various information into the device. ここで、入力デバイス18は、一般に、ジェスチャ認識で用いられるようなカメラやセンサを含むものであれば良い。 The input device 18 is generally as long as they include a camera and sensors as used in gesture recognition. 本実施形態に係わる入力デバイス18は、カメラ及びセンサを用いて、人体に対して照射した赤外光の反射波を撮像し、人体各部の奥行きを含んだ外形の情報とそれらの動きとを検出する。 Input device 18 according to the present embodiment, using the camera and sensor, capturing a reflected wave of the irradiated infrared light to the human body, detects the information and their movement profile that contains the depth of the human body each part to. なお、入力デバイス18は、必ずしもこのような構成に限られず、ユーザの人体範囲を特定でき、また、ジェスチャ動作(手の位置、形、動き)を検出できる構成であれば良い。 The input device 18 is not necessarily limited to such a configuration, it is possible to identify the human range of the user, also, the gesture operation (the hand position, shape, motion) may be any configuration capable of detecting. 例えば、空間上の位置、形、動きを検出可能なセンサを搭載したグローブを入力デバイスとして利用しても構わない。 For example, it may be utilized spatial position, shape, gloves equipped with sensor capable of detecting the motion as an input device. この場合、ユーザは、当該グローブを両手に装着し、ジェスチャ動作を行なう。 In this case, the user wearing the glove to both hands, performing a gesture operation. また、例えば、通常の可視光を撮影するカメラで撮影したユーザの画像を画像認識によって処理し、それによりジェスチャ入力を行なうようにしても良い。 Further, for example, an image of the user captured by the camera for photographing the normal visible light processed by image recognition, whereby it may be performed a gesture input.

出力デバイス19は、出力I/F16を介して各種情報を装置外部に出力する。 The output device 19 outputs various information to a device outside via the output I / F16. 本実施形態に係わる出力デバイス19としては、例えば、ディスプレイやスクリーン等が挙げられ、比較的大きめの表示領域を有するものを想定している。 As the output device 19 according to the present embodiment, for example, a display or a screen and the like, is assumed to have a relatively large display area. 以上が、情報処理装置10における機能的な構成の一例である。 The above is an example of the functional arrangement of the information processing apparatus 10.

次に、図2を用いて、上述したCPU11において実現される機能的な構成の一例について説明する。 Next, with reference to FIG. 2, illustrating an example of functional configuration realized in CPU11 described above. これら処理機能は、例えば、CPU11がRAM13をワーク領域として記憶部14に記憶されたプログラムを読み込み実行することで実現される。 These processing functions, for example, CPU 11 is realized by executing read a program stored in the storage unit 14 to RAM13 as a work area.

CPU11には、その機能的な構成として、取得部21と、ユーザ特定部22と、ジェスチャ判定部23と、同定部27と、オブジェクト処理部28と、表示処理部29とが実現される。 The CPU 11, as its functional configurations, the acquisition unit 21, a user identifying unit 22, a gesture determination section 23, an identification unit 27, and the object processing unit 28, is realized a display processing unit 29.

取得部21は、入力I/F15を介して入力デバイス18からジェスチャ情報を取得する。 Acquisition unit 21 acquires the gesture information from the input device 18 via the input I / F15. ジェスチャ情報とは、ユーザの人体範囲を示す情報と、ユーザにより行なわれたジェスチャ動作(手の位置、形、動き)と、ジェスチャ動作が行なわれた表示領域上における位置とを示す情報である。 And gesture information includes information indicating the body range of the user, the gesture operation performed by the user (the position of the hand, the shape, motion) and is information indicating a position in the display region where the gesture operation is performed.

ユーザ特定部22は、オブジェクトの選択や、コピー先領域又は移動先領域の選択が、同一ユーザによって行なわれているか否かを特定(判定)する。 The user identifying unit 22, selection of objects, selection of the copy destination area or the destination area, to identify whether performed by the same user (decision). 本実施形態では、入力デバイス(センサ)18において、ユーザの外形と奥行きとを取得できるため、当該センサの出力結果を利用して人体の範囲を決定する。 In the present embodiment, the input device (sensor) 18, it is possible to obtain the outer shape and depth of the user, determines the range of the human body by utilizing the output of the sensor. これにより、ユーザの特定を行なう。 Thus, performing a specific user. なお、センサではユーザの外形や奥行きまでが判断できず、複数人の重なりや、体を構成する部位の連続性が認識できない場合などには、ユーザをカメラで撮影し、画像特徴の処理によって、同一ユーザであるか否かを判定するなどしても構わない。 Incidentally, can not determine until the outer shape and depth of the user in the sensor, a plurality of persons overlap, or if you continuity of the portion constituting the body can not be recognized, by photographing the user by the camera, the processing of the image features, it may also be such as determining whether the same user.

ジェスチャ判定部23は、取得部21により受信されたジェスチャ情報に基づいて、いずれの処理を指示するジェスチャ動作が行なわれたのかを判定する。 Gesture judging section 23 judges whether based on the received gesture information by the acquisition unit 21, the gesture operation instructing any processing is performed. 本実施形態においては、ユーザが行なうジェスチャ動作として、第1のジェスチャ動作と、第2のジェスチャ動作と、第3のジェスチャ動作とがある。 In the present embodiment, as a gesture operation performed by the user, it is a first gesture operation, a second gesture operation, a third gesture operation.

ここで、第1のジェスチャ動作とは、表示領域におけるいずれかのオブジェクトの選択を指示するジェスチャ動作を指し、第2のジェスチャ動作とは、コピー又は移動先の領域の選択を指示するジェスチャ動作を指す。 Here, the first gesture operation, refers to a gesture operation for instructing the selection of one of the objects in the display area, and the second gesture operation, a gesture operation for instructing the selection of the copy or movement destination area points. 本実施形態に係わる第1のジェスチャ動作及び第2のジェスチャ動作は、同じジェスチャ動作(例えば、空間を指で掴むような動作)で行なわれる。 The first gesture operation and a second gesture operation according to this embodiment is carried out in the same gesture operation (e.g., such as grab space finger operation).

また、第3のジェスチャ動作とは、選択されたオブジェクトに対して処理の実施を指示するジェスチャ動作を指し、選択された領域に向けて選択されたオブジェクトをコピー又は移動させるための指示を行なうジェスチャ動作である。 Further, the third gesture operation, refers to a gesture operation for instructing the implementation of the process on the selected object, perform an instruction to copy or move selected objects toward the selected areas gesture it is an operation. 本実施形態に係わる第3のジェスチャ動作は、オブジェクトとコピー先領域等とが選択されている状態で、選択されたオブジェクトを選択されたコピー先領域等に向けて一定量以上移動させるような動きとなる。 The third gesture operation according to the present embodiment, objects and in a state in which the copy destination area or the like is selected, the motion such as to move a predetermined amount or more toward the selected copy destination area or the like the selected object to become.

ここで、ジェスチャ判定部23には、上述したジェスチャ動作を判定(検出)するため、第1の判定部24と、第2の判定部25と、第3の判定部26とが設けられる。 Here, the gesture determination unit 23 for determining (detecting) a gesture operation described above, the first determination unit 24, a second determination unit 25, and a third determination unit 26 is provided.

第1の判定部24は、取得部21により取得されたジェスチャ情報に基づいて、ユーザにより第1のジェスチャ動作が行なわれたか否かを判定する。 The first determination unit 24, based on the acquired gesture information by the acquisition unit 21 determines whether the first gesture operation has been performed by the user. より具体的には、オブジェクトが選択されていない状態で、表示領域に表示されたいずれかのオブジェクトに対して指で掴むような動作が行なわれた場合に、第1のジェスチャ動作が行なわれたと判定する。 More specifically, when no object is selected, when the operation such as grasping by a finger is performed on any of the objects displayed in the display area, the first gesture operation is performed and judge.

第2の判定部25は、取得部21により取得されたジェスチャ情報とユーザ特定部22によるユーザの特定結果とに基づいて、ユーザにより第2のジェスチャ動作が行なわれたか否かを判定する。 The second determination unit 25, based on the specification result of the user with the gesture information and the user identification unit 22 acquired by the acquiring unit 21 determines whether the second gesture operation has been performed by the user. より具体的には、オブジェクトが選択された状態で(当該オブジェクトを選択したユーザと)同じユーザにより表示領域に表示されたいずれかの領域に対して指で掴むような動作が行なわれた場合に、第2のジェスチャ動作が行なわれたと判定する。 More specifically, if the object operation as grasp with a finger is performed on any area that is displayed in the display area in a state of being selected (the user who selects the object) by the same user determines that the second gesture operation is performed.

第3の判定部26は、取得部21により取得されたジェスチャ情報に基づいて、ユーザにより第3のジェスチャ動作が行なわれたか否かを判定する。 Third determination unit 26, based on the acquired gesture information by the acquisition unit 21 determines whether the third gesture operation has been performed by the user. より具体的には、オブジェクト及び領域が選択された状態で、当該選択中のオブジェクトを当該選択中のコピー先領域等に向けて一定量以上移動させるような動作が行なわれた場合に、第3のジェスチャ動作が行なわれたと判定する。 More specifically, in a state where the object and the area is selected, when the operation such as the objects in the selection toward the destination area or the like in the selected moving more than a certain amount is performed, the third It determines that the gesture motion has been performed.

ここで、第3のジェスチャ動作の判定には、オブジェクトの移動量や方向に対して任意の値を有する閾値を用いる。 Here, the determination of the third gesture operation, using a threshold having a desired value with respect to the moving amount and direction of the object. 閾値には、コピーや移動の意思が明らかに認識できる程度の値を設定すれば良い。 The threshold may be set to a value enough to intention of copying or movement can be clearly recognized. 例えば、単純に、センサを基準とした移動後と移動前の手の位置の座標と実距離とから、手の移動方向とともに移動量を距離で求める。 For example, simply, from the coordinates and the actual distance of the position of the hand before movement and after movement relative to the sensor, determining the distance the movement amount with the movement direction of the hand. 移動量については、10cm以内などといった閾値を設定すれば良い。 The amount of movement, may be set a threshold, such as within 10cm. また、移動方向については、オブジェクトの中心と選択領域の中心とを結んだ線分と、当該線分と移動方向との角度が10度以内等といった閾値を設定すれば良い。 Further, the moving direction, a line segment connecting the centers of the selected areas of the object, the angle between the moving direction and the line segment may be set a threshold such within 10 degrees, and the like. また更に、加速度も見るようにして、無意識のうちに徐々に移動してしまったような場合には、第3のジェスチャ動作であると判定されないような仕組みを設けても構わない。 Furthermore, as the acceleration is also seen, when, as it had gradually moved to unconsciously, may be provided a mechanism that is not determined to be the third gesture operation.

同定部27は、第1のジェスチャ動作及び第2のジェスチャ動作が行なわれた場合に、対象となるオブジェクトや領域を同定する。 Identification unit 27, when the first gesture operation and a second gesture operation is performed to identify the object or area of ​​interest. すなわち、第1のジェスチャ動作に基づいて選択された1又は複数のオブジェクトの中からいずれかのオブジェクトを同定する第1の同定手段として機能する。 That is, functions as a first identification means for identifying one of the objects from among one or more objects are selected based on the first gesture operation. また、第2のジェスチャ動作に基づいて選択された1又は複数の領域の中からいずれかの領域を同定する第2の同定手段として機能する。 Also it serves as a second identification means for identifying one of the areas from among one or more regions selected on the basis of the second gesture operation. 本実施形態に係わる同定部27においては、ユーザの頭の位置と、表示領域に表示されたオブジェクトに対する手の位置及び距離とに基づいてオブジェクトや領域の同定を行なう。 In the identification unit 27 according to the present embodiment, the position of the user's head, for identification of the object or area based on the position and distance of the hand to the object displayed in the display area.

この同定においては、例えば、入力デバイス18を基準とした表示領域の位置を予め定めておき、ユーザの頭の位置と選択している手の位置とを結ぶ線分と、表示領域の交点付近にある対象を選択対象として同定すれば良い。 In this identification, for example, determined in advance the position of the display region relative to the input device 18, a line segment connecting the position of the hand is selected and the position of the user's head, in the vicinity of the intersection of the display region it is sufficient to identify a target for selection. この場合、頭の位置から更に目に相当するおよその位置を推定し、目の位置と手の位置とを結ぶ線分を利用するようにしても構わない。 In this case, it may be utilized segment to estimate the approximate position corresponding to further eye from the position of the head, connecting the position of the hand of the eye. 但し、同定の仕方は、これに限られず、例えば、表示領域の位置と手の位置とがごく近い場合には、手の位置の付近に存在している対象を選択対象として同定しても良い。 However, the manner of identification is not limited to this, for example, in the case the positions of the hands of the display area is very near may be identifying a subject that is present in the vicinity of the position of the hand for selection .

なお、対象となるオブジェクトや領域の周辺に他のオブジェクトや領域が存在する場合、付近にある対象を誤って同定してしまうことも考えられる。 Incidentally, if there are other objects and regions around the object or area of ​​interest, it is conceivable to result in erroneously identified subjects in the vicinity. そのため、同定した結果を、選択対象を強調するなどしてユーザにフィードバックし、その後のユーザのジェスチャ動作の変化から同定結果を補正するようにしても良い。 Therefore, the identified result is fed back to the user, such as highlighting the selection, it may be corrected identification result from the change in the gesture motion of the subsequent user. 例えば、同定結果として、選択対象となるオブジェクト(又は領域)を強調表示した後、ユーザがそれよりも上方にずらして第1のジェスチャ動作等を再度行なった場合、当該上方のオブジェクトを同定するようにしても良い。 For example, identified as a result, after highlighting the object to be selected (or regions), if the user performs it first gesture operation such as by shifting upward again than to identify the above objects it may be.

オブジェクト処理部28は、オブジェクトを処理する。 Object processing unit 28 processes the object. より具体的には、第3の判定部26により第3のジェスチャ動作が行なわれたと判定された場合に、選択中のオブジェクトを選択中の領域にコピー又は移動させる。 More specifically, when the third gesture operation is determined to have been made by the third determination unit 26, it is copied or moved to a region in selecting the selected object.

ここで、オブジェクト処理部28により実施される処理は、コピー先又は移動先の領域に応じてその処理内容が異なってくる場合がある。 Here, processing performed by the object processing unit 28 may come its processing contents are different depending on the area of ​​the copy destination or movement destination. より具体的には、例えば、文書や画像作成用のテンプレート上のオブジェクト配置場所がコピー先又は移動先の領域であれば、ここでは、当該テンプレートを用いて作成・編集中の文書や画像の該当部分にオブジェクトを配置する処理が行なわれる。 More specifically, for example, if the area object location is a copy destination or movement destination on the template for creating documents and images, wherein the relevant document or image being created and edited using the template processes for arranging objects in part is performed. また、コピー先又は移動先の領域がフォルダであれば、当該フォルダにオブジェクトをコピー又は移動する処理が行なわれる。 The area of ​​the copy destination or movement destination if folder, processing of copying or moving the object to the folder is performed. また、コピー先又は移動先の領域がゴミ箱であれば、オブジェクトを削除する処理が行なわれる。 The area of ​​the copy destination or movement destination if trash, processing for deleting the object is performed.

表示処理部29は、オブジェクト処理部28で行なわれた処理の結果等を出力デバイス19に表示制御する。 The display processing unit 29 displays the control on the output device 19 the results of processing performed by the object processing unit 28. 例えば、表示されているテンプレート上に、オブジェクトが配置される態様を表示する。 For example, on a template that is displayed, and displays the manner in which objects are arranged.

ここで、図3を用いて、図1に示す情報処理装置10の説明を分かり易くするために、情報処理装置10における処理の流れの一例について簡単に説明する。 Here, with reference to FIG. 3, for ease of explanation of the information processing apparatus 10 shown in FIG. 1, briefly explaining an example of a flow of processing in the information processing apparatus 10. ここでは、第1の文書のテンプレート領域に、第2の文書(別の文書)のオブジェクトをコピーする際の処理の流れを例に挙げて説明する。 Here, the template region of the first document, the flow of processing for copying an object of the second document (another document) will be described as an example.

ここで、出力デバイス19は、例えば、スクリーン等であり、当該スクリーンには、第1の文書30と第2の文書40とが表示されている。 Here, the output device 19 is, for example, a screen, etc., on the screen, the first document 30 and a second document 40 is displayed. ユーザは、右手51を用いて、第1のジェスチャ動作を実施し、第1の文書30内のオブジェクト31を選択している。 The user uses the right hand 51, a first gesture operation performed, selects the object 31 in the first document 30. 上述した通り、ユーザは、空間を指で掴むようなジェスチャ動作を行なうことにより、オブジェクト31を選択する。 As described above, the user, by performing a gesture operation such as grasping the space with a finger to select the object 31.

続いて、ユーザは、左手52を用いて、オブジェクト31のコピー先となる領域41を選択する。 Then, the user uses the left hand 52, selecting a region 41 which to copy the object 31. 具体的には、左手52を用いて、第2のジェスチャ動作を実施し、第2の文書40内のテンプレート上の領域を選択する。 Specifically, by using the left hand 52, the second gesture operation is performed to select an area on the template in the second document 40. すなわち、右手51を用いて、オブジェクト31を選択した状態で、左手52を用いて、コピー先領域41を選択している。 That is, using the right hand 51, while selecting the object 31, using the left hand 52, and select a destination area 41. なお、左手52及び右手51は、同一ユーザの手である。 Incidentally, the left 52 and right hand 51 is the hand of the same user.

ここで、ユーザは、オブジェクト及び領域を選択している状態で第3のジェスチャ動作を行なう。 Here, the user performs a third gesture operation in a state in which by selecting the object and the region. 具体的には、ユーザは、オブジェクト31を選択している右手51をコピー先領域41に向けて一定量以上移動させる。 Specifically, the user moves a predetermined amount or more toward the right hand 51 has been selected object 31 to the copy destination area 41. これにより、第1の文書30内のオブジェクト31が、第2の文書40内の領域41にコピーされる。 Thus, the object 31 in the first document 30 is copied to the region 41 in the second document 40.

次に、図4〜図6に示すフローチャートを用いて、図1に示す情報処理装置10における処理の流れの一例について説明する。 Next, with reference to the flowchart shown in FIGS. 4 to 6 to describe an example of the flow of processing in the information processing apparatus 10 shown in FIG. まず、図4を用いて、オブジェクトを選択する際の処理の流れの一例について説明する。 First, with reference to FIG. 4 to describe an example of a processing flow for selecting the object.

情報処理装置10は、取得部21において、入力I/F15を介して入力デバイス18からジェスチャ情報を受信する(S101でYES)。 The information processing apparatus 10 receives the acquiring unit 21, the gesture information from the input device 18 via the input I / F15 (YES in S101). ジェスチャ情報には、上述した通り、ユーザの人体範囲を示す情報と、ユーザにより行なわれたジェスチャ動作(手の位置、形、動き)と、表示領域に対するジェスチャ動作が行なわれた位置とを含む情報である。 Information to the gesture information, including as described above, the information indicating the body range of the user, the gesture operation performed by the user (the position of the hand, the shape, motion) and a position where the gesture operation is performed with respect to the display area it is.

ジェスチャ情報を受信すると、情報処理装置10は、第1の判定部24において、オブジェクトの選択を指示する第1のジェスチャ動作が行なわれたか否かを判定する。 Upon receiving the gesture information, the information processing apparatus 10, in the first determination unit 24 determines whether the first gesture operation is performed for instructing selection of the object. 上述した通り、オブジェクトが選択されていない状態で、表示領域に表示されたいずれかのオブジェクトに対して指で掴むような動作が行なわれた場合に、第1のジェスチャ動作が行なわれたと判定する。 As described above, in a state in which no object is selected, it is determined that when the operation to grasp with a finger is performed on any of the objects displayed in the display area, the first gesture operation is performed .

判定(検出)の結果、第1のジェスチャ動作が行なわれていなければ(S102でNO)、情報処理装置10は、再度、S101の処理に戻り、ジェスチャ情報の受信待ちとなる。 Result of determination (detection), unless the first gesture operation is performed (NO at S102), the information processing apparatus 10 again, the process returns to S101, the waiting of the gesture information. 一方、第1のジェスチャ動作が行なわれた場合(S102でYES)、情報処理装置10は、同定部27において、オブジェクトの同定を行なう。 On the other hand, if the first gesture operation is performed (YES in S102), the information processing apparatus 10 causes the identification unit 27 performs identification of the object. すなわち、第1のジェスチャ動作が行なわれた手の位置に基づいて、表示領域におけるいずれのオブジェクトが選択されたかを同定する(S104)。 That is, based on the position of the hand first gesture operation is performed to identify one of the objects has been selected in the display area (S104). その後、情報処理装置10は、ユーザ特定部22において、当該指示を行なったユーザを特定する。 Then, the information processing apparatus 10, the user identifying unit 22 identifies a user who has performed the instruction. より具体的には、第1のジェスチャ動作を行なったユーザの人体範囲を決定する(S105)。 More specifically, to determine the human range of the user who made the first gesture operation (S105). これにより、この処理は終了する。 As a result, the process ends.

次に、図5を用いて、コピー先又は移動先の領域を選択する際の処理の流れの一例について説明する。 Next, with reference to FIG. 5, an example of a processing flow for selecting the area of ​​the copy destination or movement destination. この処理は、通常、図4の処理によりオブジェクトが選択されている状態で開始される。 This process is usually started in a state where the object is selected by the process of FIG.

情報処理装置10は、取得部21において、入力I/F15を介して入力デバイス18からジェスチャ情報を受信する(S201でYES)。 The information processing apparatus 10 receives the acquiring unit 21, the gesture information from the input device 18 via the input I / F15 (YES in S201). そして、第2の判定部25において、オブジェクトが選択中であるか否かを判定する。 Then, in the second determination unit 25 determines whether the object is selected. オブジェクトが選択中でなければ(S202でNO)、情報処理装置10は、再度、S201の処理に戻り、ジェスチャ情報の受信待ちとなる。 If the object is being selected (NO in S202), the information processing apparatus 10 again, the process returns to S201, the waiting of the gesture information.

オブジェクトが選択中であれば(S202でYES)、情報処理装置10は、第2の判定部25において、当該オブジェクトを選択しているユーザにより第2のジェスチャ動作が行なわれたか否かを判定する。 If the object is being selected (YES in S202), the information processing apparatus 10 determines the second judgment unit 25, whether the user has selected the object second gesture operation is performed . ユーザは、例えば、オブジェクトを選択している手と別の手を用いて第2のジェスチャ動作を行なう。 The user, for example, performing a second gesture operation with another hand and hand to select the object. なお、オブジェクトを選択しているユーザと、第2のジェスチャ動作を行なったユーザが同一ユーザであるか否かは、ユーザ特定部22の特定結果に基づいて判定される。 Note that the user has selected an object, the user who performed the second gesture operation is whether the same user, is determined based on the identification result of the user identifying unit 22. すなわち、ユーザ特定部22により決められた人体範囲内で第2のジェスチャ動作が行なわれた場合に、情報処理装置10は、同一ユーザにより第2のジェスチャ動作が行なわれたと判定する。 That is, it is determined if the second gesture operation has been performed in the human body range determined by the user identifying unit 22, the information processing apparatus 10 includes a second gesture operation is performed by the same user.

判定の結果、オブジェクトを選択しているユーザと別のユーザにより第2のジェスチャ動作が行なわれた等であれば(S203でNO)、情報処理装置10は、再度、S201の処理に戻り、ジェスチャ情報の受信待ちとなる。 Result of the determination, if such a second gesture operation by a user and another user has selected the object has been performed (NO in S203), the information processing apparatus 10 again, the process returns to S201, gesture the reception waiting for information.

一方、オブジェクトを選択しているユーザが第2のジェスチャ動作を行なったと判定した場合(S203でYES)、情報処理装置10は、同定部27において、領域の同定を行なう。 On the other hand, a user who has selected the object when it is determined that performing the second gesture operation (YES at S203), the information processing apparatus 10 causes the identification unit 27 performs identification of the region. すなわち、第2のジェスチャ動作が行なわれた手の位置に基づいて、表示領域におけるいずれの領域が選択されたかを同定する(S204)。 That is, based on the position of the hand second gesture operation is performed to identify one of the area is selected in the display area (S204). その後、この処理は終了する。 After that, the process ends.

次に、図6を用いて、オブジェクトを処理する際の処理の流れの一例について説明する。 Next, with reference to FIG. 6, illustrating an example of processing flow when processing objects. この処理は、通常、図4及び図5の処理によりオブジェクト及び領域が選択されている状態で開始される。 This process is usually started in a state where the object and the region is selected by the processing of FIGS.

情報処理装置10は、取得部21において、入力I/F15を介して入力デバイス18からジェスチャ情報を受信する(S301でYES)。 The information processing apparatus 10 receives the acquiring unit 21, the gesture information from the input device 18 via the input I / F15 (YES in S301). そして、第3の判定部25において、オブジェクト及び領域が選択中であるか否かを判定する。 Then, in the third determination unit 25 determines whether or not the object and the region is selected. オブジェクト及び領域のいずれか一方でも選択されていなければ(S302でNO)、情報処理装置10は、再度、S301の処理に戻り、ジェスチャ情報の受信待ちとなる。 If not selected any one of the object and the area (NO in S302), the information processing apparatus 10 again, the process returns to S301, the waiting of the gesture information.

オブジェクト及び領域が選択中であれば(S302でYES)、情報処理装置10は、第3の判定部26において、第3のジェスチャ動作が行なわれたか否かを判定する。 If the object and the region is being selected (YES in S302), the information processing apparatus 10, in the third determination unit 26 determines whether the third gesture operation is performed. すなわち、ユーザにより選択中のオブジェクトを選択集のコピー先領域等に向けて一定量以上移動させるようなジェスチャ動作がなされたか否かを判定する。 That is, whether the gesture operation, such as moving more than a certain amount is made the selected object towards the selected collection of the copy destination area or the like by the user.

判定(検出)の結果、第3のジェスチャ動作が行なわれていなければ(S303でNO)、情報処理装置10は、再度、S301の処理に戻り、ジェスチャ情報の受信待ちとなる。 Result of determination (detection), unless the third gesture operation is performed (NO at S303), the information processing apparatus 10 again, the process returns to S301, the waiting of the gesture information.

一方、第3のジェスチャ動作が行なわれた場合(S303でYES)、情報処理装置10は、オブジェクト処理部28において、選択中のオブジェクトを選択中のコピー先領域(コピー先又は移動先領域)にコピー(又は移動)させる(S304)。 On the other hand, if the third gesture operation is performed (YES in S303), the information processing apparatus 10, the object processing unit 28, the copy destination area being selected to the selected object (the copy destination or movement destination area) copy (or move) causes (S304). このとき、情報処理装置10は、表示処理部29において、当該処理をスクリーン等に表示する。 At this time, the information processing apparatus 10 causes the display processing unit 29, and displays the processing on a screen or the like. その後、この処理は終了する。 After that, the process ends.

以上説明したように実施形態1によれば、ジェスチャ動作を用いて、表示領域に表示されたオブジェクトを他の領域にコピー又は移動させる際の操作性が向上する。 According to the first embodiment as described above, using a gesture operation, the operability is improved at the time of copying or moving the object displayed in the display area to other areas. 特に、オブジェクトとコピー又は移動先の領域との距離が片手で届く範囲を越える場合であっても、このような操作が容易に行なえる。 In particular, even if it exceeds the range in which the distance between the object and the copy or movement destination area can reach with one hand, such an operation can be easily performed.

また、オブジェクトを選択しているユーザと領域を選択しているユーザとが同一であるか否かを判定するため、第3者が意図せずに、オブジェクトや領域の選択を指示するジェスチャ動作を実施したとしても、それを起因とした誤動作の発生を抑制できる。 Further, in order to determine whether or not the user is the same has been selected user and space with a object, without third party intended, a gesture operation for instructing the selection of an object or region even performed, it is possible to suppress the occurrence of a malfunction that it and due.

(実施形態2) (Embodiment 2)
次に、実施形態2について説明する。 The second embodiment will be described next. 実施形態2においては、オブジェクトや領域の種別に応じてオブジェクト及び領域の同定を行なう場合について説明する。 In the embodiment 2 will be described when performing the identification of objects and regions according to the type of object or area.

図7は、実施形態2に係わる情報処理装置10のCPU11において実現される機能的な構成の一例を示す図である。 Figure 7 is a diagram showing an example of the functions structure realized in CPU11 of the information processing apparatus 10 according to the second embodiment. なお、実施形態1を説明した図2と同様の構成については同一の符号を付しており、その説明については省略する場合もある。 The same components as in FIG. 2 used to describe the first embodiment are denoted by the same reference numerals, it may be omitted for the description.

実施形態2に係わるCPU11には、その機能的な構成として、オブジェクト種別取得部61と、領域種別取得部62とが新たに設けられる。 The CPU11 according to the second embodiment, as a functional structure, an object type acquisition unit 61, and a region type acquisition unit 62 is newly provided.

オブジェクト種別取得部61は、第1の取得手段として機能し、同定部27により既に同定済みのオブジェクトの種別を取得する。 Object type acquisition unit 61 functions as a first acquisition unit, already acquires the type of the previously identified objects by identifying unit 27. 領域種別取得部62は、第2の取得手段として機能し、第2のジェスチャ動作により選択された1又は複数の領域の種別を取得する。 Area type acquisition unit 62 functions as a second acquisition unit, acquires the type of one or more regions selected by the second gesture operation.

同定部27は、オブジェクト種別取得部61により取得されたオブジェクトの種別と、領域種別取得部62により取得された種別とに基づいて領域の同定を行なう。 Identification unit 27 performs a type of an object obtained by the object class acquisition unit 61, the identification of areas based on the classification obtained by the region type acquisition unit 62. ここで、領域によっては配置不可能なオブジェクトがある場合等がある。 Here, the region and the like when there is not possible arrangement objects. 例えば、テンプレートを利用してデータの作成・編集を行なうような場合、コピー先又は移動先の領域に、予め配置可能なオブジェクトの種別が設定されている場合がある。 For example, when using the template, such as performing the creating and editing data, there is a case where the area of ​​the copy destination or movement destination, is set a type of pre-positionable object. あるテンプレート上の領域は、テキストデータのみ配置(入力)可能であり、別のテンプレート上の領域は、画像のみ配置可能であるといった設定がなされていることが考えられる。 Area on a certain template is positionable only text data (input) area on another template, it is conceivable to configure such images only possible arrangement is made. このような場合に、同定部27は、オブジェクトの種別と、コピー先又は移動先の領域に配置可能なオブジェクトの種別とが合致するように、選択対象の同定を行なう。 In such a case, the identification unit 27, the type of object, so that the type of object that can be placed in the area of ​​the copy destination or movement destination matches, performs identification of the selection.

ここで、実施形態2に係わる情報処理装置10における動作は、実施形態1を説明した図4〜図6の処理と同様となる。 Here, the operation in the information processing apparatus 10 according to the second embodiment, the same as the processing in FIGS. 4 to 6 used to describe the first embodiment. そのため、ここでは、図を用いた説明は省略し、相違する点について簡単に説明する。 Therefore, here, description with reference to figure omitted, briefly described points of difference. 相違点としては、領域同定時の処理(図5におけるS204)が挙げられる。 A difference, processing at the time of area identification (S204 in FIG. 5) can be mentioned.

領域の同定に際して、情報処理装置10は、オブジェクト種別取得部61において、既に同定済みのオブジェクトの種別を取得するとともに、領域種別取得部62において、コピー先又は移動先の領域が配置可能なオブジェクトの種別を取得する。 Upon identification of a region, the information processing apparatus 10, in the object type acquisition unit 61, together with the already acquires the type of the previously identified objects in the area type acquisition unit 62, the copy destination or movement destination region capable object placement to get the type. そして、同定部27において、第2のジェスチャ動作により選択された1又は複数の領域の中から当該オブジェクトを配置可能な領域を同定する。 Then, the identification unit 27, to identify regions can be placed the object from among one or more regions selected by the second gesture operation. 例えば、オブジェクトの種別が画像であれば、コピー又は移動先の領域としては、画像を配置可能な領域を同定する。 For example, the type of object if the image, the copy or movement destination area, to identify regions that can place an image.

以上説明したように実施形態2によれば、実施形態1の効果に加えて更に、同定対象が絞り込めるようになるため、同定処理の誤りを抑制できる。 According to the second embodiment as described above, in addition to the effects of Embodiment 1, since the identification target is narrowed down so, it is possible to suppress the error of the identification process.

(実施形態3) (Embodiment 3)
次に、実施形態3について説明する。 Next, a third embodiment will be described. 実施形態3においては、第3のジェスチャ動作をユーザの視線に基づいて行なう場合について説明する。 In the embodiment 3, the case of performing on the basis of the third gesture operation to the user's gaze.

実施形態3に係わる情報処理装置10は、入力I/F15を介して入力デバイス(例えば、カメラ)18からユーザの眼を含む顔画像を取得する。 The information processing apparatus 10 according to the third embodiment, the input device via the input I / F15 (e.g., a camera) 18 acquires a face image including the user's eyes from. そして、当該顔画像から視線方向を検出し、当該視線方向を利用してオブジェクトを処理する。 Then, to detect the gaze direction from the face image, processes the object by using the line-of-sight direction. 例えば、ユーザが、選択されているオブジェクトを一定時間見た後、選択したコピー又は移動先領域を一定時間見た場合に、第3のジェスチャ動作がなされたと判定する。 For example, it is determined that the user, after seeing a certain time the object is selected, when viewed certain time copy or movement destination region is selected, the third gesture operation has been performed.

ここで、図8は、実施形態3に係わる情報処理装置10のCPU11において実現される機能的な構成の一例を示す図である。 Here, FIG. 8 is a diagram showing an example of the functions structure realized in CPU11 of the information processing apparatus 10 according to the third embodiment. なお、実施形態1を説明した図2と同様の構成については同一の符号を付しており、その説明については省略する場合もある。 The same components as in FIG. 2 used to describe the first embodiment are denoted by the same reference numerals, it may be omitted for the description.

実施形態3に係わるCPU11には、その機能的な構成として、視線判定部63が新たに設けられる。 The CPU11 according to the third embodiment, as its functional configurations, the line-of-sight determining unit 63 is newly provided.

視線判定部63は、オブジェクト又は領域を選択中のユーザの視線が、当該オブジェクト又は領域に向いているか否かを判定する。 Sight determining unit 63 determines the line of sight of the user in selecting the object or area, whether directed to the object or area. 第3の判定部26においては、ユーザの視線が選択中のオブジェクトに一定時間以上向いていた後、当該ユーザの視線が選択中の領域に一定時間以上向いていた場合に、第3のジェスチャ動作が行なわれたと判定する。 The third in the determining unit 26, after the user's line of sight was directed more than a specified time selected object, when the line of sight of the user has directed a certain time or more in the area being selected, the third gesture operation It determines that has been made. なお、オブジェクトに視線が向いている時間と領域に視線が向いている時間とがそれぞれ一定以上経過したか否かの判定に際しては、それぞれ別々の閾値を用いて行なっても良い。 Note that when the determination time and facing line of sight in the time and space facing the line of sight to the object whether or not elapsed respectively constant or may be conducted respectively using different thresholds.

以上説明したように実施形態3によれば、実施形態1の効果に加えて更に、操作性が向上する。 According to the third embodiment as described above, in addition to the effects of Embodiment 1, the operability is improved. なお、上述した説明では、実施形態2と実施形態3とを別々に説明したが、実施形態2と実施形態3とを組み合わせて実施しても勿論構わない。 In the description given above has been described with Embodiment 3 and Embodiment 2 separately, it may of course be implemented in combination with Embodiment 3 and Embodiment 2.

また、実施形態3で説明した視線による第3のジェスチャ動作と、実施形態1で説明した第3のジェスチャ動作とを組み合わせて、第3のジェスチャ動作としても良い。 Further, a third gesture operation by explained visual line in the third embodiment, a combination of the third gesture operation described in Embodiment 1 may be a third gesture operation. この場合、第3のジェスチャ動作に相当する動作が偶然行われてしまうことを起因とした誤動作の発生を抑制できる。 In this case, the occurrence of malfunction operation corresponding to the third gesture operation was caused that would take place by chance can be suppressed.

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。 The above is an example of a representative embodiment of the present invention, the present invention is not limited to the embodiments shown above and drawings, and can be modified and implemented as appropriate within a range not changing the gist thereof .

例えば、上述した説明では、オブジェクトの選択が行なわれた後、領域の選択が行なわれる場合について説明したが、処理順番は前後しても構わない。 For example, in the above description, after the selection of the object is performed, there has been described a case where selection of the area is performed, the processing order does not matter even if the front and rear. すなわち、領域の選択を行なった後、オブジェクトの選択を行なってもよい。 That is, after performing the selection of the region, may be performed to select the object.

また、上述した説明では、オブジェクトを選択する際の第1のジェスチャ動作と、領域を選択する際の第2のジェスチャ動作とが同じ動作である場合を例に挙げて説明したが、これに限られなず、それぞれ別々のジェスチャ動作としても良い。 Further, in the above description, a first gesture operation for selecting an object, but a second gesture operation for selecting a region is described as an example a case where the same operation, limited to It is a not, may be separately gesture operation. この場合、オブジェクトの選択処理と、領域の選択処理との順番が入れ替わっても明確に処理を区別することができる。 In this case, it is possible to distinguish the selection process of the object, the clear processing even order is replaced with the selection process of the region. 例えば、第1のジェスチャ動作をオブジェクトを掴む動作とし、第2のジェスチャ動作を指で指すような動作とする等すればよい。 For example, a first gesture operation and operates to grasp the object, the second gesture operation may be equal to operation point with a finger.

また、上述した説明では、表示領域について詳細に言及していないが、表示領域は、2次元又は3次元のいずれを用いた表示であっても良い。 Further, in the above description, but does not mention in detail display area, the display area may be displayed using either two-dimensional or three-dimensional. 例えば、奥行き方向の表示効果を加えた3次元表示であっても良い。 For example, it may be a three-dimensional display plus a display effect in the depth direction. その場合、ユーザから見た場合の見かけ上の仮想的な表示領域の位置を、入力デバイス18を基準とした場合の表示領域の位置として扱うようにすれば良い。 In that case, the position of the virtual display region on apparent when viewed from the user, it is sufficient to treat as the position of the display area in the case relative to the input device 18.

また、上述した説明では、ユーザ特定部22を設け、第1のジェスチャ動作と第2のジェスチャ動作とが同じユーザにより行なわれたか否かを判定していたが、必ずしもこのような構成を採る必要はない。 Further, in the above description, the provided user identification portion 22, the first gesture operation and the second gesture operation had to determine whether or not made by the same user, always necessary to take such a structure no. すなわち、場合によっては、第1のジェスチャ動作と第2のジェスチャ動作とが別々のユーザにより行われても良い。 That is, in some cases, a first gesture operation and the second gesture operation may be performed by different users.

また、上述した説明では、第3のジェスチャ動作が行なわれた場合に、オブジェクトのコピー又はオブジェクトの移動のいずれを実施するかについては明確に記載していないが、いずれの処理が実施されるかは、予め決めておくようにすればよい。 Further, whether in the description above, when the third gesture operation has been performed, although not described explicitly about what to implement any of the mobile copy or objects in an object, any process is performed it may be as determined in advance. また、コピー又は移動のいずれの処理が実施されるのかを切り替えるボタン等を設け、そのボタンの押下により切り替えて実施するようにしても良い。 Further, a button for switching whether any of the processing of copying or moving is performed provided, may be carried switched by depressing the button.

(その他の実施形態) (Other embodiments)
本発明は、以下の処理を実行することによっても実現される。 The present invention can also be realized by a computer of a system or apparatus. 即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。 That is, software (program) for realizing the functions of the above is supplied to a system or an apparatus via a network or various storage medium, a computer of the system or apparatus (or CPU or MPU) reads the program is a process to be executed.

Claims (13)

  1. 三次元空間におけるユーザの手の検出に基づいて、ユーザにより行なわれたジェスチャ動作と、該ジェスチャ動作が行なわれた表示領域上の位置とを示す情報を取得する取得手段と、 Based on the detection of the user's hand in three-dimensional space, a gesture operation performed by a user, an acquisition unit configured to acquire information indicating the position on the display area in which the gesture motion has been performed,
    前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかのオブジェクトの選択を指示する第1のジェスチャ動作が行なわれたか否かを判定する第1の判定手段と、 Based on the information acquired by the acquisition unit, a first determining means for determining whether the first gesture operation is performed for instructing the selection of one of the objects in the display area,
    前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかの領域の選択を指示する第2のジェスチャ動作が行なわれたか否かを判定する第2の判定手段と、 Based on the information acquired by the acquisition unit, a second determination means for determining whether the second gesture operation is performed for instructing the selection of one of the regions in the display region,
    前記第1のジェスチャ動作に基づいて選択されたオブジェクトを特定するとともに、前記第2のジェスチャ動作に基づいて選択された領域を特定する特定手段と、 With identifying the selected object based on the first gesture operation, an identification unit configured to identify a selected area on the basis of the second gesture operation,
    前記取得手段により取得された情報に基づいて、前記オブジェクト及び前記領域が特定されている状態で前記特定された前記オブジェクトに対する処理を指示する第3のジェスチャ動作が行なわれたか否かを判定する第3の判定手段と、 Based on the information acquired by the acquisition unit, the determining whether the third gesture operation for instructing processing for said identified the object in a state where the object and the region has been identified is performed and third determination means,
    前記第3のジェスチャ動作が行なわれたと判定された場合、前記特定されたオブジェクトを前記特定された領域にコピー又は移動させるオブジェクト処理手段とを具備し、 If the third gesture operation is determined to have been performed, comprising a object processing means for copying or moving the identified object to the specified region,
    前記第3の判定手段は、 It said third determination means,
    前記特定されているオブジェクトを一定量以上移動させ、かつ、当該移動の方向が前記特定されているオブジェクトから前記特定された領域に向かう方向となるジェスチャ動作を、前記第3のジェスチャ動作として判定することを特徴とする情報処理装置。 Wherein the object being identified is moved a predetermined amount or more, and determines the gesture operation as a direction toward the direction of the movement is the specific from the object being the specific area, as the third gesture operation the information processing apparatus characterized by.
  2. 前記第1のジェスチャ動作を行なったユーザを特定するユーザ特定手段 を更に具備し、 Further comprising a user identifying means for identifying a user who made the first gesture operation,
    前記第2の判定手段は、 The second determination means,
    前記取得手段により取得された情報と前記ユーザ特定手段により特定されたユーザの情報とに基づいて、前記第1のジェスチャ動作を行なった前記ユーザにより前記第2のジェスチャ動作が行なわれたか否かを判定する ことを特徴とする請求項1記載の情報処理装置。 Based on the user information specified by said user identification means with the information acquired by the acquisition unit, by the user who made the first gesture operation whether the second gesture operation is performed the information processing apparatus according to claim 1, wherein the determining.
  3. 前記第3の判定手段は、前記特定されているオブジェクトの中心と、前記特定されている領域の中心とを結んだ線分と、前記取得手段により取得された情報に基づく前記移動の方向とのなす角度が所定の閾値以内であった場合に前記第3のジェスチャ動作が行なわれたと判定し、前記角度が前記閾値を超える場合には前記第3のジェスチャ動作が行われたとは判定しないことを特徴とする請求項1記載の情報処理装置。 It said third determination means, the center of the object being the specific, the a line connecting the center of the area have been identified, with the direction of movement based on the information acquired by the acquisition unit Nasu angle is determined to the third gesture operation is performed when were within a predetermined threshold value, that if the angle exceeds the threshold value is not determined from said third gesture operation is performed the information processing apparatus according to claim 1, wherein.
  4. 前記特定手段は、前記第1のジェスチャ動作に基づいて選択された1又は複数のオブジェクトの中からいずれかのオブジェクトを特定するとともに、前記第2のジェスチャ動作に基づいて選択された1又は複数の領域の中からいずれかの領域を特定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 The specifying unit is configured to identify one of the objects from among one or more objects are selected based on the first gesture operation, one or more of which is selected based on the second motion gesture the information processing apparatus according to any one of claims 1 to 3, wherein the identifying one of the areas from the area.
  5. 前記取得手段は、前記ユーザの眼を含む画像を取得し、 The acquisition means acquires an image including the eye of the user,
    前記第3の判定手段は、前記特定されているオブジェクトと前記特定されている領域とに対して前記ユーザの視線がそれぞれ一定時間以上向けられた場合に前記第3のジェスチャ動作が行なわれたと判定する ことを特徴とする請求項1記載の情報処理装置。 It said third determining means determines that the third gesture operation when the line of sight of the user is directed respectively predetermined time or more with respect to the region where the object that is the specific is the specific is performed the information processing apparatus according to claim 1, characterized in that.
  6. 前記特定されているオブジェクトの種別を取得する第1の取得手段と、 A first acquisition means for acquiring a type of object that is the specific,
    前記第2のジェスチャ動作に基づいて選択された1又は複数の領域に配置可能なオブジェクトの種別をそれぞれ取得する第2の取得手段とを更に具備し、 Further comprising a second acquisition unit for acquiring each a type of positionable to one or more regions selected object based on the second gesture operation,
    前記特定手段は、前記第1の取得手段により取得された種別と、前記第2の取得手段により取得された種別とが合致する領域を前記1又は複数の領域の中から特定することを特徴とする請求項1記載の情報処理装置。 The specifying means includes a type which has been acquired by the first acquisition means, and characterized by identifying a region type and matches acquired by the second acquisition means from among the one or more regions the information processing apparatus according to claim 1.
  7. 情報処理装置の処理方法であって、 A processing method for an information processing apparatus,
    取得手段が、三次元空間におけるユーザの手の検出に基づいて、ユーザにより行なわれたジェスチャ動作と、該ジェスチャ動作が行なわれた表示領域上の位置とを示す情報を取得する取得工程と、 Acquisition means, based on detection of the user's hand in three-dimensional space, a gesture operation performed by a user, an acquisition step of acquiring information indicating the position on the display area in which the gesture motion has been performed,
    第1の判定手段が、前記取得工程により取得された情報に基づいて、前記表示領域におけるいずれかのオブジェクトの選択を指示する第1のジェスチャ動作が行なわれたか否かを判定する工程と、 The first determination unit, based on the information obtained by the obtaining step, and determining whether the first gesture operation is performed for instructing the selection of one of the objects in the display area,
    第1の特定手段が、前記第1のジェスチャ動作に基づいて選択されたオブジェクトを特定する工程と、 A process first specifying means, for specifying the object selected on the basis of the first gesture operation,
    第2の判定手段が、前記取得工程により取得された情報に基づいて、前記表示領域におけるいずれかの領域の選択を指示する第2のジェスチャ動作が行なわれたか否かを判定する工程と、 A second determination means, based on the information obtained by the obtaining step, and determining whether the second gesture operation is performed for instructing the selection of one of the regions in the display region,
    第2の特定手段が、前記第2のジェスチャ動作に基づいて選択された領域を特定する工程と、 A step the second specifying means, for specifying a selected region based on the second gesture operation,
    第3の判定手段が、前記取得工程により取得された情報に基づいて、前記オブジェクト及び前記領域が特定されている状態で前記特定された前記オブジェクトに対する処理を指示する第3のジェスチャ動作が行なわれたか否かを判定する工程と、 The third determination means, based on the information acquired by the acquisition step, a third gesture operation is performed to the object and the region to direct the processing for the object the identified while being identified and determining whether Taka not,
    オブジェクト処理手段が、前記第3のジェスチャ動作が行なわれたと判定された場合、前記特定されたオブジェクトを前記特定された領域にコピー又は移動させる工程と を具備し、 Object processing means, when the third gesture operation is determined to have been performed, comprising a step of copying or moving the identified object to the specified region,
    前記第3の判定手段による工程は、 Step by the third determination means,
    前記特定されているオブジェクトを一定量以上移動させ、かつ、当該移動の方向が前記特定されているオブジェクトから前記特定された領域に向かう方向となるジェスチャ動作を、前記第3のジェスチャ動作として判定することを特徴とする処理方法。 Wherein the object being identified is moved a predetermined amount or more, and determines the gesture operation as a direction toward the direction of the movement is the specific from the object being the specific area, as the third gesture operation process wherein the.
  8. コンピュータを、 The computer,
    三次元空間におけるユーザの手の検出に基づいて、ユーザにより行なわれたジェスチャ動作と、該ジェスチャ動作が行なわれた表示領域上の位置とを示す情報を取得する取得手段、 Based on the detection of the user's hand in three-dimensional space, the gesture motion performed by the user, obtaining means for obtaining information indicating the position on the display area in which the gesture motion has been performed,
    前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかのオブジェクトの選択を指示する第1のジェスチャ動作が行なわれたか否かを判定する第1の判定手段と 前記取得手段により取得された情報に基づいて、前記表示領域におけるいずれかの領域の選択を指示する第2のジェスチャ動作が行なわれたか否かを判定する第2の判定手段、 Based on the information acquired by the acquisition unit, acquiring the first determination unit and the acquisition unit determines whether the first gesture operation is performed for instructing the selection of one of the objects in the display region has been based on the information, a second determination means for determining whether the second gesture operation is performed for instructing the selection of one of the regions in the display region,
    前記第1のジェスチャ動作に基づいて選択されたオブジェクトを特定するとともに、前記第2のジェスチャ動作に基づいて選択された領域を特定する特定手段、 Wherein with identifying the selected objects based on the first gesture operation, specifying means for specifying a selected region based on the second gesture operation,
    前記取得手段により取得された情報に基づいて、前記オブジェクト及び前記領域が特定されている状態で前記特定された前記オブジェクトに対する処理を指示する第3のジェスチャ動作が行なわれたか否かを判定する第3の判定手段、 Based on the information acquired by the acquisition unit, the determining whether the third gesture operation for instructing processing for said identified the object in a state where the object and the region has been identified is performed 3 of the judgment means,
    前記第3のジェスチャ動作が行なわれたと判定された場合、前記特定されたオブジェクトを前記特定された領域にコピー又は移動させるオブジェクト処理手段 として機能させるためのプログラムであって、 If the third gesture operation is determined to have been performed, a program for functioning as an object processing means for copying or moving the identified object to the specified region,
    前記第3の判定手段は、 It said third determination means,
    前記特定されているオブジェクトを一定量以上移動させ、かつ、当該移動の方向が前記特定されているオブジェクトから前記特定された領域に向かう方向となるジェスチャ動作を、前記第3のジェスチャ動作として判定することを特徴とするプログラム。 Wherein the object being identified is moved a predetermined amount or more, and determines the gesture operation as a direction toward the direction of the movement is the specific from the object being the specific area, as the third gesture operation program, characterized in that.
  9. 三次元空間におけるユーザの手の検出に基づいて、前記ユーザによるジェスチャ動作を認識する認識手段と、 Based on the detection of the user's hand in three-dimensional space, recognizing means for recognizing a gesture operation by the user,
    前記認識手段により、表示領域に表示されたいずれかのオブジェクトの選択を指示する第1のジェスチャ動作が認識された場合に、前記選択されたオブジェクトを特定する第1の特定手段と、 By the recognition means, when the first gesture operation is recognized that instructs to select any of the objects displayed in the display area, a first specifying means for specifying the selected object,
    前記第1の特定手段によりオブジェクトが特定された状態で、前記認識手段により、前記表示領域におけるいずれかの領域の選択を指示する第2のジェスチャ動作が認識された場合に、前記選択された領域を特定する第2の特定手段と、 While the object is identified by said first specifying means, by said recognition means, when the second gesture operation for instructing the selection of one of the regions in the display area is recognized, the selected region second specifying means for specifying,
    前記第1の特定手段によりオブジェクトが特定され、かつ、前記第2の特定手段により領域が特定された状態で、前記認識手段により、前記特定されたオブジェクトの前記特定された領域へのコピー又は移動を指示する第3のジェスチャ動作が認識された場合に、前記特定されたオブジェクトを前記特定された領域に表示させる表示制御手段とを備え、 The object by the first specifying unit is identified, and, in a state in which the area by the second specifying means is identified, copying or moving of the by the recognition unit, the to the specified region of the identified object the If the third gesture operation is recognized to instruct, and a display control means for displaying the identified object in the specified region,
    前記認識手段は、 The recognition means,
    前記ユーザの手の移動方向と、前記第1の特定手段により特定されたオブジェクトと前記第2の特定手段により特定された領域とを結ぶ線分のなす角度の差分が、所定の閾値以内にある場合に前記ユーザの手の移動を前記第3のジェスチャ動作であると認識し、前記角度の差分が前記閾値を超える場合に前記ユーザの手の移動を、前記第3のジェスチャ動作ではないと認識する The moving direction of the hand of the user, the first difference of the angle of a line connecting the specified region by the second specifying means and the object specified by the specifying means, is within a predetermined threshold value If the movement of the hand of the user recognizes that it is the third gesture operation recognition and difference of the angle of movement of the hand of the user when it exceeds the threshold value, not the third gesture operation make
    ことを特徴とする情報処理装置。 The information processing apparatus characterized by.
  10. 前記認識手段は、更に、前記ユーザの手の移動の加速度に基づいて、前記第3のジェスチャ動作であるか否かを判定することを特徴とする請求項9に記載の情報処理装置。 The recognition unit further based on the acceleration of the movement of the hand of the user, the information processing apparatus according to claim 9, wherein the determining whether the a third gesture operation.
  11. 前記認識手段は、前記第1のジェスチャ動作を行った手と異なる手によって行われた前記第2のジェスチャ動作が認識された後に、前記第1のジェスチャ動作を行った手の動きを前記第3のジェスチャ動作の認識対象とすることを特徴とする請求項9又は10に記載の情報処理装置。 Said recognition means, the first after the second gesture operation performed by the hands differs hand was gesture operation is recognized, the first of the third movement of the hand performing a gesture operation the information processing apparatus according to claim 9 or 10, characterized in that a recognition target of a gesture operation.
  12. 情報処理装置の処理方法であって、 A processing method for an information processing apparatus,
    認識手段が、三次元空間におけるユーザの手の検出に基づいて、前記ユーザによるジェスチャ動作を認識する認識工程と、 Recognition means, based on detection of the user's hand in three-dimensional space, and recognizing step a gesture operation by the user,
    第1の特定手段が、前記認識工程により、表示領域に表示されたいずれかのオブジェクトの選択を指示する第1のジェスチャ動作が認識された場合に、前記選択されたオブジェクトを特定する第1の特定工程と、 The first specifying means, by said recognizing step, when the first gesture operation is recognized that instructs to select any of the objects displayed in the display area, a first for identifying the selected object and the specific process,
    第2の特定手段が、前記第1の特定工程によりオブジェクトが特定された状態で、前記認識工程により、前記表示領域におけるいずれかの領域の選択を指示する第2のジェスチャ動作が認識された場合に、前記選択された領域を特定する第2の特定工程と、 Second specifying means, the first state where the object by a particular process identified by the recognition process, when the second gesture operation for instructing the selection of one of the regions in the display region is recognized in a second specifying step of specifying the selected area,
    表示制御手段が、前記第1の特定工程によりオブジェクトが特定され、かつ、前記第2の特定工程により領域が特定された状態で、前記認識工程により、前記特定されたオブジェクトの前記特定された領域へのコピー又は移動を指示する第3のジェスチャ動作が認識された場合に、前記特定されたオブジェクトを前記特定された領域に表示させる表示制御工程とを備え、 Display control means, the first object by the specific process is identified, and, in a state where the region by the second specifying step is identified by the recognition process, which is the particular the identified object area If the third gesture operation instructing copy or move to is recognized, and a display control step of displaying the identified objects to the identified regions,
    前記認識工程では、 Wherein the recognition step,
    前記ユーザの手の移動方向と、前記第1の特定手段により特定されたオブジェクトと前記第2の特定手段により特定された領域とを結ぶ線分のなす角度の差分が、所定の閾値以内にある場合に前記ユーザの手の移動を前記第3のジェスチャ動作であると認識し、前記角度の差分が前記閾値を超える場合に前記ユーザの手の移動を、前記第3のジェスチャ動作ではないと認識する The moving direction of the hand of the user, the first difference of the angle of a line connecting the specified region by the second specifying means and the object specified by the specifying means, is within a predetermined threshold value If the movement of the hand of the user recognizes that it is the third gesture operation recognition and difference of the angle of movement of the hand of the user when it exceeds the threshold value, not the third gesture operation make
    ことを特徴とする処理方法。 Process wherein the.
  13. コンピュータを、 The computer,
    三次元空間におけるユーザの手の検出に基づいて、前記ユーザによるジェスチャ動作を認識する認識手段、 Based on the detection of the user's hand in three-dimensional space, recognition means for recognizing a gesture operation by the user,
    前記認識手段により、表示領域に表示されたいずれかのオブジェクトの選択を指示する第1のジェスチャ動作が認識された場合に、前記選択されたオブジェクトを特定する第1の特定手段、 Wherein the recognition means, when the first gesture operation is recognized that instructs to select any of the objects displayed in the display area, the first specifying means for specifying the selected object,
    前記第1の特定手段によりオブジェクトが特定された状態で、前記認識手段により、前記表示領域におけるいずれかの領域の選択を指示する第2のジェスチャ動作が認識された場合に、前記選択された領域を特定する第2の特定手段、 While the object is identified by said first specifying means, by said recognition means, when the second gesture operation for instructing the selection of one of the regions in the display area is recognized, the selected region second specifying means for specifying,
    前記第1の特定手段によりオブジェクトが特定され、かつ、前記第2の特定手段により領域が特定された状態で、前記認識手段により、前記特定されたオブジェクトの前記特定された領域へのコピー又は移動を指示する第3のジェスチャ動作が認識された場合に、前記特定されたオブジェクトを前記特定された領域に表示させる表示制御手段 The object by the first specifying unit is identified, and, in a state in which the area by the second specifying means is identified, copying or moving of the by the recognition unit, the to the specified region of the identified object the third when the gesture motion is recognized, the display control means for displaying the identified object in the specified region to direct the
    として機能させるためのプログラムであって、 A program for functioning as,
    前記認識手段は、 The recognition means,
    前記ユーザの手の移動方向と、前記第1の特定手段により特定されたオブジェクトと前記第2の特定手段により特定された領域とを結ぶ線分のなす角度の差分が、所定の閾値以内にある場合に前記ユーザの手の移動を前記第3のジェスチャ動作であると認識し、前記角度の差分が前記閾値を超える場合に前記ユーザの手の移動を、前記第3のジェスチャ動作ではないと認識することを特徴とするプログラム。 The moving direction of the hand of the user, the first difference of the angle of a line connecting the specified region by the second specifying means and the object specified by the specifying means, is within a predetermined threshold value If the movement of the hand of the user recognizes that it is the third gesture operation recognition and difference of the angle of movement of the hand of the user when it exceeds the threshold value, not the third gesture operation program which is characterized in that.
JP2010099065A 2010-04-22 2010-04-22 The information processing apparatus, the processing method and program Active JP5558899B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010099065A JP5558899B2 (en) 2010-04-22 2010-04-22 The information processing apparatus, the processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010099065A JP5558899B2 (en) 2010-04-22 2010-04-22 The information processing apparatus, the processing method and program

Publications (3)

Publication Number Publication Date
JP2011227828A JP2011227828A (en) 2011-11-10
JP2011227828A5 JP2011227828A5 (en) 2013-06-06
JP5558899B2 true JP5558899B2 (en) 2014-07-23

Family

ID=45043073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010099065A Active JP5558899B2 (en) 2010-04-22 2010-04-22 The information processing apparatus, the processing method and program

Country Status (1)

Country Link
JP (1) JP5558899B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133441B2 (en) 2015-11-30 2018-11-20 Kabushiki Kaisha Toshiba Electronic apparatus and method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6155593B2 (en) * 2012-10-15 2017-07-05 株式会社ニコン System, apparatus and method
JP2014228945A (en) * 2013-05-20 2014-12-08 コニカミノルタ株式会社 Area designating device
JP6103765B2 (en) * 2013-06-28 2017-03-29 Kddi株式会社 Activity recognition apparatus, method and program as well as recognizer construction apparatus

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644001A (en) * 1992-07-27 1994-02-18 Toshiba Corp Display controller and display control method
JPH06282375A (en) * 1993-03-29 1994-10-07 Casio Comput Co Ltd Information processor and electronic pen
JPH07230350A (en) * 1994-02-17 1995-08-29 Toshiba Corp Input device
JPH10161801A (en) * 1996-11-27 1998-06-19 Sony Corp Input device
GB0017793D0 (en) * 2000-07-21 2000-09-06 Secr Defence Human computer interface
JP4163456B2 (en) * 2002-06-26 2008-10-08 株式会社竹中工務店 Seamless pointing system
JP2007065724A (en) * 2005-08-29 2007-03-15 Nikon Corp Information processing program and information processor
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
CN101878487B (en) * 2008-09-29 2013-04-10 松下电器产业株式会社 User interface device, user interface method, and recording medium
JP5617120B2 (en) * 2009-02-05 2014-11-05 シャープ株式会社 Electronic apparatus, display control method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133441B2 (en) 2015-11-30 2018-11-20 Kabushiki Kaisha Toshiba Electronic apparatus and method

Also Published As

Publication number Publication date
JP2011227828A (en) 2011-11-10

Similar Documents

Publication Publication Date Title
US8666115B2 (en) Computer vision gesture based control of a device
US9747306B2 (en) Method and apparatus for identifying input features for later recognition
JP5261554B2 (en) Human-machine interface for a vehicle finger pointing, based on the gesture
JP6207659B2 (en) Remote control of a computer system
WO2009147758A1 (en) Image recognition device, operation judgment method, and program
EP2256591A1 (en) Information processing apparatus, information processing method, and program therefor
KR101297144B1 (en) Operation input device for vehicle
KR101347232B1 (en) Image Recognition Apparatus, Operation Determining Method, and Computer-Readable Medium
US9110495B2 (en) Combined surface user interface
JP5962403B2 (en) The information processing apparatus, display control method, and program
JP4977995B2 (en) Portable display device
KR100936816B1 (en) Pointing device using camera and outputting mark
JP5684136B2 (en) Multiple contact areas rotate gesture recognition method
US9423876B2 (en) Omni-spatial gesture input
JP2008052590A (en) Interface device and its method
JP2011054118A (en) Apparatus, method, and program for controlling display
CN101512631A (en) Method and system for context based user interface information presentation and positioning
CN102457730B (en) projector
JP4929109B2 (en) Gesture recognition apparatus and method
JP4411387B2 (en) Motion detector, motion detection method, a pointing device, computer program and storage medium
EP2620849A1 (en) Operation input apparatus, operation input method, and program
WO2012011263A1 (en) Gesture input device and gesture input method
JP4323180B2 (en) Interface method using the self-image display, apparatus, and program
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
US10052147B2 (en) Touch free operation of ablator workstation by use of depth sensors

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140605