JP6716897B2 - Operation detection method, operation detection device, and operation detection program - Google Patents
Operation detection method, operation detection device, and operation detection program Download PDFInfo
- Publication number
- JP6716897B2 JP6716897B2 JP2015232625A JP2015232625A JP6716897B2 JP 6716897 B2 JP6716897 B2 JP 6716897B2 JP 2015232625 A JP2015232625 A JP 2015232625A JP 2015232625 A JP2015232625 A JP 2015232625A JP 6716897 B2 JP6716897 B2 JP 6716897B2
- Authority
- JP
- Japan
- Prior art keywords
- fingertip
- hand
- distance
- finger
- pointer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明は、操作検出方法、操作検出装置、及び操作検出プログラムに関する。 The present invention relates to an operation detection method, an operation detection device, and an operation detection program.
近年、カメラによって撮影した画像に視覚情報を付加して表示する拡張現実技術の開発が行われている。拡張現実技術では、ウェアラブル装置、タブレット端末等の情報処理装置が用いられ、ウェアラブル装置としては、カメラを装着したヘッドマウントディスプレイ(HMD)装置等が用いられる。これらの情報処理装置の画面上では、ユーザの視野内に存在する対象物の位置に対応させて、その対象物に関する情報が表示される。 In recent years, an augmented reality technology has been developed in which visual information is added to an image captured by a camera and displayed. In the augmented reality technology, information processing devices such as wearable devices and tablet terminals are used, and as wearable devices, head mounted display (HMD) devices equipped with cameras are used. On the screens of these information processing devices, information about the target object is displayed in association with the position of the target object existing within the visual field of the user.
このような拡張現実技術を利用すれば、工場における保守点検、機器設置等のユーザの作業を支援することが可能である。ユーザは両手を用いて作業を行うことが多いため、タブレット端末よりも、頭部に装着可能なHMD装置の方がユーザの作業支援に適している。ユーザの視野の端に小型ディスプレイを配置して、小型ディスプレイに画像を表示するマイクロディスプレイ型HMD装置も普及しつつある。 By using such augmented reality technology, it is possible to support the user's work such as maintenance and inspection in the factory and equipment installation. Since the user often works with both hands, the HMD device that can be worn on the head is more suitable for the work support of the user than the tablet terminal. A micro display type HMD device in which a small display is arranged at the end of the user's field of view and an image is displayed on the small display is becoming popular.
画像処理の分野において、機器に接触することなく手又は指の動作のみにより、コンピュータ等に情報を入力する技術も知られている(例えば、特許文献1を参照)。 In the field of image processing, there is also known a technique of inputting information to a computer or the like only by the action of a hand or a finger without touching a device (for example, see Patent Document 1).
HMD装置の画面上では、ポインティングデバイスによる選択操作、クリック操作等を行うことが困難である。 On the screen of the HMD device, it is difficult to perform a selection operation, a click operation, or the like with a pointing device.
なお、かかる問題は、HMD装置等のウェアラブル装置の操作に限らず、ポインティングデバイスを使用することが困難な作業環境における他の情報処理装置の操作においても生ずるものである。 Note that such a problem occurs not only in the operation of the wearable device such as the HMD device but also in the operation of another information processing device in a work environment where it is difficult to use the pointing device.
1つの側面において、本発明は、ジェスチャによる情報処理装置の操作を支援することを目的とする。 In one aspect, the present invention aims to support operation of an information processing device by a gesture.
1つの案では、コンピュータは以下の処理を実行する。
(1)コンピュータは、撮像装置によって撮影された撮影画像を表示装置に表示させる。
(2)コンピュータは、撮影画像内において対象物が写っている対象物領域と、撮影画像内において手が写っている手領域とが重なっている場合、対象物に対応する操作対象情報を撮影画像の代わりに表示装置に表示させる。
(3)コンピュータは、操作対象情報を表示した時点の手領域内における所定部位の位置を起点として、手の動きに応じて移動するポインタを表示装置に表示させる。
(4)コンピュータは、ポインタと操作対象情報との間の位置関係と、手領域の形状の変化とに基づいて、操作対象情報に対する決定操作を検出する。
In one scheme, the computer performs the following processing.
(1) The computer causes the display device to display the captured image captured by the imaging device.
(2) When the object area in which the object is captured in the captured image and the hand area in which the hand is captured in the captured image overlap, the computer acquires the operation target information corresponding to the object. To be displayed on the display device instead of.
(3) The computer causes the display device to display a pointer that moves according to the movement of the hand, starting from the position of a predetermined part in the hand region at the time when the operation target information is displayed.
(4) The computer detects the determination operation for the operation target information based on the positional relationship between the pointer and the operation target information and the change in the shape of the hand region.
実施形態によれば、ジェスチャによる情報処理装置の操作を支援することができる。 According to the embodiment, it is possible to support the operation of the information processing apparatus by the gesture.
以下、図面を参照しながら、実施形態を詳細に説明する。
図1は、操作検出装置の機能的構成例を示している。図1の操作検出装置101は、表示制御部111及び検出部112を含む。
Hereinafter, embodiments will be described in detail with reference to the drawings.
FIG. 1 shows an example of the functional configuration of the operation detection device. The operation detection device 101 of FIG. 1 includes a display control unit 111 and a detection unit 112.
図2は、図1の操作検出装置101が行う操作検出処理の例を示すフローチャートである。まず、表示制御部111は、撮像装置によって撮影された撮影画像を表示装置に表示させる(ステップ201)。そして、表示制御部111は、撮影画像内において対象物が写っている対象物領域と、撮影画像内において手が写っている手領域とが重なっている場合、対象物に対応する操作対象情報を撮影画像の代わりに表示装置に表示させる(ステップ202)。 FIG. 2 is a flowchart showing an example of operation detection processing performed by the operation detection device 101 of FIG. First, the display control unit 111 causes the display device to display the captured image captured by the imaging device (step 201). Then, when the target area in which the target is shown in the captured image and the hand area in which the hand is shown in the captured image overlap, the display control unit 111 displays the operation target information corresponding to the target. The captured image is displayed on the display device (step 202).
次に、表示制御部111は、操作対象情報を表示した時点の手領域内における所定部位の位置を起点として、手の動きに応じて移動するポインタを表示装置に表示させる(ステップ203)。そして、検出部112は、ポインタと操作対象情報との間の位置関係と、手領域の形状の変化とに基づいて、操作対象情報に対する決定操作を検出する(ステップ204)。 Next, the display control unit 111 causes the display device to display a pointer that moves according to the movement of the hand, starting from the position of a predetermined region in the hand region at the time when the operation target information is displayed (step 203). Then, the detection unit 112 detects the determination operation for the operation target information based on the positional relationship between the pointer and the operation target information and the change in the shape of the hand region (step 204).
図1の操作検出装置101によれば、ジェスチャによる情報処理装置の操作を支援することができる。 According to the operation detection device 101 of FIG. 1, it is possible to assist the operation of the information processing device by the gesture.
図3は、図1の操作検出装置101を含むHMD装置の構成例を示している。図3のHMD装置は、操作検出装置101、撮像装置301、距離画像センサ302、及び表示装置303を含む。操作検出装置101は、表示制御部111、検出部112、取得部311、取得部312、及び記憶部313を含む。検出部112は、領域抽出部321、指先検出部322、制御部323、座標変換部324、及び操作判定部325を含む。 FIG. 3 shows a configuration example of an HMD device including the operation detection device 101 of FIG. The HMD device in FIG. 3 includes an operation detection device 101, an imaging device 301, a distance image sensor 302, and a display device 303. The operation detection device 101 includes a display control unit 111, a detection unit 112, an acquisition unit 311, an acquisition unit 312, and a storage unit 313. The detection unit 112 includes a region extraction unit 321, a fingertip detection unit 322, a control unit 323, a coordinate conversion unit 324, and an operation determination unit 325.
記憶部313は、映像情報331、デプスマップ332、モード情報333、及び操作メニュー334、クリック対象335、及び指長情報336を記憶する。映像情報331は、撮像装置301によって撮影された映像を表し、複数時刻におけるフレームの画像を含む。 The storage unit 313 stores the image information 331, the depth map 332, the mode information 333, the operation menu 334, the click target 335, and the finger length information 336. The video information 331 represents a video imaged by the imaging device 301 and includes frame images at a plurality of times.
デプスマップ332は、距離画像センサ302によって撮影された距離画像を表し、距離画像の各画素の画素値は、距離画像センサ302から物体までの距離を表す。距離画像センサ302から物体までの距離の代わりに、所定の基準点から物体までの距離を表す画素値を用いてもよい。 The depth map 332 represents a range image captured by the range image sensor 302, and the pixel value of each pixel of the range image represents the distance from the range image sensor 302 to the object. Instead of the distance from the range image sensor 302 to the object, a pixel value representing the distance from a predetermined reference point to the object may be used.
モード情報333は、操作検出装置101の動作モードを表す。動作モードとしては、ユーザの作業領域における対象物を選択する対象選択モードと、操作メニュー334を表示装置303の画面に表示してユーザの作業を支援するメニュー操作モードとが存在する。操作メニュー334は、対象物に対するユーザの作業における1つ以上の操作項目を含む画像を表す。操作メニュー334に含まれる各操作項目は、対象物に対応する操作対象情報を表す。 The mode information 333 represents the operation mode of the operation detection device 101. As operation modes, there are a target selection mode for selecting an object in the user's work area and a menu operation mode for displaying the operation menu 334 on the screen of the display device 303 to assist the user's work. The operation menu 334 represents an image including one or more operation items in the user's work on the target object. Each operation item included in the operation menu 334 represents operation target information corresponding to the target object.
例えば、工場における保守点検作業の場合、対象物は、電力計、圧力計、温度計等の各種計測機器であってもよい。この場合、ユーザは、計測機器が表示する計測値を確認し、操作メニュー334を用いて確認結果をHMD装置に入力したり、計測値又は計測機器の画像をHMD装置に入力したりする作業を行う。クリック対象335は、ユーザが操作メニュー334から選択した操作項目を表し、指長情報336は、ユーザが操作項目を選択した時点における指の長さを表す。 For example, in the case of maintenance and inspection work in a factory, the object may be various measuring devices such as a power meter, a pressure gauge, and a thermometer. In this case, the user confirms the measurement value displayed by the measurement device, inputs the confirmation result to the HMD device using the operation menu 334, or inputs the measurement value or the image of the measurement device to the HMD device. To do. The click target 335 represents an operation item selected by the user from the operation menu 334, and the finger length information 336 represents the length of the finger when the user selects the operation item.
撮像装置301は、例えば、カラー映像を撮影するカメラであり、作業領域の映像を撮影する。取得部311は、撮像装置301から映像を取得し、映像情報331として記憶部313に格納する。距離画像センサ302は、レーザ光線、赤外線等を用いて各時刻における距離画像を撮影する。取得部312は、距離画像センサ302から距離画像を取得し、デプスマップ332として記憶部313に格納する。 The imaging device 301 is, for example, a camera that captures a color image, and captures an image of a work area. The acquisition unit 311 acquires a video from the imaging device 301 and stores it in the storage unit 313 as video information 331. The range image sensor 302 captures a range image at each time using laser beams, infrared rays, or the like. The acquisition unit 312 acquires a distance image from the distance image sensor 302 and stores it as a depth map 332 in the storage unit 313.
領域抽出部321は、デプスマップ332から手領域を抽出するとともに、映像情報331に含まれる各フレームの画像から対象物領域及び手領域を抽出する。指先検出部322は、映像情報331の画像内の手領域から指先の位置を検出する。制御部323は、対象物領域と手領域との重なり状態に応じてモード情報333を変更し、モード情報333が表す動作モードを示す制御信号を、表示制御部111へ出力する。座標変換部324は、指先検出部322が検出した指先の位置を表す座標を、表示装置303の画面上の座標に変換して、表示制御部111へ出力する。 The area extracting unit 321 extracts the hand area from the depth map 332, and also extracts the object area and the hand area from the image of each frame included in the video information 331. The fingertip detection unit 322 detects the position of the fingertip from the hand area in the image of the video information 331. The control unit 323 changes the mode information 333 according to the overlapping state of the target region and the hand region, and outputs a control signal indicating the operation mode represented by the mode information 333 to the display control unit 111. The coordinate conversion unit 324 converts coordinates representing the position of the fingertip detected by the fingertip detection unit 322 into coordinates on the screen of the display device 303 and outputs the coordinates to the display control unit 111.
表示制御部111は、制御部323から出力される制御信号に従って、映像情報331又は操作メニュー334を、表示装置303の画面に表示させる。操作メニュー334が画面に表示された場合、表示制御部111は、操作メニュー334とともに、その時点における指先の位置を示すポインタを画面に表示させる。 The display control unit 111 displays the video information 331 or the operation menu 334 on the screen of the display device 303 according to the control signal output from the control unit 323. When the operation menu 334 is displayed on the screen, the display control unit 111 displays a pointer indicating the position of the fingertip at that time on the screen together with the operation menu 334.
操作判定部325は、画面に表示されたポインタと操作メニュー334内の各操作項目との位置関係と、手領域の形状の変化とに基づいて、ユーザがいずれかの操作項目をクリックする決定操作を行ったか否かを判定する。 The operation determination unit 325 determines whether the user clicks any operation item based on the positional relationship between the pointer displayed on the screen and each operation item in the operation menu 334 and the change in the shape of the hand region. It is determined whether or not.
ユーザの頭部に装着されるヘッドマウントモジュールは、図3のHMD装置全体を含んでいてもよく、HMD装置の一部の構成要素のみを含んでいてもよい。例えば、撮像装置301、距離画像センサ302、及び表示装置303をヘッドマウントモジュールとして実装し、操作検出装置101を頭部以外の身体部位に装着されるモジュールとして実装することができる。 The head mount module mounted on the user's head may include the entire HMD device of FIG. 3 or may include only some of the components of the HMD device. For example, the imaging device 301, the distance image sensor 302, and the display device 303 can be mounted as a head mount module, and the operation detection device 101 can be mounted as a module mounted on a body part other than the head.
図4は、図3の操作検出装置101が行う操作検出処理の具体例を示すフローチャートである。図4の操作検出処理は、映像情報331に含まれる各フレームの画像に対して行われる。 FIG. 4 is a flowchart showing a specific example of the operation detection process performed by the operation detection device 101 of FIG. The operation detection process of FIG. 4 is performed on the image of each frame included in the video information 331.
まず、制御部323は、モード情報333が対象選択モード又はメニュー操作モードのいずれの動作モードを表すかチェックする(ステップ401)。初期状態において、モード情報333は対象選択モードに設定されている。 First, the control unit 323 checks whether the mode information 333 represents the target selection mode or the menu operation mode (step 401). In the initial state, the mode information 333 is set to the target selection mode.
モード情報333が対象選択モードを表す場合(ステップ401,YES)、制御部323は、対象選択モードを示す制御信号を表示制御部111へ出力し、操作検出装置101は、対象選択モードの処理を行う(ステップ402)。対象選択モードにおいて、表示制御部111は、映像情報331を表示装置303の画面に表示させる。 When the mode information 333 represents the target selection mode (step 401, YES), the control unit 323 outputs a control signal indicating the target selection mode to the display control unit 111, and the operation detection apparatus 101 performs the target selection mode processing. Perform (step 402). In the target selection mode, the display control unit 111 displays the video information 331 on the screen of the display device 303.
一方、モード情報333がメニュー操作モードを表す場合(ステップ401,NO)、制御部323は、メニュー操作モードを示す制御信号を表示制御部111へ出力し、操作検出装置101は、メニュー操作モードの処理を行う(ステップ403)。メニュー操作モードにおいて、表示制御部111は、操作メニュー334を表示装置303の画面に表示させる。 On the other hand, when the mode information 333 indicates the menu operation mode (step 401, NO), the control unit 323 outputs a control signal indicating the menu operation mode to the display control unit 111, and the operation detection device 101 indicates the menu operation mode. Processing is performed (step 403). In the menu operation mode, the display control unit 111 displays the operation menu 334 on the screen of the display device 303.
図5は、図4のステップ402における対象選択モードの処理の例を示すフローチャートである。まず、領域抽出部321は、現時刻のデプスマップ332を用いて、映像情報331における同じ時刻の画像から手領域を抽出し、指先検出部322は、その手領域から指領域を抽出する(ステップ501)。指領域は、指先の位置であってもよい。 FIG. 5 is a flowchart showing an example of processing in the target selection mode in step 402 of FIG. First, the area extraction unit 321 uses the depth map 332 at the current time to extract a hand area from the image at the same time in the video information 331, and the fingertip detection unit 322 extracts the finger area from the hand area (step 501). The finger area may be the position of the fingertip.
デプスマップ332の各画素の位置は、映像情報331における同じ時刻の画像の各画素の位置に対応する。そこで、領域抽出部321は、デプスマップ332から手領域を抽出し、その手領域に対応する映像情報331の画像内の領域を特定することで、画像から手領域を抽出することができる。 The position of each pixel of the depth map 332 corresponds to the position of each pixel of the image at the same time in the video information 331. Therefore, the region extraction unit 321 can extract the hand region from the image by extracting the hand region from the depth map 332 and identifying the region in the image of the video information 331 corresponding to the hand region.
次に、領域抽出部321は、映像情報331の画像から対象物領域を抽出する(ステップ502)。例えば、対象物上又はその周囲の物体にマーカが貼付されている場合、領域抽出部321は、画像内におけるマーカの位置を特定し、特定したマーカの位置と所定の位置関係にある対象物領域を抽出することができる。また、領域抽出部321は、テンプレートマッチング等を用いて、画像から対象物領域を抽出することもできる。 Next, the area extraction unit 321 extracts the object area from the image of the video information 331 (step 502). For example, when a marker is attached to an object or an object around the object, the area extraction unit 321 identifies the position of the marker in the image, and the object area having a predetermined positional relationship with the identified position of the marker. Can be extracted. The area extraction unit 321 can also extract the object area from the image using template matching or the like.
次に、制御部323は、映像情報331の画像内で指領域と対象物領域とが重なっているか否かをチェックする(ステップ503)。指領域と対象物領域とが重なっている場合(ステップ503,YES)、制御部323は、モード情報333を対象選択モードからメニュー操作モードに変更し、メニュー操作モードを示す制御信号を表示制御部111へ出力する(ステップ504)。そして、操作検出装置101は、メニュー操作モードの処理を行う。 Next, the control unit 323 checks whether or not the finger region and the target region overlap in the image of the video information 331 (step 503). When the finger area and the object area overlap (step 503, YES), the control unit 323 changes the mode information 333 from the target selection mode to the menu operation mode, and the control signal indicating the menu operation mode is displayed on the display control unit. It is output to 111 (step 504). Then, the operation detection device 101 performs the processing in the menu operation mode.
一方、指領域と対象物領域とが重なっていない場合(ステップ503,NO)、制御部323は、モード情報333を変更しない。 On the other hand, when the finger area and the object area do not overlap (step 503, NO), the control unit 323 does not change the mode information 333.
図6は、図5のステップ501における指領域抽出処理の例を示すフローチャートである。まず、領域抽出部321は、平滑化フィルタ等を用いて、デプスマップ332の領域を平滑化する(ステップ601)。 FIG. 6 is a flowchart showing an example of the finger area extraction processing in step 501 of FIG. First, the area extraction unit 321 smoothes the area of the depth map 332 using a smoothing filter or the like (step 601).
図7は、平滑化フィルタの例を示している。図7の平滑化フィルタは、3画素×3画素のフィルタであり、中央の画素の画素値は、フィルタ内の9個の画素の各画素値に重み1/9を乗算して加算した結果に置き換えられる。このような重み付き加算をデプスマップ332の全画素に対して行うことで、デプスマップ332のノイズが低減される。 FIG. 7 shows an example of the smoothing filter. The smoothing filter of FIG. 7 is a filter of 3 pixels×3 pixels, and the pixel value of the central pixel is obtained by multiplying each pixel value of 9 pixels in the filter by weight 1/9 and adding the result. Will be replaced. By performing such weighted addition for all the pixels of the depth map 332, the noise of the depth map 332 is reduced.
次に、領域抽出部321は、平滑化されたデプスマップ332から手領域を抽出する(ステップ602)。領域抽出部321は、例えば、デプスマップ332の画素のうち、閾値よりも小さい画素値を有する近距離画素からなる領域を、手領域として抽出することができる。この場合、閾値以上の画素値を有する遠距離画素からなる領域は、背景領域とみなされる。 Next, the area extraction unit 321 extracts a hand area from the smoothed depth map 332. (Step 602). The area extraction unit 321 can extract, as a hand area, an area that includes, for example, pixels of the depth map 332 that are close-range pixels having a pixel value smaller than a threshold value. In this case, a region composed of long-distance pixels having a pixel value equal to or larger than the threshold value is regarded as a background region.
図8は、手領域抽出処理の例を示している。図8のデプスマップ801のうち、近距離画素からなる領域802が手領域として抽出される。 FIG. 8 shows an example of hand region extraction processing. In the depth map 801 of FIG. 8, a region 802 composed of short-distance pixels is extracted as a hand region.
ステップ602において、領域抽出部321は、デプスマップ332から抽出された手領域に対応する映像情報331の画像内の領域を、手領域として抽出する。そして、指先検出部322は、画像から抽出された手領域から、指先の位置を検出する(ステップ603)。 In step 602, the area extraction unit 321 extracts an area in the image of the video information 331 corresponding to the hand area extracted from the depth map 332 as a hand area. Then, the fingertip detection unit 322 detects the position of the fingertip from the hand region extracted from the image (step 603).
図9は、図6のステップ603における指先検出処理の例を示すフローチャートである。まず、指先検出部322は、手領域の基準点を決定する(ステップ901)。手領域の基準点としては、例えば、手領域内の全画素の座標の平均値に対応する重心を用いることができる。 FIG. 9 is a flowchart showing an example of the fingertip detection process in step 603 of FIG. First, the fingertip detection unit 322 determines the reference point of the hand area (step 901). As the reference point of the hand area, for example, the center of gravity corresponding to the average value of the coordinates of all the pixels in the hand area can be used.
次に、指先検出部322は、手領域の輪郭線上の点の中から指先候補点を抽出する(ステップ902)。例えば、輪郭線上で隣り合う3個の点を輪郭点A、輪郭点B、及び輪郭点Cとし、輪郭点A、輪郭点B、及び輪郭点Cと基準点との距離を、それぞれ、Da、Db、及びDcとする。このとき、指先検出部322は、輪郭線上の各点に対して次式を満たすか否かをチェックし、次式を満たす輪郭点Bを指先候補点として抽出する。 Next, the fingertip detection unit 322 extracts fingertip candidate points from the points on the outline of the hand area (step 902). For example, three adjacent points on the contour line are contour point A, contour point B, and contour point C, and the distances between contour point A, contour point B, and contour point C and the reference point are Da, Let Db and Dc. At this time, the fingertip detection unit 322 checks whether or not each point on the contour line satisfies the following equation, and extracts the contour point B satisfying the following equation as a fingertip candidate point.
Da<Db>Dc (1)
Da<Db>Dc (1)
次に、指先検出部322は、抽出した指先候補点のうち、基準点から指先候補点へ向かうベクトルが上向きである指先候補点を特定し(ステップ903)、特定した指先候補点を指先の位置に決定する(ステップ904)。例えば、画像の水平方向又は垂直方向に対するベクトルの角度が所定範囲内である場合、ベクトルが上向きであると判定される。 Next, the fingertip detection unit 322 specifies a fingertip candidate point whose vector from the reference point to the fingertip candidate point is upward among the extracted fingertip candidate points (step 903), and specifies the specified fingertip candidate point at the fingertip position. (Step 904). For example, when the angle of the vector with respect to the horizontal direction or the vertical direction of the image is within the predetermined range, the vector is determined to be upward.
ユーザが1本の指を伸ばした状態で手を移動させながら、操作メニュー334を操作する場合、手領域の形状は1本の指を伸ばした形状(1本指形状)になる。この場合、上向きの指先候補点は、手領域から1個だけ抽出される。そこで、ステップ903において抽出された上向きの指先候補点の個数が1個の場合、指先検出部322は、手領域の形状が1本指形状であると判定し、その指先候補点を指先の位置に決定する。 When the user operates the operation menu 334 while moving the hand with one finger extended, the shape of the hand region is a shape in which one finger is extended (one finger shape). In this case, only one upward fingertip candidate point is extracted from the hand area. Therefore, when the number of upward fingertip candidate points extracted in step 903 is one, the fingertip detection unit 322 determines that the shape of the hand region is a one-finger shape, and the fingertip candidate point is located at the fingertip position. To decide.
図10は、このような1本指形状の手領域における指先候補点の例を示している。手領域1001の輪郭点1003と基準点1002との距離は、輪郭線上で輪郭点1003の両隣に位置する2つの輪郭点と基準点1002との距離よりも大きいため、輪郭点1003は指先候補点として抽出される。そして、基準点1002から輪郭点1003へ向かうベクトル1004は上向きであるため、輪郭点1003の位置が指先の位置に決定される。 FIG. 10 shows an example of fingertip candidate points in such a one-finger shaped hand region. Since the distance between the contour point 1003 of the hand area 1001 and the reference point 1002 is larger than the distance between the two contour points located on both sides of the contour point 1003 on the contour line and the reference point 1002, the contour point 1003 is the fingertip candidate point. Is extracted as. Since the vector 1004 from the reference point 1002 to the contour point 1003 is upward, the position of the contour point 1003 is determined as the position of the fingertip.
この場合、図5のステップ503において、制御部323は、画像内で指先の位置が対象物領域に含まれる場合、指領域と対象物領域とが重なっていると判定する。 In this case, in step 503 of FIG. 5, the control unit 323 determines that the finger region and the target region overlap each other when the position of the fingertip is included in the target region in the image.
図11は、図4のステップ403及び図5のステップ504におけるメニュー操作モードの処理の例を示すフローチャートである。ステップ1101の処理は、図5のステップ501の処理と同様である。 FIG. 11 is a flowchart showing an example of processing in the menu operation mode in step 403 of FIG. 4 and step 504 of FIG. The process of step 1101 is similar to the process of step 501 of FIG.
座標変換部324は、指先検出部322が検出した指先の位置の座標(x,y)を、表示装置303の画面上の座標(u,v)に変換して、表示制御部111へ出力する(ステップ1102)。座標変換部324は、例えば、定数x0、定数y0、定数α、及び定数βを用いて、次式により座標(x,y)から座標(u,v)を計算する。 The coordinate conversion unit 324 converts the coordinates (x, y) of the position of the fingertip detected by the fingertip detection unit 322 into the coordinates (u, v) on the screen of the display device 303 and outputs the coordinates to the display control unit 111. (Step 1102). The coordinate conversion unit 324 calculates the coordinates (u, v) from the coordinates (x, y) by the following equation using, for example, the constant x0, the constant y0, the constant α, and the constant β.
u=(x−x0)*α (2)
v=(y−y0)*β (3)
u=(x−x0)*α (2)
v=(y−y0)*β (3)
図12は、座標変換の例を示している。画像1201内の指先の位置に対応する輪郭点1003の座標が、画面1202上の点1203の座標に変換される。 FIG. 12 shows an example of coordinate conversion. The coordinates of the contour point 1003 corresponding to the position of the fingertip in the image 1201 are converted into the coordinates of the point 1203 on the screen 1202.
表示制御部111は、メニュー操作モードを示す制御信号に従って、操作メニュー334と座標(u,v)を示すポインタとを表示装置303へ出力し、表示装置303は、操作メニュー334を画面に表示するとともに、座標(u,v)の位置にポインタを表示する。 The display control unit 111 outputs the operation menu 334 and the pointer indicating the coordinates (u, v) to the display device 303 according to the control signal indicating the menu operation mode, and the display device 303 displays the operation menu 334 on the screen. At the same time, the pointer is displayed at the position of coordinates (u, v).
図13は、画面に表示された操作メニュー334及びポインタの例を示している。画面1202内には、操作項目1301〜操作項目1303が表示され、図12の点1203に対応する位置にポインタ1311が表示される。ポインタ1311は、操作メニュー334上でユーザの手の動きに応じて移動する。 FIG. 13 shows an example of the operation menu 334 and the pointer displayed on the screen. On the screen 1202, operation items 1301 to 1303 are displayed, and a pointer 1311 is displayed at a position corresponding to the point 1203 in FIG. The pointer 1311 moves on the operation menu 334 according to the movement of the user's hand.
次に、操作判定部325は、画面内におけるポインタと各操作項目との位置関係に基づいて、ユーザによって選択された操作項目を特定する(ステップ1103)。操作判定部325は、例えば、ポインタの位置が操作項目の表示領域に含まれる場合に、その操作項目が選択されたと判定する。図13の例では、ポインタ1311の位置が操作項目1302の表示領域に含まれるため、操作項目1302がユーザによって選択されたと判定される。 Next, the operation determination unit 325 identifies the operation item selected by the user based on the positional relationship between the pointer and each operation item on the screen (step 1103). The operation determination unit 325 determines that the operation item is selected when the position of the pointer is included in the operation item display area, for example. In the example of FIG. 13, since the position of the pointer 1311 is included in the display area of the operation item 1302, it is determined that the operation item 1302 has been selected by the user.
次に、操作判定部325は、選択された操作項目に対する決定操作を検出する(ステップ1104)。図13の例では、操作項目1302が選択された状態で決定操作が検出された場合、ユーザが操作項目1302をクリックしたと判定される。 Next, the operation determination unit 325 detects a decision operation for the selected operation item (step 1104). In the example of FIG. 13, when the determination operation is detected while the operation item 1302 is selected, it is determined that the user has clicked the operation item 1302.
例えば、ユーザは、1本指形状の指先で操作項目を選択した状態で、伸ばした指を折り曲げるジェスチャを行うことで、操作項目をクリックする決定操作を行うことができる。このようなジェスチャ操作によれば、ユーザにとって入力タイミングが明確となり、フィードバックのない空間内であっても、入力作業が容易になる。また、操作判定部325は、指長の変化から容易に決定操作を検出することができる。 For example, the user can perform a determination operation of clicking an operation item by performing a gesture of bending an extended finger in a state where the operation item is selected with a fingertip having a one-finger shape. According to such a gesture operation, the input timing becomes clear to the user, and the input work becomes easy even in a space without feedback. Further, the operation determination unit 325 can easily detect the determination operation from the change in the finger length.
図14は、図11のステップ1104における決定操作検出処理の例を示すフローチャートである。操作判定部325は、ステップ1103においていずれかの操作項目を特定した場合、特定した操作項目を、記憶部313内のクリック対象335に設定する(ステップ1401)。ただし、現時刻よりも前の画像に基づく決定操作検出処理において、クリック対象335に操作項目が既に設定されている場合、操作判定部325は、クリック対象335を変更しない。 FIG. 14 is a flowchart showing an example of the determination operation detection process in step 1104 of FIG. When any operation item is specified in step 1103, the operation determination unit 325 sets the specified operation item as the click target 335 in the storage unit 313 (step 1401). However, in the determination operation detection process based on the image before the current time, when the operation item is already set in the click target 335, the operation determination unit 325 does not change the click target 335.
次に、操作判定部325は、クリック対象335に操作項目が設定されているか否かをチェックする(ステップ1402)。クリック対象335に操作項目が設定されている場合(ステップ1402,YES)、操作判定部325は、手領域の重心が移動したか否かをチェックする(ステップ1403)。 Next, the operation determination unit 325 checks whether or not an operation item is set in the click target 335 (step 1402). When the operation item is set in the click target 335 (step 1402, YES), the operation determination unit 325 checks whether the center of gravity of the hand area has moved (step 1403).
このとき、操作判定部325は、例えば、現時刻よりも前の時刻における手領域の重心と現時刻における手領域の重心との距離を、重心の移動量として求める。そして、操作判定部325は、移動量が所定値以上である場合、重心が移動したと判定し、移動量が所定値よりも小さい場合、重心が移動していないと判定する。重心の移動量に基づいて手が移動したか否かを判定することで、ユーザが選択した操作項目をクリックすることなく、指先を別の操作項目へ移動させたか否かを検出することができる。 At this time, the operation determination unit 325 obtains, for example, the distance between the center of gravity of the hand region at the time before the current time and the center of gravity of the hand region at the current time as the movement amount of the center of gravity. Then, the operation determination unit 325 determines that the center of gravity has moved when the movement amount is equal to or greater than the predetermined value, and determines that the center of gravity has not moved when the movement amount is smaller than the predetermined value. By determining whether the hand has moved based on the amount of movement of the center of gravity, it is possible to detect whether the fingertip has been moved to another operation item without clicking the operation item selected by the user. ..
重心が移動していない場合(ステップ1403,NO)、操作判定部325は、指先の位置に基づいて、指先から指の根元までの長さ(指長)を計算する(ステップ1404)。ステップ1401において操作項目をクリック対象335に設定した場合、操作判定部325は、計算した指長Lを指長情報336として記憶部313に格納する。 When the center of gravity has not moved (step 1403, NO), the operation determination unit 325 calculates the length from the fingertip to the base of the finger (finger length) based on the position of the fingertip (step 1404). When the operation item is set as the click target 335 in step 1401, the operation determination unit 325 stores the calculated finger length L in the storage unit 313 as finger length information 336.
現時刻よりも前の画像に基づく決定操作検出処理において、指長情報336が既に格納されている場合、操作判定部325は、計算した指長Lを、指長情報336が示す指長L0と比較する(ステップ1405)。操作判定部325は、例えば、1以上の定数aを用いて、次式によりLとL0を比較することができる。 When the finger length information 336 is already stored in the determination operation detection process based on the image before the current time, the operation determination unit 325 sets the calculated finger length L to the finger length L0 indicated by the finger length information 336. The comparison is made (step 1405). The operation determination unit 325 can compare L and L0 by the following equation using a constant a of 1 or more, for example.
L0>L*a (4)
L0>L*a (4)
Lが式(4)を満たす場合(ステップ1405,YES)、操作判定部325は、操作項目が選択された時点よりも指長が一定割合以下まで短くなり、ユーザがクリック対象335の操作項目をクリックしたと判定する(ステップ1406)。ユーザがクリックした操作項目がメニュー操作モードの終了を表す項目である場合、制御部323は、モード情報333をメニュー操作モードから対象選択モードに変更し、対象選択モードを示す制御信号を表示制御部111へ出力する。 When L satisfies the expression (4) (step 1405, YES), the operation determination unit 325 determines that the finger length is shorter than a certain ratio from the time when the operation item is selected and the user selects the operation item of the click target 335. It is determined that it has been clicked (step 1406). When the operation item clicked by the user is an item indicating the end of the menu operation mode, the control unit 323 changes the mode information 333 from the menu operation mode to the target selection mode, and the control signal indicating the target selection mode is displayed on the display control unit. Output to 111.
一方、Lが式(4)を満たさない場合(ステップ1405,NO)、操作判定部325は、指長が短くなっておらず、ユーザがクリック対象335の操作項目をクリックしていないと判定する。なお、現時刻の画像に基づく決定操作検出処理において指長情報336を格納した場合は、L=L0であるため、ユーザがクリック対象335の操作項目をクリックしていないと判定される。 On the other hand, when L does not satisfy the expression (4) (step 1405, NO), the operation determination unit 325 determines that the finger length is not shortened and the user has not clicked on the operation item of the click target 335. .. When the finger length information 336 is stored in the determination operation detection process based on the image at the current time, L=L0, and thus it is determined that the user has not clicked on the operation item of the click target 335.
重心が移動した場合(ステップ1403,YES)、操作判定部325は、ユーザが選択した操作項目をクリックするのを止めたと判定する。そして、操作判定部325は、クリック対象335に設定されている操作項目を削除して、クリック対象335を解放する(ステップ1407)。 When the center of gravity moves (step 1403, YES), the operation determination unit 325 determines that the user has stopped clicking the operation item selected by the user. Then, the operation determination unit 325 deletes the operation item set in the click target 335 and releases the click target 335 (step 1407).
クリック対象335が解放された後、次の時刻以降の画像において、ステップ1103で別の操作項目が特定された場合、ステップ1401において、その操作項目がクリック対象335に設定される。 After the click target 335 is released, if another operation item is specified in step 1103 in the image after the next time, the operation item is set as the click target 335 in step 1401.
また、ステップ1404において指長L0が指長情報336に設定された後、次の時刻以降の画像において、ステップ1404で指長Lが計算された場合、ステップ1405において、指長Lが指長L0と比較される。 After the finger length L0 is set in the finger length information 336 in step 1404, if the finger length L is calculated in step 1404 in the image after the next time, in step 1405, the finger length L is changed to the finger length L0. Compared to.
このような決定操作検出処理によれば、ユーザは、1本指形状の指先をポインティングデバイスの代わりに用いて、指を折り曲げる直感的なジェスチャにより、操作項目に対するクリック操作を行うことができる。 According to such a determination operation detection process, the user can perform a click operation on an operation item by an intuitive gesture of bending a finger by using a fingertip having a one-finger shape instead of a pointing device.
図15は、図14のステップ1404における指長計算処理の例を示すフローチャートである。この指長計算処理では、指先から指の根元へ向かって手領域の幅が計算され、手領域における指の方向と、手領域の幅(指幅)の変化とに基づいて、指長が求められる。 FIG. 15 is a flowchart showing an example of finger length calculation processing in step 1404 of FIG. In this finger length calculation process, the width of the hand region is calculated from the fingertip toward the base of the finger, and the finger length is calculated based on the direction of the finger in the hand region and the change in the width (finger width) of the hand region. To be
操作判定部325は、ステップ1401において操作項目をクリック対象335に設定した場合、指先の位置と手領域の重心とを結ぶ線分を求め、その線分を指が伸びている軸方向に決定する(ステップ1501)。決定された軸方向は、指先から指の根元へ向かう方向を表している。ただし、現時刻よりも前の画像に基づく指長計算処理において、軸方向が既に決定されている場合、操作判定部325は、その軸方向を用いる。 When the operation item is set as the click target 335 in step 1401, the operation determination unit 325 obtains a line segment connecting the position of the fingertip and the center of gravity of the hand region, and determines the line segment in the axial direction in which the finger extends. (Step 1501). The determined axial direction represents the direction from the fingertip to the base of the finger. However, when the axial direction is already determined in the finger length calculation process based on the image before the current time, the operation determination unit 325 uses the axial direction.
次に、操作判定部325は、軸方向に沿って指先から重心へ向かって、所定長毎に、軸方向と垂直な方向における手領域の幅を計算する(ステップ1502)。操作判定部325は、例えば、軸方向と垂直な方向における手領域の2つの輪郭点の間の画素数を、手領域の幅として求める。そして、操作判定部325は、手領域の幅が閾値を超える位置を指の根元として特定し、指先と指の根元との距離を指長に決定する。閾値は、固定値であってもよく、デプスマップ332が示す手領域の距離に反比例する値であってもよい。 Next, the operation determination unit 325 calculates the width of the hand region in the direction perpendicular to the axial direction for each predetermined length from the fingertip to the center of gravity along the axial direction (step 1502). The operation determination unit 325 determines, for example, the number of pixels between two contour points of the hand region in the direction perpendicular to the axial direction as the width of the hand region. Then, the operation determination unit 325 specifies the position where the width of the hand region exceeds the threshold as the base of the finger, and determines the distance between the fingertip and the base of the finger as the finger length. The threshold value may be a fixed value or a value that is inversely proportional to the distance of the hand area indicated by the depth map 332.
図16は、指長計算処理の例を示している。図16(a)は、操作項目が選択されたときの1本指形状の手領域を示しており、指先の位置1601と手領域の重心1602とを結ぶ線分1603は、1本指形状の軸方向を表す。この場合、1本指の指先から根元までの指長L1が求められる。 FIG. 16 shows an example of the finger length calculation process. FIG. 16A shows a one-finger-shaped hand region when an operation item is selected, and a line segment 1603 connecting the fingertip position 1601 and the center of gravity 1602 of the hand region has a one-finger shape. Indicates the axial direction. In this case, the finger length L1 from the fingertip of one finger to the root is obtained.
図16(b)は、操作項目が選択されてから所定時間後にその操作項目がクリックされたときの手領域を示しており、線分1603に沿った指長L2は、L1よりも一定割合以下まで短くなっている。このように、一旦、軸方向が決定されれば、その後は、指先の位置1601が検出されなくても、軸方向に沿って指長を計算することができる。 FIG. 16B shows the hand area when the operation item is clicked after a predetermined time has elapsed since the operation item was selected, and the finger length L2 along the line segment 1603 is less than a certain ratio than L1. Has become shorter. Thus, once the axial direction is determined, thereafter, even if the fingertip position 1601 is not detected, the finger length can be calculated along the axial direction.
ところで、図11のステップ1102において、指先の位置を示すポインタとともに、指の軸方向を示す情報を画面に表示することも可能である。この場合、指先検出部322は、図15のステップ1501と同様にして軸方向を決定し、表示制御部111は、操作メニュー334、指先の位置を示すポインタ、及び軸方向を示す情報を、表示装置303へ出力する。そして、表示装置303は、操作メニュー334、ポインタ、及び軸方向を画面に表示する。 By the way, in step 1102 of FIG. 11, it is possible to display information indicating the axial direction of the finger on the screen together with the pointer indicating the position of the fingertip. In this case, the fingertip detection unit 322 determines the axial direction similarly to step 1501 in FIG. 15, and the display control unit 111 displays the operation menu 334, the pointer indicating the position of the fingertip, and the information indicating the axial direction. Output to the device 303. Then, the display device 303 displays the operation menu 334, the pointer, and the axial direction on the screen.
図17は、画面に表示された軸方向の例を示している。図17(a)の例では、画面1202内に、操作項目1301〜操作項目1303、ポインタ1311、及び軸方向を示す線分1701が表示される。ポインタ1311及び線分1701は、操作メニュー334上でユーザの手の動きに応じて移動する。 FIG. 17 shows an example of the axial direction displayed on the screen. In the example of FIG. 17A, operation items 1301 to 1303, a pointer 1311, and a line segment 1701 indicating the axial direction are displayed in the screen 1202. The pointer 1311 and the line segment 1701 move on the operation menu 334 according to the movement of the user's hand.
図17(b)の例では、画面1202内に、操作項目1301〜操作項目1303、ポインタ1311、及び軸方向を示す手の図形1702が表示される。ポインタ1311及び図形1702は、操作メニュー334上でユーザの手の動きに応じて移動する。 In the example of FIG. 17B, operation items 1301 to 1303, a pointer 1311, and a hand graphic 1702 indicating the axial direction are displayed in the screen 1202. The pointer 1311 and the figure 1702 move on the operation menu 334 according to the movement of the user's hand.
このように、指先の位置を示すポインタに加えて軸方向も表示することで、ユーザは、画面上での指の移動方向を容易に認識することができる。 In this way, by displaying the axial direction in addition to the pointer indicating the position of the fingertip, the user can easily recognize the moving direction of the finger on the screen.
図1の操作検出装置101及び図3のHMD装置の構成は一例に過ぎず、操作検出装置101及びHMD装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図3のHMD装置において、デプスマップ332の代わりに映像情報331を用いて指領域抽出処理を行う場合、距離画像センサ302及び取得部312を省略することができる。 The configurations of the operation detection device 101 of FIG. 1 and the HMD device of FIG. 3 are merely examples, and some components may be omitted or changed depending on the use or conditions of the operation detection device 101 and the HMD device. For example, in the HMD device of FIG. 3, when the finger area extraction process is performed using the image information 331 instead of the depth map 332, the distance image sensor 302 and the acquisition unit 312 can be omitted.
図2、図4〜図6、図9、図11、図14、及び図15のフローチャートは一例に過ぎず、操作検出装置101の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図6の指領域抽出処理において、デプスマップ332のノイズが少ない場合、ステップ601の処理を省略することができる。検出部112は、デプスマップ332の代わりに映像情報331を用いて指領域抽出処理を行ってもよい。 The flowcharts of FIGS. 2, 4 to 6, FIG. 9, FIG. 11, FIG. 14, and FIG. 15 are merely examples, and some processes may be omitted or changed according to the configuration or conditions of the operation detection device 101. Good. For example, in the finger region extraction process of FIG. 6, when the depth map 332 has a small amount of noise, the process of step 601 can be omitted. The detection unit 112 may perform the finger area extraction process using the image information 331 instead of the depth map 332.
図9の指先検出処理のステップ901において、手領域の基準点として重心以外の点を用いてもよい。ユーザは、1本指形状以外の手で操作メニュー334を操作してもよく、指先以外の所定部位を用いて操作項目を選択してもよい。この場合、検出部112は、指先の位置の代わりに、所定部位の位置を検出する処理を行う。 In step 901 of the fingertip detection process of FIG. 9, a point other than the center of gravity may be used as the reference point of the hand region. The user may operate the operation menu 334 with a hand other than the one-finger shape, or may select an operation item using a predetermined part other than the fingertip. In this case, the detection unit 112 performs a process of detecting the position of a predetermined part instead of the position of the fingertip.
図14の決定操作検出処理のステップ1403において、重心以外の点の移動量に基づいて手が移動したか否かを判定してもよい。ユーザは、指を折り曲げるジェスチャ以外のジェスチャで決定操作を行ってもよく、ステップ1404及びステップ1405において、操作判定部325は、指長以外の手領域の形状の変化に基づいて決定操作が行われたか否かを判定してもよい。 In step 1403 of the determination operation detection process of FIG. 14, whether or not the hand has moved may be determined based on the amount of movement of a point other than the center of gravity. The user may perform the determining operation with a gesture other than the gesture of bending the finger, and in step 1404 and step 1405, the operation determining unit 325 performs the determining operation based on the change in the shape of the hand region other than the finger length. Whether or not it may be determined.
図7の平滑化フィルタ、図8のデプスマップ801、図10及び図12の手領域1001、図13の操作項目1301〜操作項目1303及びポインタ1311、図16の線分1603、図17の線分1701及び図形1702は一例に過ぎない。別の平滑化フィルタ等を用いてもよい。 The smoothing filter of FIG. 7, the depth map 801 of FIG. 8, the hand area 1001 of FIGS. 10 and 12, the operation item 1301 to operation item 1303 of FIG. 13, the pointer 1311, the line segment 1603 of FIG. 16, and the line segment of FIG. 1701 and figure 1702 are only examples. Another smoothing filter or the like may be used.
図1及び図3の操作検出装置101は、例えば、図18に示すような情報処理装置(コンピュータ)を用いて実現可能である。図18の情報処理装置は、Central Processing Unit(CPU)1801、メモリ1802、補助記憶装置1803、媒体駆動装置1804、及びネットワーク接続装置1805を備える。これらの構成要素はバス1806により互いに接続されている。 The operation detection device 101 of FIGS. 1 and 3 can be realized by using, for example, an information processing device (computer) as shown in FIG. The information processing apparatus in FIG. 18 includes a Central Processing Unit (CPU) 1801, a memory 1802, an auxiliary storage device 1803, a medium drive device 1804, and a network connection device 1805. These components are connected to each other by a bus 1806.
メモリ1802は、例えば、Read Only Memory(ROM)、Random Access Memory(RAM)、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ1802は、図3の記憶部313として用いることができる。 The memory 1802 is, for example, a semiconductor memory such as a read only memory (ROM), a random access memory (RAM), or a flash memory, and stores programs and data used for processing. The memory 1802 can be used as the storage unit 313 in FIG.
CPU1801(プロセッサ)は、例えば、メモリ1802を利用してプログラムを実行することにより、図1及び図3の表示制御部111及び検出部112として動作する。CPU1801は、プログラムを実行することにより、取得部311、取得部312、領域抽出部321、指先検出部322、制御部323、座標変換部324、及び操作判定部325としても動作する。 The CPU 1801 (processor) operates as the display control unit 111 and the detection unit 112 in FIGS. 1 and 3 by executing a program using the memory 1802, for example. The CPU 1801 also operates as the acquisition unit 311, the acquisition unit 312, the region extraction unit 321, the fingertip detection unit 322, the control unit 323, the coordinate conversion unit 324, and the operation determination unit 325 by executing the program.
補助記憶装置1803は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置1803は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置1803にプログラム及びデータを格納しておき、それらをメモリ1802にロードして使用することができる。補助記憶装置1803は、図3の記憶部313として用いることができる。 The auxiliary storage device 1803 is, for example, a magnetic disk device, an optical disk device, a magneto-optical disk device, a tape device, or the like. The auxiliary storage device 1803 may be a hard disk drive or a flash memory. The information processing device can store the program and data in the auxiliary storage device 1803, load them into the memory 1802, and use them. The auxiliary storage device 1803 can be used as the storage unit 313 in FIG.
媒体駆動装置1804は、可搬型記録媒体1807を駆動し、その記録内容にアクセスする。可搬型記録媒体1807は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体1807は、Compact Disk Read Only Memory(CD−ROM)、Digital Versatile Disk(DVD)、Universal Serial Bus(USB)メモリ等であってもよい。ユーザは、この可搬型記録媒体1807にプログラム及びデータを格納しておき、それらをメモリ1802にロードして使用することができる。 The medium driving device 1804 drives a portable recording medium 1807 to access the recorded contents. The portable recording medium 1807 is a memory device, flexible disk, optical disk, magneto-optical disk, or the like. The portable recording medium 1807 may be a Compact Disk Read Only Memory (CD-ROM), a Digital Versatile Disk (DVD), a Universal Serial Bus (USB) memory, or the like. The user can store the program and data in this portable recording medium 1807 and load them into the memory 1802 for use.
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ1802、補助記憶装置1803、又は可搬型記録媒体1807のような、物理的な(非一時的な)記録媒体である。 As described above, a computer-readable recording medium that stores programs and data used for processing is a physical (non-transitory) recording medium such as the memory 1802, the auxiliary storage device 1803, or the portable recording medium 1807. It is a medium.
ネットワーク接続装置1805は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置1805を介して受け取り、それらをメモリ1802にロードして使用することができる。 The network connection device 1805 is a communication interface that is connected to a communication network such as a Local Area Network or Wide Area Network and performs data conversion accompanying communication. The information processing device can receive a program and data from an external device via the network connection device 1805, load them into the memory 1802, and use them.
なお、情報処理装置が図18のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、他の装置との通信を行う必要がない場合は、ネットワーク接続装置1805を省略してもよく、可搬型記録媒体1807を利用しない場合は、媒体駆動装置1804を省略してもよい。 Note that the information processing apparatus does not need to include all the constituent elements of FIG. 18, and it is possible to omit some of the constituent elements according to the use or the conditions. For example, when it is not necessary to communicate with another device, the network connection device 1805 may be omitted, and when the portable recording medium 1807 is not used, the medium driving device 1804 may be omitted.
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。 While the disclosed embodiments and their advantages have been described in detail, those skilled in the art can make various changes, additions, and omissions without departing from the scope of the invention explicitly set forth in the claims. Let's do it.
図1乃至図18を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
(付記1)
撮像装置によって撮影された撮影画像を表示装置に表示させ、
前記撮影画像内において対象物が写っている対象物領域と、前記撮影画像内において手が写っている手領域とが重なっている場合、前記対象物に対応する操作対象情報を前記撮影画像の代わりに前記表示装置に表示させ、
前記操作対象情報を表示した時点の前記手領域内における所定部位の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させ、
前記ポインタと前記操作対象情報との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作対象情報に対する決定操作を検出する、
処理をコンピュータが実行することを特徴とする操作検出方法。
(付記2)
前記所定部位は前記手の指先であり、前記コンピュータは、前記ポインタが前記操作対象情報の表示領域内に位置しているときの前記手領域の形状の変化に基づいて、前記決定操作を検出することを特徴とする付記1記載の操作検出方法。
(付記3)
前記コンピュータは、前記対象物領域と前記手領域とが重なっており、前記手領域の形状が1本の指を伸ばした形状である場合、前記操作対象情報と前記ポインタとを前記表示装置に表示させ、前記ポインタが前記操作対象情報の前記表示領域内に位置しているときの前記指の第1の長さと、所定時間後における前記指の第2の長さとを検出し、前記第2の長さが前記第1の長さよりも短い場合、前記決定操作が行われたと判定することを特徴とする付記2記載の操作検出方法。
(付記4)
前記コンピュータは、前記ポインタが前記操作対象情報の前記表示領域内に位置しており、前記手領域の重心の移動量が所定値よりも小さい場合、前記第1の長さと前記第2の長さとを検出することを特徴とする付記3記載の操作検出方法。
(付記5)
前記コンピュータは、前記ポインタが前記操作対象情報の前記表示領域内に位置しているときの前記指の指先から前記指の根元へ向かって、前記手領域の幅を計算し、計算した幅が閾値を超える位置と前記指先の位置との距離に基づいて、前記第1の長さを求めることを特徴とする付記3又は4記載の操作検出方法。
(付記6)
前記コンピュータは、前記ポインタとともに、前記指が伸びている方向を示す情報を前記表示装置に表示させることを特徴とする付記3乃至5のいずれか1項に記載の操作検出方法。
(付記7)
撮像装置によって撮影された撮影画像を表示装置に表示させ、前記撮影画像内において対象物が写っている対象物領域と、前記撮影画像内において手が写っている手領域とが重なっている場合、前記対象物に対応する操作対象情報を前記撮影画像の代わりに前記表示装置に表示させ、前記操作対象情報を表示した時点の前記手領域内における所定部位の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させる表示制御部と、
前記ポインタと前記操作対象情報との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作対象情報に対する決定操作を検出する検出部と、
を備えることを特徴とする操作検出装置。
(付記8)
前記所定部位は前記手の指先であり、前記検出部は、前記ポインタが前記操作対象情報の表示領域内に位置しているときの前記手領域の形状の変化に基づいて、前記決定操作を検出することを特徴とする付記7記載の操作検出装置。
(付記9)
前記表示制御部は、前記対象物領域と前記手領域とが重なっており、前記手領域の形状が1本の指を伸ばした形状である場合、前記操作対象情報と前記ポインタとを前記表示装置に表示させ、前記検出部は、前記ポインタが前記操作対象情報の前記表示領域内に位置しているときの前記指の第1の長さと、所定時間後における前記指の第2の長さとを検出し、前記第2の長さが前記第1の長さよりも短い場合、前記決定操作が行われたと判定することを特徴とする付記8記載の操作検出装置。
(付記10)
前記検出部は、前記ポインタが前記操作対象情報の前記表示領域内に位置しており、前記手領域の重心の移動量が所定値よりも小さい場合、前記第1の長さと前記第2の長さとを検出することを特徴とする付記9記載の操作検出装置。
(付記11)
撮像装置によって撮影された撮影画像を表示装置に表示させ、
前記撮影画像内において対象物が写っている対象物領域と、前記撮影画像内において手が写っている手領域とが重なっている場合、前記対象物に対応する操作対象情報を前記撮影画像の代わりに前記表示装置に表示させ、
前記操作対象情報を表示した時点の前記手領域内における所定部位の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させ、
前記ポインタと前記操作対象情報との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作対象情報に対する決定操作を検出する、
処理をコンピュータに実行させる操作検出プログラム。
(付記12)
前記所定部位は前記手の指先であり、前記コンピュータは、前記ポインタが前記操作対象情報の表示領域内に位置しているときの前記手領域の形状の変化に基づいて、前記決定操作を検出することを特徴とする付記11記載の操作検出プログラム。
(付記13)
前記コンピュータは、前記対象物領域と前記手領域とが重なっており、前記手領域の形状が1本の指を伸ばした形状である場合、前記操作対象情報と前記ポインタとを前記表示装置に表示させ、前記ポインタが前記操作対象情報の前記表示領域内に位置しているときの前記指の第1の長さと、所定時間後における前記指の第2の長さとを検出し、前記第2の長さが前記第1の長さよりも短い場合、前記決定操作が行われたと判定することを特徴とする付記12記載の操作検出プログラム。
(付記14)
前記コンピュータは、前記ポインタが前記操作対象情報の前記表示領域内に位置しており、前記手領域の重心の移動量が所定値よりも小さい場合、前記第1の長さと前記第2の長さとを検出することを特徴とする付記13記載の操作検出プログラム。
Regarding the embodiment described with reference to FIGS. 1 to 18, the following supplementary notes are further disclosed.
(Appendix 1)
Display the captured image captured by the imaging device on the display device,
When the object area in which the object is shown in the photographed image and the hand area in which the hand is shown in the photographed image overlap, the operation object information corresponding to the object is replaced with the photographed image. On the display device,
Starting from the position of a predetermined part in the hand region at the time of displaying the operation target information, a pointer that moves according to the movement of the hand is displayed on the display device,
Detecting a decision operation for the operation target information based on a positional relationship between the pointer and the operation target information and a change in the shape of the hand region,
An operation detection method characterized in that a computer executes the processing.
(Appendix 2)
The predetermined part is the fingertip of the hand, and the computer detects the determination operation based on a change in the shape of the hand area when the pointer is located in the display area of the operation target information. The operation detection method according to appendix 1, characterized in that.
(Appendix 3)
The computer displays the operation target information and the pointer on the display device when the target area and the hand area overlap each other and the shape of the hand area is a shape in which one finger is extended. Then, the first length of the finger when the pointer is located in the display area of the operation target information and the second length of the finger after a predetermined time is detected, and the second length of the finger is detected. The operation detection method according to appendix 2, wherein when the length is shorter than the first length, it is determined that the determination operation has been performed.
(Appendix 4)
When the pointer is located in the display area of the operation target information and the movement amount of the center of gravity of the hand area is smaller than a predetermined value, the computer determines the first length and the second length. The method for detecting an operation according to appendix 3, wherein the operation is detected.
(Appendix 5)
The computer calculates the width of the hand area from the fingertip of the finger to the base of the finger when the pointer is located in the display area of the operation target information, and the calculated width is a threshold value. 5. The operation detection method according to supplementary note 3 or 4, wherein the first length is obtained based on a distance between a position exceeding the distance and the position of the fingertip.
(Appendix 6)
6. The operation detection method according to any one of appendices 3 to 5, wherein the computer causes the display device to display, together with the pointer, information indicating a direction in which the finger extends.
(Appendix 7)
When a captured image captured by the image capturing device is displayed on the display device, and a target region in which the target is captured in the captured image and a hand region in which the hand is captured in the captured image overlap, The operation target information corresponding to the target object is displayed on the display device instead of the captured image, and the movement of the hand starts from the position of a predetermined part in the hand region at the time when the operation target information is displayed. A display control unit that causes the display device to display a pointer that moves accordingly.
A positional relationship between the pointer and the operation target information, and a detection unit that detects a determination operation for the operation target information based on a change in the shape of the hand region,
An operation detection device comprising:
(Appendix 8)
The predetermined portion is the fingertip of the hand, and the detection unit detects the determination operation based on a change in the shape of the hand region when the pointer is located in the display region of the operation target information. The operation detection device according to appendix 7, wherein:
(Appendix 9)
The display control unit displays the operation target information and the pointer on the display device when the target area and the hand area overlap each other and the shape of the hand area is a shape in which one finger is extended. The detection unit displays the first length of the finger when the pointer is located in the display area of the operation target information and the second length of the finger after a predetermined time. detecting, the case where the second length shorter than the first length, the operation detection device according to note 8, wherein the benzalkonium be determined and the determination operation has been performed.
(Appendix 10)
When the pointer is located in the display area of the operation target information and the movement amount of the center of gravity of the hand area is smaller than a predetermined value, the detection unit detects the first length and the second length. 10. The operation detection device according to appendix 9, which is characterized in that
(Appendix 11)
Display the captured image captured by the imaging device on the display device,
When the object area in which the object is shown in the photographed image and the hand area in which the hand is shown in the photographed image overlap, the operation object information corresponding to the object is replaced with the photographed image. On the display device,
Starting from the position of a predetermined part in the hand region at the time of displaying the operation target information, a pointer that moves according to the movement of the hand is displayed on the display device,
A positional relationship between the pointer and the operation target information, and a change operation of the shape of the hand region, based on the change in the operation target information, a determination operation is detected.
An operation detection program that causes a computer to execute processing.
(Appendix 12)
The predetermined part is the fingertip of the hand, and the computer detects the determination operation based on a change in the shape of the hand area when the pointer is located in the display area of the operation target information. The operation detection program according to appendix 11, characterized in that.
(Appendix 13)
The computer displays the operation target information and the pointer on the display device when the target area and the hand area overlap each other and the shape of the hand area is a shape in which one finger is extended. Then, the first length of the finger when the pointer is located in the display area of the operation target information and the second length of the finger after a predetermined time is detected, and the second length of the finger is detected. 13. The operation detection program according to note 12, wherein when the length is shorter than the first length, it is determined that the determination operation has been performed.
(Appendix 14)
When the pointer is positioned in the display area of the operation target information and the movement amount of the center of gravity of the hand area is smaller than a predetermined value, the computer determines the first length and the second length. 14. The operation detection program according to note 13, wherein the operation detection program detects.
101 操作検出装置
111 表示制御部
112 検出部
301 撮像装置
302 距離画像センサ
303 表示装置
311、312 取得部
313 記憶部
321 領域抽出部
322 指先検出部
323 制御部
324 座標変換部
325 操作判定部
331 映像情報
332、801 デプスマップ
333 モード情報
334 操作メニュー
335 クリック対象
336 指長情報
802 領域
1001 手領域
1002 基準点
1003 輪郭点
1004 ベクトル
1201 画像
1202 画面
1203 点
1301〜1303 操作項目
1311 ポインタ
1601 指先の位置
1602 重心
1603、1701 線分
1702 図形
1801 CPU
1802 メモリ
1803 補助記憶装置
1804 媒体駆動装置
1805 ネットワーク接続装置
1806 バス
1807 可搬型記録媒体
101 Operation Detection Device 111 Display Control Unit 112 Detection Unit 301 Imaging Device 302 Distance Image Sensor 303 Display Device 311 and 312 Acquisition Unit 313 Storage Unit 321 Area Extraction Unit 322 Fingertip Detection Unit 323 Control Unit 324 Coordinate Conversion Unit 325 Operation Judgment Unit 331 Video Information 332, 801 Depth map 333 Mode information 334 Operation menu 335 Click target 336 Finger length information 802 Area 1001 Hand area 1002 Reference point 1003 Contour point 1004 Vector 1201 Image 1202 Screen 1203 Point 1301 to 1303 Operation item 1311 Pointer 1601 Fingertip position 1602 Center of gravity 1603, 1701 Line segment 1702 Graphic 1801 CPU
1802 memory 1803 auxiliary storage device 1804 medium drive device 1805 network connection device 1806 bus 1807 portable recording medium
Claims (9)
前記撮影画像内において対象物が写っている対象物領域と、前記撮影画像内において手が写っている手領域とが重なっている場合、前記対象物に対するユーザの作業における操作項目を含む操作メニューを前記撮影画像の代わりに前記表示装置に表示させ、
前記操作メニューを表示した時点の前記手領域の輪郭線上で隣り合う第1輪郭点、第2輪郭点、及び第3輪郭点について、前記第1輪郭点と前記手領域の重心との第1距離、前記第2輪郭点と前記重心との第2距離、及び前記第3輪郭点と前記重心との第3距離を求め、
前記第2距離が前記第1距離よりも大きく、かつ、前記第2距離が前記第3距離よりも大きい場合に、前記第2輪郭点を指先候補点として抽出し、
前記輪郭線上で抽出された複数の指先候補点の中から、前記重心から指先候補点へ向かうベクトルの角度に基づいて特定した指先候補点を、指先の位置に決定し、
前記指先の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させ、
前記ポインタと前記操作メニュー内の前記操作項目との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作項目に対する決定操作を検出する、
処理をコンピュータが実行することを特徴とする操作検出方法。 Display the captured image captured by the imaging device on the display device,
When the object area in which the object is shown in the photographed image and the hand area in which the hand is shown in the photographed image overlap , an operation menu including operation items for the user's work on the object is displayed . Display on the display device instead of the captured image,
A first distance between the first contour point and the center of gravity of the hand region with respect to the first contour point, the second contour point, and the third contour point that are adjacent to each other on the contour line of the hand region when the operation menu is displayed. , A second distance between the second contour point and the center of gravity, and a third distance between the third contour point and the center of gravity,
When the second distance is larger than the first distance and the second distance is larger than the third distance, the second contour point is extracted as a fingertip candidate point,
From a plurality of fingertip candidate points extracted on the contour line, the fingertip candidate point identified based on the angle of the vector from the center of gravity to the fingertip candidate point is determined as the position of the fingertip,
Starting from the position of the fingertip, a pointer that moves according to the movement of the hand is displayed on the display device,
Detecting a decision operation for the operation item based on a positional relationship between the pointer and the operation item in the operation menu and a change in the shape of the hand region,
An operation detection method characterized in that a computer executes the processing.
前記手領域の重心は、前記手領域内の画素の座標の平均値であることを特徴とする請求項1記載の操作検出方法。 The computer detects the determination operation based on a change in the shape of the hand area when the pointer is located in the display area of the operation menu ,
The operation detection method according to claim 1 , wherein the center of gravity of the hand region is an average value of coordinates of pixels in the hand region .
前記手領域の重心は、前記手領域内の画素の座標の平均値であることを特徴とする請求項1記載の操作検出方法。 The computer causes the display device to display the operation menu and the pointer when the object region and the hand region overlap each other and the shape of the hand region is a shape in which one finger is extended. , Determining a line segment connecting the position of the fingertip and the center of gravity of the hand region when the pointer is located in the display area of the operation menu in the direction from the fingertip of the finger to the base of the finger. , The width of the hand region is calculated from the fingertip of the finger toward the base of the finger, and the first length of the finger is calculated based on the distance between the position where the calculated width exceeds a threshold and the position of the fingertip. To detect the second length of the finger after a predetermined time, the second length is shorter than the first length, it is determined that the determination operation is performed ,
The operation detection method according to claim 1 , wherein the center of gravity of the hand region is an average value of coordinates of pixels in the hand region .
前記操作メニューを表示した時点の前記手領域の輪郭線上で隣り合う第1輪郭点、第2輪郭点、及び第3輪郭点について、前記第1輪郭点と前記手領域の重心との第1距離、前記第2輪郭点と前記重心との第2距離、及び前記第3輪郭点と前記重心との第3距離を求め、前記第2距離が前記第1距離よりも大きく、かつ、前記第2距離が前記第3距離よりも大きい場合に、前記第2輪郭点を指先候補点として抽出し、前記輪郭線上で抽出された複数の指先候補点の中から、前記重心から指先候補点へ向かうベクトルの角度に基づいて特定した指先候補点を、指先の位置に決定する検出部とを備え、
前記表示制御部は、前記指先の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させ、
前記検出部は、前記ポインタと前記操作メニュー内の前記操作項目との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作項目に対する決定操作を検出することを特徴とする操作検出装置。 When a captured image captured by the image capturing device is displayed on the display device, and a target region in which the target is captured in the captured image and a hand region in which the hand is captured in the captured image overlap, A display control unit that displays an operation menu including operation items in the user's work on the object on the display device instead of the captured image;
A first distance between the first contour point and the center of gravity of the hand region with respect to the first contour point, the second contour point, and the third contour point that are adjacent to each other on the contour line of the hand region when the operation menu is displayed. A second distance between the second contour point and the center of gravity, and a third distance between the third contour point and the center of gravity, the second distance being greater than the first distance, and the second distance When the distance is larger than the third distance, the vector that extracts the second contour point as a fingertip candidate point and goes from the center of gravity to the fingertip candidate point from among the plurality of fingertip candidate points extracted on the contour line A fingertip candidate point identified based on the angle of, and a detection unit that determines the position of the fingertip,
The display control unit, starting from the position of the fingertip, causes the display device to display a pointer that moves according to the movement of the hand,
The detection unit detects a determination operation for the operation item based on a positional relationship between the pointer and the operation item in the operation menu and a change in the shape of the hand region. Operation detection device.
前記撮影画像内において対象物が写っている対象物領域と、前記撮影画像内において手が写っている手領域とが重なっている場合、前記対象物に対するユーザの作業における操作項目を含む操作メニューを前記撮影画像の代わりに前記表示装置に表示させ、
前記操作メニューを表示した時点の前記手領域の輪郭線上で隣り合う第1輪郭点、第2輪郭点、及び第3輪郭点について、前記第1輪郭点と前記手領域の重心との第1距離、前記第2輪郭点と前記重心との第2距離、及び前記第3輪郭点と前記重心との第3距離を求め、
前記第2距離が前記第1距離よりも大きく、かつ、前記第2距離が前記第3距離よりも大きい場合に、前記第2輪郭点を指先候補点として抽出し、
前記輪郭線上で抽出された複数の指先候補点の中から、前記重心から指先候補点へ向かうベクトルの角度に基づいて特定した指先候補点を、指先の位置に決定し、
前記指先の位置を起点として、前記手の動きに応じて移動するポインタを前記表示装置に表示させ、
前記ポインタと前記操作メニュー内の前記操作項目との間の位置関係と、前記手領域の形状の変化とに基づいて、前記操作項目に対する決定操作を検出する、
処理をコンピュータに実行させる操作検出プログラム。
Display the captured image captured by the imaging device on the display device,
When the object area in which the object is shown in the photographed image and the hand area in which the hand is shown in the photographed image overlap , an operation menu including operation items for the user's work on the object is displayed . Display on the display device instead of the captured image,
A first distance between the first contour point and the center of gravity of the hand region with respect to the first contour point, the second contour point, and the third contour point that are adjacent to each other on the contour line of the hand region when the operation menu is displayed. , A second distance between the second contour point and the center of gravity, and a third distance between the third contour point and the center of gravity,
When the second distance is larger than the first distance and the second distance is larger than the third distance, the second contour point is extracted as a fingertip candidate point,
From a plurality of fingertip candidate points extracted on the contour line, the fingertip candidate point identified based on the angle of the vector from the center of gravity to the fingertip candidate point is determined as the position of the fingertip,
Starting from the position of the fingertip, a pointer that moves according to the movement of the hand is displayed on the display device,
Detecting a decision operation for the operation item based on a positional relationship between the pointer and the operation item in the operation menu and a change in the shape of the hand region,
An operation detection program that causes a computer to execute processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015232625A JP6716897B2 (en) | 2015-11-30 | 2015-11-30 | Operation detection method, operation detection device, and operation detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015232625A JP6716897B2 (en) | 2015-11-30 | 2015-11-30 | Operation detection method, operation detection device, and operation detection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017102499A JP2017102499A (en) | 2017-06-08 |
JP6716897B2 true JP6716897B2 (en) | 2020-07-01 |
Family
ID=59016520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015232625A Active JP6716897B2 (en) | 2015-11-30 | 2015-11-30 | Operation detection method, operation detection device, and operation detection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6716897B2 (en) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (en) * | 1994-04-22 | 1996-01-12 | Canon Inc | Display device |
JP3752246B2 (en) * | 2003-08-11 | 2006-03-08 | 学校法人慶應義塾 | Hand pattern switch device |
JP5086560B2 (en) * | 2006-04-12 | 2012-11-28 | トヨタ自動車株式会社 | Input device |
JP2008158675A (en) * | 2006-12-21 | 2008-07-10 | Toyota Motor Corp | Operation device for vehicle |
US9389420B2 (en) * | 2012-06-14 | 2016-07-12 | Qualcomm Incorporated | User interface interaction for transparent head-mounted displays |
JP6121534B2 (en) * | 2013-08-02 | 2017-04-26 | 三菱電機株式会社 | Gesture determination device and method, gesture operation device, program, and recording medium |
CN105612473B (en) * | 2013-09-12 | 2018-08-28 | 三菱电机株式会社 | Operation input device and method |
JP5877824B2 (en) * | 2013-09-20 | 2016-03-08 | ヤフー株式会社 | Information processing system, information processing method, and information processing program |
JP2015094828A (en) * | 2013-11-11 | 2015-05-18 | シチズンホールディングス株式会社 | Image projection method, information input device and program |
-
2015
- 2015-11-30 JP JP2015232625A patent/JP6716897B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017102499A (en) | 2017-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10082879B2 (en) | Head mounted display device and control method | |
US8094204B2 (en) | Image movement based device control method, program, and apparatus | |
JP6716996B2 (en) | Image processing program, image processing apparatus, and image processing method | |
KR101747892B1 (en) | Method of user interaction based gesture recognition and apparatus for the same | |
JP6314251B2 (en) | Operation input device, operation input method and program | |
US9633450B2 (en) | Image measurement device, and recording medium | |
CN108027656B (en) | Input device, input method, and program | |
JP6054831B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US9348465B2 (en) | Input method, input device, and storage medium | |
US10185399B2 (en) | Image processing apparatus, non-transitory computer-readable recording medium, and image processing method | |
KR20210010930A (en) | Method, system and computer program for remote control of a display device via head gestures | |
JP2014029656A (en) | Image processor and image processing method | |
US10930068B2 (en) | Estimation apparatus, estimation method, and non-transitory computer-readable storage medium for storing estimation program | |
US10410051B2 (en) | Method of extracting a region in a distance image, storage medium, and head mounted display apparatus | |
JP2016099643A (en) | Image processing device, image processing method, and image processing program | |
JP2018124918A (en) | Image processor, image processing method, and program | |
JP6716897B2 (en) | Operation detection method, operation detection device, and operation detection program | |
JP7232663B2 (en) | Image processing device and image processing method | |
CN112529947A (en) | Calibration method and device, electronic equipment and storage medium | |
JP6342832B2 (en) | Input device | |
JP2011071746A (en) | Video output device, and video output method | |
KR102127978B1 (en) | A method and an apparatus for generating structure | |
JP2014002502A (en) | Stretched-out hand detector, stretched-out hand detecting method and program | |
TW201419087A (en) | Micro-somatic detection module and micro-somatic detection method | |
US20230177862A1 (en) | Method of tracking input sign for extended reality and system using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191106 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191106 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6716897 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |