JPWO2019171635A1 - Operation input device, operation input method, and program - Google Patents
Operation input device, operation input method, and program Download PDFInfo
- Publication number
- JPWO2019171635A1 JPWO2019171635A1 JP2020504657A JP2020504657A JPWO2019171635A1 JP WO2019171635 A1 JPWO2019171635 A1 JP WO2019171635A1 JP 2020504657 A JP2020504657 A JP 2020504657A JP 2020504657 A JP2020504657 A JP 2020504657A JP WO2019171635 A1 JPWO2019171635 A1 JP WO2019171635A1
- Authority
- JP
- Japan
- Prior art keywords
- operation input
- aerial projection
- sensor
- sensor device
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
Abstract
操作入力装置１００は、操作画面を表示する表示装置１０、操作画面を空中に投影して空中投影面２１を生成する光学プレート２０、センサ装置３０、操作入力を特定する制御装置４０を備える。センサ装置３０はセンシングエリアにおける物体の２次元座標を特定する情報と物体５０までの深度とを含むセンサデータを出力する。制御装置４０は、センサデータから物体５０の空中投影面２１における位置を検出し、物体の一部分が空中投影面２１のセンサ装置側に位置していると、センサデータに物体５０の一部分を囲む図形を設定し、図形の外縁の深度を用いて、物体５０の空中投影面２１上の位置を補正する。The operation input device 100 includes a display device 10 for displaying an operation screen, an optical plate 20 for projecting an operation screen into the air to generate an aerial projection surface 21, a sensor device 30, and a control device 40 for specifying an operation input. The sensor device 30 outputs sensor data including information for specifying the two-dimensional coordinates of the object in the sensing area and the depth to the object 50. The control device 40 detects the position of the object 50 on the aerial projection surface 21 from the sensor data, and when a part of the object is located on the sensor device side of the aerial projection surface 21, the figure surrounding the part of the object 50 in the sensor data. Is set, and the position of the object 50 on the aerial projection surface 21 is corrected by using the depth of the outer edge of the figure.
Description
本発明は、空中に表示された画面へのタッチによる入力操作を可能にする、操作入力装置、及び操作入力方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。 The present invention relates to an operation input device and an operation input method that enable input operations by touching a screen displayed in the air, and further, a computer-readable recording medium on which a program for realizing these is recorded. Regarding.
近年、操作用の画面を空中に投影し、ユーザが空中に投影された画面（以下「空中投影面」と表記する）をタッチすることによって、操作入力を行えるようにする、操作装置が提案されている（例えば、特許文献１参照）。特許文献１によって提案されている操作装置は、表示装置と、表示装置の画面を空中に結像する画像結像プレートと、カメラと、距離センサと、制御ユニットとで構成されている。 In recent years, an operation device has been proposed in which an operation screen is projected in the air and a user can input an operation by touching the projected screen in the air (hereinafter referred to as "aerial projection surface"). (See, for example, Patent Document 1). The operating device proposed by Patent Document 1 includes a display device, an image imaging plate that forms an image of the screen of the display device in the air, a camera, a distance sensor, and a control unit.
このうち、画像結像プレートは、特定の位置にある画像の放つ光を、画像結像プレートから見て反対側の同じ距離の位置に集めて、同じ画像を形成する機能を備えている（例えば、特許文献２参照）。このため、表示装置に表示された画面から放たれた光が、画像結像プレートを通過すると、画面は空中に投影されることになる。 Of these, the image imaging plate has a function of collecting the light emitted from an image at a specific position at the same distance on the opposite side of the image imaging plate to form the same image (for example). , Patent Document 2). Therefore, when the light emitted from the screen displayed on the display device passes through the image imaging plate, the screen is projected into the air.
また、上記特許文献１に開示された操作装置では、カメラは、空中投影面とユーザの指とを撮影し、撮影画像を制御ユニットに入力する。距離センサは、それからユーザの指先までの距離を測定し、測定した距離を制御ユニットに入力する。 Further, in the operating device disclosed in Patent Document 1, the camera photographs the aerial projection surface and the user's finger, and inputs the captured image to the control unit. The distance sensor then measures the distance to the user's fingertip and inputs the measured distance to the control unit.
制御ユニットは、まず、撮影画像に映ったユーザの指先の画像上の位置と、距離センサで測定された距離とを、換算式に代入して、ユーザの指の空中投影面での座標を算出する。また、このときに用いられる換算式は、空中投影面の位置座標と、カメラの情報（位置、画角、焦点距離等）とから、予め定められている。 First, the control unit calculates the coordinates of the user's finger on the aerial projection plane by substituting the position on the image of the user's fingertip reflected in the captured image and the distance measured by the distance sensor into the conversion formula. To do. The conversion formula used at this time is predetermined from the position coordinates of the aerial projection plane and the camera information (position, angle of view, focal length, etc.).
続いて、制御ユニットは、算出した座標に基づいて、ユーザの指と空中投影面に表示された操作用のアイコンとの重なりを判定し、判定結果に基づいて、ユーザによる入力操作を特定する。このような構成により、ユーザは、空中に表示された画面をタッチすることで、入力操作を行うことができる。 Subsequently, the control unit determines the overlap between the user's finger and the operation icon displayed on the aerial projection surface based on the calculated coordinates, and identifies the input operation by the user based on the determination result. With such a configuration, the user can perform an input operation by touching the screen displayed in the air.
しかしながら、上記特許文献１に開示された操作装置には、ユーザの指先が空中の操作画面よりも奥に位置してしまうと、空中投影面におけるユーザの指の接触位置の座標を正確に検出できなくなるという問題がある。 However, in the operation device disclosed in Patent Document 1, if the user's fingertip is located behind the operation screen in the air, the coordinates of the contact position of the user's finger on the aerial projection surface can be accurately detected. There is a problem that it disappears.
具体的には、ユーザの指先が空中の空中投影面よりも奥に位置してしまうと、距離センサによって測定された距離は、ユーザが意図している接触位置での距離よりも短くなってしまう。この結果、例えば、空中投影面の中心位置での距離が最も短くなるように、距離センサが設置されているとすると、上述した換算式により、空中投影面におけるユーザの指の座標は、実際よりも画面の中央側に移動してしまう。 Specifically, if the user's fingertip is located deeper than the aerial projection plane in the air, the distance measured by the distance sensor will be shorter than the distance at the contact position intended by the user. .. As a result, for example, assuming that the distance sensor is installed so that the distance at the center position of the aerial projection surface is the shortest, the coordinates of the user's finger on the aerial projection surface are different from the actual ones according to the above conversion formula. Also moves to the center side of the screen.
本発明の目的の一例は、上記問題を解消し、ユーザが、空中に表示された画面をタッチして、入力操作を行う場合において、ユーザの誤操作によるタッチ位置の検出精度の低下を抑制し得る、操作入力装置、操作入力方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。 An example of the object of the present invention can solve the above problem and suppress a decrease in the detection accuracy of the touch position due to an erroneous operation of the user when the user touches a screen displayed in the air to perform an input operation. , An operation input device, an operation input method, and a computer-readable recording medium.
上記目的を達成するため、本発明の一側面における操作入力装置は、
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、制御装置と、を備え
前記センサ装置は、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力し、
前記制御装置は、
前記センサデータから、前記物体の前記空中投影面における位置を検出し、
更に、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定し、そして、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、
ことを特徴とする。In order to achieve the above object, the operation input device in one aspect of the present invention is
A display device that displays an operation screen, an optical plate that projects the operation screen into the air to generate an aerial projection surface, and a sensor device for detecting the position of an object in contact with the aerial projection surface in three-dimensional space. The sensor device includes information for specifying the two-dimensional coordinates of the object in the sensing area, and the sensor device from the sensor device, comprising a control device for specifying the operation input performed on the operation screen. Output sensor data, including depth to object,
The control device is
From the sensor data, the position of the object on the aerial projection plane is detected.
Further, when it is detected from the sensor data that a part of the object is located on the sensor device side of the aerial projection surface, a figure surrounding the part of the object is set in the sensor data, and then Using the depth at the outer edge of the set figure, the position of the object on the aerial projection plane is corrected.
It is characterized by that.
また、上記目的を達成するため、本発明の一側面における操作入力方法は、
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を用い、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力方法であって、
（ａ）前記コンピュータによって、前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記コンピュータによって、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）前記コンピュータによって、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、を有する、
ことを特徴とする。Further, in order to achieve the above object, the operation input method in one aspect of the present invention is:
A display device that displays an operation screen, an optical plate that projects the operation screen into the air to generate an aerial projection surface, and a sensor device for detecting the position of an object in contact with the aerial projection surface in three-dimensional space. The information for the sensor device to specify the two-dimensional coordinates of the object in the sensing area, and the information from the sensor device, using a computer and a computer for specifying the operation input performed on the operation screen. It is an operation input method that outputs sensor data, including the depth to the object.
(A) A step of detecting the position of the object on the aerial projection plane from the sensor data by the computer.
(B) When the computer detects from the sensor data that a part of the object is located on the sensor device side of the aerial projection surface, in the sensor data, a figure surrounding the part of the object is displayed. Set, step and
(C) It has a step of correcting the position of the object on the aerial projection plane by using the depth at the outer edge of the figure set by the computer.
It is characterized by that.
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を備え、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力装置において、
前記コンピュータに、
（ａ）前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、実行させる命令を含む、プログラムを記録している、
ことを特徴とする。Further, in order to achieve the above object, the computer-readable recording medium in one aspect of the present invention is used.
A display device that displays an operation screen, an optical plate that projects the operation screen into the air to generate an aerial projection surface, and a sensor device for detecting the position of an object in contact with the aerial projection surface in three-dimensional space. And a computer that identifies the operation input performed on the operation screen, and the sensor device provides information for specifying the two-dimensional coordinates of the object in the sensing area, and the sensor device from the sensor device. In an operation input device that outputs sensor data, including the depth to the object
On the computer
(A) A step of detecting the position of the object on the aerial projection plane from the sensor data, and
(B) When it is detected from the sensor data that a part of the object is located on the sensor device side of the aerial projection surface, a figure surrounding the part of the object is set in the sensor data. When,
(C) A program is recorded, including a step of correcting the position of the object on the aerial projection plane using the depth at the outer edge of the set figure, and an instruction to execute.
It is characterized by that.
以上のように、本発明によれば、ユーザが、空中に表示された画面をタッチして、入力操作を行う場合において、ユーザの誤操作によるタッチ位置の検出精度の低下を抑制することができる。 As described above, according to the present invention, when the user touches the screen displayed in the air to perform an input operation, it is possible to suppress a decrease in the detection accuracy of the touch position due to the user's erroneous operation.
（実施の形態）
以下、本発明の実施の形態における、操作入力装置、操作入力方法、及びプログラムについて、図１〜図５を参照しながら説明する。(Embodiment)
Hereinafter, the operation input device, the operation input method, and the program according to the embodiment of the present invention will be described with reference to FIGS. 1 to 5.
［装置構成］
最初に、本実施の形態における操作入力装置の構成について説明する。図１は、本発明の実施の形態における操作入力装置の構成を示す構成図である。[Device configuration]
First, the configuration of the operation input device according to the present embodiment will be described. FIG. 1 is a configuration diagram showing a configuration of an operation input device according to an embodiment of the present invention.
図１に示す、本実施の形態における操作入力装置１００は、空中に表示された画面へのタッチによる入力操作を可能にする装置である。図１に示すように、操作入力装置１００は、表示装置１０と、光学プレート２０と、センサ装置３０と、制御装置４０とを備えている。 The operation input device 100 according to the present embodiment shown in FIG. 1 is a device that enables an input operation by touching a screen displayed in the air. As shown in FIG. 1, the operation input device 100 includes a display device 10, an optical plate 20, a sensor device 30, and a control device 40.
表示装置１０は、入力用の操作画面を表示する。光学プレート２０は、操作画面を空中に投影して空中投影面２１を生成する。センサ装置３０は、空中投影面２１に接触する物体５０の３次元空間上での位置を検出するための装置である。図１の例では、物体５０は、操作入力を行うユーザの指である。 The display device 10 displays an operation screen for input. The optical plate 20 projects an operation screen into the air to generate an aerial projection surface 21. The sensor device 30 is a device for detecting the position of the object 50 in contact with the aerial projection surface 21 in the three-dimensional space. In the example of FIG. 1, the object 50 is a finger of a user who performs an operation input.
センサ装置３０は、空中投影面２１の背面側に配置されている。センサ装置３０は、センシングエリアにおける物体５０の２次元座標を特定するための情報と、センサ装置３０から物体５０までの深度とを含む、センサデータを出力する。 The sensor device 30 is arranged on the back side of the aerial projection surface 21. The sensor device 30 outputs sensor data including information for specifying the two-dimensional coordinates of the object 50 in the sensing area and the depth from the sensor device 30 to the object 50.
制御装置４０は、操作入力特定部４１と、図形設定部４２と、深度補正部４３とを備えている。操作入力特定部４１は、センサ装置３０が出力したセンサデータから、物体５０の、空中投影面２１における位置を検出する。そして、操作入力特定部４１は、検出した物体５０の位置に応じて、操作画面に対して行われた操作入力を特定する。 The control device 40 includes an operation input specifying unit 41, a graphic setting unit 42, and a depth correction unit 43. The operation input specifying unit 41 detects the position of the object 50 on the aerial projection surface 21 from the sensor data output by the sensor device 30. Then, the operation input specifying unit 41 specifies the operation input performed on the operation screen according to the position of the detected object 50.
また、図形設定部４２は、センサデータから、物体５０の一部分が、空中投影面２１のセンサ装置３０側に位置していることを検出すると、センサデータにおいて、この物体の一部分を囲む図形を設定する。深度補正部４３は、図形設定部４２が設定した図形の外縁の深度を用いて、物体５０の空中投影面２１における位置を補正する。 Further, when the figure setting unit 42 detects from the sensor data that a part of the object 50 is located on the sensor device 30 side of the aerial projection surface 21, the figure setting unit 42 sets a figure surrounding the part of the object in the sensor data. To do. The depth correction unit 43 corrects the position of the object 50 on the aerial projection surface 21 by using the depth of the outer edge of the figure set by the figure setting unit 42.
このように、本実施の形態では、例えば、ユーザの指先が空中投影面よりも奥に位置してしまった場合に、指の位置が補正される。このため、本実施の形態によれば、ユーザが、空中に表示された操作画面をタッチして、入力操作を行う場合において、ユーザの誤操作によってタッチ位置の検出精度が低下してしまう事態が回避される。 As described above, in the present embodiment, for example, when the fingertip of the user is located behind the aerial projection surface, the position of the finger is corrected. Therefore, according to the present embodiment, when the user touches the operation screen displayed in the air to perform an input operation, it is possible to avoid a situation in which the detection accuracy of the touch position is lowered due to an erroneous operation by the user. Will be done.
続いて、図２及び図３を用いて、本実施の形態における操作入力装置１００の構成及び機能についてより詳細に説明する。図２は、本発明の実施の形態における操作入力装置に用いられるセンサ装置の機能を説明する図である。図３は、本発明の実施の形態における操作入力装置に備えられたセンサ装置のセンシング結果の一例を示す図である。 Subsequently, the configuration and function of the operation input device 100 according to the present embodiment will be described in more detail with reference to FIGS. 2 and 3. FIG. 2 is a diagram illustrating the function of the sensor device used in the operation input device according to the embodiment of the present invention. FIG. 3 is a diagram showing an example of a sensing result of a sensor device provided in the operation input device according to the embodiment of the present invention.
まず、本実施の形態において、表示装置１０は、液晶表示装置等である。光学プレート２０としては、上述した特許文献２に開示された画像結像プレートが用いられている。光学プレート２０は、表示装置１０の画面に表示された画像の放つ光を、画像結像プレートから見て反対側の同じ距離の位置に集めて、同じ画像を形成する機能を備えている。 First, in the present embodiment, the display device 10 is a liquid crystal display device or the like. As the optical plate 20, the image imaging plate disclosed in Patent Document 2 described above is used. The optical plate 20 has a function of collecting the light emitted from the image displayed on the screen of the display device 10 at the same distance on the opposite side of the image forming plate to form the same image.
センサ装置３０は、本実施の形態では、デプスセンサである。デプスセンサは、センシングを行うと、センシングによって得られた画像の画像データと、画像の画素毎に付加された深度（デプス）とを、センサデータとして出力する。また、本実施の形態においては、センサ装置３０として、カメラと距離センサとで構成された装置が用いられていても良い。 The sensor device 30 is a depth sensor in this embodiment. When the depth sensor performs sensing, it outputs the image data of the image obtained by the sensing and the depth (depth) added to each pixel of the image as sensor data. Further, in the present embodiment, as the sensor device 30, a device composed of a camera and a distance sensor may be used.
そして、センサデータに含まれる画像データによれば、センシングエリアにおける物体５０の２次元座標を特定することが可能となる。具体的には、図２に示すように、センサデータに含まれる画像データによれば、物体５０における、画像の垂直方向（Ｖ軸方向）の位置と、画像の水平方向（Ｈ軸方向）の位置とが特定可能となる。また、センサデータに含まれる深度によれば、物体５０とセンサ装置３０とのＺ軸方向における距離の特定が可能となる。Ｚ軸は、センサ装置３０のセンシング面の法線に沿った軸である。 Then, according to the image data included in the sensor data, it is possible to specify the two-dimensional coordinates of the object 50 in the sensing area. Specifically, as shown in FIG. 2, according to the image data included in the sensor data, the position of the object 50 in the vertical direction (V-axis direction) of the image and the horizontal direction (H-axis direction) of the image. The position can be specified. Further, according to the depth included in the sensor data, it is possible to specify the distance between the object 50 and the sensor device 30 in the Z-axis direction. The Z axis is an axis along the normal line of the sensing surface of the sensor device 30.
制御装置４０において、操作入力特定部４１は、本実施の形態では、センサデータを受け取ると、画像データと、画像の画素毎に付加された各深度とから、物体５０の最も先端側（センサ装置３０側）の部分の３次元空間での位置を特定する。そして、操作入力特定部４１は、特定した位置を、空中投影面２１上の位置に換算する。 In the control device 40, when the operation input specifying unit 41 receives the sensor data in the present embodiment, the operation input specifying unit 41 is based on the image data and each depth added for each pixel of the image to the most advanced side (sensor device) of the object 50. The position of the part (30 side) in the three-dimensional space is specified. Then, the operation input specifying unit 41 converts the specified position into a position on the aerial projection surface 21.
具体的には、操作入力特定部４１は、まず、物体の５０の最も先端側の部分を抽出する。そして、操作入力特定部４１は、センサデータから、抽出した部分の３次元空間での位置、即ち、Ｘ軸上の座標、Ｙ軸上の座標、及び深度を特定する。 Specifically, the operation input specifying unit 41 first extracts the most tip-side portion of the object 50. Then, the operation input specifying unit 41 specifies the position of the extracted part in the three-dimensional space, that is, the coordinates on the X axis, the coordinates on the Y axis, and the depth from the sensor data.
そして、図２に示すように、空中投影面２１での垂直方向（Ｙ軸方向）及び水平方向（Ｘ軸方向）と、センサ装置３０におけるＶ軸方向、Ｈ軸方向及びＺ軸方向との位置関係は、予め決まっている。従って、操作入力特定部４１は、この位置関係から求められる換算式に、物体５０の最も先端側の部分の３次元空間での位置を代入することによって、物体５０の、空中投影面２１の垂直方向における位置と、空中投影面２１の水平方向における位置とを検出する。 Then, as shown in FIG. 2, the positions in the vertical direction (Y-axis direction) and the horizontal direction (X-axis direction) on the aerial projection surface 21 and the V-axis direction, the H-axis direction, and the Z-axis direction in the sensor device 30. The relationship is predetermined. Therefore, the operation input specifying unit 41 substitutes the position of the most distal portion of the object 50 in the three-dimensional space into the conversion formula obtained from this positional relationship, so that the vertical projection surface 21 of the object 50 is vertical. The position in the direction and the position in the horizontal direction of the aerial projection surface 21 are detected.
図形設定部４２は、物体５０の一部分が、空中投影面２１のセンサ装置３０側に位置していると（図２において破線で示された状態）、センサデータから、そのことを検出する。具体的には、図形設定部４２は、センサデータから、物体５０の最も先端側の部分のＺ座標（深度）が閾値以上であるかどうかを判定する。判定の結果、閾値以上でない（閾値より小さい）場合は、図形設定部４２は、物体５０の一部分は、空中投影面２１のセンサ装置３０側に位置しいていると判定する。 When a part of the object 50 is located on the sensor device 30 side of the aerial projection surface 21 (the state shown by the broken line in FIG. 2), the graphic setting unit 42 detects that from the sensor data. Specifically, the graphic setting unit 42 determines from the sensor data whether or not the Z coordinate (depth) of the most tip-side portion of the object 50 is equal to or greater than the threshold value. As a result of the determination, if it is not equal to or more than the threshold value (smaller than the threshold value), the graphic setting unit 42 determines that a part of the object 50 is located on the sensor device 30 side of the aerial projection surface 21.
また、閾値は、物体５０の位置に応じて設定される。例えば、図２において、物体５０が空中投影面２１の上側にあるときの閾値は、物体５０が空中投影面２１の下方側にあるときの閾値に比べて小さい値となる。 Further, the threshold value is set according to the position of the object 50. For example, in FIG. 2, the threshold value when the object 50 is above the aerial projection surface 21 is smaller than the threshold value when the object 50 is below the aerial projection surface 21.
また、図４に示すように、図形設定部４２は、本実施の形態では、センサデータにおいて物体５０の最も先端側の部分を囲む矩形を設定する。このように矩形を設定するのは、空中投影面２１のＸ軸方向とセンサデータのＨ軸方向とは一致するが、空中投影面２１のＹ軸方向とセンサデータのＶ軸方向とは一致せず、物体５０の一部分が空中投影面２１のセンサ装置３０側に位置すると、Ｙ軸方向の位置に誤差が生じるからである。 Further, as shown in FIG. 4, in the present embodiment, the figure setting unit 42 sets a rectangle that surrounds the most tip side portion of the object 50 in the sensor data. Setting the rectangle in this way coincides with the X-axis direction of the aerial projection surface 21 and the H-axis direction of the sensor data, but coincides with the Y-axis direction of the aerial projection surface 21 and the V-axis direction of the sensor data. This is because if a part of the object 50 is located on the sensor device 30 side of the aerial projection surface 21, an error occurs in the position in the Y-axis direction.
深度補正部４３は、本実施の形態では、設定された矩形の、Ｖ軸方向側にある２辺のうちのいずれか一辺における深度を用いて、操作入力特定部４１が検出した、物体５０の、空中投影面２１の垂直方向における位置を補正する。 In the present embodiment, the depth correction unit 43 uses the depth on any one of the two sides of the set rectangle on the V-axis direction side to detect the object 50 of the object 50 by the operation input specifying unit 41. , Correct the position of the aerial projection surface 21 in the vertical direction.
また、Ｖ軸方向側にある２辺のうちのいずれの辺の深度を用いるかは、物体５０の位置に応じて決定される。例えば、センサ装置３０のセンシング面の中央を通る法線と空中投影面２１との交点よりも、物体５０が垂直方向において下側にあるときは、Ｖ軸方向において上側の辺の深度によって補正が行われる。一方、物体５０が、この交点よりも垂直方向において上側にあるときは、Ｖ軸方向において下側の辺の深度によって補正が行われる。 Further, which of the two sides on the V-axis direction side should be used is determined according to the position of the object 50. For example, when the object 50 is below the intersection of the normal passing through the center of the sensing surface of the sensor device 30 and the aerial projection surface 21 in the vertical direction, the correction is made by the depth of the upper side in the V-axis direction. Will be done. On the other hand, when the object 50 is above the intersection in the vertical direction, the correction is performed by the depth of the lower side in the V-axis direction.
更に、空中投影面２１とセンサ装置３０との位置関係に応じては、Ｈ軸方向側にある辺が用いられても良い。更に、これらの位置関係によっては、矩形以外の図形が設定されても良い。また、これらの位置関係に応じて、物体５０の空中投影面２１の水平方向における位置のみが補正される態様であっても良いし、垂直方向及び水平方向の両方向における位置が補正される態様であっても良い。 Further, depending on the positional relationship between the aerial projection surface 21 and the sensor device 30, a side on the H-axis direction side may be used. Further, depending on these positional relationships, a figure other than a rectangle may be set. Further, depending on these positional relationships, only the position of the aerial projection surface 21 of the object 50 in the horizontal direction may be corrected, or the position in both the vertical direction and the horizontal direction may be corrected. There may be.
［装置動作］
次に、本実施の形態における操作入力装置１００の動作について図４を用いて説明する。図４は、本発明の実施の形態における操作入力装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図３を参酌する。また、本実施の形態では、操作入力装置１００を動作させることによって、操作入力方法が実施される。よって、本実施の形態における操作入力方法の説明は、以下の操作入力装置１００の動作説明に代える。[Device operation]
Next, the operation of the operation input device 100 according to the present embodiment will be described with reference to FIG. FIG. 4 is a flow chart showing the operation of the operation input device according to the embodiment of the present invention. In the following description, FIGS. 1 to 3 will be referred to as appropriate. Further, in the present embodiment, the operation input method is implemented by operating the operation input device 100. Therefore, the description of the operation input method in the present embodiment is replaced with the following operation description of the operation input device 100.
まず、センサ装置３０は、設定間隔をおいて、センサデータを連続して出力しているとする。制御装置４０は、センサデータが出力されてくると、その度に、これを受け取り、以下の処理を実行する。 First, it is assumed that the sensor device 30 continuously outputs sensor data at set intervals. Whenever the sensor data is output, the control device 40 receives the sensor data and executes the following processing.
図４に示すように、最初に、制御装置４０において、操作入力特定部４１は、センサデータに含まれる画像データと各深度とから、物体５０の最も先端側（センサ装置３０側）の部分を抽出する（ステップＡ１）。 As shown in FIG. 4, first, in the control device 40, the operation input specifying unit 41 sets the most tip side (sensor device 30 side) of the object 50 from the image data included in the sensor data and each depth. Extract (step A1).
次に、操作入力特定部４１は、ステップＡ１で特定した部分の３次元空間での位置を特定し、特定した位置から、物体５０の最も先端側の部分の空中投影面２１上の位置を検出する（ステップＡ２）。 Next, the operation input specifying unit 41 specifies the position of the part specified in step A1 in the three-dimensional space, and detects the position of the most tip-side part of the object 50 on the aerial projection surface 21 from the specified position. (Step A2).
具体的には、操作入力特定部４１は、センサデータから、抽出した部分の３次元空間での位置、即ち、Ｘ軸上の座標、Ｙ軸上の座標、及び深度を特定する。そして、操作入力特定部４１は、位置関係から求められる換算式に、特定した３次元空間での位置を代入し、物体５０の最も先端側の部分の、空中投影面２１の垂直方向における位置と、空中投影面２１の水平方向における位置とを検出する。 Specifically, the operation input specifying unit 41 specifies the position of the extracted portion in the three-dimensional space, that is, the coordinates on the X axis, the coordinates on the Y axis, and the depth from the sensor data. Then, the operation input specifying unit 41 substitutes the position in the specified three-dimensional space into the conversion formula obtained from the positional relationship, and sets the position of the most tip side portion of the object 50 in the vertical direction of the aerial projection surface 21. , The position of the aerial projection surface 21 in the horizontal direction is detected.
次に、図形設定部４２は、センサデータから、物体５０の最も先端側の部分のＺ座標（深度）が閾値以上であるかどうかを判定する（ステップＡ３）。 Next, the figure setting unit 42 determines from the sensor data whether or not the Z coordinate (depth) of the most tip-side portion of the object 50 is equal to or greater than the threshold value (step A3).
ステップＡ３の判定の結果、Ｚ座標が閾値以上である場合は、図形設定部４２は、そのことを操作入力特定部４１に通知する。これにより、操作入力特定部４１は、ステップＡ２で検出した位置に基づいて、ユーザの操作入力を特定する（ステップＡ４）。 As a result of the determination in step A3, if the Z coordinate is equal to or greater than the threshold value, the graphic setting unit 42 notifies the operation input specifying unit 41 of that fact. As a result, the operation input specifying unit 41 identifies the user's operation input based on the position detected in step A2 (step A4).
一方、ステップＡ３の判定の結果、Ｚ座標が閾値以上でない（閾値より小さい）場合は、物体の最も先端側の部分は、空中投影面２１のセンサ装置３０側に位置している。従って、図３に示すように、図形設定部４２は、センサデータにおいて物体５０の最も先端側の部分を囲む矩形を設定する（ステップＡ５）。 On the other hand, as a result of the determination in step A3, when the Z coordinate is not equal to or greater than the threshold value (smaller than the threshold value), the most distal portion of the object is located on the sensor device 30 side of the aerial projection surface 21. Therefore, as shown in FIG. 3, the figure setting unit 42 sets a rectangle surrounding the most tip-side portion of the object 50 in the sensor data (step A5).
次に、深度補正部４３は、物体５０の位置に応じて、設定された矩形の一辺を選択し、選択した一辺における深度を用いて、ステップＡ２で検出された、物体５０の最も先端側の部分の空中投影面２１上の位置を補正する（ステップＡ６）。 Next, the depth correction unit 43 selects one side of the set rectangle according to the position of the object 50, and uses the depth at the selected side to detect the tip end side of the object 50 in step A2. The position of the portion on the aerial projection surface 21 is corrected (step A6).
ステップＡ６が実行されると、深度補正部４３は、位置が補正されたことを操作入力特定部４１に通知する。これにより、操作入力特定部４１は、補正後の位置に基づいて、ユーザの操作入力を特定する（ステップＡ４）。 When step A6 is executed, the depth correction unit 43 notifies the operation input identification unit 41 that the position has been corrected. As a result, the operation input specifying unit 41 specifies the user's operation input based on the corrected position (step A4).
上述のステップＡ１からＡ４は、操作入力装置１００の起動が停止されるまで、繰り返し実行される。 The above steps A1 to A4 are repeatedly executed until the start of the operation input device 100 is stopped.
以上のように本実施の形態では、ユーザの指先といった物体５０が、空中投影面２１よりも奥に位置してしまった場合は、物体５０の空中投影面２１上の位置が補正される。従って、本実施の形態によれば、ユーザが空中投影面２１上の操作画面をタッチして入力操作を行う場合において、ユーザが誤操作を行っても、タッチ位置の検出精度の低下が抑制される。 As described above, in the present embodiment, when the object 50 such as the fingertip of the user is located behind the aerial projection surface 21, the position of the object 50 on the aerial projection surface 21 is corrected. Therefore, according to the present embodiment, when the user touches the operation screen on the aerial projection surface 21 to perform an input operation, even if the user makes an erroneous operation, a decrease in the detection accuracy of the touch position is suppressed. ..
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１〜Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における操作入力装置１００の制御装置４０を実現することができる。この場合、コンピュータのプロセッサは、操作入力特定部４１、図形設定部４２、及び深度補正部４３として機能し、処理を行なう。[program]
The program in the present embodiment may be any program that causes a computer to execute steps A1 to A6 shown in FIG. By installing this program on a computer and executing it, the control device 40 of the operation input device 100 according to the present embodiment can be realized. In this case, the computer processor functions as an operation input specifying unit 41, a graphic setting unit 42, and a depth correction unit 43, and performs processing.
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、操作入力特定部４１、図形設定部４２、及び深度補正部４３のいずれかとして機能しても良い。 Further, the program in the present embodiment may be executed by a computer system constructed by a plurality of computers. In this case, for example, each computer may function as any of the operation input specifying unit 41, the graphic setting unit 42, and the depth correction unit 43, respectively.
ここで、本実施の形態におけるプログラムを実行することによって、操作入力装置１００の制御装置４０を実現するコンピュータについて図５を用いて説明する。図５は、本発明の実施の形態における操作入力装置の制御装置を実現するコンピュータの一例を示すブロック図である。 Here, a computer that realizes the control device 40 of the operation input device 100 by executing the program according to the present embodiment will be described with reference to FIG. FIG. 5 is a block diagram showing an example of a computer that realizes a control device for an operation input device according to an embodiment of the present invention.
図５に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。 As shown in FIG. 5, the computer 110 includes a CPU (Central Processing Unit) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. And. Each of these parts is connected to each other via a bus 121 so as to be capable of data communication. The computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or in place of the CPU 111.
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。 The CPU 111 expands the programs (codes) of the present embodiment stored in the storage device 113 into the main memory 112 and executes them in a predetermined order to perform various operations. The main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory). Further, the program according to the present embodiment is provided in a state of being stored in a computer-readable recording medium 120. The program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。 Further, specific examples of the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk drive. The input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and mouse. The display controller 115 is connected to the display device 119 and controls the display on the display device 119.
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。 The data reader / writer 116 mediates the data transmission between the CPU 111 and the recording medium 120, reads the program from the recording medium 120, and writes the processing result in the computer 110 to the recording medium 120. The communication interface 117 mediates data transmission between the CPU 111 and another computer.
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。 Specific examples of the recording medium 120 include a general-purpose semiconductor storage device such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), a magnetic recording medium such as a flexible disk, or a CD-. Examples include optical recording media such as ROM (Compact Disk Read Only Memory).
なお、本実施の形態における制御装置４０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、制御装置４０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。 The control device 40 in the present embodiment can also be realized by using hardware corresponding to each part instead of the computer in which the program is installed. Further, the control device 40 may be partially realized by a program and the rest may be realized by hardware.
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１５）によって表現することができるが、以下の記載に限定されるものではない。 A part or all of the above-described embodiments can be expressed by the following descriptions (Appendix 1) to (Appendix 15), but the present invention is not limited to the following description.
（付記１）
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、制御装置と、を備え
前記センサ装置は、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力し、
前記制御装置は、
前記センサデータから、前記物体の前記空中投影面における位置を検出し、
更に、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定し、そして、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、
ことを特徴とする操作入力装置。(Appendix 1)
A display device that displays an operation screen, an optical plate that projects the operation screen into the air to generate an aerial projection surface, and a sensor device for detecting the position of an object in contact with the aerial projection surface in three-dimensional space. The sensor device includes information for specifying the two-dimensional coordinates of the object in the sensing area, and the sensor device from the sensor device, comprising a control device for specifying the operation input performed on the operation screen. Output sensor data, including depth to object,
The control device is
From the sensor data, the position of the object on the aerial projection plane is detected.
Further, when it is detected from the sensor data that a part of the object is located on the sensor device side of the aerial projection surface, a figure surrounding the part of the object is set in the sensor data, and then Using the depth at the outer edge of the set figure, the position of the object on the aerial projection plane is corrected.
An operation input device characterized by the fact that.
（付記２）
付記１に記載の操作入力装置であって、
前記制御装置は、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
ことを特徴とする操作入力装置。(Appendix 2)
The operation input device according to Appendix 1.
The control device sets a rectangle surrounding a part of the object in the sensor data, and uses the depth on any one side of the rectangle to determine the position of the object in the vertical direction of the aerial projection plane and the air. Correct one or both of the horizontal positions of the projection plane,
An operation input device characterized by the fact that.
（付記３）
付記２に記載の操作入力装置であって、
前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
ことを特徴とする操作入力装置。(Appendix 3)
The operation input device described in Appendix 2
The one side is set based on the positional relationship between the aerial projection surface and the sensor device.
An operation input device characterized by the fact that.
（付記４）
付記１〜３のいずれかに記載の操作入力装置であって、
前記制御装置は、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
ことを特徴とする操作入力装置。(Appendix 4)
The operation input device according to any one of Appendix 1 to 3.
In the control device, when the depth of the most portion of the object on the sensor device side in the sensor data is smaller than the threshold value, a part of the object is located on the sensor device side of the aerial projection surface. Judge,
An operation input device characterized by the fact that.
（付記５）
付記１〜４のいずれかに記載の操作入力装置であって、
前記センサ装置が、デプスセンサである、
ことを特徴とする操作入力装置。(Appendix 5)
The operation input device according to any one of Appendix 1 to 4.
The sensor device is a depth sensor.
An operation input device characterized by the fact that.
（付記６）
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を用い、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力方法であって、
（ａ）前記コンピュータによって、前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記コンピュータによって、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）前記コンピュータによって、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、を有する、
ことを特徴とする操作入力方法。(Appendix 6)
A display device that displays an operation screen, an optical plate that projects the operation screen into the air to generate an aerial projection surface, and a sensor device for detecting the position of an object in contact with the aerial projection surface in three-dimensional space. The information for the sensor device to specify the two-dimensional coordinates of the object in the sensing area, and the information from the sensor device, using a computer and a computer for specifying the operation input performed on the operation screen. It is an operation input method that outputs sensor data, including the depth to the object.
(A) A step of detecting the position of the object on the aerial projection plane from the sensor data by the computer.
(B) When the computer detects from the sensor data that a part of the object is located on the sensor device side of the aerial projection surface, in the sensor data, a figure surrounding the part of the object is displayed. Set, step and
(C) It has a step of correcting the position of the object on the aerial projection plane by using the depth at the outer edge of the figure set by the computer.
An operation input method characterized by that.
（付記７）
付記６に記載の操作入力方法であって、
前記（ｃ）のステップにおいて、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
ことを特徴とする操作入力方法。(Appendix 7)
The operation input method described in Appendix 6
In the step (c), in the sensor data, a rectangle surrounding a part of the object is set, and the depth of any one side of the rectangle is used to determine the position of the object in the vertical direction of the aerial projection plane. And correct one or both of the horizontal positions of the aerial projection plane,
An operation input method characterized by that.
（付記８）
付記７に記載の操作入力方法であって、
前記（ｃ）のステップにおいて、前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
ことを特徴とする操作入力方法。(Appendix 8)
The operation input method described in Appendix 7
In the step (c), the one side is set based on the positional relationship between the aerial projection surface and the sensor device.
An operation input method characterized by that.
（付記９）
付記６〜８のいずれかに記載の操作入力方法であって、
前記（ｂ）のステップにおいて、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
ことを特徴とする操作入力方法。(Appendix 9)
The operation input method according to any one of Appendix 6 to 8.
In the step (b), when the depth of the most portion of the object on the sensor device side in the sensor data is smaller than the threshold value, a part of the object is positioned on the sensor device side of the aerial projection surface. Judge that you are
An operation input method characterized by that.
（付記１０）
付記６〜９のいずれかに記載の操作入力方法であって、
前記センサ装置が、デプスセンサである、
ことを特徴とする操作入力方法。(Appendix 10)
The operation input method according to any one of Supplementary notes 6 to 9.
The sensor device is a depth sensor.
An operation input method characterized by that.
（付記１１）
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を備え、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力装置において、
前記コンピュータに、
（ａ）前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、
を実行させる命令を含む、プログラムを記録している、ことを特徴とするコンピュータ読み取り可能な記録媒体。(Appendix 11)
A display device that displays an operation screen, an optical plate that projects the operation screen into the air to generate an aerial projection surface, and a sensor device for detecting the position of an object in contact with the aerial projection surface in three-dimensional space. And a computer that identifies the operation input performed on the operation screen, and the sensor device provides information for specifying the two-dimensional coordinates of the object in the sensing area, and the sensor device from the sensor device. In an operation input device that outputs sensor data, including the depth to the object
On the computer
(A) A step of detecting the position of the object on the aerial projection plane from the sensor data, and
(B) When it is detected from the sensor data that a part of the object is located on the sensor device side of the aerial projection surface, a figure surrounding the part of the object is set in the sensor data. When,
(C) A step of correcting the position of the object on the aerial projection plane using the depth at the outer edge of the set figure.
A computer-readable recording medium, characterized in that it is recording a program, including instructions to execute.
（付記１２）
付記１１に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｃ）のステップにおいて、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。(Appendix 12)
The computer-readable recording medium according to Appendix 11.
In the step (c), in the sensor data, a rectangle surrounding a part of the object is set, and the depth of any one side of the rectangle is used to determine the position of the object in the vertical direction of the aerial projection plane. And correct one or both of the horizontal positions of the aerial projection plane,
A computer-readable recording medium characterized by that.
（付記１３）
付記１２に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｃ）のステップにおいて、前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
ことを特徴とするコンピュータ読み取り可能な記録媒体。(Appendix 13)
The computer-readable recording medium according to Appendix 12.
In the step (c), the one side is set based on the positional relationship between the aerial projection surface and the sensor device.
A computer-readable recording medium characterized by that.
（付記１４）
付記１１〜１３のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｂ）のステップにおいて、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。(Appendix 14)
A computer-readable recording medium according to any one of Appendix 11 to 13.
In the step (b), when the depth of the most portion of the object on the sensor device side in the sensor data is smaller than the threshold value, a part of the object is positioned on the sensor device side of the aerial projection surface. Judge that you are
A computer-readable recording medium characterized by that.
（付記１５）
付記１１〜１４のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
前記センサ装置が、デプスセンサである、
ことを特徴とするコンピュータ読み取り可能な記録媒体。(Appendix 15)
A computer-readable recording medium according to any one of Supplementary Notes 11 to 14.
The sensor device is a depth sensor.
A computer-readable recording medium characterized by that.
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described above with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made within the scope of the present invention in terms of the structure and details of the present invention.
この出願は、２０１８年３月７日に出願された日本出願特願２０１８−４１１６２を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority on the basis of Japanese application Japanese Patent Application No. 2018-41162 filed on March 7, 2018, and the entire disclosure thereof is incorporated herein by reference.
以上のように、本発明によれば、ユーザが、空中に表示された画面をタッチして、入力操作を行う場合において、ユーザの誤操作によるタッチ位置の検出精度の低下を抑制することができる。本発明は、空中投影面での入力が行われる各種装置において有用である。 As described above, according to the present invention, when the user touches the screen displayed in the air to perform an input operation, it is possible to suppress a decrease in the detection accuracy of the touch position due to the user's erroneous operation. The present invention is useful in various devices in which input is performed on an aerial projection plane.
１０ 表示装置
２０ 光学プレート
２１ 空中投影面
３０ センサ装置
４０ 制御装置
４１ 操作入力特定部
４２ 図形設定部
４３ 深度補正部
５０ 物体
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス10 Display device 20 Optical plate 21 Aerial projection surface 30 Sensor device 40 Control device 41 Operation input identification unit 42 Graphic setting unit 43 Depth correction unit 50 Object 110 Computer 111 CPU
112 Main memory 113 Storage device 114 Input interface 115 Display controller 116 Data reader / writer 117 Communication interface 118 Input device 119 Display device 120 Recording medium 121 Bus
本発明は、空中に表示された画面へのタッチによる入力操作を可能にする、操作入力装置、及び操作入力方法に関し、更には、これらを実現するためのプログラムに関する。 The present invention allows an input operation by touch on the screen displayed in the air, the operation input device, and to a operation input method, further relates to a program for realizing these.
本発明の目的の一例は、上記問題を解消し、ユーザが、空中に表示された画面をタッチして、入力操作を行う場合において、ユーザの誤操作によるタッチ位置の検出精度の低下を抑制し得る、操作入力装置、操作入力方法、及びプログラムを提供することにある。 An example of an object of the present invention can solve the above problem and suppress a decrease in the detection accuracy of the touch position due to an erroneous operation of the user when the user touches a screen displayed in the air to perform an input operation. , An operation input device, an operation input method, and a program .
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を備え、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力装置において、
前記コンピュータに、
（ａ）前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、を実行させる、
ことを特徴とする。
Further, in order to achieve the above object, the program in one aspect of the present invention is:
A display device that displays an operation screen, an optical plate that projects the operation screen into the air to generate an aerial projection surface, and a sensor device for detecting the position of an object in contact with the aerial projection surface in three-dimensional space. And a computer that identifies the operation input performed on the operation screen, and the sensor device provides information for specifying the two-dimensional coordinates of the object in the sensing area, and the sensor device from the sensor device. In an operation input device that outputs sensor data, including the depth to the object
On the computer
(A) A step of detecting the position of the object on the aerial projection plane from the sensor data, and
(B) When it is detected from the sensor data that a part of the object is located on the sensor device side of the aerial projection surface, a figure surrounding the part of the object is set in the sensor data. When,
(C) using the depth at the outer edge of the graphic set, to correct the position of the aerial projection plane of the object, comprising the steps, Ru is the execution,
It is characterized by that.
（付記１１）
操作画面を表示する表示装置と、前記操作画面を空中に投影して空中投影面を生成する光学プレートと、前記空中投影面に接触する物体の３次元空間での位置を検出するためのセンサ装置と、前記操作画面に対して行われた操作入力を特定する、コンピュータと、を備え、前記センサ装置が、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力する、操作入力装置において、
前記コンピュータに、
（ａ）前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、
を実行させる、プログラム。
(Appendix 11)
A display device that displays an operation screen, an optical plate that projects the operation screen into the air to generate an aerial projection surface, and a sensor device for detecting the position of an object in contact with the aerial projection surface in three-dimensional space. And a computer that identifies the operation input performed on the operation screen, and the sensor device provides information for specifying the two-dimensional coordinates of the object in the sensing area, and the sensor device from the sensor device. In an operation input device that outputs sensor data, including the depth to the object
On the computer
(A) A step of detecting the position of the object on the aerial projection plane from the sensor data, and
(B) When it is detected from the sensor data that a part of the object is located on the sensor device side of the aerial projection surface, a figure surrounding the part of the object is set in the sensor data. When,
(C) A step of correcting the position of the object on the aerial projection plane using the depth at the outer edge of the set figure.
Ru is the execution, program.
（付記１２）
付記１１に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
ことを特徴とするプログラム。
(Appendix 12)
The program described in Appendix 11
In the step (c), in the sensor data, a rectangle surrounding a part of the object is set, and the depth of any one side of the rectangle is used to determine the position of the object in the vertical direction of the aerial projection plane. And correct one or both of the horizontal positions of the aerial projection plane,
A program characterized by that.
（付記１３）
付記１２に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
ことを特徴とするプログラム。
(Appendix 13)
The program described in Appendix 12
In the step (c), the one side is set based on the positional relationship between the aerial projection surface and the sensor device.
A program characterized by that.
（付記１４）
付記１１〜１３のいずれかに記載のプログラムであって、
前記（ｂ）のステップにおいて、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
ことを特徴とするプログラム。
(Appendix 14)
The program described in any of the appendices 11 to 13.
In the step (b), when the depth of the most portion of the object on the sensor device side in the sensor data is smaller than the threshold value, a part of the object is positioned on the sensor device side of the aerial projection surface. Judge that you are
A program characterized by that.
（付記１５）
付記１１〜１４のいずれかに記載のプログラムであって、
前記センサ装置が、デプスセンサである、
ことを特徴とするプログラム。
(Appendix 15)
The program described in any of the appendices 11 to 14 and
The sensor device is a depth sensor.
A program characterized by that.
Claims (15)
前記センサ装置は、センシングエリアにおける前記物体の２次元座標を特定するための情報と、当該センサ装置から前記物体までの深度とを含む、センサデータを出力し、
前記制御装置は、
前記センサデータから、前記物体の前記空中投影面における位置を検出し、
更に、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定し、そして、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、
ことを特徴とする操作入力装置。A display device that displays an operation screen, an optical plate that projects the operation screen into the air to generate an aerial projection surface, and a sensor device for detecting the position of an object in contact with the aerial projection surface in three-dimensional space. The sensor device includes information for specifying the two-dimensional coordinates of the object in the sensing area, and the sensor device from the sensor device, comprising a control device for specifying the operation input performed on the operation screen. Output sensor data, including depth to object,
The control device is
From the sensor data, the position of the object on the aerial projection plane is detected.
Further, when it is detected from the sensor data that a part of the object is located on the sensor device side of the aerial projection surface, a figure surrounding the part of the object is set in the sensor data, and then Using the depth at the outer edge of the set figure, the position of the object on the aerial projection plane is corrected.
An operation input device characterized by the fact that.
前記制御装置は、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
ことを特徴とする操作入力装置。The operation input device according to claim 1.
The control device sets a rectangle surrounding a part of the object in the sensor data, and uses the depth on any one side of the rectangle to determine the position of the object in the vertical direction of the aerial projection plane and the air. Correct one or both of the horizontal positions of the projection plane,
An operation input device characterized by the fact that.
前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
ことを特徴とする操作入力装置。The operation input device according to claim 2.
The one side is set based on the positional relationship between the aerial projection surface and the sensor device.
An operation input device characterized by the fact that.
前記制御装置は、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
ことを特徴とする操作入力装置。The operation input device according to any one of claims 1 to 3.
In the control device, when the depth of the most portion of the object on the sensor device side in the sensor data is smaller than the threshold value, a part of the object is located on the sensor device side of the aerial projection surface. Judge,
An operation input device characterized by the fact that.
前記センサ装置が、デプスセンサである、
ことを特徴とする操作入力装置。The operation input device according to any one of claims 1 to 4.
The sensor device is a depth sensor.
An operation input device characterized by the fact that.
（ａ）前記コンピュータによって、前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記コンピュータによって、前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）前記コンピュータによって、設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、を有する、
ことを特徴とする操作入力方法。A display device that displays an operation screen, an optical plate that projects the operation screen into the air to generate an aerial projection surface, and a sensor device for detecting the position of an object in contact with the aerial projection surface in three-dimensional space. The information for the sensor device to specify the two-dimensional coordinates of the object in the sensing area, and the information from the sensor device, using a computer and a computer for specifying the operation input performed on the operation screen. It is an operation input method that outputs sensor data, including the depth to the object.
(A) A step of detecting the position of the object on the aerial projection plane from the sensor data by the computer.
(B) When the computer detects from the sensor data that a part of the object is located on the sensor device side of the aerial projection surface, in the sensor data, a figure surrounding the part of the object is displayed. Set, step and
(C) It has a step of correcting the position of the object on the aerial projection plane by using the depth at the outer edge of the figure set by the computer.
An operation input method characterized by that.
前記（ｃ）のステップにおいて、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
ことを特徴とする操作入力方法。The operation input method according to claim 6.
In the step (c), in the sensor data, a rectangle surrounding a part of the object is set, and the depth of any one side of the rectangle is used to determine the position of the object in the vertical direction of the aerial projection plane. And correct one or both of the horizontal positions of the aerial projection plane,
An operation input method characterized by that.
前記（ｃ）のステップにおいて、前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
ことを特徴とする操作入力方法。The operation input method according to claim 7.
In the step (c), the one side is set based on the positional relationship between the aerial projection surface and the sensor device.
An operation input method characterized by that.
前記（ｂ）のステップにおいて、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
ことを特徴とする操作入力方法。The operation input method according to any one of claims 6 to 8.
In the step (b), when the depth of the most portion of the object on the sensor device side in the sensor data is smaller than the threshold value, a part of the object is positioned on the sensor device side of the aerial projection surface. Judge that you are
An operation input method characterized by that.
前記センサ装置が、デプスセンサである、
ことを特徴とする操作入力方法。The operation input method according to any one of claims 6 to 9.
The sensor device is a depth sensor.
An operation input method characterized by that.
前記コンピュータに、
（ａ）前記センサデータから、前記物体の前記空中投影面における位置を検出するステップと、
（ｂ）前記センサデータから、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していることを検出すると、前記センサデータにおいて、前記物体の一部分を囲む図形を設定する、ステップと、
（ｃ）設定した前記図形の外縁における前記深度を用いて、前記物体の前記空中投影面における位置を補正する、ステップと、
を実行させる命令を含む、プログラムを記録している、
ことを特徴とするコンピュータ読み取り可能な記録媒体。A display device that displays an operation screen, an optical plate that projects the operation screen into the air to generate an aerial projection surface, and a sensor device for detecting the position of an object in contact with the aerial projection surface in three-dimensional space. And a computer that identifies the operation input performed on the operation screen, and the sensor device provides information for specifying the two-dimensional coordinates of the object in the sensing area, and the sensor device from the sensor device. In an operation input device that outputs sensor data, including the depth to the object
On the computer
(A) A step of detecting the position of the object on the aerial projection plane from the sensor data, and
(B) When it is detected from the sensor data that a part of the object is located on the sensor device side of the aerial projection surface, a figure surrounding the part of the object is set in the sensor data. When,
(C) A step of correcting the position of the object on the aerial projection plane using the depth at the outer edge of the set figure.
Recording a program, including instructions to execute
A computer-readable recording medium characterized by that.
前記（ｃ）のステップにおいて、前記センサデータにおいて、前記物体の一部分を囲む矩形を設定し、前記矩形のいずれか一辺における深度を用いて、前記物体の、前記空中投影面の垂直方向における位置、及び前記空中投影面の水平方向における位置のうちの一方又は両方を補正する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。The computer-readable recording medium according to claim 11.
In the step (c), in the sensor data, a rectangle surrounding a part of the object is set, and the depth of any one side of the rectangle is used to determine the position of the object in the vertical direction of the aerial projection plane. And correct one or both of the horizontal positions of the aerial projection plane,
A computer-readable recording medium characterized by that.
前記（ｃ）のステップにおいて、前記一辺は、前記空中投影面と前記センサ装置との位置関係に基づいて設定されている、
ことを特徴とするコンピュータ読み取り可能な記録媒体。The computer-readable recording medium according to claim 12.
In the step (c), the one side is set based on the positional relationship between the aerial projection surface and the sensor device.
A computer-readable recording medium characterized by that.
前記（ｂ）のステップにおいて、前記センサデータにおける、前記物体の最も前記センサ装置側の部分の深度が閾値よりも小さい場合に、前記物体の一部分が、前記空中投影面の前記センサ装置側に位置していると判定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。The computer-readable recording medium according to any one of claims 11 to 13.
In the step (b), when the depth of the most portion of the object on the sensor device side in the sensor data is smaller than the threshold value, a part of the object is positioned on the sensor device side of the aerial projection surface. Judge that you are
A computer-readable recording medium characterized by that.
前記センサ装置が、デプスセンサである、
ことを特徴とするコンピュータ読み取り可能な記録媒体。The computer-readable recording medium according to any one of claims 11 to 14.
The sensor device is a depth sensor.
A computer-readable recording medium characterized by that.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018041162 | 2018-03-07 | ||
| JP2018041162 | 2018-03-07 | ||
| PCT/JP2018/034490 WO2019171635A1 (en) | 2018-03-07 | 2018-09-18 | Operation input device, operation input method, anc computer-readable recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019171635A1 true JPWO2019171635A1 (en) | 2021-02-12 |
| JP6898021B2 JP6898021B2 (en) | 2021-07-07 |
Family
ID=67846002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020504657A Active JP6898021B2 (en) | 2018-03-07 | 2018-09-18 | Operation input device, operation input method, and program |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP6898021B2 (en) |
| CN (1) | CN111886567B (en) |
| WO (1) | WO2019171635A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023016352A1 (en) * | 2021-08-13 | 2023-02-16 | 安徽省东超科技有限公司 | Positioning sensing method, positioning sensing apparatus, and input terminal device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003131785A (en) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | Interface device, operation control method and program product |
| JP2012073659A (en) * | 2010-09-01 | 2012-04-12 | Shinsedai Kk | Operation determination device, fingertip detection device, operation determination method, fingertip detection method, operation determination program, and fingertip detection program |
| JP2012160079A (en) * | 2011-02-01 | 2012-08-23 | Toshiba Corp | Interface apparatus, method, and program |
| JP2014179072A (en) * | 2013-03-14 | 2014-09-25 | Honda Motor Co Ltd | Three-dimensional fingertip tracking |
| JP2015060296A (en) * | 2013-09-17 | 2015-03-30 | 船井電機株式会社 | Spatial coordinate specification device |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4865088B2 (en) * | 2008-04-22 | 2012-02-01 | 株式会社アスカネット | Optical imaging method |
| JP5353596B2 (en) * | 2009-09-18 | 2013-11-27 | セイコーエプソン株式会社 | Projection display device and keystone correction method |
| JP5560771B2 (en) * | 2010-02-26 | 2014-07-30 | セイコーエプソン株式会社 | Image correction apparatus, image display system, and image correction method |
| US9229584B2 (en) * | 2011-06-13 | 2016-01-05 | Citizen Holdings Co., Ltd. | Information input apparatus |
| WO2013124901A1 (en) * | 2012-02-24 | 2013-08-29 | 日立コンシューマエレクトロニクス株式会社 | Optical-projection-type display apparatus, portable terminal, and program |
| JP6480434B2 (en) * | 2013-06-27 | 2019-03-13 | アイサイト モバイル テクノロジーズ リミテッド | System and method for direct pointing detection for interaction with digital devices |
| WO2015092905A1 (en) * | 2013-12-19 | 2015-06-25 | 日立マクセル株式会社 | Projection image display device and projection image display method |
| CN103677274B (en) * | 2013-12-24 | 2016-08-24 | 广东威创视讯科技股份有限公司 | A kind of interaction method and system based on active vision |
| JP6510213B2 (en) * | 2014-02-18 | 2019-05-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Projection system, semiconductor integrated circuit, and image correction method |
| CN104375639A (en) * | 2014-07-17 | 2015-02-25 | 深圳市钛客科技有限公司 | Aerial sensing device |
| CN104375638A (en) * | 2014-07-17 | 2015-02-25 | 深圳市钛客科技有限公司 | Sensing equipment, mobile terminal and air sensing system |
| US10359883B2 (en) * | 2014-12-26 | 2019-07-23 | Nikon Corporation | Detection device, electronic apparatus, detection method and program |
| JPWO2016121708A1 (en) * | 2015-01-26 | 2017-11-24 | Ｎｅｃソリューションイノベータ株式会社 | INPUT SYSTEM, INPUT DEVICE, INPUT METHOD, AND PROGRAM |
| JP2017062709A (en) * | 2015-09-25 | 2017-03-30 | 新光商事株式会社 | Gesture operation device |
-
2018
- 2018-09-18 WO PCT/JP2018/034490 patent/WO2019171635A1/en active Application Filing
- 2018-09-18 CN CN201880090820.0A patent/CN111886567B/en active Active
- 2018-09-18 JP JP2020504657A patent/JP6898021B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003131785A (en) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | Interface device, operation control method and program product |
| JP2012073659A (en) * | 2010-09-01 | 2012-04-12 | Shinsedai Kk | Operation determination device, fingertip detection device, operation determination method, fingertip detection method, operation determination program, and fingertip detection program |
| JP2012160079A (en) * | 2011-02-01 | 2012-08-23 | Toshiba Corp | Interface apparatus, method, and program |
| JP2014179072A (en) * | 2013-03-14 | 2014-09-25 | Honda Motor Co Ltd | Three-dimensional fingertip tracking |
| JP2015060296A (en) * | 2013-09-17 | 2015-03-30 | 船井電機株式会社 | Spatial coordinate specification device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111886567A (en) | 2020-11-03 |
| WO2019171635A1 (en) | 2019-09-12 |
| JP6898021B2 (en) | 2021-07-07 |
| CN111886567B (en) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4820285B2 (en) | Automatic alignment touch system and method | |
| US10310675B2 (en) | User interface apparatus and control method | |
| US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
| US10042426B2 (en) | Information processing apparatus for detecting object from image, method for controlling the apparatus, and storage medium | |
| US10254893B2 (en) | Operating apparatus, control method therefor, and storage medium storing program | |
| JP2015064724A (en) | Information processor | |
| US10185399B2 (en) | Image processing apparatus, non-transitory computer-readable recording medium, and image processing method | |
| JP6898021B2 (en) | Operation input device, operation input method, and program | |
| EP3032380A1 (en) | Image projection apparatus, and system employing interactive input-output capability | |
| JP6643825B2 (en) | Apparatus and method | |
| JP6555958B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| JP2018063555A (en) | Information processing device, information processing method, and program | |
| JP6417939B2 (en) | Handwriting system and program | |
| US9483125B2 (en) | Position information obtaining device and method, and image display system | |
| JP2014022788A (en) | Projection device, projection system and program | |
| US20140201687A1 (en) | Information processing apparatus and method of controlling information processing apparatus | |
| JP2016153996A (en) | Coordinate acquisition system, display device, coordinate acquisition method, and program | |
| US10044904B2 (en) | Apparatus, image reading method, and storage medium for reading an image of a target object | |
| JP7452917B2 (en) | Operation input device, operation input method and program | |
| JP2016110492A (en) | Optical position information detection system, program, and object linking method | |
| JP2016018428A (en) | Electronic apparatus, method and program | |
| EP3059664A1 (en) | A method for controlling a device by gestures and a system for controlling a device by gestures | |
| TWI522871B (en) | Processing method of object image for optical touch system | |
| JP2024032042A (en) | Detection method, detection device and program | |
| JP2017129525A (en) | Measurement device, control method thereof, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200904 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200904 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210603 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6898021 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |