WO2018211659A1 - 操作検出装置、及びそれを備えた映像表示装置、映像表示方法 - Google Patents

操作検出装置、及びそれを備えた映像表示装置、映像表示方法 Download PDF

Info

Publication number
WO2018211659A1
WO2018211659A1 PCT/JP2017/018669 JP2017018669W WO2018211659A1 WO 2018211659 A1 WO2018211659 A1 WO 2018211659A1 JP 2017018669 W JP2017018669 W JP 2017018669W WO 2018211659 A1 WO2018211659 A1 WO 2018211659A1
Authority
WO
WIPO (PCT)
Prior art keywords
contact point
unit
image
user
video display
Prior art date
Application number
PCT/JP2017/018669
Other languages
English (en)
French (fr)
Inventor
雄大 新倉
孝志 松原
森　直樹
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2017/018669 priority Critical patent/WO2018211659A1/ja
Publication of WO2018211659A1 publication Critical patent/WO2018211659A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Definitions

  • the present invention relates to an operation detection device that detects an operation of a user's device, a video display device including the operation detection device, and a video display method.
  • Patent Document 1 discloses that when at least a part of a touch panel has a curved surface area, when a finger touches the curved surface area, a target touch position to be touched by the user and an actual touch that is actually touched.
  • an approach direction determination unit that determines an approach direction in which a finger approaches the curved surface region, and a position correction that corrects the touch position in the curved surface region according to the approach direction.
  • a portable device is described.
  • Patent Document 2 As a background technique for performing user operation input without providing a touch sensor or the like.
  • Patent Document 2 states that “first and second illuminations that irradiate illumination light from different positions on the operation surface, a camera that images the operation surface irradiated with illumination light together with the user's operation unit, and the camera are obtained.
  • a shadow region extraction unit that extracts first and second shadows for the user operation unit from the captured image, a contour detection unit that detects respective contour lines of the extracted first and second shadows, and each contour line
  • a contact point detection unit that detects a contact point on the operation surface of the user operation unit from a distance between the shadow region extraction unit and the first and first shadows;
  • the first and second shadows for the user's operation unit projected with the second illumination are distinguished and extracted, and the contour detection unit has a substantially linear shape corresponding to the contour lines of the first and second shadows.
  • a line segment is extracted as a contour line, and the contact point detection unit calculates the distance between the two extracted contour lines.
  • User operation unit judges that the contact with the operating surface "hand gesture detecting device is described in when it becomes less than the constant threshold value.
  • Patent Document 1 is a configuration including a touch panel having a curved surface area, it is a position correction method for a known curved surface shape and does not consider performing position correction for an unknown curved surface shape.
  • Patent Document 2 assumes a plane of the projection surface of the image projection device, and irradiates light from a plurality of positions with respect to the finger, and displays a plurality of shadow images of the finger respectively corresponding to the plurality of irradiation light. Then, the invariant feature amount is extracted from the shadow image and the finger image, and the finger gesture is detected. In addition, a different light source is selected for each frame in synchronization with the frame rate of the camera, and light is emitted to detect a finger gesture using a shadow image created by only one selected illumination. Recognize. However, when the projection surface is a curved surface or discontinuous surface, when the finger touches the projection surface, the optical axis of the camera differs from that of the image projection device. It is not assumed that will occur.
  • the present invention is an operation detection device capable of detecting an operation by an operation object of a user on an operation surface having a curved surface or a discontinuous surface, in view of the above-described background art and problems.
  • An image pickup unit that picks up an image together with an object
  • a shape recognition unit that recognizes a three-dimensional shape of the operation surface
  • a contact point detection unit that detects a contact point where the operation object contacts the operation surface based on an image pickup result of the image pickup unit
  • a contact point correction unit that corrects the position of the contact point according to the three-dimensional shape of the operation surface recognized by the shape recognition unit when the contact point is detected on the curved surface or the discontinuous surface by the point detection unit;
  • FIG. 1 It is a figure which shows an example of a structure of the operation detection apparatus in Example 1.
  • FIG. It is a figure which shows the other example of a structure of the operation detection apparatus in Example 1.
  • FIG. It is a figure which shows the external view of the operation detection apparatus in Example 1, and the usage example of the user who operates it with a wall surface.
  • FIG. shows the external view of the operation detection apparatus in Example 1, and the usage example of the user who operates it on a desk (table).
  • FIG. 1 It is a figure which shows an example of a structure of the operation detection apparatus in Example 1.
  • FIG. It is a figure which shows the other example of a structure of the operation detection apparatus in Example 1.
  • FIG. It is a figure which shows the external view of the operation detection apparatus in Example 1, and the usage example of the user who operates it
  • FIG. 6 is a diagram illustrating a shadow according to a distance between a finger and an operation surface in the first embodiment.
  • FIG. 10 is a diagram illustrating an example of contact point detection control using the distance between the shadow tips in the first embodiment.
  • 6 is a diagram illustrating an example of a shift between a contact detection position and a display position on an operation surface including a curved surface according to Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of a shift between a contact detection position and a display position on an operation surface including a discontinuous surface in Embodiment 1.
  • FIG. It is a figure which shows an example of a structure of the operation detection apparatus in Example 2.
  • FIG. It is a figure which shows an example of the process according to the contact position correction menu screen in Example 2, and a setting state.
  • FIG. 1 is a diagram showing an example of the configuration of the operation detection apparatus 100 in the present embodiment.
  • 100 is an operation detection device
  • 101 is a camera (imaging unit)
  • 102 and 103 are illuminations
  • 104 is a contact recognition unit
  • 105 is a shadow area detection unit
  • 106 is a contour detection unit
  • 107 is contact point detection.
  • 108 is a shape recognition unit
  • 109 is a contact point correction unit
  • 110 is a control unit
  • 111 is an operation target device (for example, a video projection device)
  • 112 is a video projection unit
  • 113 is a control unit.
  • each part of 101-113 is independent in FIG. 1, you may comprise by one or several structural requirements as needed.
  • 105 to 109 may be configured to perform the processing by one or more central processing units (CPUs).
  • CPUs central processing units
  • all of the units 101 to 110 are configured inside the operation detection apparatus 100, but as shown in FIG. 2, for example, the camera 101 and the illuminations 102 and 103 are outside the operation detection apparatus 100.
  • one or a plurality of configuration requirements may be configured outside the operation detection device 100 and connected to the operation detection device 100 via a network connection, a universal serial bus (USB) connection, or other wired or wireless connection.
  • the operation detection device 100 may be integrated with the operation target device 111.
  • the camera 101 is composed of an image sensor, a lens, etc., and takes an image. Note that imaging by the camera 101 is controlled by the control unit 110.
  • the camera 101 has an optical axis different from that of the image projection unit 112 in the operation target device 111.
  • the illumination 102 and the illumination 103 are composed of a light emitting diode, a circuit board, a lens, and the like, and irradiate an area captured by the camera 101.
  • the lighting unit 102 and the lighting unit 103 are turned on and off by the control unit 110.
  • the camera 101, the illumination 102, and the illumination 103 may be configured by an infrared camera and infrared illumination, and processing for detecting a finger state described later by capturing an infrared image may be performed.
  • the illumination light source may be a light source other than a light emitting diode such as a laser.
  • the contact recognition unit 104 includes one or a plurality of central processing units (CPUs) or a dedicated computer, and detects a contact point of a finger with respect to the operation surface from an image captured by the camera 101.
  • the contact recognition unit 104 includes a shadow region extraction unit 105, a contour detection unit 106, and a contact point detection unit 107.
  • the shadow area extraction unit 105 is configured by a circuit board, software, or the like, and detects a shadow area from an image captured by the camera 101.
  • the shadow area is obtained, for example, by generating a difference image from a difference between a background image captured in advance and the latest captured image, and binarizing the difference image with a predetermined luminance threshold value.
  • the processing of the shadow region extraction unit 105 may use another image processing algorithm for obtaining a similar result.
  • the contour detection unit 106 is configured by a circuit board, software, or the like, and detects the contour of the shadow region obtained by the shadow region extraction unit 105.
  • the outline of the shadow area is obtained, for example, by first obtaining the upper left pixel of the shadow area and sequentially searching for adjacent pixels.
  • the contour detection unit 106 may use another image processing algorithm for obtaining a similar result.
  • the contact point detection unit 107 is configured by a circuit board, software, or the like, and detects the contact point of the finger with respect to the operation surface based on the shape and position of the shadow. The contact point detection method will be described later with reference to FIG.
  • the shape recognition unit 108 is configured by a circuit board, software, or the like, and detects the three-dimensional shape of the projection surface based on the image captured by the camera 101. For example, a control signal is transmitted from the control unit 110 to project a pattern image such as a gray code to the operation target device (video projection device), and an image obtained by capturing the projection surface on which the pattern image is projected with the camera 101 is used. Thus, the three-dimensional shape of the projection surface is recognized.
  • a method for recognizing the three-dimensional shape of the projection surface there are other three-dimensional measurement methods for obtaining the same effect, such as a method using a TOF (Time-of-Flight) camera and a method using a light cutting method. It may be used.
  • the contact point correction unit 109 is configured by a circuit board, software, or the like, and corrects the contact position of the fingertip detected by the contact point recognition unit 104 based on the three-dimensional shape of the projection surface detected by the shape recognition unit 108. .
  • the correction method will be described later with reference to FIG.
  • the control unit 110 includes a circuit board and software, and includes functions such as a network connection, USB connection, an ultrasonic unit, and an infrared communication device, and includes a camera 101, an illumination 102, an illumination 103, a contact point detection unit 104, and a shadow area extraction.
  • Unit 105, contour detection unit 106, contact point detection unit 107, shape recognition unit 108, and contact point correction unit 109 communicate with and control. Further, it communicates with the control unit 113 of the operation target device 111 to transmit the corrected contact point information and the operation signal of the image projection unit.
  • the operation target device 111 is, for example, a video projection device (projector), and the control unit 113 receives information on the contact point, recognizes the user's operation, and displays a video in response to the user's operation.
  • FIG. 3 is a diagram showing an overview of the operation detection device 100 according to the present embodiment and a usage example of a user who operates it on the wall surface.
  • 3A is a front view
  • FIG. 3B is a side view.
  • the camera 101 images a range indicated by an imaging range 202 of the operation surface 201 which is a wall surface.
  • the operation detection device 100 detects a contact point.
  • the operation target device 111 is not illustrated in FIG.
  • the operation target device 111 is a video projection device (projector) and is at a position different from the operation detection device 100, but the video of the video projection device
  • the video projection device is arranged so that the display surface and the operation surface 201 of the operation detection device 100 overlap each other, and the video display from the video projection device corresponding to the user's operation is detected by detecting the operation by the user's finger on the operation surface. I do.
  • the operation target device 111 is arranged in the same direction as the operation detection device 100 arranged on the side where the user 200 is present with respect to the operation surface 201.
  • FIG. 4 is a diagram showing an overview of the operation detection device 100 according to the present embodiment and a usage example of a user who operates the operation detection device 100 on a desk (table).
  • the camera 101 is imaging a range indicated by an imaging range 202 of the operation surface 201 that is a table (table).
  • the operation detection device 100 detects a contact point.
  • the operation surface applied in the present embodiment is not limited to the above, and any surface may be used.
  • 5 to 7 show an example of a difference in shadow shape depending on whether or not the finger 300 and the operation surface 201 are in contact with each other when the illumination 102 or the illumination 103 is turned on.
  • FIG. 5 is a diagram for explaining a shadow when the finger and the operation surface are not in contact with each other.
  • FIG. 5A is a front view.
  • the shadow 301 projected by the illumination 103 and the illumination 102 are turned on when the illumination 103 is turned on.
  • a shadow 302 projected by the illumination 102 is formed, and the shadow 301 and the shadow 302 are separated from each other.
  • FIG. 5B is a top view as seen from above the projection surface, and is a diagram for explaining the principle of creating a shadow as shown in FIG.
  • the light irradiated by the illumination 103 is blocked by the finger 300, and a shadow 301 is formed on the operation surface 201.
  • the light irradiated by the illumination 102 is blocked by the finger 300, and a shadow 302 is formed on the operation surface 201. Therefore, in the image captured by the camera 101, the shadow 301 and the shadow 302 are separated from each other.
  • FIG. 6 is a diagram for explaining a shadow when the finger and the operation surface are in contact.
  • 6A is a front view, and when the fingertip of the finger 300 is in contact with the operation surface 201, the shadow 301 and the shadow 302 are close to each other at the position of the fingertip of the finger 300.
  • FIG. FIG. 6B is a top view as seen from above the projection surface, and is a diagram for explaining the principle of creating a shadow as shown in FIG. As shown in FIG. 6B, the light irradiated by the illumination 103 is blocked by the finger 300, and a shadow 301 is formed on the operation surface 201.
  • the light irradiated by the illumination 102 is blocked by the finger 300, and a shadow 302 is formed on the operation surface 201. Therefore, in the image captured by the camera 101, the shadow 301 and the shadow 302 are close to each other at the position of the fingertip.
  • FIG. 7 is a diagram for explaining a shadow according to the distance between the finger and the operation surface, and virtually shows a state when the shadow 301 and the shadow 302 are obtained as one image.
  • the distance between the finger 300 and the operation surface 201 is the shortest, the shadow 301 and the shadow 302 are close to each other at the position of the fingertip.
  • the distance between the shadow 301 and the shadow 302 gradually increases.
  • the distance between the finger 300 and the operation surface 201 is the longest, the shadow 301 and the shadow 302 are in a state of being separated from each other.
  • the distance between the shadow 301 and the shadow 302 increases as the finger 300 moves away from the operation surface 201.
  • FIG. 8 is a diagram illustrating an example of control of contact point detection using the distance between the shadow tips. That is, an example of processing for detecting a contact point between the finger 300 and the operation surface 201 in the contact point detection unit 107 is shown.
  • FIG. 8A shows a one-round flow in which the processes of steps S601 to S604 are executed once each. However, in practice, this flow is repeated continuously, and after S603 or S604, the process returns to S601. To do.
  • the tip 601 of the shadow 301 and the tip 602 of the shadow 302 of the finger 300 detected by the contour detection unit 106 are detected.
  • the distance between the tip 601 of the shadow 301 and the tip 602 of the shadow 302 is calculated, and it is determined whether or not the distance is equal to or less than a predetermined value. If it is equal to or smaller than the predetermined value, the process proceeds to S603, and if it is larger than the predetermined value, the process proceeds to S604.
  • FIG. 9 shows an example of a method for correcting a contact position in contact between a finger and an operation surface having a curved surface.
  • FIG. 9A is a diagram showing the cause of the recognized contact position shifting in contact between the finger 300 and the operation surface 700 having a curved surface.
  • the finger 300 is in contact with the curved contact point 701 of the operation surface 700.
  • this contact point 701 is imaged by the camera 101, it is an intersection of the assumed operation plane and a straight line connecting the optical axis origin of the camera 101 and the contact point 701. It is detected that the finger 300 is in contact with the operation surface 700 at the virtual contact point 702.
  • the image projected on the virtual contact point 702 is an operation surface 700 and a straight line connecting the virtual contact point 702 and the optical axis origin of the image projection unit 112. And projected onto a virtual projection point 703, which is the intersection with. That is, when contact recognition is performed on the operation surface 700 having a curved surface on the assumption that the operation surface is a flat surface, the recognition position displayed on the operation surface 700 with respect to the actual contact point 701 has no position correction. Shift to the virtual projection point 703. Therefore, the contact position is corrected based on the three-dimensional shape of the operation surface recognized by the shape recognition unit 108.
  • FIG. 9B shows a processing flow for contact position correction.
  • FIG. 9B shows a flow of steps in which the processes of steps S701 to S704 are executed once each. In practice, this flow is repeatedly executed for each contact point detected by the contact recognition unit 104. After S704, the process returns to S701.
  • step S ⁇ b> 701 the contact recognition unit 104 detects a virtual contact point 702 based on an image captured by the camera 101.
  • step S ⁇ b> 702 the contact point correction unit 109 detects the actual contact point 701 from the three-dimensional shape information of the operation surface measured and recognized in advance by the shape recognition unit 108 and the information on the virtual contact point 702.
  • the contact point correction unit 109 detects the position of the true projection point 704 based on the positional relationship information between the contact point 701 and the image projection unit 112.
  • the curved surface is not limited to the horizontal direction but may be a curved surface in the vertical direction, for example, hemispherical.
  • FIG. 10 is a diagram illustrating an example of a method for correcting a contact position in contact between a finger and an operation surface having a discontinuous surface.
  • the same virtual contact point 702, virtual projection point 703, and projection point 704 as in FIG. It is possible to correct the contact position.
  • the operation surface is a blackboard and there is a magnet on the blackboard, it can be used as an operation surface for detecting an operation with a finger.
  • the operation object is described on the assumption that the user's finger is used.
  • the correction of the contact position is applied when an electronic pen that emits light from the pen tip or an electronic pen with a camera is used as the operation object. You may do it.
  • the contact point detection unit may detect infrared light emitted using a so-called infrared light-emitting pen with a camera.
  • a three-dimensional shape of the operation surface is acquired and used in advance using a video projection device and a camera.
  • the displacement of the contact position recognized as the actual contact position is eliminated.
  • any surface such as a wall surface or a desk (table) can be used as an operation surface for detecting an operation with a finger.
  • FIG. 11 is a diagram showing an example of the configuration of the operation detection apparatus in the present embodiment. 11, the same functions as those in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted.
  • FIG. 11 differs from FIG. 1 in that a user setting unit 901 is provided.
  • the user setting unit 901 receives an operation signal from a user and transmits information to the control unit 110 through operation of an operation button on the remote controller or the apparatus main body.
  • the control unit 110 is configured to output an operation command signal to the contact point correction unit 109 in accordance with the transmitted operation signal so that a contact point correction method in the contact recognition unit 104 can be set. Thereby, the setting which switches the method which correct
  • the user setting unit 901 is provided in the operation detection device 100.
  • the configuration is not limited thereto, and the user setting unit 901 may be provided in the operation target device 111.
  • FIG. 12 is a diagram illustrating an example of the contact position correction menu screen and processing according to the setting state in the present embodiment.
  • FIG. 12A shows a contact position correction menu screen 1000 showing setting items that can be set by the user setting unit 901.
  • the contact position correction menu screen 1000 includes an item of a correction method 1001 and can set whether the operation surface is “planar” or “non-planar”. That is, the item of the correction method 1001 can select whether or not to use the contact position correction process on the operation surface including the curved surface and the discontinuous surface described in the first embodiment.
  • the selection is performed by moving the cursor 1002 through the operation of an operation button on the remote controller or the apparatus main body.
  • FIG. 12B shows a one-time flow in which the processes of steps S1001 to S1005 are executed once, but this flow is actually performed for each contact point detected by the contact recognition unit 104.
  • the process is repeatedly executed, and after S1004, the process returns to S1001.
  • step S ⁇ b> 1001 the contact recognition unit 104 detects a virtual contact point 702 based on an image captured by the camera 101.
  • the setting state of the correction method 1001 is confirmed, and it is confirmed whether the setting is “planar” or “non-planar”. If it is “planar”, the process proceeds directly to S1004, and if it is “non-planar”, the process proceeds to S1002.
  • the contact position is corrected based on the three-dimensional shape information of the operation surface, as in the method described in the first embodiment.
  • the setting state of the “correction method” 1001 is “planar”, it is not necessary to perform the contact position correction using the above-described three-dimensional shape information, and therefore, the projection point corresponding to the detected contact position is directly touched. Reflect the recognition result.
  • the items of the correction method 1001 described above do not necessarily need to be items of “planar” and “non-planar”, and may be “without three-dimensional correction” and “with three-dimensional correction”, for example.
  • the selection item of the correction method may be automatically determined based on the three-dimensional shape data recognized by the shape recognition unit 108.
  • the user setting unit 901 is mounted, and the user can adjust the contact position correction according to the user's usage purpose or usage environment according to the shape of the operation surface. Thereby, a more convenient video display device can be provided.
  • the present invention is not limited to the above-described embodiments, and includes various modifications. For example, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

操作面に対するユーザの操作入力の検出において、操作面が曲面や不連続面を有する未知の形状であっても、認識された接触位置と実際の接触位置のずれを解消することを目的とする。　そのために、曲面や不連続面を有する操作面に対するユーザの操作オブジェクトによる操作を検出可能な操作検出装置であって、操作面を操作オブジェクトとともに撮像する撮像部と、操作面の三次元形状を認識する形状認識部と、撮像部の撮像結果に基づいて操作オブジェクトが操作面に接触した接触点を検出する接触点検出部と、接触点検出部によって曲面や不連続面において接触点が検出された場合に、形状認識部によって認識された操作面の三次元形状に応じて接触点の位置を補正する接触点補正部とを有する。

Description

操作検出装置、及びそれを備えた映像表示装置、映像表示方法
　本発明は、ユーザの機器への操作を検出する操作検出装置、及びそれを備えた映像表示装置、映像表示方法に関する。
　各種機器へのユーザ操作入力として、例えば、タッチパネルによる入力が知られている。例えば特許文献１には、「タッチパネルの少なくとも一部が曲面領域を有する場合、曲面領域に指がタッチされるときに、ユーザがタッチしようとする目標のタッチ位置と実際にタッチされる実際のタッチ位置とにずれが生じやすい」という課題に対し、「指が前記曲面領域へ近づく接近方向を判定する接近方向判定部と、前記接近方向に応じて前記曲面領域における前記タッチ位置を補正する位置補正部と、を備える」携帯機器が記載されている。
　また、タッチセンサなどを設けることなくユーザ操作入力を行う背景技術として特許文献２がある。特許文献２には、「操作面に異なる位置から照明光を照射する第１、第２の照明と、照明光が照射された操作面をユーザの操作部とともに撮像するカメラと、カメラより得られる撮像画像からユーザの操作部に対する第１、第２の影を抽出する影領域抽出部と、抽出された第１、第２の影のそれぞれの輪郭線を検出する輪郭検出部と、各輪郭線間の距離からユーザの操作部の操作面への接触点を検出する接触点検出部と、を備える。前記影領域抽出部は、撮像画像の輝度を所定の閾値と比較し、第１、第２の照明で投影されるユーザの操作部に対する第１、第２の影を区別して抽出し、前記輪郭検出部は、第１、第２の影の輪郭線の中で対応する略直線状の線分を輪郭線として抽出し、前記接触点検出部は、抽出した２つの輪郭線間の距離が所定の閾値以下となったときにユーザの操作部が操作面へ接触したと判定する」手指ジェスチャ検出装置が記載されている。
特開２０１５－１４１５９６号公報 特開２０１４－１７４８３２号公報
　特許文献１では、曲面領域を有するタッチパネルを備える構成であることから、既知の曲面形状に対する位置補正手法であり、未知の曲面形状に対して位置補正を行うことについて考慮されていない。
　また、特許文献２では、映像投写装置の投写面の平面を想定しており、手指に対して複数の位置から光を照射し、複数の照射光にそれぞれ対応する手指の複数の影の像を検出し、影の像及び手指像から不変特徴量の抽出を行い、手指のジェスチャを検出している。また、カメラのフレームレートに同期させてフレーム毎に異なる光源を選択して光を照射して、手指のジェスチャの検出には、選択された１つの照明のみでつくられる影の像を用いて接触認識を行っている。しかし、投写面が曲面や不連続面などの場合に、投写面に手指が接触した際に、カメラと映像投写装置の光軸が異なることから、認識された接触位置と実際の接触位置にずれが発生するという点について想定していない。
　このように、形状が未知の曲面や不連続面に対して映像投写装置を用いて映像を投写し、映像投写装置とは異なる位置にあるカメラを用いて投写面上での操作を認識する際に、認識される接触位置と実際の接触位置がずれるという課題がある。
　本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、曲面や不連続面を有する操作面に対するユーザの操作オブジェクトによる操作を検出可能な操作検出装置であって、操作面を操作オブジェクトとともに撮像する撮像部と、操作面の三次元形状を認識する形状認識部と、撮像部の撮像結果に基づいて操作オブジェクトが操作面に接触した接触点を検出する接触点検出部と、接触点検出部によって曲面や不連続面において接触点が検出された場合に、形状認識部によって認識された操作面の三次元形状に応じて接触点の位置を補正する接触点補正部とを有する。
　上記手段によれば、操作面にユーザの操作オブジェクトによる操作を検出した場合、曲面や不連続面を有する操作面で操作が検出された場合であっても、認識される接触位置と実際の接触位置がずれることなく検出可能となる。
実施例１における操作検出装置の構成の一例を示す図である。 実施例１における操作検出装置の構成の他の例を示す図である。 実施例１における操作検出装置の概観及び、壁面でそれを操作するユーザの使用例を示す図である。 実施例１における操作検出装置の概観及び、机上（テーブル）でそれを操作するユーザの使用例を示す図である。 実施例１における指と操作面が接触していない場合の影を説明する図である。 実施例１における指と操作面が接触している場合の影を説明する図である。 実施例１における指と操作面との距離に応じた影を説明する図である。 実施例１における影の先端同士の距離を用いた接触点検出の制御の一例を示す図である。 実施例１における曲面を含む操作面における接触検出位置と表示位置のずれの一例を示す図である。 実施例１における不連続面を含む操作面における接触検出位置と表示位置のずれの一例を示す図である。 実施例２における操作検出装置の構成の一例を示す図である。 実施例２における接触位置補正メニュー画面及び、設定状態に応じた処理の一例を示す図である。
　以下、図面を用いて実施例を説明する。
　本実施例では、曲面や不連続面を有する映像投写面において指を用いて操作する際に、あらかじめ映像投写装置とカメラを用いて投写面の三次元形状を取得し、曲面や不連続面上での指と操作面との接触点位置を補正する方法について説明する。
　図１は本実施例における操作検出装置１００の構成の一例を示す図である。図１において、１００は操作検出装置であり、１０１はカメラ（撮像部）、１０２及び１０３は照明、１０４は接触認識部、１０５は影領域検出部、１０６は輪郭検出部、１０７は接触点検出部、１０８は形状認識部、１０９は接触点補正部、１１０は制御部、１１１は操作対象装置（例えば映像投写装置）、１１２は映像投写部、１１３は制御部である。
　なお、図１では１０１～１１３の各部は独立しているが、必要に応じて１または複数の構成要件で構成してもよい。例えば、１０５～１０９は１または複数の中央処理装置（ＣＰＵ）でその処理を行うように構成してもよい。また、図１では１０１～１１０の各部を全て操作検出装置１００の内部に構成しているが、図２に示すように、例えば、カメラ１０１、照明１０２及び１０３を操作検出装置１００の外部とするように、１または複数の構成要件を操作検出装置１００の外部に構成し、ネットワーク接続やユニバーサルシリアルバス（ＵＳＢ）接続、その他の有線、無線接続によって操作検出装置１００に接続しても良い。また、操作検出装置１００は操作対象装置１１１と一体でも良い。
　カメラ１０１は、イメージセンサ、レンズ等で構成され、画像を撮像する。なお、カメラ１０１における撮像は、制御部１１０によって制御される。また、カメラ１０１は操作対象装置１１１内の映像投写部１１２とは異なる光軸を有する。
　照明１０２及び照明１０３は、発光ダイオード、回路基盤、レンズ等で構成され、カメラ１０１で撮像する領域を照射する。照明１０２及び照明１０３の点灯、消灯は制御部１１０によって制御される。なお、カメラ１０１、照明１０２及び照明１０３は、赤外カメラと赤外照明で構成し、赤外画像を撮像することで後述する指の状態を検出する処理を行っても良い。また、照明の光源は、レーザ等の発光ダイオード以外の光源でも良い。
　接触認識部１０４は１または複数の中央処理装置（ＣＰＵ）もしくは専用計算機によって構成され、カメラ１０１で撮像した画像から操作面に対する指の接触点を検出する。なお、接触認識部１０４を構成するものとして、影領域抽出部１０５、輪郭検出部１０６、接触点検出部１０７がある。
　影領域抽出部１０５は、回路基板やソフトウェア等で構成され、カメラ１０１で撮像した画像から影の領域を検出する。影の領域は、例えば、予め撮像した背景画像と最新の撮像画像との差分から差分画像を生成し、その差分画像を所定の輝度の閾値で二値化することで得られる。なお、影領域抽出部１０５の処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いても良い。
　輪郭検出部１０６は、回路基板やソフトウェア等で構成され、影領域抽出部１０５によって得られた影の領域の輪郭を検出する。影領域の輪郭は、例えば、最初に影領域の左上端の画素を求め、逐次的に隣接する画素を探索することによって得られる。なお、輪郭検出部１０６の処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いても良い。
　接触点検出部１０７は、回路基盤やソフトウェア等で構成され、影の形状や位置に基づいて、操作面に対する指の接触点を検出する。接触点の検出方法については図８を用いて後述する。
　形状認識部１０８は、回路基板やソフトウェア等で構成され、カメラ１０１で撮像された画像にもとづいて投写面の三次元形状を検出する。例えば、制御部１１０から操作対象装置（映像投写装置）に対してグレイコードなどのパターン画像を投写するよう制御信号を送信し、パターン画像が投写された投写面をカメラ１０１で撮像した画像を用いることで、投写面の三次元形状を認識する。なお、投写面の三次元形状を認識する手法として、ＴＯＦ（Time of Flight）方式のカメラを用いる方式や光切断法を用いた方式など、同様の効果を得るための他の三次元計測手法を用いても良い。
　接触点補正部１０９は、回路基板やソフトウェア等で構成され、接触点認識部１０４で検出された指先の接触位置を、形状認識部１０８で検出された投写面の三次元形状に基づいて補正する。補正の方法については、図９を用いて後述する。
　制御部１１０は、回路基盤やソフトウェアで構成され、ネットワーク接続、ＵＳＢ接続、超音波ユニット、赤外線通信装置等の機能を含み、カメラ１０１、照明１０２、照明１０３、接触点検出部１０４、影領域抽出部１０５、輪郭検出部１０６、接触点検出部１０７、形状認識部１０８、接触点補正部１０９と通信して制御する。また、操作対象装置１１１の制御部１１３と通信し、補正された接触点の情報や映像投写部の動作信号を送信する。操作対象装置１１１は例えば映像投写装置（プロジェクタ）であり、制御部１１３は接触点の情報を受けて、ユーザの操作を認識し、ユーザの操作に対応して映像表示を行う。
　図３は本実施例における操作検出装置１００の概観及び、壁面でそれを操作するユーザの使用例を示す図である。図３において、（ａ）は正面図、（ｂ）は側面図を示しており、カメラ１０１が壁面である操作面２０１の撮像範囲２０２で示す範囲を撮像している。図３に示すように、ユーザ２００が壁面の撮像範囲２０２中の操作範囲２０３で操作面２０１に指を触れると、操作検出装置１００が接触点を検出する。なお、図３には、操作対象装置１１１は記載していないが、例えば、操作対象装置１１１が映像投写装置（プロジェクタ）であり、操作検出装置１００と異なる位置であるが、映像投写装置の映像表示面と操作検出装置１００の操作面２０１が重畳するように映像投写装置を配置し、操作面に対するユーザの指による操作を検出することでユーザの操作に対応して映像投写装置からの映像表示を行う。操作対象装置１１１は、図３に示すように、操作面２０１に対してユーザ２００がいる側に配置された操作検出装置１００と同じ方向に配置される。
　図４は本実施例における操作検出装置１００の概観及び、机上（テーブル）でそれを操作するユーザの使用例を示す図である。図４では、カメラ１０１が机上（テーブル）である操作面２０１の撮像範囲２０２で示す範囲を撮像している。図３と同様に、ユーザ２００が机上（テーブル）の撮像範囲２０２中の操作範囲２０３で操作面２０１に指を触れると、操作検出装置１００が接触点を検出する。なお、本実施例で適用する操作面は上記に限定されるものではなく、どのような面でかまわない。
　図５～７は照明１０２あるいは照明１０３を点灯した際に、指３００と操作面２０１との接触有無による影の形状の違いの一例を示すものである。
　図５は、指と操作面が接触していない場合の影を説明する図である。図５（ａ）は正面図であって、指３００が操作面２０１に接触していない場合は、照明１０３が点灯している場合には照明１０３によって投影される影３０１と、照明１０２が点灯している場合には照明１０２によって投影される影３０２とができ、影３０１と影３０２はそれぞれが離れた状態となる。図５（ｂ）は投写面上方から見た上面図であって、図５（ａ）に示すような影ができる原理を説明する図である。図５（ｂ）に示すように、照明１０３が照射する光が指３００で遮断され、操作面２０１上に影３０１ができる。また、照明１０２が照射する光が指３００で遮断され、操作面２０１上に影３０２ができる。したがって、カメラ１０１が撮像する画像において、影３０１と影３０２はそれぞれが離れた状態となる。
　一方、図６は、指と操作面が接触している場合の影を説明する図である。図６（ａ）は正面図であって、指３００の指先が操作面２０１に接触している場合は、影３０１と影３０２は、指３００の指先の位置で接近した状態となる。図６（ｂ）は投写面上方から見た上面図であって、図６（ａ）に示すような影ができる原理を説明する図である。図６（ｂ）に示すように、照明１０３が照射する光が指３００で遮断され、操作面２０１上に影３０１ができる。また、照明１０２が照射する光が指３００で遮断され、操作面２０１上に影３０２ができる。したがって、カメラ１０１が撮像する画像において、影３０１と影３０２は指先の位置で接近した状態となる。
　図７は、指と操作面との距離に応じた影を説明する図であり、影３０１及び影３０２が一つの画像で得られた時の様子を仮想的に示す。図７に示すように、指３００と操作面２０１との距離が最も近い場合では、影３０１と影３０２は指先の位置で接近した状態となる。指３００と操作面２０１が離れると、影３０１と影３０２との距離は次第に大きくなる。指３００と操作面２０１との距離が最も遠い場合では、影３０１と影３０２はそれぞれが離れた状態となる。このように、影３０１と影３０２との距離は、指３００が操作面２０１から離れるにしたがって大きくなる。
　次に、図８を用いて、操作面に対する指の接触点を検出する方法について説明する。図８は、影の先端同士の距離を用いた接触点検出の制御の一例を示す図である。すなわち、接触点検出部１０７において、指３００と操作面２０１との接触点を検出する処理の一例を示す。
　図８（ａ）は処理フローを示す。図８（ａ）ではステップＳ６０１～Ｓ６０４の処理をそれぞれ一度ずつ実行する一巡のフローを示しているが、実際にはこのフローは連続して繰り返され、Ｓ６０３あるいはＳ６０４の後はＳ６０１に戻るものとする。
　まず、Ｓ６０１では、輪郭検出部１０６において検出された指３００の影３０１の先端６０１及び影３０２の先端６０２を検出する。
　Ｓ６０２では、影３０１の先端６０１及び影３０２の先端６０２の距離を計算し、距離が予め定めた値以下であるか否かを判断する。予め定めた値以下である場合はＳ６０３に進み、予め定めた値より大きい場合はＳ６０４に進む。
　Ｓ６０３では、指３００が操作面２０１に接触していると判定し、図８（ｂ）に示すように、先端６０１と先端６０２の中点６００を指３００と操作面２０１との接触点として検出する。
　Ｓ６０４では指３００は操作面２０１には接触していないと判定し、何もしない。Ｓ６０３もしくはＳ６０４の処理が終わると、図８（ａ）に示す一連のフローを終了する。
　次に、図９を用いて、曲面における接触位置補正の方法について説明する。図９は、指と曲面を有する操作面との接触において、接触位置を補正する方法の一例を示す。
　図９（ａ）は、指３００と曲面を有する操作面７００との接触において、認識される接触位置がずれる原因を示す図である。図９（ａ）において、指３００は操作面７００の曲面の接触点７０１に接触している。操作面として平面を仮定している場合は、この接触点７０１をカメラ１０１で撮像すると、カメラ１０１の光軸原点と接触点７０１を繋いだ直線と、仮定している操作平面との交点である仮想接触点７０２で指３００が操作面７００と接触していると検出される。一方、カメラ１０１と異なる光軸を有する映像投写部１１２では、仮想接触点７０２に投影していた映像は、仮想接触点７０２と映像投写部１１２の光軸原点とを結んだ直線と操作面７００との交点である仮想投影点７０３に投影される。すなわち、曲面を有する操作面７００において操作面が平面であると仮定して接触認識を行った場合、実際の接触点７０１に対して操作面７００上に表示される認識位置が位置補正がない場合の仮想投影点７０３にずれてしまう。そこで、形状認識部１０８において認識された操作面の３次元形状をもとに、接触位置を補正する。
　図９（ｂ）は、接触位置補正の処理フローを示す。図９（ｂ）ではステップＳ７０１～Ｓ７０４の処理をそれぞれ一度ずつ実行する一巡のフローを示しているが、実際にはこのフローは接触認識部１０４にて検出された各接触点に対して繰り返し実行され、Ｓ７０４の後はＳ７０１に戻るものとする。
　まず、Ｓ７０１では、カメラ１０１で撮像された画像を基に接触認識部１０４が仮想接触点７０２を検出する。
　Ｓ７０２では、接触点補正部１０９が、形状認識部１０８で事前に計測し認識した操作面の三次元形状情報と仮想接触点７０２の情報から、実際の接触点７０１を検出する。
　Ｓ７０３では、接触点補正部１０９が、接触点７０１と映像投写部１１２の位置関係の情報を基に、真の投影点７０４の位置を検出する。
　Ｓ７０４では、真の投影点７０４の位置に接触認識結果を反映させる。Ｓ７０４の処理が終わると、図９（ｂ）に示す一連のフローを終了する。
　なお、上記曲面は水平方向に限らず鉛直方向の曲面であっても良く、例えば半球状であっても良い。
　図１０は、指と不連続面を有する操作面との接触において、接触位置を補正する方法の一例を示す図である。図１０において、段差等の不連続面を有する操作面８００との接触においても、図９と同様の仮想接触点７０２、仮想投影点７０３、投影点７０４を定義すると、図９と同様の方法で接触位置の補正を行うことが可能である。例えば、操作面が黒板であって黒板上にマグネットがある状態でも、指による操作を検出する操作面として利用可能となる。
　なお、本実施例では操作オブジェクトとしてユーザの指を仮定して記載しているが、上記接触位置の補正は、操作オブジェクトとしてペン先が発光する電子ペンやカメラ付き電子ペンを用いた場合に適用しても良い。その場合は、接触点検出部は、いわゆる赤外発光ペンを用いて発光した赤外光をカメラで検出してもよい。
　上記したように、本実施例では、曲面や不連続面を有する操作面においてユーザが指を用いて操作する際に、映像投写装置とカメラを用いてあらかじめ操作面の三次元形状を取得し利用することで、ユーザが曲面や不連続面上で接触した際に、実際の接触位置と認識される接触位置のずれを解消する。
　これにより、曲面や不連続面で操作した場合でも、位置ずれを起こすことなく操作を行うことが可能になる。また、接触位置のずれが補正されることで、ユーザが違和感なく操作することが可能になり、操作性を向上させる効果が得られる。結果として、本操作検出装置を設置することで、壁面や机上（テーブル）等どのような面であっても、指による操作を検出する操作面として利用可能となる。
　本実施例は、実施例１で説明した接触位置補正において、使用者が補正特性を設定する場合の制御方法の一例について説明する。
　図１１は本実施例における操作検出装置の構成の一例を示す図である。図１１において、図１と同様の機能は同じ符号を付し、その説明は省略する。
　図１１において、図１と異なる点はユーザ設定部９０１を設けた点である。ユーザ設定部９０１は、リモコンや装置本体の操作ボタンの操作を介してユーザからの操作信号を受け付け制御部１１０に情報を伝達する。制御部１１０は伝達された操作信号に応じて、操作命令信号を接触点補正部１０９に出力し、接触認識部１０４における接触点の補正方法を設定できるように構成している。これにより、接触位置のずれを補正する方法をユーザの所望の状態に切り替える設定を行うことが出来る。
　なお、図１１の例では、操作検出装置１００内にユーザ設定部９０１を設けた構成となっているが、これに限らず、操作対象装置１１１内にユーザ設定部９０１を設けても良い。
　図１２は、本実施例における接触位置補正メニュー画面及び、設定状態に応じた処理の一例を示す図である。図１２（ａ）は、ユーザ設定部９０１で設定可能な設定項目を示す接触位置補正メニュー画面１０００を示す。接触位置補正メニュー画面１０００は、補正方法１００１の項目を有しており、操作面が「平面」であるか「非平面」であるかを設定できる。すなわち、補正方法１００１の項目は、実施例１で説明した、曲面や不連続面を含む操作面での接触位置補正処理の使用の要否を選択できる。その選択は、リモコンや装置本体の操作ボタンの操作を介して、カーソル１００２を移動させることにより行なう。
　選択項目とその場合の処理について、図１２（ｂ）の処理フロー図を用いて説明する。なお、図１２（ｂ）に示すのはステップＳ１００１～Ｓ１００５の処理をそれぞれ一度ずつ実行する一巡のフローであるが、実際にはこのフローは接触認識部１０４にて検出された各接触点に対して繰り返し実行され、Ｓ１００４の後はＳ１００１に戻るものとする。まず、Ｓ１００１では、カメラ１０１で撮像された画像を基に接触認識部１０４が仮想接触点７０２を検出する。
　図１２（ｂ）において、Ｓ１００５では、補正方法１００１の設定状態を確認し、設定が「平面」であるか「非平面」であるかを確認する。「平面」である場合には直接Ｓ１００４に進み、「非平面」である場合にはＳ１００２に進む。Ｓ１００２以降は実施例１で説明した方法と同様に、操作面の三次元形状情報を基に接触位置の補正を行う。「補正方法」１００１の設定状態が「平面」である場合には、上述の三次元形状情報を用いた接触位置補正を行う必要がないため、検出された接触位置に対応する投影点にそのまま接触認識結果を反映させる。
　上記の補正方法１００１の項目では、必ずしも「平面」および「非平面」の項目である必要はなく、例えば「三次元補正なし」および「三次元補正あり」などでもよい。また、形状認識部１０８において認識された三次元形状データを基に、補正方法の選択項目を自動的に判断してもよい。
　以上のように、本実施例では、ユーザ設定部９０１を搭載し、操作面の形状に応じて接触位置補正をユーザの使用目的または使用環境に合わせてユーザが調整することが可能となる。これにより、より使い勝手の良い映像表示装置が提供できる。
　以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１００：操作検出装置、１０１：カメラ、１０２、１０３：照明、１０４：接触認識部、１０５：影領域抽出部、１０６：輪郭検出部、１０７：接触点検出部、１０８：形状認識部、１０９：接触点補正部、１１０：制御部、１１１：操作対象装置、１１２：映像投写部、１１３：制御部、２００：ユーザ、２０１：操作面、２０２：撮像範囲、２０３：操作範囲、３００：指、３０１、３０２：影、６００：接触点（中点）、６０１、６０２：影の先端、７００：曲面を有する操作面、７０１：接触点、７０２：仮想接触点、７０３：位置補正がない場合の仮想投影点、７０４：真の投影点、８００：不連続面を有する操作面、９０１：ユーザ設定部、１０００：接触位置補正設定メニュー画面、１００１：補正方法、１００２：カーソル

Claims (11)

  1. 曲面や不連続面を有する操作面に対するユーザの操作オブジェクトによる操作を検出可能な操作検出装置であって、
    前記操作面を前記操作オブジェクトとともに撮像する撮像部と、
    前記操作面の三次元形状を認識する形状認識部と、
    前記撮像部の撮像結果に基づいて前記操作オブジェクトが前記操作面に接触した接触点を検出する接触点検出部と、
    該接触点検出部によって前記曲面や不連続面において前記接触点が検出された場合に、前記形状認識部によって認識された前記操作面の三次元形状に応じて前記接触点の位置を補正する接触点補正部と、
    を有することを特徴とする操作検出装置。
  2. 請求項１に記載の操作検出装置であって、
    前記操作オブジェクトはユーザの指であって、
    前記接触点検出部は、照明によってつくられる前記ユーザの指の影の像を用いて検出することを特徴とする操作検出装置。
  3. 請求項１に記載の操作検出装置であって、
    前記操作オブジェクトは赤外発光方式のペンであって、
    前記接触点検出部は、前記赤外発光方式のペンを用いて発光した赤外光を撮像部で検出することにより検出することを特徴とする操作検出装置。
  4. 曲面や不連続面を有する映像表示面と重畳する操作面に対するユーザの操作オブジェクトによる操作を検出可能な映像表示装置であって、
    前記映像表示面に対して映像を投写する投写部と、
    該投写部と異なる位置に配置され、前記操作面を前記操作オブジェクトとともに撮像する撮像部と、
    前記投写部によって前記映像表示面に対して投写された映像を前記撮像部が撮像した結果に基づいて前記操作面の三次元形状を認識する形状認識部と、
    前記撮像部の撮像結果に基づいて前記操作オブジェクトが前記操作面に接触した接触点を検出する接触点検出部と、
    該接触点検出部によって前記曲面や不連続面において前記接触点が検出された場合に、前記形状認識部によって認識された前記操作面の三次元形状に応じて前記接触点の位置を補正する接触点補正部と、
    該接触点補正部により補正された接触点の情報によりユーザの操作に対応した映像表示を行う制御部を有することを特徴とする映像表示装置。
  5. 請求項４に記載の映像表示装置であって、
    前記投写部と撮像部は、前記映像表示面あるいは操作面に対してユーザが操作する側に配置されることを特徴とする映像表示装置。
  6. 請求項４に記載の映像表示装置であって、
    前記操作オブジェクトはユーザの指であって、
    前記接触点検出部は、照明によってつくられる前記ユーザの指の影の像を用いて検出することを特徴とする映像表示装置。
  7. 請求項４に記載の映像表示装置であって、
    前記操作オブジェクトは赤外発光方式のペンであって、
    前記接触点検出部は、前記赤外発光方式のペンを用いて発光した赤外光を撮像部で検出することにより検出することを特徴とする映像表示装置。
  8. 請求項４に記載の映像表示装置であって、
    前記投写部によって設定メニュー画面が表示可能であり、
    前記設定メニュー画面は、前記接触点補正部の接触点の位置補正の切替え設定として、前記操作面として平面を仮定し前記三次元形状の情報を利用した接触点位置補正を行わない第１の状態と、操作面として非平面を仮定し前記三次元形状の情報を利用した接触点位置補正を行う第２の状態とを選択可能であることを特徴とする映像表示装置。
  9. 曲面や不連続面を有する映像表示面と重畳する操作面に対するユーザの操作オブジェクトによる操作を検出し、検出した操作に対応して前記映像表示面に映像を投写する映像表示方法であって、
    前記映像表示面に対して投写された映像を撮像した結果に基づいて前記操作面の三次元形状を認識し、
    前記操作面を前記操作オブジェクトとともに撮像し、
    該撮像した結果に基づいて前記操作オブジェクトが前記操作面に接触した接触点を検出し、
    前記認識された前記操作面の形状に応じて前記検出した接触点の位置を補正し、
    該補正された接触点の情報によりユーザの操作に対応した映像表示を行うことを特徴とする映像表示方法。
  10. 請求項９に記載の映像表示方法であって、
    前記操作オブジェクトはユーザの指であって、
    前記接触点の検出は、照明によってつくられる前記ユーザの指の影の像を用いて検出することを特徴とする映像表示方法。
  11. 請求項９に記載の映像表示方法であって、
    前記操作オブジェクトは赤外発光方式のペンであって、
    前記接触点の検出は、前記赤外発光方式のペンを用いて発光した赤外光を検出することにより検出することを特徴とする映像表示装置。
PCT/JP2017/018669 2017-05-18 2017-05-18 操作検出装置、及びそれを備えた映像表示装置、映像表示方法 WO2018211659A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/018669 WO2018211659A1 (ja) 2017-05-18 2017-05-18 操作検出装置、及びそれを備えた映像表示装置、映像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/018669 WO2018211659A1 (ja) 2017-05-18 2017-05-18 操作検出装置、及びそれを備えた映像表示装置、映像表示方法

Publications (1)

Publication Number Publication Date
WO2018211659A1 true WO2018211659A1 (ja) 2018-11-22

Family

ID=64273509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/018669 WO2018211659A1 (ja) 2017-05-18 2017-05-18 操作検出装置、及びそれを備えた映像表示装置、映像表示方法

Country Status (1)

Country Link
WO (1) WO2018211659A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061121A (ja) * 1999-08-23 2001-03-06 Nec Corp プロジェクタ装置
JP2011028629A (ja) * 2009-07-28 2011-02-10 Sanyo Electric Co Ltd プレゼンテーションシステム
JP2014174833A (ja) * 2013-03-11 2014-09-22 Hitachi Consumer Electronics Co Ltd 操作検出装置及び操作検出方法
JP2016162162A (ja) * 2015-03-02 2016-09-05 株式会社リコー 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
JP2016184850A (ja) * 2015-03-26 2016-10-20 セイコーエプソン株式会社 プロジェクターおよび検出方法
JP2017027311A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 情報処理装置、その制御方法、プログラム、および記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061121A (ja) * 1999-08-23 2001-03-06 Nec Corp プロジェクタ装置
JP2011028629A (ja) * 2009-07-28 2011-02-10 Sanyo Electric Co Ltd プレゼンテーションシステム
JP2014174833A (ja) * 2013-03-11 2014-09-22 Hitachi Consumer Electronics Co Ltd 操作検出装置及び操作検出方法
JP2016162162A (ja) * 2015-03-02 2016-09-05 株式会社リコー 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
JP2016184850A (ja) * 2015-03-26 2016-10-20 セイコーエプソン株式会社 プロジェクターおよび検出方法
JP2017027311A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 情報処理装置、その制御方法、プログラム、および記憶媒体

Similar Documents

Publication Publication Date Title
JP6037901B2 (ja) 操作検出装置、操作検出方法及び表示制御データ生成方法
US10452206B2 (en) Projection video display device and video display method
US9772720B2 (en) Flexible room controls
US9367176B2 (en) Operation detection device, operation detection method and projector
US20110242054A1 (en) Projection system with touch-sensitive projection image
WO2016021022A1 (ja) 投写型映像表示装置及びその制御方法
CN107077258B (zh) 投射型影像显示装置以及影像显示方法
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
TWI528226B (zh) 影像式觸控裝置及其控制方法
JP2012133808A (ja) カーソル制御方法及び装置
US20150160738A1 (en) Keyboard projection system with image subtraction
US10534448B2 (en) Interactive projector and interactive projection system
US20160004337A1 (en) Projector device, interactive system, and interactive control method
CN107407995B (zh) 交互式投影仪、交互式投影系统以及交互式投影仪的控制方法
JP2020135096A (ja) 表示方法、表示装置、及び、インタラクティブプロジェクター
US10551972B2 (en) Interactive projector and method of controlling interactive projector
JP6459706B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP4824799B2 (ja) ポインティングシステム
WO2018211659A1 (ja) 操作検出装置、及びそれを備えた映像表示装置、映像表示方法
JP6538871B2 (ja) 操作検出装置、操作検出方法、及び映像表示システム
JP6307576B2 (ja) 映像表示装置及びプロジェクタ
JP2017009664A (ja) 画像投写装置、及び対話型入出力システム
JP2016186678A (ja) インタラクティブプロジェクターおよびインタラクティブプロジェクターの制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17909971

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17909971

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP